简介这份资源是清华大学出品的DeepSeek使用指导手册面向希望快速上手国产大模型的初学者与进阶用户以PPT形式系统讲解从注册登录到复杂任务落地的完整路径。压缩包内共1个pptx文件体积约116KB内容涵盖AI控制台界面解析、有效提问的五个黄金法则、新手必学的10个魔法指令、文档上传与对比分析、AI代码编写辅助以及学术论文从开题到答辩的全流程实战建议并附有验证码异常、账号找回、大文档拆分、扫描版PDF处理等避坑指南。资源以保姆级教学配合多场景覆盖的方式组织读者可据此掌握对话技巧、文件处理与代码生成等核心能力并借助官方资料建立规范的使用习惯。目前已有308人学习下载适合需要系统入门DeepSeek并提升日常效率的读者参考。1. 大模型本地化部署从一份公开资料说起最近不少人在讨论一份关于大模型使用的公开资料标题里带着“手把手教你如何使用DeepSeek”这样的字眼还标注了“内附官方资料”。我第一时间去翻了一圈发现核心其实就两件事一是把大模型用起来二是把配套的本地知识库和推理环境搭起来。很多人卡在第一步——以为要买卡、要租云、要配一堆环境结果折腾三天连模型权重都没加载成功。实际上如果你只是想做推理和轻量微调一张消费级显卡甚至纯 CPU 都能跑通 7B 级别的模型。这篇文章不讲虚的就按我实际踩过的坑把从环境准备到推理服务上线的完整路径拆开让你能在自己的机器上复现一套可用的本地大模型工作流。适合谁看手里有 8GB 以上显存的开发者、想拿大模型做内部工具的后端工程师以及被各种“一键包”坑过想搞明白底层逻辑的人。2. 环境准备与模型选型别急着 pip install2.1 硬件门槛与量化方案怎么选先说结论7B 模型用 4-bit 量化后推理显存占用大约在 5GB 到 6GB 之间8GB 显存的卡能跑但上下文长度别开太大。13B 模型 4-bit 量化后需要 9GB 到 10GB建议 12GB 显存起步。如果你手里只有 CPU也不是不能跑但 token 生成速度会掉到每秒 1 到 3 个只适合做离线批处理不适合交互式对话。量化方案我一般按这个顺序试GPTQ 适合 NVIDIA 显卡加载快、显存占用低AWQ 精度略好一点但需要较新的推理框架支持GGUF 格式适合 CPU 或混合推理llama.cpp 直接加载。别一上来就追求 FP16 原版权重7B 的 FP16 需要 14GB 显存13B 需要 26GB普通开发者根本扛不住。模型规模精度显存占用推荐场景7BFP16约 14GB多卡或 16GB 以上单卡7B4-bit GPTQ约 5-6GB8GB 单卡交互推理13B4-bit GPTQ约 9-10GB12GB 单卡7BGGUF Q4约 4-5GBCPU 或混合推理选型时还要看你的任务类型。纯文本对话7B 够用要做代码补全建议 13B 起步要做长文档摘要上下文窗口至少 8K这时候显存要再留 2GB 余量。我见过有人拿 4GB 显存的笔记本硬跑 13B结果系统直接卡死这就是没算清楚账。2.2 用 conda 隔离环境并锁定依赖版本大模型推理最怕依赖冲突。transformers、torch、accelerate、bitsandbytes 这几个库版本稍微对不上就是一堆报错。我习惯用 conda 建独立环境Python 版本锁 3.10这个版本兼容性最好。# 创建独立环境Python 3.10 是当前推理库兼容性最好的版本 conda create -n llm-infer python3.10 -y conda activate llm-infer # 先装 torch注意 CUDA 版本要和驱动匹配 # 这里以 CUDA 11.8 为例驱动版本需 520 pip install torch2.1.2 torchvision0.16.2 --index-url https://download.pytorch.org/whl/cu118 # 再装推理相关依赖版本号写死避免自动升级翻车 pip install transformers4.36.2 accelerate0.25.0 bitsandbytes0.41.3 sentencepiece0.1.99逻辑说明先装 torch 是因为 bitsandbytes 在安装时会检测 CUDA 环境顺序反了可能编译失败。参数上--index-url指定 PyTorch 官方源避免从默认源拉到 CPU 版本。bitsandbytes是 4-bit 量化的核心库版本 0.41.3 对 CUDA 11.8 支持稳定再新的版本在某些驱动上会报libcudart.so找不到。装完之后跑一行验证import torch print(torch.cuda.is_available()) # 必须输出 True print(torch.cuda.get_device_name(0)) # 确认显卡型号如果输出 False先检查驱动版本再检查 conda 环境里是否混入了 CPU 版 torch。常见坑是 pip 和 conda 混用导致 torch 被覆盖建议全部用 pip 装。2.3 模型权重下载与目录结构规范权重下载渠道很多但要注意别下到损坏的分片文件。我一般用huggingface-cli或者modelscope的命令行工具支持断点续传。# 安装下载工具 pip install huggingface_hub0.20.2 # 下载模型指定本地目录避免默认缓存占满系统盘 huggingface-cli download --resume-download --local-dir ./models/deepseek-7b --local-dir-use-symlinks False 模型仓库ID参数说明--resume-download断点续传大文件下载中断后不用重来--local-dir指定本地路径我习惯放在项目根目录下的models/里方便后续代码引用--local-dir-use-symlinks False强制复制文件而不是建软链避免移动目录后链接失效。目录结构建议这样组织project/ ├── models/ │ └── deepseek-7b/ │ ├── config.json │ ├── tokenizer.json │ └── model-00001-of-00002.safetensors ├── scripts/ │ └── infer.py └── requirements.txt权重文件通常分片存储safetensors格式比bin更安全加载时不会执行恶意代码。如果下载完发现文件数量对不上去仓库页面核对model.safetensors.index.json里的分片清单。3. 推理服务搭建从脚本到 API3.1 用 transformers 写一个最小推理脚本先跑通单条推理再考虑封装服务。下面这个脚本加载 4-bit 量化模型输入一段提示词输出生成结果。from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig import torch # 4-bit 量化配置nf4 适合正态分布权重精度损失小 bnb_config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_quant_typenf4, bnb_4bit_compute_dtypetorch.float16, bnb_4bit_use_double_quantTrue # 二次量化再省约 0.4GB 显存 ) model_path ./models/deepseek-7b tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_path, quantization_configbnb_config, device_mapauto, # 自动分配显卡多卡时按显存比例切分 trust_remote_codeTrue ) prompt 用 Python 写一个快速排序函数并解释时间复杂度。 inputs tokenizer(prompt, return_tensorspt).to(cuda) with torch.no_grad(): outputs model.generate( **inputs, max_new_tokens256, # 生成的最大 token 数别设太大否则显存暴涨 temperature0.7, # 0.7 适合通用对话代码生成建议 0.2 top_p0.9, # 核采样保留概率累计 90% 的词 repetition_penalty1.1, # 抑制重复1.0 表示不惩罚 do_sampleTrue ) print(tokenizer.decode(outputs[0], skip_special_tokensTrue))逻辑说明device_mapauto让 accelerate 自动决定模型各层放在哪张卡上单卡时全部放 GPU 0。max_new_tokens控制生成长度设成 512 以上时 8GB 显存可能 OOM。temperature越低输出越确定做代码补全时我一般设 0.2做创意写作用 0.8 到 1.0。repetition_penalty超过 1.2 会导致语句不通顺1.1 是比较稳的值。如果报CUDA out of memory先把max_new_tokens降到 128再检查是否有其他进程占着显存。nvidia-smi看一眼就知道。3.2 用 FastAPI 封装成 HTTP 接口脚本能跑之后下一步是暴露成 API让其他服务调用。FastAPI 轻量异步支持好适合做推理网关。from fastapi import FastAPI from pydantic import BaseModel from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig import torch, uvicorn app FastAPI() # 全局加载一次避免每次请求都重新加载模型 bnb_config BitsAndBytesConfig(load_in_4bitTrue, bnb_4bit_quant_typenf4, bnb_4bit_compute_dtypetorch.float16) model_path ./models/deepseek-7b tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained(model_path, quantization_configbnb_config, device_mapauto, trust_remote_codeTrue) class GenerateRequest(BaseModel): prompt: str max_new_tokens: int 256 temperature: float 0.7 app.post(/generate) async def generate(req: GenerateRequest): inputs tokenizer(req.prompt, return_tensorspt).to(cuda) with torch.no_grad(): outputs model.generate(**inputs, max_new_tokensreq.max_new_tokens, temperaturereq.temperature, do_sampleTrue) text tokenizer.decode(outputs[0], skip_special_tokensTrue) return {result: text} if __name__ __main__: uvicorn.run(app, host0.0.0.0, port8000)参数说明host0.0.0.0允许局域网访问只在本机用就改127.0.0.1。port按需改别和已有服务冲突。请求体里的max_new_tokens和temperature做成可调参数方便不同场景复用同一个接口。启动命令python api_server.py # 另开终端测试 curl -X POST http://127.0.0.1:8000/generate -H Content-Type: application/json \ -d {prompt: 解释一下什么是注意力机制, max_new_tokens: 128}注意FastAPI 默认单 worker并发请求会排队。如果要做高并发得用 vLLM 或 TGI 这类专用推理框架transformers 直接起服务只适合内部低并发场景。3.3 用 vLLM 提升吞吐量的配置要点当请求量上来之后transformers 的逐条生成会成为瓶颈。vLLM 的 PagedAttention 能把吞吐量提升 5 到 10 倍代价是显存占用略高。# 安装 vLLM注意版本和 CUDA 匹配 pip install vllm0.2.7 # 启动 OpenAI 兼容接口 python -m vllm.entrypoints.openai.api_server \ --model ./models/deepseek-7b \ --dtype float16 \ --max-model-len 4096 \ --gpu-memory-utilization 0.9 \ --port 8001参数说明--max-model-len控制最大上下文长度设太大显存不够会启动失败--gpu-memory-utilization 0.9表示用 90% 显存做 KV Cache留 10% 给系统。启动后可以用 OpenAI 的 Python SDK 直接调接口路径是/v1/completions和/v1/chat/completions。我一般先用 transformers 验证模型能跑通再切 vLLM 做压测。直接上 vLLM 如果报错排查起来更麻烦因为多了一层框架封装。4. 避坑与常见问题排查4.1 显存溢出但 nvidia-smi 显示占用不高现象推理时报CUDA out of memory但nvidia-smi看显存只用了 60%。原因PyTorch 的缓存分配器会预留显存但不一定全部显示在 nvidia-smi 里另外 KV Cache 是动态增长的生成到后半段才爆。解决在代码开头加torch.cuda.empty_cache()并把max_new_tokens砍半测试。如果还不行用bitsandbytes的 8-bit 替代 4-bit 反而可能更稳因为 4-bit 的反量化计算会临时占用额外显存。4.2 模型加载报 trust_remote_code 错误现象AutoModelForCausalLM.from_pretrained抛出ValueError: ... requires you to execute the configuration file。原因模型仓库里有自定义的建模代码transformers 默认不执行远程代码。解决加载时显式传trust_remote_codeTrue。但要注意这个参数意味着你会执行仓库里的 Python 代码只从可信来源下载权重。如果公司内网有安全要求先把建模文件审计一遍再加载。4.3 生成结果重复或胡言乱语现象模型反复输出同一句话或者答非所问。原因temperature设太低导致陷入局部最优或者repetition_penalty没开或者提示词格式不对。解决把temperature调到 0.7 到 0.9加上repetition_penalty1.1并检查提示词是否遵循了模型要求的对话模板。很多模型需要特定的[INST]或|im_start|标记格式错了效果直接崩。我一般去模型仓库页面复制官方推荐的提示词模板别自己瞎编。4.4 pip 安装 bitsandbytes 后 import 报错现象ImportError: libcudart.so.11.0: cannot open shared object file。原因bitsandbytes 编译时链接的 CUDA 版本和当前环境不一致。解决先确认nvcc --version和torch.version.cuda一致。如果不一致卸载 bitsandbytes 后从源码编译或者直接换用预编译的 wheel 包。另一个常见原因是 conda 环境里混入了系统路径的库用ldd检查依赖指向。4.5 API 服务并发一高就超时现象单条请求正常同时发 5 条就大量超时。原因transformers 的 generate 是同步阻塞的FastAPI 的 async 在这里没起作用请求实际在排队。解决换 vLLM 或 TGI 做推理后端它们支持连续批处理。如果暂时不想换框架至少把 uvicorn 的 worker 数调成 1 并加请求队列避免显存被多个进程同时抢占。我吃过这个亏四个 worker 同时加载模型显存直接翻倍服务全挂。5. 进阶技巧用 LoRA 做轻量微调与效果验证5.1 LoRA 微调的最小可行配置推理跑通之后很多人会想用自己的数据微调。全量微调 7B 模型需要至少 60GB 显存不现实。LoRA 只训练低秩矩阵显存需求降到 10GB 左右8GB 卡配合梯度检查点也能跑。from peft import LoraConfig, get_peft_model, TaskType from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer model_path ./models/deepseek-7b tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained(model_path, load_in_4bitTrue, device_mapauto, trust_remote_codeTrue) # LoRA 配置r 是秩alpha 是缩放系数target_modules 指定要适配的层 lora_config LoraConfig( task_typeTaskType.CAUSAL_LM, r8, # 秩越大拟合能力越强但显存和过拟合风险也越高 lora_alpha32, # 一般设为 r 的 2 到 4 倍 lora_dropout0.1, # 防止过拟合 target_modules[q_proj, v_proj] # 只适配注意力层的 Q 和 V 矩阵 ) model get_peft_model(model, lora_config) model.print_trainable_parameters() # 确认可训练参数占比通常在 0.1% 到 1% 之间参数说明r8是常用起点数据量小就降到 4数据量大可以升到 16。target_modules只选q_proj和v_proj是最省显存的方案效果不够再加k_proj和o_proj。lora_dropout在数据少于 1000 条时建议设 0.1数据多可以设 0.05。训练参数用TrainingArguments配置training_args TrainingArguments( output_dir./lora-output, per_device_train_batch_size1, # 8GB 显存只能设 1 gradient_accumulation_steps8, # 累积 8 步等效 batch size 8 num_train_epochs3, learning_rate2e-4, # LoRA 常用 1e-4 到 3e-4 fp16True, logging_steps10, save_strategyepoch, gradient_checkpointingTrue, # 用时间换显存必开 optimpaged_adamw_8bit # 8-bit 优化器省显存 )gradient_checkpointingTrue会降低约 30% 训练速度但显存占用减少 40% 以上8GB 卡必开。paged_adamw_8bit是 bitsandbytes 提供的优化器比标准 AdamW 省一半优化器状态显存。5.2 微调后怎么验证效果有没有提升别只看 loss 曲线那个东西会骗人。我一般用三个维度验证第一构造 20 条留出集对比微调前后同一提示词的输出。用diff命令或者写个简单脚本逐条比对看模型是否学会了目标格式或术语。第二用困惑度perplexity在验证集上算一个数值。困惑度下降说明模型对领域文本的预测能力增强但下降太多可能是过拟合。import torch from transformers import AutoModelForCausalLM, AutoTokenizer def compute_perplexity(model, tokenizer, texts): model.eval() total_loss 0 for text in texts: inputs tokenizer(text, return_tensorspt).to(cuda) with torch.no_grad(): outputs model(**inputs, labelsinputs[input_ids]) total_loss outputs.loss.item() return torch.exp(torch.tensor(total_loss / len(texts))) # 对比微调前后 # ppl_before compute_perplexity(base_model, tokenizer, val_texts) # ppl_after compute_perplexity(lora_model, tokenizer, val_texts)第三人工抽检 10 条生成结果看有没有出现灾难性遗忘——也就是通用能力明显下降。LoRA 的好处是原模型权重冻结遗忘风险比全量微调小很多但r设太大时仍会出现。5.3 合并 LoRA 权重并导出推理模型微调完的 LoRA 权重是独立文件推理时需要先合并回基座模型否则每次加载都要额外挂载适配器部署麻烦。from peft import PeftModel from transformers import AutoModelForCausalLM, AutoTokenizer base_model AutoModelForCausalLM.from_pretrained(./models/deepseek-7b, device_mapauto, trust_remote_codeTrue) lora_model PeftModel.from_pretrained(base_model, ./lora-output/checkpoint-100) merged_model lora_model.merge_and_unload() # 合并权重并卸载 LoRA 层 # 保存合并后的完整模型 merged_model.save_pretrained(./models/deepseek-7b-finetuned) tokenizer.save_pretrained(./models/deepseek-7b-finetuned)合并后的模型可以直接用 transformers 或 vLLM 加载不再需要 peft 库。注意合并时显存要能放下完整模型如果 8GB 卡合并 7B 模型会 OOM可以先在 CPU 上合并再保存速度慢但能跑通。我自己的习惯是每次微调完先跑一遍困惑度对比再抽 10 条人工看两个都过了才合并导出。有一次偷懒跳过人工检查结果模型学会了在每句话结尾加一个特殊标记线上服务直接输出乱码回滚花了半小时。这个教训让我后来每次都老老实实做抽检。希望帮到你。本文还有配套的精品资源点击获取
