DeepSeek-R1-32B 部署指南3 步跑通长文本推理【免费下载链接】DeepSeek-R1-Distill-Qwen-32BDeepSeek-R1-Distill-Qwen-32B基于大规模强化学习推理能力卓越性能超越OpenAI-o1-mini适用于数学、代码与推理任务为研究社区提供全新小型密集模型。,222项目地址: https://ai.gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B想在自己的机器上跑出真正的推理能力32B 是最均衡的选择。DeepSeek-R1-Distill-Qwen-32B 是从 DeepSeek-R1 蒸馏出的稠密模型数学与代码基准超过 OpenAI o1-mini。读完本文你能用 vLLM 拉起服务并跑通第一次数学推理请求。它到底能帮你干什么数学与逻辑推理AIME 2024 pass1 72.6、MATH-500 pass1 94.3均为蒸馏家族最高分README 中 Distilled Model Evaluation 表。代码与竞赛编程CodeForces rating 1691、LiveCodeBench pass1 57.2明显高于 GPT-4o-0513759 / 32.9与 Claude-3.5-Sonnet717 / 38.9。32K 上下文长文本推理官方 vLLM 启动命令设置--max-model-len 32768可容纳整份文档或小规模代码库模型在think块中输出完整推理过程。一句话小结它是这代蒸馏模型里 32B 档分数最高的稠密模型适合自建推理服务。 三步跑起来从克隆到第一次输出1. 克隆模型权重权重拆分为 8 个 safetensors 分片config.json 中torch_dtype为 bfloat16。git clone https://gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B2. 启动 vLLM 服务这是 README 给出的官方命令双卡张量并行上下文上限 32768。vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager3. 发出第一次请求服务提供 OpenAI 兼容接口指令直接写在 user 消息里README 建议不要加 system prompt。curl http://localhost:8000/v1/chat/completions -H Content-Type: application/json -d {model:DeepSeek-R1-Distill-Qwen-32B,messages:[{role:user,content:请逐步推理9.9 和 9.11 哪个大}]}一句话小结从 git clone 到拿到第一条回复只需要 3 条命令。 高频场景拆解解数学题让模型输出 boxed 最终答案官方建议对数学题在 prompt 中加入 Please reason step by step, and put your final answer within \boxed{}。这样输出结构稳定最终答案方便程序化解析。判定算法题看模型完整解题路径凭 LiveCodeBench pass1 57.2 和 CodeForces rating 1691 的成绩它适合做 LeetCode 类题目的求解器或评审。你可以先看think里的思路再核对最终代码。承载长上下文把 30K token 的文档丢进去分析服务端的--max-model-len 32768意味着单次输入可达 32K tokens适合整篇论文摘要或整个代码模块分析。使用时把全部约束写在 user 消息里不要放进 system prompt。关键参数速查参数默认值作用temperature0.6生成采样温度README 建议 0.5–0.7过高会导致重复或输出不连贯top_p0.95核采样概率截断generation_config.jsondo_sampletrue开启采样generation_config.json--max-model-len32768vLLM 服务上下文长度上限--tensor-parallel-size2张量并行 GPU 数官方命令取值hidden_size/num_hidden_layers5120 / 64隐藏层维度与网络层数config.json常见问题显存不够怎么办32B 参数按 bfloat16 每参数约 2 字节计算权重约 64GB再加 KV cache单张 24GB 显卡会比较吃力。可改用 GPTQ/AWQ 等 4-bit 量化加载或增加卡数走张量并行。为什么输出会先输出一大段思考这是模型的设计行为先在think块中推理再给结论。官方 tokenizer 的 chat_template 在生成起点会自动补上 【免费下载链接】DeepSeek-R1-Distill-Qwen-32BDeepSeek-R1-Distill-Qwen-32B基于大规模强化学习推理能力卓越性能超越OpenAI-o1-mini适用于数学、代码与推理任务为研究社区提供全新小型密集模型。,222项目地址: https://ai.gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
