【免费下载链接】Qwen3-8B-DSpine-b16项目地址https://ai.gitcode.com/tencent_hunyuan/Qwen3-8B-DSpine-b16点击查看免费下载Qwen3-8B-DSpine-b16 是腾讯开源的、面向 Qwen3-8B 大语言模型的投机解码Speculative Decoding草稿模型基于 Apache-2.0 许可证发布需配合 SGLang 推理引擎部署可显著提升大模型推理速度。本文完整解析它的许可证条款、论文引用方式以及 SGLang / FlashInfer 上下游生态依赖。 DSpine 是什么并行草稿 深度条件注入DSpine 的核心思想可以用官方论文标题概括Draft in Parallel, Condition Through Depth: Adjacent Causal Injection for Speculative Decoding并行起草、深度条件传递面向投机解码的相邻因果注入。并行起草每一轮投机时一次性并行预测 16 个 token 草稿block_size: 16这也是仓库名后缀b16的含义。深度条件注入在草稿模型的每一层每个位置都会接收前一个位置的预测特征让因果链沿网络深度展开同时所有位置仍能并行起草——兼顾了并行速度与因果质量。在 Qwen3-8B 上的接受长度Acceptance Length越长代表加速效果越好对比如下数据来自 README.md#L31-L47温度方法GSM8KMATH-500HumanEvalMT-Bench平均T 0DFlash6.327.996.564.265.92T 0DSpark10.009.887.785.397.44T 0DFlash210.0610.047.995.407.55T 0DSpine10.5510.308.275.637.83 在所有基准上DSpine 的平均接受长度均领先同类型草稿模型意味着更少的目标模型校验轮次、更低的推理延迟。仓库文件结构一览本仓库是一个标准的模型权重仓库结构非常精简文件作用README.md项目说明、性能数据、部署命令与论文引用config.json草稿模型架构配置DSpine 关键超参数都在这里model.safetensors模型权重约 2.3GB通过 Git LFS 管理LICENSE.txtApache-2.0 许可证全文及第三方组件说明 一键部署如何在 SGLang 上跑起来部署只需两步获取模型 启动 SGLang 服务。第 1 步获取模型仓库git clone https://gitcode.com/tencent_hunyuan/Qwen3-8B-DSpine-b16第 2 步启动 SGLang 投机解码服务命令来自 README.md#L64-L78为论文报告的完整参数配置sglang serve \ --model-path Qwen/Qwen3-8B \ --speculative-algorithm DSPINE \ --speculative-draft-model-path 本仓库路径 \ --speculative-num-draft-tokens 16 \ --dtype bfloat16 \ --attention-backend fa3 \ --page-size 1 \ --mem-fraction-static 0.65 \ --context-length 8192 \ --max-running-requests 64 \ --cuda-graph-bs-decode 1 2 4 8 16 32 64 \ --trust-remote-code关键参数速读参数含义--speculative-algorithm DSPINE启用 DSpine 投机解码算法--speculative-draft-model-path指向本仓库草稿模型--speculative-num-draft-tokens 16每轮投机 16 个 token对应 b16--attention-backend fa3使用 FA3 注意力后端依赖 FlashInfer 生态--dtype bfloat16与权重精度一致见下文 config 解析⚖️ Apache-2.0 许可证商用友好注意第三方组件本仓库在 LICENSE.txt 中声明采用Apache-2.0许可证许可证头部说明见 LICENSE.txt#L1-L9可免费商用Apache-2.0 是业界最友好的开源许可之一允许修改、分发、商用并附带专利授权。范围界定清晰文件中明确 DSpine refers solely to code, parameters, and weights made publicly available by TencentDSpine 仅指腾讯以 Apache-2.0 公开的代码、参数和权重。第三方组件例外仓库依赖的第三方组件如 SGLang、FlashInfer 等仍遵循其各自的原始许可证使用时需同时满足相应条款。⚠️ 实用提示目标模型 Qwen3-8B 本身的许可、以及 SGLang / FlashInfer 的许可与本草稿模型的 Apache-2.0 相互独立商用前请逐一核对。 论文引用规范的 BibTeX 格式DSpine 论文已发布于 arXiv编号 2609.36173时间线见 README.md#L25-L292026-09 论文发布2026-10 推理代码开源。在学术论文或项目文档中引用时可直接使用 README.md#L93-L99 提供的 BibTeXarticle{zhang2026dspine, title {Draft in Parallel, Condition Through Depth: Adjacent Causal Injection for Speculative Decoding}, author {Zhang, Haohui and Chen, Keyu and Sun, Haocheng and Gu, Weibo and Qiao, Ruizhi and Sun, Xing and Jiang, Bo}, journal {arXiv preprint arXiv:2609.36173}, year {2026} } 上下游生态SGLang 与 FlashInfer 依赖解析DSpine 并非独立运行而是嵌入在一整套开源推理生态中。致谢列表见 README.md#L85-L89FlashInfer注意力算子库 → SGLang推理引擎 → DSpine草稿模型 → Qwen3-8B目标模型项目角色与本仓库的关系SGLang高性能推理引擎通过--speculative-algorithm DSPINE加载本模型是部署的必需依赖FlashInferGPU 注意力算子库支撑--attention-backend fa3等高性能注意力后端DFlash草稿模型架构来源本模型架构即DFlashDraftModel见 config.json#L2-L4SpecForge投机解码训练框架官方致谢的训练生态组件从 config.json 读懂模型关键配置config.json 中几个值得关注的字段字段值说明architecturesDFlashDraftModel模型架构继承自 DFlash 系列block_size16每轮投机草稿 16 个 tokennum_hidden_layers5草稿模型仅 5 层轻量高效num_target_layers36目标模型Qwen3-8B层数target_layer_ids[1, 9, 17, 25, 33]从目标模型抽取特征的层位置见 config.json#L50-L56dtypebfloat16权重精度部署时需保持一致max_position_embeddings40960最大支持位置长度可以看到草稿模型从目标模型的 5 个特定层1/9/17/25/33提取特征作为深度条件这正是 DSpine Condition Through Depth 机制的落地配置。 常见问题FAQQ1为什么叫 b16指block_size 16即单次投机解码并行起草 16 个 token 的块大小见 config.json#L10。Q2可以脱离 SGLang 使用吗当前推理链路深度绑定 SGLangsglang serve--speculative-algorithm DSPINE官方 Roadmap 显示训练代码尚在规划中见 README.md#L80-L83。Q3权重文件只有 100 多字节model.safetensors 实际约 2.3GB通过 Git LFS 拉取完整数据配置见 .gitattributes。Q4后续还有什么计划官方 Roadmap 包括DSpine 训练代码开源、支持 Qwen3.8-27B 更大规模模型。✅ 总结Qwen3-8B-DSpine-b16 以Apache-2.0许可证开放了商用友好的使用条件以7.83 的平均接受长度在 Qwen3-8B 上刷新了同类型草稿模型的加速表现并通过 SGLang FlashInfer 生态实现了克隆即用的极简部署路径。如果你在为大模型推理提速选型它是一个非常值得纳入对比清单的开源方案。赞分享【免费下载链接】Qwen3-8B-DSpine-b16项目地址https://ai.gitcode.com/tencent_hunyuan/Qwen3-8B-DSpine-b16点击查看免费下载相关推荐Modern JavaScript Tutorial 实战用 CSS transition 实现 showCircle 生长动画Modern JavaScript Tutorial 实战用 CSS transition 实现 showCircle 生长动画 本篇文章基于 Modern逐行精读Qwen3-8B-DSpine-b16的config.jsoncode_bridge、target_layer_ids与block_bernoulli详解逐行精读Qwen3 8B DSpine b16的config.jsoncode_bridge、target_layer_ids与block_bernoulliApache 2.0 与 MLAfication 生态Qwen3-30B-A3B-base-mla-topk8-rank128 的许可证、上游项目与社区支持Apache 2.0 与 MLAfication 生态Qwen3 30B A3B base mla topk8 rank128 的许可证、上游项目与社区支持人工智能大模型模型优化上一篇基于区块链智能合约静态审计工具的设计与构建Solidity 漏洞检测全流程解析下一篇终极指南如何使用UAssetGUI免费可视化编辑Unreal Engine游戏资产创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
