【免费下载链接】Tiel-Coder-35B-A3B-GGUF-MTP项目地址https://ai.gitcode.com/hf_mirrors/peculiar-ragdoll/Tiel-Coder-35B-A3B-GGUF-MTP点击查看免费下载本教程面向新手介绍如何用 Tiel-Coder-35B-A3B-GGUF-MTP 仓库随附的 imatrix 重要性矩阵仅用一条llama-quantize命令自制任意档位Q4_K_XL、IQ4_XS、Q5_K_XL、Q8_0 等的 GGUF 量化版本。Tiel 是基于 Ornith-1.5-35B-A3B 的 MoE 编码模型24 GB 显卡跑 4-bit 档即可在 SWE-bench-Live 上修复 25 个真实代码库问题中的 12 个并自带 MTP 多 token 预测头用于推理加速。 为什么值得 DIY 一个量化版本官方仓库虽然已提供从 Q2_K_XL 到 Q8_K_XL 的 9 个现成档位但如果你想要一个没有被发布的组合——更紧凑的 IQ4_XS、接近无损的 Q8_0 参考档或自己的格式组合——自己量化只需一条命令。关键前提是仓库直接发布了作者亲手测出的 imatrix 重要性矩阵183 MiB、510 个张量imatrix 是什么量化前用校准语料在模型上跑一遍前向计算记录每个张量的重要程度量化时重要张量少损失、次要张量多压缩从而在相同体积下保留更多能力。这份 imatrix 的规格4900 万字符校准语料约 3/4 代码数据 1/4 混合数据保留数学、工具调用与多语言样本在 Q8_0 权重上按 512 token 切块、共 3000 块约 150 万 token测得。这个 256 专家 MoE 每个 token 只路由 8 个专家语料必须足够长才能让每个专家都被充分覆盖。省下的成本自己测一份 imatrix 约需一个半小时直接用官方这份量化即开即跑。完整配方说明见 README.md 的 imatrix 章节。 先选目标格式官方档位速查DIY 之前先想清楚要量化成哪个格式。下表是官方 MTP 版的体量与内存参考fits 指你的RAM VRAM 合计可用空间扣除系统与后台进程后量化文件大小建议内存定位Tiel-Coder-35B-A3B-MTP-UD-IQ3_XXS.gguf14.1 GB16 GB16 GB 之选比 Q2 明显更好Tiel-Coder-35B-A3B-MTP-UD-IQ4_XS.gguf18.6 GB24 GB4-bit 中上下文余量最大Tiel-Coder-35B-A3B-MTP-UD-Q4_K_XL.gguf23.3 GB24–32 GB基准档位新手起步推荐Tiel-Coder-35B-A3B-MTP-UD-Q5_K_XL.gguf27.5 GB32 GB32 GB 之选Tiel-Coder-35B-A3B-MTP-UD-Q8_K_XL.gguf39.4 GB48 GB参考级精度 官方建议只要能模型 上下文 KV放进 RAMVRAM就优先选 Q4 及以上档位并保留 131k–262k 的大上下文MoE 架构下 262k 上下文、16-bit KV 也只需不到 5 GB 内存而不是单纯为塞进显存降到 Q2。⚡ 一条命令自制任意量化版本核心步骤第 1 步下载官方随仓库发布的 imatrixhf download peculiar-ragdoll/Tiel-Coder-35B-A3B-GGUF Tiel-Coder-35B-A3B.imatrix.gguf --local-dir .第 2 步准备 BF16 源模型拿到上游 Ornith-1.5-35B-A3B 的 BF16 GGUF约 70 GB注意磁盘空间放在同目录。第 3 步带 imatrix 执行量化llama-quantize --imatrix Tiel-Coder-35B-A3B.imatrix.gguf Ornith-1.5-35B-BF16.gguf out.gguf Q4_K_XL把末尾的格式参数换成你想要的档位即可参数值特点Q4_K_XL24–32 GB 起步档官方基准就基于它IQ4_XS4-bit 中上下文余量最大Q5_K_XL/Q6_K_XL32 / 48 GB 高保真选择Q8_0参考级精度⚠️ 说清楚它不是什么官方 UD-* 档位是在这份 imatrix 之上叠加了逐张量 Dynamic 配方并内置 Sharp 聊天模板普通llama-quantize产物两者都不含出处README.md。日常使用差距很小追求与官方逐字节一致才需要复刻完整配方。 跑起来并开启 MTP 多 token 预测加速llama-server -m out.gguf -ngl 99 --jinja --spec-type draft-mtp--spec-type draft-mtp会让 MTP 头真正开始工作不加该参数时 MTP 张量完全不生效DIY 版同样包含 MTP 头它就在上游 BF16 权重里量化后照常随文件保存。视觉能力使用仓库共享的 mmproj-BF16.gguf。采样参数temperature 1.0、top_p 0.95、top_k 20agent 编码场景官方使用temperature 0.6。想压榨性能就扫一下两个旋钮--spec-draft-n-max每步草拟多少 token与--spec-draft-p-min低于该概率的草拟直接丢弃。注意以 tok/s 而非接受率判断——官方实测最佳组合比关闭 MTP 快 22%而接受率最高的组合反而更慢细节见 README.md 的扫参表。❓ 常见问题QDIY 版和官方 UD-档的 MTP 头有区别吗* 有。官方 MTP 版把 MTP 头固定在约 0.9 GB 的独立精度每个档位同一精度DIY 版则跟随目标档位位宽一起量化日常体验差异很小。Q16 GB 内存该 DIY 哪个格式优先IQ3_XXS14.1 GB比 Q2_K_XL 多不到 1 GB 但能力差距明显Q2 只算最后手段。Q量化命令报错或产物异常确认 imatrix 与 BF16 源文件来自同一模型系列imatrix 必须与源模型结构一致才能生效混用不同模型的 imatrix 会导致结果不可用。Q官方档和 DIY 档怎么选内存正好落在官方档位上 → 直接下载官方文件更省事需要非发布格式、或想理解量化原理 → 用本教程一条命令自制。赞分享【免费下载链接】Tiel-Coder-35B-A3B-GGUF-MTP项目地址https://ai.gitcode.com/hf_mirrors/peculiar-ragdoll/Tiel-Coder-35B-A3B-GGUF-MTP点击查看免费下载相关推荐Tiel-Coder-35B-A3B-GGUF-MTP量化原理揭秘:4900万字符imatrix与Unsloth Dynamic如何保住Q4精度Tiel Coder 35B A3B GGUF MTP量化原理揭秘:4900万字符imatrix与Unsloth Dynamic如何保住Q4精度 Tiel Co10分钟跑通Tiel-Coder-35B-A3B-GGUF-MTP从下载到llama-server部署的入门完整教程10分钟跑通Tiel Coder 35B A3B GGUF MTP从下载到llama server部署的入门完整教程 Tiel Coder 35B A3B GTiel-Coder-35B-A3B-GGUF-MTP量化版本选择指南Q2到Q8共9档GGUF显存与内存怎么配才不花冤枉钱Tiel Coder 35B A3B GGUF MTP量化版本选择指南Q2到Q8共9档GGUF显存与内存怎么配才不花冤枉钱 Tiel Coder 35B A创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
