大模型模型量化本地部署人工智能NLP【免费下载链接】d1a-e4b-it-8bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/d1a-e4b-it-8bit点击查看免费下载D1A-E4B-it 是面向 Apple Silicon 的小型决策模型给它一份文档加几个问题一次前向即返回每个选项的校准概率。本仓库是它的 MLX 8-bit 量化版而 d1a_config.json 就是这份模型的「参数蓝图」——温度校准值 1.55 是怎么来的、LoRA rank 16 如何合并进底座、group_size 64 的 8-bit 量化策略本文逐条讲清。 快速上手参数蓝图里都有什么d1a_config.json 的顶层字段一览字段值含义formatd1a-mlxD1A 的 MLX 构建标识basegoogle/gemma-4-E4B-itrevisionee0ef602底座模型lora16LoRA 秩ranktemperature1.5511447618337346全局校准温度leading_ids/bos_id[2]/2输入必须前置的bostoken idquantization8-bit / group 64 / affine量化策略下文详解headhead.safetensorsfp32 指针头权重️ 温度 1.55 校准这个数字是怎么来的对决策模型来说temperature不是「创造力开关」而是概率校准参数logits 除以温度后输出的概率才真正等于「它说多自信就有多大概率是对的」。121 点网格搜索法temperature_fit字段完整记录了校准过程d1a_config.json#L38-L97搜索空间0.25 ~ 4 之间的 121 点对数网格目标函数最小化 micro 平均 NLL负对数似然校准集共 3178 条——evals/v7/decision-v7校准切分 1148 题 evals/d1a/pr-labels开发切分 2030 题见 fit_rows结果1.551144761833734690% 置信区间 [1.481, 1.625]。5 折交叉验证会不会过拟合5 折交叉验证按来源分层、1670 组的对比结果指标rawout_of_fold折外ECE预期校准误差0.05660.0154NLL0.50450.4587Brier 分数0.25130.2436自信错误率3.52%1.60%折外 ECE 从 0.057 降到 0.01595% CI [0.011, 0.030]说明 1.55 不是在训练集上背出来的泛化性是可靠的。分场景温度routing 约 1.20use_case_temperature_fits还给出了routing请求路由场景的专属校准315 题270 题机器生成 45 题人工标注5 折温度集中在 1.15 ~ 1.26取值约 1.20390% 置信区间 [0.912, 1.382]。注意use_case_temperatures字段目前为空——这个 8-bit 构建随包发布的只有全局温度 1.55场景温度只是「已拟合、未启用」的状态。 LoRA 合并为什么它「不再聊天」d1a_config.json#L4-L8 中的两条记录交代了这份构建的身世adapter_sha256LoRA 适配器的 sha256 指纹e6528711…lora: 16source: stage2rank 16 的适配器、来自第二阶段训练。也就是说本仓库不是「底座 独立适配器」而是把 rank 16 的 LoRA直接合并进了 Gemma 4 E4B-it。直接后果有两个只用于决策骨架权重已偏离原版 Gemma 4 E4B-it用它做开放式对话输出不可靠少一个文件仓库里没有单独的 LoRA 文件合并后的权重就在 model-00001-of-00002.safetensors 和 model-00002-of-00002.safetensors 里。另外head字段指向的 head.safetensors约 5.2 MB是fp32 指针头——它把隐藏状态映射成各选项的概率是全模型里唯一保持全精度不量化的部分专门保住校准质量。 8-bit 量化参数全解group_size 64 affinequantization字段与 config.json 中的quantization_config完全一致参数值含义bits8线性层量化位宽group_size64每 64 个权重为一组modeaffine组内 scale zero-point 仿射量化embed_tokens_per_layer4-bit / group 64per-layer token 词嵌入进一步压到 4-bitdtypebfloat16运行时计算精度「分组 affine」意味着每 64 个权重共享一组缩放与零点比整层 8-bit 更稳定。代价上文本模型磁盘约 6.1 GB74.6 亿参数见 model.safetensors.index.json另加 media/ 下约 0.9 GB 的照片 / 语音 / 视频编码器。量化没吃掉多少质量吗M1 Max 上与未合并的 8-bit 聊天构建对比quality gate478 道问题里只变了 4 个答案最大概率变化 0.073模型耗时仅 1.01 倍。 Token ID三个容易踩坑的细节leading_ids: [2]模型训练时每条记录都以bosid 2开头。Gemma 的 tokenizer 默认不会帮你加——如果你自己编码输入务必手动前置 id 2否则输入就「分布外」了delimiter_ids: [6,7,8,9,10]选项分隔用的特殊 id决策模型就是对这几个位置算概率pad_id: 0填充 token id。 2 分钟快速上手MLX 上加载与部署安装带 serve、mlx、media 扩展的 d1a SDK 后按模型 ID 直接加载from d1a import D1A m D1A.load(mlx-community/d1a-e4b-it-8bitv0.6) m.decide(The customer was charged twice for the same order and wants a refund today., {team: {type: choice, instructions: Which team handles this?, criteria: {billing: None, shipping: None, support: None}}})或者直接起一个服务python -m d1a.serving.serve --run mlx-community/d1a-e4b-it-8bitv0.6 --port 8009 仓库文件地图文件说明d1a_config.jsonD1A 参数蓝图温度、LoRA、量化、token idconfig.json模型架构与量化配置MLXmodel-00001-of-00002.safetensors / model-00002-of-00002.safetensors合并 LoRA 后的 8-bit 量化权重head.safetensorsfp32 指针头media/视觉 / 语音 / 视频编码器约 0.9 GB与底座一致tokenizer_config.json分词器配置bos等特殊 tokenchat_template.jinja聊天模板服务于未合并的聊天构建README.md项目说明与质量对比数据❓ 常见问题温度 1.55 需要为 8-bit 构建重新校准吗不需要。该值来自原始训练 run且 8-bit 构建的质检只翻转了 478 题中的 4 个答案直接沿用即可。这个模型能聊天吗不能。LoRA 已合并骨架不再是原版 Gemma 4 E4B-it本构建只支持 D1A 决策任务想聊天需用未合并的适配器构建。为什么 head 单独存 fp32指针头直接决定输出概率保持全精度可避免量化拖累校准效果——这也是d1a_config.json把它与主体权重分开存放的原因。赞分享大模型模型量化本地部署人工智能NLP【免费下载链接】d1a-e4b-it-8bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/d1a-e4b-it-8bit点击查看免费下载相关推荐4-bit、8-bit 还是 16-bitMiniCPM5-2B-chat-mlx-16bit 量化版本选型终极指南4 bit、8 bit 还是 16 bitMiniCPM5 2B chat mlx 16bit 量化版本选型终极指南 MiniCPM5 2B chat mlx大模型本地部署模型量化openBMBLMFlow量化训练终极指南4-bit/8-bit QLoRA实现低资源部署LMFlow量化训练终极指南4 bit/8 bit QLoRA实现低资源部署 LMFlow是一个强大的深度学习模型优化工具箱专为大语言模型的高效微调而设计。人工智能大模型微调强化学习RLHF模型评测4-bit vs 6-bit vs 8-bitAREX-Turbo-4bit 量化变体对比与选型终极指南4 bit vs 6 bit vs 8 bitAREX Turbo 4bit 量化变体对比与选型终极指南 AREX Turbo 4bit 是 BAAI/上一篇5分钟快速上手jrnl终极命令行笔记神器完整指南下一篇Tutel MoE社区贡献指南如何参与微软开源MoE框架的开发创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
