人工智能大模型模型推理服务微调模型评测【免费下载链接】JEV-35B项目地址https://ai.gitcode.com/hf_mirrors/autotrust/JEV-35B点击查看免费下载JEV-35B 是 AutoTrust 开源的 System 1 决策模型一次推理即可在最多 256 个候选中做出选择并给出可直接当置信度用的概率。它概率可信的秘密不在更大的模型而在一套极轻量的 JEV-35B 校准机制——逐类型温度per-kind temperature 决策头偏置head bias两者合计只多了 264 个 bias 值和 3 个温度标量。本文将这套校准原理完整拆开讲给你听。 为什么选得对不等于概率可信决策模型的价值不只是选对答案而是输出的概率本身要站得住脚。如果模型说有 95% 的把握那它长期来看应该真的对 95%。衡量这件事的标准指标是ECEExpected Calibration Error期望校准误差把预测概率按区间分桶看声称的置信度与实际准确率的差距。JEV-35B 在发布前用专用诊断集做了一组对比记录在 calibration.json 的diagnostic_calibration_split中指标校准前 (raw)校准后 (calibrated)变化ECE期望校准误差0.001620.00157↓ 更低MCE最大校准误差0.005740.00511↓ 降低约 11%KL 散度0.022300.02227↓ 更低MCE 的改善最直观校准前最失准的那个概率区间偏差从 5.7 个百分点收窄到 5.1 个百分点。对于要拿概率做阈值判断比如置信度低于 80% 就转人工的工程场景这正是最关键的收益。 概率从哪里来264 槽位的决策头理解校准之前先要知道概率的原材料是什么。JEV-35B 没有独立的分类器。它把决策头合并进了语言模型输出层lm_head的 264 行每行对应一个槽位 token类型 (kind)槽位区间槽位含义用途noul0–2false/true是/否判断score2–80–5打 0 到 5 分choice8–264A–JU256 个标签2–256 选 1槽位布局定义在 judge_config.json 的slots.ranges中。推理时System 1 只读取提示词最后一个 token 的隐状态取出对应类型激活槽位的 logit 做 softmax得到概率分布模板形如[kind] choice\n[state] ...\n[question] ...\n[options]\nA) ...\n[decision]:详见 README.md 的 Engine and read-out 一节。 关键点模型原始输出的是logprob对数概率还不是校准过的概率。校准就发生在这之后——⚖️ 第一层校准头偏置head bias模型对第 1 个选项和第 200 个选项并不是天生公平的语言模型对字母标签存在系统性位置偏好某些位置的选项会拿到虚高的 logprob。头偏置就是给每个槽位加一个训练学出来的小砝码把这种系统性偏差掰回来。全部 264 个 bias 值存放在 adapter_vllm/decision_head.json 的bias数组里几个有代表性的值槽位bias解读false/truenoul0.0008 / −0.0008几乎为零是/否两个方向本来就很对称0–5score−0.0045 ~ 0.0033量级很小评分刻度基本无偏Achoice 首槽−0.0024轻微下调A→JUchoice 后段槽位逐渐降到约 −0.04后段选项被系统性压低抵消位置偏好可以看到一个清晰规律choice 的 bias 整体为负、且越靠后的槽位越负——说明原始模型确实倾向于高估靠后选项的概率bias 就是在做针对性矫正。这些 bias 不在模型权重里而是由服务端在每次推理后客户端添加bias client-side见 judge_config.json 的system1_merged.decision_head这样同一个 checkpoint 可以配合不同的 bias/温度版本使用。️ 第二层校准逐类型温度per-kind temperature如果 bias 解决的是某个选项系统性偏高/偏低温度解决的是整体分布太尖或太钝的问题。温度T作用于整个分布T 1分布更尖——提升置信度模型偏保守时用T 1分布更平——压低置信度模型过度自信时用JEV-35B 为三种kind分别拟合了温度calibration.json 的per_kind类型温度 T含义noul0.984略微调尖——是/否判断略偏保守需要一点置信度choice1.012略微调平——多选项选择略偏过度自信score1.008轻微调平——评分分布几乎已经很准这三个值是在10,954 条标注行上拟合得到的fit字段noul 4,363 条、choice 3,418 条、score 3,173 条见 calibration.json。拟合以 KL 散度为目标三种类型的kl_after均低于kl_before例如 choice 从 0.04634 降到 0.04631——单看数值提升不大但它是不牺牲任何排序能力softmax 的 argmax 在 T0 时不变的前提下的免费校准。 为什么按类型分开调因为不同任务形态的分布形状天然不同二分类只有 2 个槽位、256 选 1 有 256 个槽位它们的过度自信程度根本不一样。一个全局温度顾不过来逐类型温度才是正解。 一行公式看懂完整链路整条校准链路在 serve_decide.py 的第 282 行浓缩成一行softmax([ (logprob_i bias_i) / T_kind for i in active_slots ])拆开看就是三步读取 logprob在提示词末尾一次性读出所有激活槽位的 logprob服务端强制top_k0, top_p1.0保证拿到完整分布不被截断见 serve_decide.py加头偏置每个槽位加上自己的 bias修正位置系统性偏差除温度再 softmax用该类型的温度缩放分布得到最终概率。温度在服务启动时从calibration.json加载serve_decide.pybias 从decision_head.json加载全程对调用方透明——你调POST /v1/decide拿到的probabilities已经是校准后的结果。️ 如何使用与验证快速启动需 80 GB 以上显存小显存可用 NVFP4 版下载约 25.6 GBhf download autotrust/JEV-35B --local-dir JEV-35B bash JEV-35B/serve.sh # 启动 vLLM监听 :8000查看当前生效的温度——GET /v1/decide/info会直接返回temperatures字段及默认策略serve_decide.pycurl localhost:8000/v1/decide/info发起一次校准后的决策curl localhost:8000/v1/decide -H Content-Type: application/json -d { kind: choice, state: Customer message: my card was charged twice for the same order., question: Which team should handle this ticket?, options: [billing, shipping, technical support, account security]}响应里的probabilities即可用于阈值判断。⚠️ 唯一需要注意的场景如果你绕过/v1/decide直接调 vLLM 的/v1/completions就要自己传top_k: 0和top_p: 1.0并手动补上 head bias 和温度——否则拿到的只是未校准的 logprob。 关键文件导览文件作用calibration.json逐类型温度 拟合统计 诊断集校准前后对比adapter_vllm/decision_head.json264 个槽位的 bias、verbalizer id 与槽位布局judge_config.json槽位区间、verbalizer 表、读出的方式last_tokenserve_decide.pySystem 1 推理主流程bias 温度的应用点README.mdEngine and read-out决策头与读出的官方说明✅ 小结JEV-35B 的决策概率来自合并进lm_head的 264 槽位决策头按kind取激活槽位做 softmax头偏置逐槽位修正模型的位置系统性偏差choice 后段槽位被压低约 0.04逐类型温度noul 0.984 / choice 1.012 / score 1.008分别微调三种任务形态的分布形状两层校准加起来零额外推理开销却让 MCE 下降约 11%概率真正说 95% 就是 95%调用/v1/decide即可直接获得校准后的概率适合做置信度阈值与风险分级。理解了这套机制你就能把 JEV-35B 的概率当作工程级信号来使用而不只是模型猜的一个数。赞分享人工智能大模型模型推理服务微调模型评测【免费下载链接】JEV-35B项目地址https://ai.gitcode.com/hf_mirrors/autotrust/JEV-35B点击查看免费下载相关推荐openpilot 开源驾驶辅助上手指南335 款车免费升级智能巡航openpilot 开源驾驶辅助上手指南335 款车免费升级智能巡航 想给车升级智驾却被动辄几万元的选装价劝退其实有一条零软件费用的路openpilot自动驾驶人工智能计算机视觉深度学习机器人scikit-learn 概率校准完全指南用 CalibratedClassifierCV 让分类器输出可信概率scikit learn 概率校准完全指南用 CalibratedClassifierCV 让分类器输出可信概率 本文基于 sklearn 0.21.3 中文文档机器学习教程Ludwig 概率校准指南基于温度缩放Temperature Scaling的模型输出校准Ludwig 概率校准指南基于温度缩放Temperature Scaling的模型输出校准 概率校准Probability Calibration是让人工智能深度学习机器学习大模型预训练微调LoRA多模态NLP计算机视觉模型推理服务创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
