人工智能大模型模型推理服务微调模型评测【免费下载链接】JEV-35B项目地址https://ai.gitcode.com/hf_mirrors/autotrust/JEV-35B点击查看免费下载JEV-35B是基于 Qwen3.5-35B-A3B 微调的 System 1 决策模型它不聊天、不生成文本而是把在若干选项中做出选择这件事压缩成一次推理并输出经过校准的概率。本文带你剖析它随仓库附带的 serve_decide.py看懂它如何用不到 500 行代码给标准 vLLM OpenAI 服务外挂出一个POST /v1/decide决策端点以及 serve.sh 是如何把它一键启动的。一、先看效果一个决策请求长什么样启动服务后客户端只需要一次 HTTP 调用curl localhost:8000/v1/decide -H Content-Type: application/json -d { kind: choice, state: 客户留言同一订单被扣款两次。, question: 这张工单该由哪个团队处理, options: [billing, shipping, technical support, account security]}返回包含options、probabilities、choice、choice_index和usage的 JSON。kind支持三种类型noul是/否、score0–5 打分、choice2–256 个选项一次读完。请求结构体定义在 serve_decide.py#L95-L108 的DecideRequest中state允许传字符串、JSON 对象或文本与图片混合的列表因此同一个端点同时覆盖纯文本和视觉决策。二、核心技巧给 vLLM 的 build_app 打补丁整个文件最关键的注入点只有短短几行位于 serve_decide.py#L453-L463_build_app entry.build_app def build_app(args, *a, **kw): app _build_app(args, *a, **kw) # 先让 vLLM 构建标准 OpenAI 应用 setup(args) # 再初始化决策头、温度、标签 app.include_router(router) # 把 /v1/decide 路由挂进去 return app entry.build_app build_app # 替换 vLLM 入口的构建函数手法是典型的猴子补丁serve_decide.py先保存 vLLM 原始build_app再用自己的版本替换vllm.entrypoints.launchers.api_server.entry.build_app。由于 vLLM 的--port、--max-model-len等全部参数原样可用serve_decide.py 本质上就是一个加了自定义路由的 vLLM 启动器命令行标志与vllm serve完全一致。文件末尾的entry.main()serve_decide.py#L465-L466则完全复用 vLLM 的启动流程。路由器本身只有两个端点serve_decide.py#L378-L387GET /v1/decide/info返回协议版本、最大选项数、各类温度和服务端默认值方便客户端自检POST /v1/decide核心决策入口。三、setup()决策头与校准参数从哪来JEV-35B 的一个亮点是决策头已经融合进模型权重264 槽位的决策头被合并进lm_head中槽位 tokenA–JU、false/true、0–5对应的行槽位布局记录在 judge_config.json 中noul占 0–2score占 2–8choice占 8–264。所以 vLLM 加载的是一个普通 checkpoint无需 LoRA。setup(args)serve_decide.py#L112-L171在应用构建时完成四件事定位决策头文件检测环境变量JEV_DECIDE_MERGED_HEAD。JEV-35B 走融合路径读取 adapter_vllm/decision_head.json文件末尾标注merged: true与wide256布局并注明决策 logit verbalizer 词元的 logprob bias再除以每类温度adapter_vllm/decision_head.json#L819-L822。读取校准温度从 calibration.json 的per_kind取noul/score/choice三类各自的温度系数约 1.0 附近的小数用于 softmax 前的缩放保证输出概率说得准。验证选项标签用 tokenizer 确认A、B…AA、AB…这些标签在 prompt 上下文中都是单 token并断言前 16 个标签的训练顺序与decision_head.json的verbalizer_ids一致serve_decide.py#L139-L151。预计算思考模板前/后缀为可选的 System 2 推理通道准备 chat template 切分结果JEV-35B 场景下被JEV_DECIDE_SYSTEM20关闭。所有结果存入全局字典S供后续请求复用做到零重复计算。四、POST /v1/decide 内部流程一次读出两步校准主路由decideserve_decide.py#L390-L450的处理链路可以概括为格式化 → 单 token 读出 → 加 bias → 除温度 → softmax步骤实现位置说明1. 参数校验serve_decide.py#L393-L398choice必须有 2–256 个选项2. 拼装裸文本 promptserve_decide.py#L279-L280[kind]/[state]/[question]/[options]/[decision]:结构3. 单 token logprob 读出serve_decide.py#L246-L265只生成 1 个 tokenmax_tokens1、top_k0读取完整分布4. 叠加 bias 与温度serve_decide.py#L282(logprob bias) / T后再 softmax5. 组装响应serve_decide.py#L441-L447概率、选中项、token 用量、耗时两个工程细节值得一提两种读出路径互为兜底_logprobs_once优先用allowed_token_ids把下一个 token 限制在槽位词元集合内当服务端的--max-logprobs不够大时自动切换为logprob_token_ids分块请求每块 128 个vLLM 的上限。serve_decide.py#L226-L243超 16 选项的智能策略JEV-35B 是wide256宽头256 个选项一次读完但代码同样实现了tournament分组预选16 强决赛与permute4 种顺序平均策略serve_decide.py#L297-L325同一套代码可复用于只有 16 个训练槽位的 JEV-27B / GEV 系列。五、一键启动serve.sh 的关键环境变量serve.sh 只有十几行却把两个开关交代得很清楚export JEV_DECIDE_MERGED_HEAD$MODEL_DIR/adapter_vllm/decision_head.json JEV_DECIDE_SYSTEM20 exec python3 $MODEL_DIR/serve_decide.py --model $MODEL_DIR \ --logprobs-mode processed_logprobs --max-logprobs 256 \ --max-model-len ${MAX_MODEL_LEN:-65536} --port ${PORT:-8000} ...JEV_DECIDE_MERGED_HEAD告诉setup()走融合头分支无需--lora-modulesJEV_DECIDE_SYSTEM20JEV-35B 是纯 System 1 模型无思考模式直接禁用思考通道--max-logprobs 256与 256 槽位对齐让单路径即可读全分布。完整启动方式见 README.md 的 Quick start 小节。六、小结这个方案好在哪设计点带来的好处猴子补丁build_app而非 fork 整个服务跟随 vLLM 版本升级成本极低标志位 100% 兼容决策头融合进lm_head槽位词元vLLM 按普通模型加载无 LoRA 开销bias 温度外置于 JSON 文件校准参数可独立更新不碰权重单 token 读出max_tokens1决策中位数延迟仅 184 ms文本单张 B200如果你希望给任何单 token 判定型模型分类、打分、选择题加一个类型化 APIserve_decide.py的补丁 build_app 词元槽位读出 外置校准三步法是一个可以直接抄作业的模板。更多端点行为与基准数据可查阅 README.md 的 API 说明与 reports/demos/ 中的逐集结果。赞分享人工智能大模型模型推理服务微调模型评测【免费下载链接】JEV-35B项目地址https://ai.gitcode.com/hf_mirrors/autotrust/JEV-35B点击查看免费下载相关推荐vLLM-Omni 图像编辑 API 实战OpenAI 兼容的 /v1/images/edits 端点与源码实现剖析vLLM Omni 图像编辑 API 实战OpenAI 兼容的 /v1/images/edits 端点与源码实现剖析 本文基于 vLLM Omni 官方文档人工智能大模型模型推理服务多模态语音音频媒体生成本地部署开源项目版本管理深度解析如何让老设备持续获得新生开源项目版本管理深度解析如何让老设备持续获得新生 还在为老旧设备无法享受最新系统功能而烦恼吗开源项目的版本管理机制正成为解决这一问题的关键利器。通过智能的版操作系统固件驱动开发VLLM加速实战NVIDIA-Nemotron-Parse-v1.1-TC推理性能优化指南VLLM加速实战NVIDIA Nemotron Parse v1.1 TC推理性能优化指南 NVIDIA Nemotron Parse v1.1 TC是一款基创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
