都在卷生成式大模型近 6000 星的 Kev 提醒我们决策模型的生意【免费下载链接】kevJev-like family of decision models built on top of Qwen3.5/3.8 you can train and run on your own项目地址: https://gitcode.com/gh_mirrors/kev2/kev当几乎所有开源项目都把能写会聊当作模型能力的度量衡时一个只输出概率分布、连文本都不生成的模型家族却在 GitHub 上收获了近 6000 星。Kev 是一个 Jev-like 的决策模型家族构建在 Qwen3.5/Qwen3.8 之上核心卖点只有两个你可以训练它也可以在自己的机器上运行它README.md。它实现的 API 与 TypeSafe 的 System One 完全兼容——换句话说它是商业决策模型服务的开源平替而且把训与跑两个环节全部交还给了用户。这篇文章想回答一个更本质的问题在生成式模型如此便宜好用的今天为什么一个不生成的模型反而成了社区追捧的对象答案藏在决策场景的单位经济里。下面结合仓库源码与社区讨论拆解它的架构设计、性能账本与生态打法。一、生成式大模型在企业决策场景是杀鸡用牛刀先看决策任务长什么样工单分诊、内容审核、意图分类、合规判定、路由选择。这类任务的输出空间是有限的、事先定义的类别集合而不是开放式文本。判断这封投诉该由退货组还是账单组处理答案要么是 returns、要么是 shipping、要么是 billing——不存在生成一段小作文的需求。生成式模型做这件事代价是结构性的自回归解码逐 token 生成延迟随输出长度线性增长且输出长度不可控采样引入的随机性与幻觉在高置信度答错面前毫无防御力结构化输出要靠 prompt 约束加 JSON 校验兜底仍然无法保证合法。Kev 的应对是把决策做成一个纯前向的打分问题。在 kev/model.py 里每个 checkpoint 是 Qwen base 上的一个 rank-16 LoRA adapter 加一个极小的指针头PointerHead。文本处理是 prefill-onlystate 与若干问题被编码进一个 token 序列指针头对每个选项的/opt隐藏状态与问题的decide隐藏状态做内积打分softmax 得到概率。全程没有自回归、没有采样、没有任何 token 被生成。state …state… q instructions opt option 1 /opt opt option 2 /opt … decide q instructions opt option 1 /opt opt option 2 /opt … decide这个格式同时揭示了两个设计答案空间完全由请求方给出模型不发明选项每个问题能读 state 但读不到其他问题问题间严格隔离。在 kev/api.py 中API 层把 TypeSafe 的三原语——noul是非、choice多选、score有序打分——映射到同一个指针原语上一次请求可以携带任意多个问题。也就是说同一份文本回答 N 个问题是它的原生形态而这恰恰是风控、审核、工单处理这类业务的标准姿势。确定性是这个设计真正的护城河。同一份输入得到同一份概率分布概率本身还经过校准——每个 checkpoint 出厂时带一个拟合温度Kev-4B 为 2.41见 docs/model-cards/kev-4b.md。对工程团队来说这意味着阈值可以直接写进规则引擎、可以直接做 A/B、可以审计。生成式模型在这些场景里是杀鸡用牛刀——牛刀够锋利但鸡舍容不下。二、决策模型的单位经济低延迟、低显存、高一致性社区对 Kev 的普遍评价里出现频率最高的词是低延迟、高一致性、协议合规。这些评价背后是仓库里一张张可复现的性能表README.md 的 Serving Performance 一节可以逐项折算成账。延迟账本。Kev-4B 回答一份新短文本上的六个问题模型时间在 H100 上是 18.1ms、在 L40S 上是 41.5ms一个 H100 容器在 64 并发下可吞吐约 100 请求/秒。Kev-0.8B 在 L4 上是 22.7ms、62.8 req/s。即便是 Apple SiliconM5 上五问也只要 721ms文本重复时走缓存降到 136ms。生成式模型在这个量级上很难——一个 4B 模型生成 300 token 的 JSON通常就要几百毫秒起步。显存账本。Kev-0.8B 可以在 4GB 显存的卡上跑这也是社区TypeSafe 的 Jev 已有开源克隆版、免费即可在 RTX 3090 上运行说法的来源Kev-4B 常驻显存约 14.3GB一张 24GB 消费卡或 32GB Mac 即可Kev-27B 需要 51GB 权重加服务缓冲落在一张 80GB 数据卡上。长文档路径上Kev-4B 通过 MLX 在 32GB M5 上读完 65,000 token 的文档峰值内存只有 13.0GB。做到这一点的关键在 kev/model.py 与 kev/serve.pystate 只编码一次、前缀 KV 缓存复用PrefixCache问题行按 16,384 token 的预算分批前向内存不随问题数量增长。成本账本。把上面两张表折算成钱H100 每小时 3.95 美元、满载约 100 req/s摊到每个请求的 GPU 成本约 1.1e-5 美元0.001 美分量级Kev-0.8B 的宿主是 0.80 美元/小时的 L4且部署在 Modal 上空闲自动缩零skills/kev-deploy/README.md——不用的 endpoint 不花钱。训练端更夸张用 kev-finetune 技能在 H100 上微调一次 Kev-4B成本约 1 美元。当一次微调比一台开发机一天的折旧还便宜时私有化决策模型就不再是预算问题而是愿不愿意的问题。一致性账本。这才是决策模型区别于生成式模型的核心竞争力。Kev-9B 的校准误差经出厂温度从 0.103 压到 0.041高置信答错率概率 ≥ 0.9 且答错从 8.2% 降到 2.4%——低于 Jev 的 3.7%面对证据被移除、答案不可知的记录Kev-9B 以 ≥ 0.9 置信度硬答的比例是 0%而 Jev 是 9%。在 5% 错误预算下Kev-4B/9B/27B 可以自动化 52%–69% 的未见来源决策。对业务方而言模型说 95% 就是 95%是可以直接写进 SLA 的承诺这是采样式文本生成永远给不了的。能力上Kev 也没有为省成本牺牲太多。Kev-27B 在新来源上准确率 0.851与 Jev 的 0.857 只差 1 个点11 个新来源类别中 9 个与 Jev 的差距在 3 个点以内锁定的 transfer-v4 测试集上达到 0.889docs/releases/kev-1.0.md。诚实的部分同样写在明处知识类问题被 base 模型锁定MMLU-Pro 0.675 对 Jev 的 0.840、日期算术是最弱项靠KEV_DATE_FACTS1预处理补救、0.8B/4B/9B 的长文档泛化止步于训练长度。把短处写进 model card本身就是工程信任的一部分。三、Kev 现象对 AI 创业方向的启示把 Kev 放到开源生态里看它的走红不是偶然。社区里类 Jev 项目从入门到实战的系列教程、Jev/Kev/Laya 的选型对比讨论最终收敛到同一个结论选型的关键不在于零样本性能而在于能否把业务规则、语言和类别体系注入模型。Kev 是这条链路上唯一支持领域数据注入的开源方案——而能不能注入正是决策模型这门生意的分水岭。可自训让模型从租赁品变成资产。hosted 决策模型按调用计费、不可再训、数据出境有合规风险Kev 用 kev-finetune 技能把整个闭环产品化了描述决策负载workload.json→ 规划数据量 → 生成或转换标注数据 → Modal 上微调 → 校准温度 → 与未微调模型对比 → 部署 → 销毁一个编码代理即可跑完skills/kev-finetune/README.md。效果是可量化的示例工单负载上1050 条生成数据、15 分钟 H100Kev-4B 从 67.7% 提到 73.6%5% 错误预算下可自动化决策的比例从 34% 提到 48%真实消费金融投诉数据5,219 条、一个 epoch在未见样本上从 0.804 提到 0.904。从 kev/train.py 的--init_from可以看到这条路径的设计意图从已发布 checkpoint 出发微调保留通用决策能力、只叠加领域增量——一次微调约 1 美元门槛低到值得为每个业务线各训一个。决策模型的生意本质是单位经济的生意。生成式模型的商业故事建立在内容价值上决策模型的商业故事建立在每一次调用都便宜、稳定、可验证上。Kev 展示的是一条完整的闭环模型层 Apache-2.0 免费、底座 Qwen3.5/Qwen3.8 同样 Apache-2.0LICENSE服务层通过 TypeSafe SDK 兼容做到零迁移成本部署层缩零到按分钟计费训练层 1 美元跑一次微调。它把一个曾经只存在于闭源 API 里的能力做成了算得清账的生意。对任何做 B2B AI 的团队这套账本都是可以直接照抄的定价模型。认真做评测基建本身就是差异化。这个仓库最容易被低估的部分是它的评测纪律evals/下的评测套件全部冻结记录数据集版本与文件哈希每个 checkpoint 的测试集只允许读一次locked testREADME 与 model card 里的每个数字都指向提交的报告由 CI 用 scripts/verify_claims.py 校验连哪些外部测试集不合格、为什么被移除都写进了发布说明docs/releases/kev-1.0.md。在宣称能力满天飞的开源世界把每个数字钉死在源码上的做法让 Kev 的 benchmark 表格具备了罕见的可信度——对采购决策模型的客户来说这比任何营销材料都有说服力。产品化层面同样值得抄作业playground/是一个本地 Next.js UIREADME.md 的 Playground起一个页面就能编辑文本与问题、对比打包提问 vs 逐问前向、用 permute 检查选项顺序敏感性甚至用国际象棋做演示——棋盘当输入、合法走法当选项、用 Score 问题给局面打分space/app.py 则把 Kev-4B 与 Kev-0.8B 直接搬上 Hugging Face Spaces浏览器里零安装试用。对先体验再买单的 B2B 产品从 Space 到 Playground 到 SDK 兼容的触达链路本身就是可复制的增长模板。最后回到那个反差生成式大模型占据了几乎全部舆论与算力而近 6000 星投给了一个不会说话的模型。Kev 的启示不在模型本身而在于它提醒我们当成本结构清晰、输出可验证、数据可以私有化沉淀时AI 在企业的落地才真正开始算生意。【免费下载链接】kevJev-like family of decision models built on top of Qwen3.5/3.8 you can train and run on your own项目地址: https://gitcode.com/gh_mirrors/kev2/kev创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
