Jev 之下众生混战laya-mlx 如何夹在 StartLux、CLM-8B、Clef 之间找位置【免费下载链接】laya-mlxNative MLX runtime for Laya typed decision models — 7–14 ms short decisions on M3 Max. No text generation, PyTorch, or cloud API.项目地址: https://gitcode.com/gh_mirrors/la/laya-mlx2026 年的决策模型赛道正在经历一场教科书级的范式验证先是 TypeSafe 的 Jev 以System 1、不聊天、只判断的姿态引爆社区紧接着开源阵营在 48 小时内完成密集复刻随后中国团队的 StartLux、斯坦福与 NVIDIA 联手的 CLM-8B、云厂商 Cloudflare 的 Clef 相继下场。一夜之间快判断从一个人的王座变成了一片混战之地。而在这条拥挤的赛道里laya-mlx 选择了一个最不像主流的站位——既不去争第一快也不去比谁参数大而是把开源决策模型 Laya 完整移植到 Apple Silicon 的 MLX 运行时上宣称7–14 毫秒完成一次类型化决策、零输出 token、彻底移除 PyTorch 与云端 API。这篇文章要做的事很具体先把战场地图摊开说清楚 Jev、StartLux、CLM-8B、Clef、Laya 各自在拼什么再拆开 laya-mlx 的源码与基准数据看它夹在巨头之间究竟拿出了什么真东西最后回答那个最关键的问题——Mac 端侧这个细分坑位到底有没有护城河。战场地图Jev 点起的那把火和它脚下的五家要理解这场混战得先回到引爆点。TypeSafe 推出的 Jev 是一款闭源的 System 1 决策模型不做对话生成只对结构化状态给出类型化判断与校准概率宣传口径是比 Claude 快 193 倍。它点燃社区的不仅是速度更是一种思路——把判断从大模型里单独拆出来做成一个可调用的原语。但社区很快发现这层快判断薄得几乎没有技术壁垒开源圈用 48 小时就复刻了接口范式真正的难点不是推理速度或架构而是 RLCD 训练实现的置信度校准能力如 ECE 指标——那依赖私有数据管线与持续标定方法论很难被短期复刻。于是混战从复刻接口升级为拼差异化五个玩家五条路线JevTypeSafe闭源 API强调开箱即用与高基数分类泛化占据标杆生态位LayaConvAI InnovationsApache-2.0 全栈开源421M 参数、ModernBERT 编码器、单次前向 33ms、支持 100 语言路由社区报道称其推理速度快 Jev 4–8 倍本地 1GB 内存即可运行StartLux据 36Kr 报道这家中式开源决策模型直接把 Jev 从榜首请了下来CLM-8B斯坦福 × NVIDIA8B 参数的大体量路线主打速度是 Jev 的 9 倍——用更大模型换更强能力与更高吞吐ClefCloudflare云厂商下场把决策模型当成基础设施产品做。而 laya-mlx 不在这个名单里。它不是新模型而是 Laya 在 Apple Silicon 上的原生 MLX 移植——一份只做推理与转换、不做训练的运行时。它夹在开源替代 Jev与云厂商做基础设施之间选了一个谁都没认真占的坑Mac 端侧。速度之外这一波决策模型真正在拼什么先对齐一个共识这一代决策模型的共同范式是非自回归的单次前向推理。Laya 的三个决策原语很能说明问题——choice命名选项上的概率分布、score有序量表等级与期望分、noul命题为真的概率。输入是state typed question经双向编码器一次前向直接产出带概率的结构化判断全程没有 token-by-token 解码也就没有生成的 JSON 要解析这回事。在 agent.py 的system_one返回值里usage字段写死了output_tokens: 0——这不是营销话术是架构事实。在这层共识之上玩家们真正的分野有三个第一是校准不是速度。Jev 的护城河不在 193 倍于 Claude 的推理而在 RLCD 训练磨出来的置信度校准。开源复刻最容易抄接口、最难复现 ECE。laya-mlx 的应对很有意思它不声称自己能重训校准而是把上游校准原样搬过来并做显式安全钳制。在 common.py 里拟合温度被钳制在[0.5, 5.0]区间注释写得很直白choice:11桶的原始温度是 0.1006会把 logits 放大约 10 倍让一个 0.24 的顶部概率被报成 0.99——一个依赖置信度做门控的调用方会被告诉掷硬币是确定事件。所以加载时一旦发现越界温度就会抛RuntimeWarning并列出所有被钳制的桶。校准能力可以慢点补但不撒谎的置信度边界必须守住。第二是开源程度与生态完整度。Jev 闭源Laya 给出 PyPI/Hugging Face/GitHub 全栈而 laya-mlx 进一步压缩到最小依赖面。看 pyproject.toml 的运行依赖mlx、numpy、huggingface-hub、tokenizers——连torch和transformers都挪进了reference可选依赖只用于对照验证不进推理路径。torch从运行时降级为测试对照组这个依赖设计本身就是产品定位的声明。第三是端侧适配的下限。本地版 Jev 宣称 1GB 内存就能跑CLM-8B 是 8B 参数的大模型而 Laya 家族最轻的 multilingual checkpoint 只有 322M 参数、FP16 权重 614 MiB、单次短决策峰值分配 687.6 MiB数据见 BENCHMARKS.md。在端侧这个量级意味着它可以和 Agent 的实时控制回路共存于同一台设备的统一内存里而不是去抢云端配额。夹缝里的技术答卷laya-mlx 到底做了什么把移植说得漂亮容易但 laya-mlx 交出的是一套可验证的工程量。拆开看有四块。一块是无 PyTorch 的 ModernBERT 重实现。model.py 用纯mlx.nn重建了 ModernBERT 编码器与 Laya 决策头EncoderConfig保留局部注意力窗口128、全局注意力间隔每 3 层、本地/全局两套 RoPE base10000 / 160000、首层无 LayerNorm 等细节注意力走mx.fast.scaled_dot_product_attention决策头保留 Transformer 编码器层的 ReLU 前馈PyTorch 默认行为与 GELU 的评分头刻意区分权重名通过sanitize_weights从 PyTorch 命名映射到 MLX。加载时对每个参数名与形状做校验不支持的编码器与非默认 RoPE 缩放直接报错——移植的底线是保真不是能跑。二块是数值保真被当成一等公民。验证矩阵覆盖三个 checkpoint × 两种精度每个配置在 63/63 个验证问题上与上游选中答案完全一致合计 378/378 次对比FP32 最大校准概率误差 0.0000052、FP16 最大 0.0054每个配置再做 100 次有限、确定的重复调用测得的活跃内存增长为0 字节。AG News 抽样上三个 checkpoint 的 MLX FP16 准确率与上游 MPS 结果逐项一致256/256 预测一致。这套东西不是自评而是把验证逻辑写进了测试套件和 benchmarks/ 的可复现脚本里。三块是三权重自动路由。router.py 的思路是不要用英语模型硬读非英语输入。基准数据显示英语 checkpoint 在非拉丁脚本上不是温和退化而是崩塌20 选项的 MASSIVE 意图分类上印地语 0.100、韩语 0.103而随机猜测是 0.050——同时它还高置信度地犯错印地语 ECE 0.855。所以路由以脚本检测为主信号非拉丁脚本、无法识别的拉丁语系靠变音符率兜底都送 multilingual英语才走英语 checkpointtyped-decisions永远不被自动选中除非显式 opt-in。三模型加起来约 1.16B 参数Router用 LRU 控制驻留、用可重入锁保护模型生命周期、用preload消除首次加载的秒级延迟——这是给真实服务写的路由不是演示。四块是工程细节的诚意。compileTruepad_to_multiple16cache_promptsTrue的优化路径前缀缓存见 prepared.py上限 128 条、键覆盖 tokenizer 身份/指令/选项/预算在配对测试里把贪吃蛇推到 75.40 moves/s比同轮 eager 对照组快约 6.5%且 2400/2400 步执行动作完全一致predict_shortlist用嵌入粗筛 单次精排处理几百个选项的高基数选择题。性能数字汇总如下M3 Max40 GPU 核128GiB数据源 BENCHMARKS.mdCheckpoint / 精度1 题 P5010 题 P5050 题 P5050 题吞吐Laya 421MMLX FP1617.75 ms80.82 ms347.24 ms143.3 q/sMultilingual 322MMLX FP1610.91 ms32.92 ms125.49 ms402.2 q/sLaya 421MPyTorch MPS FP3222.70 ms95.77 ms489.54 ms—同样的对比在 benchmarks/latency.png 里画成了图FP16 端到端含提示构造、分词、张量、同步推理、校准与结果格式化相对 PyTorch MPS 的 FP32 基线在短批量下普遍快约三到四成多语言 checkpoint 的优势更明显——它 322M 参数里有 196.6M 是词表嵌入主计算量只有英语模型的约三分之一短决策延迟自然低一个量级。项目对外宣传的 13.4ms英语/ 7.4ms多语言是独立批测的端到端中位数与上表不同批次的数字口径有差异但方向一致这个体量的决策在 Apple Silicon 上就是毫秒级反射弧。贪吃蛇不是玩具端侧实时控制的可信度证明laya-mlx 最有传播力也最容易被当成噱头的资产是那个贪吃蛇 demo——但它在工程上被做成了可信度证明。看 docs/SNAKE_BENCHMARKS.md 的细节默认多语言 checkpoint 以 FP16 跑真实推理每走一步都调一次Agent.predict一次批三个问题方向、死路风险、食物可达性最终 truecolor 战役完成8,160 步、零死亡、4 次安全干预无上限持续吞吐 63.61 moves/s四个种子的范围 46.32–76.37在固定计算预算测试里20 FPS 是全部种子通过的最高设置99.75% 的活跃 tick 落在预算内。所谓安全层是显式的哈密顿回路规划器模型在它描述的动作上做概率选择一旦原始首选不可行就执行SHIELD干预——每一步的真实概率、执行决策与时间戳都被记录进 JSONL并由测试套件做确定性重放校验。这个 demo 真正证明的不是模型会玩贪吃蛇而是三件事端侧实时回路里模型推理的延迟预算模型推理 p50 约 10ms可以支撑每秒数十次真决策概率输出可以被外部安全层消费和纠偏整个链路可以被录制成可重放、可审计的数据。对 Mac 端侧 Agent 来说能演示和可验证是两回事而 laya_mlx/snake/ 把后者的证据链完整留在了仓库里。Mac 端侧这个坑位有没有护城河最后回到那个必须回答的问题。判断一个细分坑位有没有护城河可以先做一个思想实验如果明天有人要复刻 laya-mlx他需要多久、付出多少答案分三层。速度本身不是护城河。这是最残酷也最诚实的一点。MLX 移植的速度红利是工程结果而非资源垄断——StartLux 在抢速度第一CLM-8B 在抢大模型吞吐任何一方腾出手来做一个 MLX 版决策模型差距都是周级而不是年级。而且 laya-mlx 自己的研究文档 docs/PERFORMANCE_RESEARCH.md 与 docs/MATH_10X_RESEARCH.md 明确结论在不换 checkpoint 的前提下不存在通用 10× 加速实测配对加速只有 1.03–1.08×。它主动放弃了更快这张牌去吹。真正沉淀下来的资产是可验证性这条完整链路。数值保真矩阵378/378 一致、温度钳制的显式工程决策、三 checkpoint 路由的脚本证据英语模型在印地语上的 0.100 与 ECE 0.855、Hub 发布时的逐文件校验清单benchmarks/results/hub-publication.json、以及把推理路径从torch依赖里彻底摘干净的最小依赖面——这套东西的价值不在任何单点而在于它让在 Mac 上离线跑 Laya从一句口号变成了可复现、可审计、可交付给生产系统的状态。加上 laya_mlx/presets.py 的工单分流、邮件分类、内容审核预设和 CLI 转换工具链它已经是一个完整的端侧决策运行时而不只是一个模型包装。坑位的边界就是坑位的价值。值得注意的反而是它的克制不做训练与微调明确归给上游项目、不夸口普适加速、连温度越界这种上游的锅都要在加载时显式警告而不是悄悄沿用。在一个人人都喊快 N 倍的混战市场里把准与诚实的边界当作产品标识本身就是一种差异化。结论并不浪漫Mac 端侧决策运行时这个坑位靠速度守不住靠模型参数更守不住。它守得住的部分是把一个开源模型的判断能力以毫秒级、零 token、可验证的方式钉在用户的本地硬件上——当 StartLux、CLM-8B、Clef 们在争夺谁是最快的判断引擎时laya-mlx 押注的是判断引擎到了本地之后如何让人敢把实时控制交给它。混战终将洗牌但这条快且可信的端侧路径已经在这个仓库里留下了完整证据。【免费下载链接】laya-mlxNative MLX runtime for Laya typed decision models — 7–14 ms short decisions on M3 Max. No text generation, PyTorch, or cloud API.项目地址: https://gitcode.com/gh_mirrors/la/laya-mlx创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
