【免费下载链接】CLM-v0.1-8B-MLX-4bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/CLM-v0.1-8B-MLX-4bit点击查看免费下载CLM-v0.1-8B-MLX-4bit是 Contrastive Language ModelCLM对比语言模型的 Apple Silicon / MLX 4bit 社区移植版一个冻结的Qwen3-8B 编码器加两个轻量投影头能在 Mac 上本地完成判断、打分、排序不生成任何文本。它的编码器还是标准 MLX 格式权重因此可直接用于MLXUI与mlx-workflow等通用 MLX 工具做本地推理。 一句话定位这不是聊天模型而是一个System One 快速决策器——把一段状态state和若干候选动作action喂给它用概率分布直接告诉你谁最优。先搞懂CLM-v0.1-8B-MLX-4bit 是什么普通 LLM 靠逐字生成回答而 CLM 走的是对比学习路线冻结编码器用 Qwen3-8B 把文本编码成向量lm_head已移除所以它不能生成文本两个投影头分别处理状态向量和动作向量压缩到 512 维打分机制两者余弦相似度 × 温度缩放再经 softmax 得到概率分布它支持三种带类型的问题与上游 API 完全一致类型含义输出noul是/否判断true 的概率choice多选一各选项概率 最优项score分级打分期望分值 各级概率入口是Engine类的answer()与rank()两个方法源码见 clm_mlx/engine.py问题类型的组装逻辑在未改动的上游 vendored 文件 clm_mlx/schema.py 中。CLM 与 MLX 生态的关系标准编码器 专属投影头这是理解本仓库与 MLX 工具链关系的关键。它由两部分组成两者与 MLX 生态的兼容程度完全不同① 编码器encoder/—— 通用生态级兼容编码器就是一个标准的 MLX 格式 Qwen3-8B 检查点4bit affine、group_size32、lm_head已删除约 4.7 GB。配置可见 encoder/config.json。因为是标准格式它可以像任何 Qwen3 模型一样被通用 MLX 工具加载例如mlx-workflow命令行工作流工具可把该编码器接入本地推理流水线MLXUIMac 上的本地 LLM 浏览器 App可加载该编码器做 on-device 推理② 投影头 clm_mlx代码 —— 移植专属不在 MLX 内置协议里CLM 特有的答题/排序能力来自 heads/CLM_v0.1-8B.safetensors 与 clm_mlx/ 包不是MLXUI 的内置模型协议。在 MLXUI 里若要复现 CLM 行为需要在裸编码器之上做自定义集成。 实践建议只想做嵌入/特征提取 → 直接用 MLXUI 或 mlx-workflow 加载encoder/需要判断/打分/排序能力 → 运行本仓库自带的clm_mlx引擎。在 MLXUI / mlx-workflow 中加载编码器指向encoder/目录即可它是完整的标准 MLX 模型含分词器 encoder/tokenizer.json、模板 encoder/chat_template.jinja它只输出隐藏层向量last-token、最终 RMSNorm 之后、L2 归一化实现见 clm_mlx/encoder.py不会产出对话文本快速上手三步跑通 CLM 本地推理️ 环境要求Apple Silicon Mac16 GB 内存推荐运行时峰值约 5.53 GB、Python 3.10、约 5 GB 磁盘。第 1 步安装依赖pip install mlx mlx-lm transformers huggingface_hub hf download mlx-community/CLM-v0.1-8B-MLX-4bit --local-dir clm-mlx第 2 步在下载的目录中启动 Pythonclm_mlx包就打包在里面第 3 步调用引擎from clm_mlx.engine import Engine eng Engine(encoder, heads) out eng.answer( Customer: my invoice was charged twice!, {urgency: {type: noul, instructions: Is this urgent?}}, ) print(out[answers][urgency]) # rank()对候选项排序 eng.rank(, [The Moons gravity., Photosynthesis.], What causes tides on Earth?)小细节动作向量有缓存默认 5 万条对同一批候选反复提问时只需为状态付费——这正是 Agent 场景的典型用法状态在变、动作集基本固定。仓库结构速览clm_mlx 包与权重目录路径说明clm_mlx/engine.pyEngine类answer()/rank()、向量缓存clm_mlx/encoder.py基于 mlx-lm 的 Qwen3 编码器封装、批量嵌入clm_mlx/heads.pystate/action 投影头与上游数学一致clm_mlx/schema.py上游原样 vendored 的问答格式定义encoder/标准 MLX 格式 Qwen3-8B 4bit 编码器权重heads/float32 投影头已针对 4bit 量化蒸馏重训配置见 heads/config.jsonclm_mlx.json导出元信息源仓库 commit、4bit/g32、截断策略parity.json与上游参考服务完整对拍报告README.md官方说明文档NOTICE非官方社区移植声明精度与性能4bit 量化版的真实水平⚡ 实测环境Apple M3 Pro18 GB——编码器吞吐346.5 tokens/s峰值内存5.53 GB。这是面向低内存 Mac 的approximate近似档位官方坦诚地给出了与上游RTX 4090 上 vLLM 参考实现的对拍结果778 个问题、882 段文本指标本移植 vs 上游上游 vs 它自己噪声基线最优选项一致率91.4%98.6%上游 ≥70% 置信时的最优一致率577 题99.3%—答案概率差 p950.3280.060结论分歧几乎都发生在势均力敌的判断题上——只要上游自己比较确信≥70%本版本 99.3% 的情况下会给出相同答案。记忆比极限决策更重要就选 4bit需要与上游严格一致则选上游 8-bit 构建。完整数据见 parity.json。使用 CLM-v0.1-8B-MLX-4bit 的注意事项⚠️只进不出lm_head已被移除检查点无法生成文本这是设计而非缺陷⚠️2048 token 截断默认保留前 2048 tokens与上游服务器一致truncationhead上游训练头部时用的是长文本的末尾tokens可用Engine(..., truncationtail)切换⚠️量化噪声4bit 量化带来明显噪声上游低置信度的答案请谨慎对待投影头已针对本量化蒸馏重训float32 保持以找回量化损失的精度训练记录见 heads/config.json本项目为非官方社区移植未经 CLM 作者发布或审核详见 NOTICE常见问题 FAQQ我能在 MLXUI 里直接用它答题吗AMLXUI / mlx-workflow 能加载的是encoder/这个标准 Qwen3-8B 编码器做嵌入、特征提取、本地推理。CLM 的答题/排序行为依赖本仓库的投影头与clm_mlx代码不在 MLXUI 内置协议中需要自行集成。Q为什么下载后约 4.7 GB 而不是完整 Qwen3-8BA4bit affine 量化g32 删除了用不到的lm_head省约 0.6–1.2 GB换来更低内存占用。Q8 GB 内存的 Mac 能跑吗A官方未测试。实测峰值 5.53 GB官方推荐 16 GB 机型。Q如何引用这个项目A方法、投影头与参考实现来自 Kwok 等人的Contrastive Language Models: A System One Model for Fast and Generalizable Decision-Making2026编码器为 Qwen3-8BApache-2.0本移植MLX 转换、clm_mlx代码、对拍工具同为 Apache-2.0。小结CLM-v0.1-8B-MLX-4bit 让对比式快速决策首次跑进了 Apple Silicon 生态——编码器无缝融入 MLXUI 与 mlx-workflow 等通用工具clm_mlx引擎则提供开箱即用的判断/打分/排序能力。5.5 GB 内存、346 tokens/s这就是 4bit 版给出的本地决策模型性价比。赞分享【免费下载链接】CLM-v0.1-8B-MLX-4bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/CLM-v0.1-8B-MLX-4bit点击查看免费下载相关推荐CLM-v0.1-8B-MLX-5bit进阶技巧把冻结的Qwen3-8B编码器复用进MLXUI与mlx-workflow做本地推理CLM v0.1 8B MLX 5bit进阶技巧把冻结的Qwen3 8B编码器复用进MLXUI与mlx workflow做本地推理 CLM v0.1 8B MCLM-v0.1-8B-MLX-4bit架构深度解析冻结Qwen3-8B编码器双投影头如何给状态与动作打分CLM v0.1 8B MLX 4bit架构深度解析冻结Qwen3 8B编码器双投影头如何给状态与动作打分 本文拆解 CLM v0.1 8B MLX 4biCLM-v0.1-8B-MLX-4bit快速入门教程5分钟在Mac上跑通Qwen3-8B对比评分推理CLM v0.1 8B MLX 4bit快速入门教程5分钟在Mac上跑通Qwen3 8B对比评分推理 CLM v0.1 8B MLX 4bit 是一个面向 M创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
