【免费下载链接】plamo-2-translate项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/plamo-2-translate点击查看免费下载plamo-2-translate 是 PLaMo 2 TranslatePreferred Networks 的翻译专用大模型在 Apple Silicon 上的 4-bit MLX 转换版。它的Plamo2Tokenizer借助 Aho-Corasick 自动机与 numba JIT 编译把 10 万级词表的分词压缩到接近线性时间是理解大词表高速分词的优秀范例。⚡ 为什么 10 万词表需要高速分词在翻译场景中一条提示词可能包含数千个 token如果分词速度跟不上GPU 会大量时间空等 CPU。plamo-2-translate 的模型配置中词表规模达到100,032见 config.json 的vocab_size字段其中还包含 256 个0xXX字节兜底 token。模型关键参数一览参数值出处词表大小100,032config.json量化4-bit affinegroup size 64config.json隐藏层 / 层数4096 / 32config.json分词器类Plamo2Tokenizertokenizer_config.json验证吞吐M1 Max解码约 51.4 tokens/sevaluation.json 分词发生在模型推理之前token 数直接影响 prompt 长度和上下文占用分词方式还会改变模型看到的语义单元。 Plamo2Tokenizer 的不同之处基于分数score的分词多数分词器如常见 BPE按最长匹配切分文本而 PLaMo 系列的分词更精细词表中每个 token 都带有一个分数分词时要在所有合法切分中选择让总分数最大的那一条路径。词表文件 tokenizer.jsonl 为逐行 JSON每行形如[token, score]本仓库中该文件约 10.5 MB通过 Git LFS 拉取整个分词器的实现集中在 tokenization_plamo.py。关键入口非常简洁tokenization_plamo.py#L342-L344_tokenize(text)直接委托给AhoCorasick.encode_as_tokenstokenization_plamo.py#L240-L305Plamo2Tokenizer.__init__中一次性读取词表并调用aho_corasick.build构建自动机也就是说构建一次、分词无数次。自动机只依赖词表构建完成后可以反复复用序列化pickle时还会在反序列化时自动重建见 tokenization_plamo.py#L310-L318 的__getstate__/__setstate__。特殊 token 定义见 special_tokens_map.jsonToken含义\|plamo:unk\|(0)未知 token\|plamo:bos\|(1)句首同时作为 EOS ID 之一\|plamo:eos\|(2)句尾\|plamo:pad\|(3)填充\|plamo:op\|(4)翻译操作分隔符也是 EOS ID Aho-Corasick 如何加速 10 万词表匹配AhoCorasick类tokenization_plamo.py#L32-L237是整个分词器的心脏分四步理解1️⃣ 把词表压成一张扁平表build()tokenization_plamo.py#L70-L142把每个 token 及其所有后缀注册进 Trie并展平成一块 4 列的int32numpy 数组_table。每一行piece记录片段长度、token ID、分数×1e4 取整、后继片段的 ID。两个小巧思值得学习64 位边编码用首字符 codepoint 高 32 位 后缀 ID 低 32 位拼成单个整数作字典键查表只需一次哈希局部性排序后缀按倒序字符串的字典序排列配合从文本末尾向前扫描的访问模式显著提升内存访问连续性。2️⃣ 动态规划从末尾回溯选最优路径核心热点函数_encodetokenization_plamo.py#L144-L220被njit装饰后由 numba 编译为机器码。算法从文本末尾向前扫描维护一个 DP 数组scores[i]表示从位置 i 编码到末尾的最小代价。对每个位置自动机会枚举所有能在该位置匹配的候选 token取scores[i长度] - 分数最小的路径同分平局时优先更长片段表内片段按长度降序存储天然实现该偏好。这正是分数化分词能高效运转的原因——匹配和选路在同一次遍历里完成总开销近似 O(文本长度 × 候选数)而非 O(文本长度 × 10 万词表)。3️⃣ 字节兜底任何字符都不丢失若某个位置没有任何 token 可匹配走到哨兵行UNKNOWN_SCORE算法退回 UTF-8字节 token词表中的 256 个0x00~0xFF恰好覆盖全部字节tokenization_plamo.py#L90-L103 专门处理并断言其完整性。多字节字符会被拆成 2~4 个字节 token见 tokenization_plamo.py#L207-L214保证encode永远可逆、不报错。4️⃣ 输入表示UTF-32 一次到位encodetokenization_plamo.py#L222-L233先把字符串按 UTF-32 转成 codepoint 数组再传入 JIT 函数避免热点循环里反复解码 UTF-8。 快速上手mlx-lm 运行分词与翻译依赖与安装Apple SiliconPython 3.13 验证pip install mlx-lm0.31.2 transformers4.46,5 numba加载模型并分词自定义分词器需要trust_remote_codefrom mlx_lm import load model, tokenizer load( mlx-community/plamo-2-translate, tokenizer_config{trust_remote_code: True}, ) print(tokenizer.encode(This is a short sentence.)) print(tokenizer.decode(tokenizer.encode(你好世界))) # 触发字节兜底完整翻译用法含语言标签的 chat template见 README.md。该模板由 chat_template.jinja 定义支持input lang.../output lang...显式指定翻译方向比自动检测更适合可复现的对比评测。⚠️ 注意该 checkpoint 面向 MLX 运行时加载器必须遵循 config.json 中的model_file指向 modeling_mlx_plamo2.py忽略该文件的运行时可能产生不同结果。 核心文件地图文件作用tokenization_plamo.pyPlamo2TokenizerAhoCorasick完整实现本文主角tokenizer.jsonl100,032 词条表[token, score]Git LFS 存储tokenizer_config.json分词器配置与内置 chat templatechat_template.jinja翻译对话模板含语言标签分支config.json模型配置词表、量化、RoPE、Mamba/SSM 参数modeling_mlx_plamo2.pyMLX 模型实现修正上游 RoPE 与 SSM 细节evaluation.jsonM1 Max 上的验证数据chrF 73.77、NLL 0.4595special_tokens_map.json特殊 token 映射LICENSEPLaMo 社区许可证含 en / ja 版本小结这套设计能学到什么分数化分词词表带 score用 DP 选总分数最大的切分路径比最长匹配更贴近训练分布Aho-Corasick 扁平表一次遍历同时完成匹配所有候选 token与选路把 10 万词表的分词做到线性开销numbanjit热点循环零 Python 解释开销构建成本只在加载时发生一次字节兜底0xXX256 个字节 token 保证任意 Unicode 文本都能编解码永不抛错。如果你正在为大词表模型尤其中日韩翻译模型设计推理管线tokenization_plamo.py 的 400 行代码就是一份可以直接借鉴的高速分词器参考实现。赞分享【免费下载链接】plamo-2-translate项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/plamo-2-translate点击查看免费下载相关推荐如何快速上手 plamo-2-translate5分钟在 Apple Silicon 上跑通 PLaMo 2 Translate 本地英日翻译如何快速上手 plamo 2 translate5分钟在 Apple Silicon 上跑通 PLaMo 2 Translate 本地英日翻译 plamo 2玩转PLaMo 2双语翻译用plamo-2-translate-bf16的input lang与output lang提示词精准控制英日翻译方向玩转PLaMo 2双语翻译用plamo 2 translate bf16的input lang与output lang提示词精准控制英日翻译方向 plamo1Backend安全架构解析访问令牌与配额管理的实现原理1Backend安全架构解析访问令牌与配额管理的实现原理 1Backend是一个用于构建AI应用或任何应用的开源框架它通过可扩展的微服务和微前端架构为开发上一篇GetQzonehistory一键找回QQ空间历史说说的实用指南下一篇3分钟搞定网易云NCM格式转换ncmdump免费批量解密教程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
