计算机能够处理的永远只有数字。例如你现在看到屏幕上的一个字你在人眼里它就是一个汉字。但在计算机内部它通常会先表示成 Unicode 编码例如U4F60继续转换之后又会变成01001111……也就是一长串二进制。也就是说计算机从来没有真正见过你这个字它看到的始终只是数字。大语言模型当然也是一样。因此当我们把一句中文发送给模型时它首先必须完成一件事情把文字转换成模型能够理解的数字。但是这里马上会出现另一个问题。2.2 为什么不能一个字对应一个数字假设我们设计一个最简单的大模型。我们规定你 → 1 好 → 2 世 → 3 界 → 4这样你好世界是不是就可以转换成1 2 3 4看起来非常简单。为什么现实中的 GPT、Claude、Qwen 不这么做原因只有一个效率太低。举个例子。中文里中华人民共和国如果每个字单独处理。需要中 华 人 民 共 和 国七次处理。但是如果模型发现中华人民共和国这个词出现了几千万次。它完全可以把它当成一个整体。例如中华人民共和国 ↓ 一个Token这样模型一次就能识别。速度更快。表达的信息也更多。再举一个程序员更熟悉的例子。Python__init__如果拆成_ _ i n i t毫无意义。模型更希望按如下定义token,这样才能更清晰的表示它的维度__init__ ↓ 一个Token因此模型并不是按照汉字或者单词去理解世界。而是按照这种新的单位Token。2.3 什么是 Token其实在3月23日中国发展高层论坛2026年年会上国家数据局局长刘烈宏正式公布AI领域核心概念Token的标准中文译名为词元。这一中文语义其实是相当精准的。但容易让初学者误以为,Token 就是一个词。其实完全不是更准确一点可以把它理解成模型自己发明的一套文字积木。这些积木有的大有的小有的是一个字有的是半个单词有的是整个句子。甚至还有可能只是一个空格。举几个真实例子。英文apple可能就是apple一个 Token。但是unbelievable有可能变成un believ able三个 Token。有兴趣的可以去openai的Tokenizer试试,地址:Tokenizer - OpenAI API中文呢? 其实也一样,每个模型的规则都可能会有区别中文你好有些模型你 好两个 Token。有些模型你好就是一个 Token。代码System.out.println很可能整个就是一个 Token。因此Token 并没有固定长度。它唯一的目标就是让模型能够更高效地表示语言。
