跳到主内容
智客 ZICQ

智客百科 技术术语

分词(Tokenization)

技术术语
别名: 分词器 tokenizer BPE Byte-level BPE SentencePiece ·2026-10-10

分词(Tokenization)

**分词(Tokenization)**是现代大语言模型(LLM)数据处理流水线中的第一道工序:将人类可读的原始自然语言文本或代码,切分为离散的数值符号序列(Token ID)。分词算法与词表(Vocabulary)必须在模型预训练启动前完全锁定,它构成了神经网络感知外部符号世界的离散“视网膜”。


1. 为什么需要子词分词(Subword Tokenization)

在深度学习自然语言处理的发展历程中,符号表示经历了三个阶段的工程权衡:

分词粒度 优势 致命缺陷 典型代表
词级别(Word-level) 语义完备,词内语义无断裂 词表无限膨胀,严重未登录词(OOV)问题,形态学语言变形无法覆盖 早期的 Word2Vec、GloVe
字符级别(Character-level) 词表极小(ASCII/Unicode 基础集),理论上无 OOV 序列长度急剧膨胀,Transformer 注意力复杂度 $O(N^2)$ 带来难以承受的算力开销 早期的 Char-RNN
子词级别(Subword-level) 在词表尺寸与序列长度之间取得数学平衡,高频词整词保留,罕见词拆分为高频子词片段,兼顾泛化与计算开销 分词切分存在歧义性,不同分词器之间无法直接互通权重 BPE、WordPiece、Unigram(现代 LLM 标配)

2. 主流子词分词算法深度解析

2.1 BPE(Byte Pair Encoding)与 Byte-level BPE

  • 原始 BPE 原理:源于数据压缩算法。初始状态将语料切分为单字符,统计所有相邻字符对的共现频次,贪心迭代将最高频的字符对合并为一个新子词,直到词表达到预设的规模(如 32,000 或 50,000)。
  • Byte-level BPE(BBPE):由 GPT-2 首次大规模应用。直接以 UTF-8 的 256 个原生字节(Byte)作为基础字母表,而非 Unicode 字符。这彻底杜绝了任何语言、Emoji 或乱码引发的 OOV(Out-of-Vocabulary)异常,所有未见过的生僻字符均能优雅回落至底层字节切片。现代主流模型(GPT-4、Llama 3、DeepSeek、Qwen 2.5)全部采用 Byte-level BPE 架构。

2.2 WordPiece

  • BERT 采用的子词算法。与 BPE 的纯频次贪心合并不同,WordPiece 在每次选择合并候选对时,计算的是合并后整个训练语料的语言模型似然(Maximum Likelihood)增益。子词内部通常添加前缀标记(如 ##ing)以区分词首与词中。

2.3 Unigram / SentencePiece

  • SentencePiece 特性:将空格视作普通下划线符号 _(U+2581)平等处理,无需依赖语言特定的空格切词预处理,对中日韩等无空格分词语言极其友好。
  • Unigram 算法原理:自顶向下的剪枝逻辑。初始构建一个庞大的超大候选词表,通过 EM 算法估算每个子词在语料中的生成概率,并在每轮迭代中评估剪枝该子词后语料困惑度(Perplexity)的劣化程度,逐步剔除贡献最低的候选者,保留最优子词集合。T5 与 early LLaMA 系列底层采用了 SentencePiece 引擎。

3. 正则预分词(Pre-tokenization)与工程实现

在进入子词合并循环前,分词器必须通过正则表达式对文本实施切分规则限制,防止语义上毫不相干的符号被错误合并(例如阻止标点符号与后续单词合并,或数字串与英文单词粘连)。

OpenAI 的 tiktoken 正则演进展现了这一工程约束的收紧过程:

  • GPT-2 正则:较为宽松,容易导致缩写与数字混合切分。
  • cl100k_base(GPT-4):引入更严格的数字与符号切分,将连续数字按长度切片,大幅改善模型计算四则运算的能力。
  • o200k_base(GPT-4o):进一步扩大针对多语言、代码标识符以及非拉丁字母的正则优化规则。

高性能分词引擎实现(如 Rust 编写的 Hugging Face tokenizers 与 OpenAI tiktoken)利用 Aho-Corasick 多模式匹配和多线程并行流,使得分词吞吐能够达到每秒数百万甚至千万 Token,不再成为预训练数据吞吐瓶颈。


4. 词表尺寸(Vocab Size)的关键工程权衡

构建 LLM 时,词表规模的设计是一项重大的系统级架构权衡:

小词表 (如 Llama 2: 32K)                  大词表 (如 Qwen 2.5: 152K / GPT-4o: 200K)
◄─────────────────────────────────────────────────────────────────────────────►
• 优点: Embedding 参数量极小,显存轻量       • 优点: 压缩率极高,推理首字延迟与吞吐大幅提升
• 缺点: 中文/小语种压缩率极差,序列翻倍膨胀   • 缺点: Embedding 层显存大,Softmax 计算开销增加
  1. 参数量与显存代价: Embedding 层与最终输出线性分类层(LM Head)的参数量为 $2 \times V \times d_{\text{model}}$(若权重未绑定)。当隐藏层维度 $d_{\text{model}} = 4096$ 时:
    • 词表 $V = 32,000$(Llama 2)占用约 $2.6$ 亿参数(半精度约 524MB)。
    • 词表 $V = 152,064$(Qwen 2.5)占用约 $12.4$ 亿参数(半精度约 2.48GB)。
  2. 多语言膨胀率(Fertility Rate): 衡量表达同一段多语言语义所需的 Token 数量。例如一段相同的中文工程文档:
    • 在 Llama 2(偏重英文,中文词极少)中,大量中文字被拆解为 2-3 个单字节 Token,序列膨胀率接近 2.0。
    • 在专门优化中文词表的 Qwen 2.5 中,常见中文词组直接命中单 Token,膨胀率下降至 0.6 左右。 这意味着在相同的物理上下文窗口内,大词表模型能吞吐多达 3 倍以上的有效中文信息量,同时极大降低了长上下文注意力的 $O(N^2)$ 计算负担与 KV Cache 显存驻留。

5. 安全陷阱与极端边界情况

  1. 故障 Token(Glitch Tokens): 例如早期在 Reddit、代码语料中抓取的高频但在预训练中被过滤或极少出现的字符串(如 SolidGoldMagikarp、StreamerBot)。由于分词器保留了这些 Token ID,但在预训练参数中它们几乎未接收到梯度更新,其嵌入向量长期处于权重空间的异常奇异区域。一旦用户输入触发该 Token,模型会产生输出紊乱、胡言乱语或安全拒答失效。
  2. 特殊控制标记注入(Special Token Injection): 若应用程序未对用户输入的文本做特殊符号转义,直接喂给 Tokenizer,恶意用户可以手动构造 <|im_start|>、<|im_end|>、<|endoftext|> 等特殊标记,诱导分词器产生控制流截断,从而绕过安全对齐,实施严重系统越狱。
  3. 分词边界歧义(Token Healing): 在补全任务中,由于贪心最大匹配规则,提示词末尾的一个多余空格可能会导致分词器切出与本意完全不同的 Token 组合。现代推理框架(如 Guidance、vLLM)引入 Token Healing 机制,在解码首个 Token 时后退一步,根据词前缀动态重切,避免边界失真。