分词器——文本怎么变成 Token

训练大模型的第一步,也是影响模型质量的关键决策

模型不认识汉字和英文字母,只认识数字 ID。
分词器(Tokenizer)是把人类文字转换成模型能理解的 token 序列的桥梁。

§1 为什么要分词——不能一个字一个 token 吗?

理论上可以,但效率极低。分词器的核心目标是:用最少的 token 表达最多的信息。

🔬 可视化:不同分词策略对比

逐字符(最差)
我今天在北京吃了烤鸭
10 个 token
每个字独立,学不到"北京"是一个整体概念
逐词(中文不适用)
我今天在北京吃了烤鸭
7 个 token
需要先做分词,且无法处理未登录词
✅ BPE 子词(主流)
我今天在北京吃了烤鸭
9 个 token("北京"被合并)
高频词合并,低频词拆开——自动学习最优切分

分词器决定了什么?

📏
上下文有效长度
同一句话,分词器好 → token 少 → 能塞更多内容
🧠
模型学到的概念
"北京"是一个 token → 模型直接学到这是一个整体概念
💰
训练/推理成本
token 越少 → 序列越短 → 计算量越小

§2 BPE 算法——最主流的分词方法

BPE(Byte Pair Encoding)是目前最广泛使用的分词算法。 GPT、LLaMA、Qwen、DeepSeek 全都用它或它的变体。

🔬 可视化:BPE 合并过程

核心思想:从单字符开始,反复合并出现频率最高的相邻字符对。

初始(全部拆开)
low | lower | newest | widest
最频繁对:"l" + "o" 出现 2 次
↓ 合并 "lo"
第 1 轮合并
low | lower | newest | widest
最频繁对:"lo" + "w" 出现 2 次
↓ 合并 "low"
第 2 轮合并
low | lower | newest | widest
最频繁对:"e" + "r" 和 "e" + "s" 各 1 次
↓ 继续合并...(重复几千~几万次)
最终结果
low | lower | newest | widest
高频词被合并为整体 token!

BPE 的关键参数

参数含义典型值
vocab_size词表大小(合并多少次后停止)32K ~ 150K
min_frequency最低合并频率2 ~ 10
byte_fallback未知字符回退到字节true(避免 UNK)

§3 三大分词算法对比

BPE 不是唯一选择。2026 年主流有三种算法。

🔬 可视化:三大算法思路对比

🔗
BPE(自底向上)
从字符开始,反复合并最高频的相邻对
a b c d → ab c d → ab cd
GPT、LLaMA、Qwen、DeepSeek
✂️
WordPiece(贪心拆分)
从大词表开始,用最大似然选择拆分点
unhappiness → un ##happi ##ness
BERT、DistilBERT
📊
Unigram(概率删减)
从超大词表开始,逐步删除对似然贡献最小的 token
[10000 tokens] → 删最不需要的 → [32000]
T5、SentencePiece 默认

该选哪个?

场景推荐算法理由
从零训练自己的模型BPE (SentencePiece)最通用、生态最好
中文为主BPE + byte_fallback避免 UNK,中文切分合理
多语言Unigram多语言覆盖更均匀
沿用已有分词器直接用 Qwen/GPT 的省时间、效果已验证

§4 中文分词的特殊挑战

英文天然有空格分隔单词,中文没有。这让中文分词有独特的难题。

🔬 可视化:同一句话在不同分词器下的 token 数

"大语言模型是人工智能的核心技术"
GPT-4 (tiktoken)
大语言模型是人工智能的核心技术
11 tokens
Qwen (150K词表)
大语言模型是人工智能的核心技术
6 tokens ✅
DeepSeek (BPE 100K)
大语言模型是人工智能的核心技术
8 tokens
关键发现:中文分词器的词表越大,每个汉字平均占用的 token 越少。 Qwen 的 150K 词表让同样一句话只需 6 个 token,而 GPT-4 需要 11 个。 这意味着 1024 的上下文窗口,Qwen 能装更多中文内容。

中文分词的关键决策

✅ 好的做法

  • 词表 ≥ 50K(中文需要更多 token)
  • 开启 byte_fallback(避免 UNK)
  • 训练数据覆盖足够多的中文
  • 常见中文词整体保留("人工智能"不拆)

❌ 常见坑

  • 词表太小(< 20K)→ 中文被切成单字
  • 用英文分词器处理中文 → 效率极低
  • 忘记处理繁体/简体差异
  • emoji/特殊符号处理不当

§5 词表大小怎么选

词表大小直接影响模型的效率和质量。

🔬 可视化:词表大小的权衡

20K
小词表
参数少 中文切碎、序列长
50K
中等
均衡 适合中英混合
100K
大词表
中文效率高、序列短 Embedding 参数多
150K
超大
中文最优 Embedding 占大量显存

2026 年主流模型的词表

模型词表大小算法中文效率
GPT-4 (tiktoken)100KBPE中等
LLaMA 3128KBPE (tiktoken)中等
Qwen 2.5152KBPE (SentencePiece)优秀
DeepSeek V4128KBPE良好
Mistral32KBPE差(偏英文)

你的 500M 模型建议:32K~50K 词表(词表参数不会占比太高,同时中文切分还算合理)

§6 实操:训练你自己的中文分词器

用 SentencePiece 库,几行代码就能训练一个 BPE 分词器。

🔬 代码:训练分词器

# pip install sentencepiece

import sentencepiece as spm

# 准备训练语料(100MB~1GB 文本即可)
# corpus.txt: 每行一段中文文本

# 训练 BPE 分词器
spm.SentencePieceTrainer.train(
    input='corpus.txt',
    model_prefix='my_tokenizer',
    vocab_size=32000,       # 词表大小
    model_type='bpe',       # BPE 算法
    character_coverage=0.9995,  # 覆盖 99.95% 的字符
    byte_fallback=True,     # 未知字符回退到字节
    num_threads=8,          # 多线程训练
)

# 使用分词器
sp = spm.SentencePieceProcessor()
sp.load('my_tokenizer.model')

# 编码
tokens = sp.encode("大语言模型是人工智能的核心技术")
print(tokens)  # [1523, 8901, 445, 203, 6789, 1024]

# 解码
text = sp.decode(tokens)
print(text)  # "大语言模型是人工智能的核心技术"

# 查看 token 对应的文本
pieces = sp.encode("大语言模型", out_type=str)
print(pieces)  # ['大', '语言', '模型']

或者:直接用现成的分词器

# 方案 A:用 Qwen 的分词器(推荐中文场景)
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-0.5B")

# 方案 B:用 DeepSeek 的分词器
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/deepseek-llm-7b-base")

# 方案 C:用 LLaMA 3 的分词器
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Meta-Llama-3-8B")

# 测试
text = "大语言模型是人工智能的核心技术"
tokens = tokenizer.encode(text)
print(f"Token 数: {len(tokens)}")
print(f"Tokens: {tokenizer.convert_ids_to_tokens(tokens)}")

建议:如果你不是专门研究分词器,直接复用 Qwen 或 LLaMA 的分词器。 省时间,效果也好。自己训练分词器主要是为了学习原理。

下一章:Scaling Law——用多少数据、多大模型

◂ 返回导航主页