分词器——文本怎么变成 Token
训练大模型的第一步,也是影响模型质量的关键决策
模型不认识汉字和英文字母,只认识数字 ID。
分词器(Tokenizer)是把人类文字转换成模型能理解的 token 序列的桥梁。
§1 为什么要分词——不能一个字一个 token 吗?
理论上可以,但效率极低。分词器的核心目标是:用最少的 token 表达最多的信息。
🔬 可视化:不同分词策略对比
逐字符(最差)
我今天在北京吃了烤鸭
10 个 token
每个字独立,学不到"北京"是一个整体概念
逐词(中文不适用)
我今天在北京吃了烤鸭
7 个 token
需要先做分词,且无法处理未登录词
✅ BPE 子词(主流)
我今天在北京吃了烤鸭
9 个 token("北京"被合并)
高频词合并,低频词拆开——自动学习最优切分
分词器决定了什么?
上下文有效长度
同一句话,分词器好 → token 少 → 能塞更多内容
模型学到的概念
"北京"是一个 token → 模型直接学到这是一个整体概念
训练/推理成本
token 越少 → 序列越短 → 计算量越小
§2 BPE 算法——最主流的分词方法
BPE(Byte Pair Encoding)是目前最广泛使用的分词算法。 GPT、LLaMA、Qwen、DeepSeek 全都用它或它的变体。
🔬 可视化:BPE 合并过程
核心思想:从单字符开始,反复合并出现频率最高的相邻字符对。
初始(全部拆开)
low
|
lower
|
newest
|
widest
最频繁对:"l" + "o" 出现 2 次
↓ 合并 "lo"
第 1 轮合并
low
|
lower
|
newest
|
widest
最频繁对:"lo" + "w" 出现 2 次
↓ 合并 "low"
第 2 轮合并
low
|
lower
|
newest
|
widest
最频繁对:"e" + "r" 和 "e" + "s" 各 1 次
↓ 继续合并...(重复几千~几万次)
最终结果
low
|
lower
|
newest
|
widest
高频词被合并为整体 token!
BPE 的关键参数
| 参数 | 含义 | 典型值 |
|---|---|---|
| vocab_size | 词表大小(合并多少次后停止) | 32K ~ 150K |
| min_frequency | 最低合并频率 | 2 ~ 10 |
| byte_fallback | 未知字符回退到字节 | true(避免 UNK) |
§3 三大分词算法对比
BPE 不是唯一选择。2026 年主流有三种算法。
🔬 可视化:三大算法思路对比
BPE(自底向上)
从字符开始,反复合并最高频的相邻对
a b c d → ab c d → ab cd
GPT、LLaMA、Qwen、DeepSeek
WordPiece(贪心拆分)
从大词表开始,用最大似然选择拆分点
unhappiness → un ##happi ##ness
BERT、DistilBERT
Unigram(概率删减)
从超大词表开始,逐步删除对似然贡献最小的 token
[10000 tokens] → 删最不需要的 → [32000]
T5、SentencePiece 默认
该选哪个?
| 场景 | 推荐算法 | 理由 |
|---|---|---|
| 从零训练自己的模型 | BPE (SentencePiece) | 最通用、生态最好 |
| 中文为主 | BPE + byte_fallback | 避免 UNK,中文切分合理 |
| 多语言 | Unigram | 多语言覆盖更均匀 |
| 沿用已有分词器 | 直接用 Qwen/GPT 的 | 省时间、效果已验证 |
§4 中文分词的特殊挑战
英文天然有空格分隔单词,中文没有。这让中文分词有独特的难题。
🔬 可视化:同一句话在不同分词器下的 token 数
"大语言模型是人工智能的核心技术"
GPT-4 (tiktoken)
大语言模型是人工智能的核心技术
11 tokens
Qwen (150K词表)
大语言模型是人工智能的核心技术
6 tokens ✅
DeepSeek (BPE 100K)
大语言模型是人工智能的核心技术
8 tokens
关键发现:中文分词器的词表越大,每个汉字平均占用的 token 越少。
Qwen 的 150K 词表让同样一句话只需 6 个 token,而 GPT-4 需要 11 个。
这意味着 1024 的上下文窗口,Qwen 能装更多中文内容。
中文分词的关键决策
✅ 好的做法
- 词表 ≥ 50K(中文需要更多 token)
- 开启 byte_fallback(避免 UNK)
- 训练数据覆盖足够多的中文
- 常见中文词整体保留("人工智能"不拆)
❌ 常见坑
- 词表太小(< 20K)→ 中文被切成单字
- 用英文分词器处理中文 → 效率极低
- 忘记处理繁体/简体差异
- emoji/特殊符号处理不当
§5 词表大小怎么选
词表大小直接影响模型的效率和质量。
🔬 可视化:词表大小的权衡
2026 年主流模型的词表
| 模型 | 词表大小 | 算法 | 中文效率 |
|---|---|---|---|
| GPT-4 (tiktoken) | 100K | BPE | 中等 |
| LLaMA 3 | 128K | BPE (tiktoken) | 中等 |
| Qwen 2.5 | 152K | BPE (SentencePiece) | 优秀 |
| DeepSeek V4 | 128K | BPE | 良好 |
| Mistral | 32K | BPE | 差(偏英文) |
你的 500M 模型建议:32K~50K 词表(词表参数不会占比太高,同时中文切分还算合理)
§6 实操:训练你自己的中文分词器
用 SentencePiece 库,几行代码就能训练一个 BPE 分词器。
🔬 代码:训练分词器
# pip install sentencepiece
import sentencepiece as spm
# 准备训练语料(100MB~1GB 文本即可)
# corpus.txt: 每行一段中文文本
# 训练 BPE 分词器
spm.SentencePieceTrainer.train(
input='corpus.txt',
model_prefix='my_tokenizer',
vocab_size=32000, # 词表大小
model_type='bpe', # BPE 算法
character_coverage=0.9995, # 覆盖 99.95% 的字符
byte_fallback=True, # 未知字符回退到字节
num_threads=8, # 多线程训练
)
# 使用分词器
sp = spm.SentencePieceProcessor()
sp.load('my_tokenizer.model')
# 编码
tokens = sp.encode("大语言模型是人工智能的核心技术")
print(tokens) # [1523, 8901, 445, 203, 6789, 1024]
# 解码
text = sp.decode(tokens)
print(text) # "大语言模型是人工智能的核心技术"
# 查看 token 对应的文本
pieces = sp.encode("大语言模型", out_type=str)
print(pieces) # ['大', '语言', '模型']
或者:直接用现成的分词器
# 方案 A:用 Qwen 的分词器(推荐中文场景)
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-0.5B")
# 方案 B:用 DeepSeek 的分词器
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/deepseek-llm-7b-base")
# 方案 C:用 LLaMA 3 的分词器
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Meta-Llama-3-8B")
# 测试
text = "大语言模型是人工智能的核心技术"
tokens = tokenizer.encode(text)
print(f"Token 数: {len(tokens)}")
print(f"Tokens: {tokenizer.convert_ids_to_tokens(tokens)}")
建议:如果你不是专门研究分词器,直接复用 Qwen 或 LLaMA 的分词器。 省时间,效果也好。自己训练分词器主要是为了学习原理。