Scaling Law
模型大小 × 数据量 × 计算量 = 性能的黄金公式
训练大模型之前,最重要的决策不是选什么架构,而是——
用多少参数、喂多少数据、花多少算力。这三者的关系就是 Scaling Law。
§1 Chinchilla 定律——计算最优的配比
2022 年 DeepMind 的 Chinchilla 论文发现了一个简单规律: 模型参数量和训练 token 数应该成正比,且最佳比例约为 1:20。
🔬 可视化:Chinchilla 最优配比
最优训练 token 数 ≈ 参数量 × 20
| 模型规模 | Chinchilla 最优 tokens | 2026 实际 tokens | 过度训练倍数 |
|---|---|---|---|
| 100M | 2B | 2~5B | 1~2.5× |
| 500M | 10B | 10~15B | 1~1.5× |
| 1B | 20B | 20~30B | 1~1.5× |
| 7B | 140B | 15T (LLaMA 3) | ~100× |
| 70B | 1.4T | 15T (LLaMA 3) | ~10× |
| 500B MoE | 10T | 30T (DeepSeek V4) | ~3× |
关键发现:2022 年的 Chinchilla 说 7B 模型只需要 140B tokens。
但 2026 年的 LLaMA 3 用了 15T tokens(100 倍!)来训练 7B 模型。
这叫过度训练(Over-training)——用远超 Chinchilla 最优的数据量,换取更好的推理性能。
为什么 2026 年不再遵守 Chinchilla?
Chinchilla 的假设
- 目标:训练阶段的计算最优
- 推理成本不重要
- 只优化训练 loss
2026 年的现实
- 推理阶段成本远大于训练
- 小模型推理便宜 → 部署成本低
- 过度训练让小模型接近大模型效果
数学洞察:Chinchilla 最优解怎么来的?
— 为什么 N:D = 1:20
DeepMind 拟合了一个 Loss 关于 N(参数)和 D(数据)的公式,然后用拉格朗日乘数法求最优配比。
1
拟合 Loss 曲面(经验公式)
用不同规模的实验数据拟合一个三参数公式:
L(N, D) = (Nc/N)α + (Dc/D)β + L∞
含义:Loss = 模型不足项 + 数据不足项 + 不可压缩项
2
约束条件:总计算量 C = 6ND
训练 FLOPs ≈ 6 × 参数量 × token 数。你的预算 C 是固定的,问题变成:
min L(N,D) subject to 6ND = C
3
拉格朗日乘数法求解 → N 和 D 同比例增长
对 L 分别求 ∂/∂N 和 ∂/∂D,令两者对 Loss 的边际贡献相等:
Nopt ∝ C0.5, Dopt ∝ C0.5
N 和 D 各占计算预算的一半 → N 和 D 应同比例增长
结论:计算量翻倍时,应该模型和数据各翻 √2 ≈ 1.41 倍,而不是只加模型或只加数据。拟合出的最佳比例 N:D ≈ 1:20(每 1 亿参数配 20 亿 token)。但 2026 年实际都"过头训练",因为推理阶段小模型更便宜。
4
把拟合常数代进去:指数并不是精确的 0.5
Chinchilla 论文的拟合值 α=0.34、β=0.28,由 Nopt ∝ Cβ/(α+β)、Dopt ∝ Cα/(α+β):
Nopt ∝ C0.28/0.62 = C0.4516, Dopt ∝ C0.34/0.62 = C0.5484
D/N 比随 C(α−β)/(α+β) = C0.0968 增长——预算越大,应该给数据的比例略高于模型(α≈β 时才严格退化成各占 0.5)。对照:α=0.4、β=0.3 时 D/N 随 C0.1429。
5
6ND 的体感:一块家用显卡能训多大的模型?
N = 5×108(500M 参数)、D = 1010(100 亿 token):
C = 6ND = 6 × 5×108 × 1010 = 3.0×1019 FLOPs
双 RTX 4090(bf16 dense 标称 165.2 TFLOPS/张,取 80% MFU → 有效 2×165.2×0.8 = 264.3 TFLOPS):3.0×1019 / 2.643×1014 ≈ 1.14×105 s ≈ 31.5 小时。拿计算器可复现——「预训练贵」贵在把这套乘法乘了 104 倍。
§2 过度训练——小模型也能很强
2026 年的主流路线:把小模型"喂过头"。 LLaMA 路线证明,7B 模型用 15T tokens 训练后,能力接近 Chinchilla 最优的 70B 模型。
🔬 可视化:过度训练的收益递减
Loss ↓
训练 Tokens →
Chinchilla 最优点:训练效率最高(每 FLOP 的 loss 降低最多)
过度训练区:loss 继续下降,但越来越慢(收益递减)
2026 过度训练的典型比例
| 模型规模 | 过度训练倍数 | 效果 |
|---|---|---|
| 1B | ~50× (1T tokens) | 接近 Chinchilla 最优的 7B |
| 3B | ~30× (3T tokens) | 接近 Chinchilla 最优的 13B |
| 7B | ~100× (15T tokens) | 接近 Chinchilla 最优的 70B |
| 13B | ~20× (5T tokens) | 接近 Chinchilla 最优的 70B |
规律:越小的模型,过度训练倍数越大。因为小模型推理成本低,多花训练算力换取更便宜的推理。
§3 你的 500M 模型该怎么配
根据 Scaling Law,给出你的具体训练配置建议。
🔬 推荐配置
📐 模型配置
参数量
500M
层数
16 层
隐藏维度
1024
注意力头
16 (GQA: 4 KV 头)
📊 数据配置
Chinchilla 最优
10B tokens
推荐(轻度过度)
15~20B tokens
文本量
~30~40GB 纯文本
词表大小
32K~50K
⚡ 训练配置(单 4090)
batch size
8 × gradient_accum=8 → 有效 64
学习率
3e-4(cosine 衰减)
训练时间
~24~36 小时(单卡)
训练时间
~12~18 小时(双卡)
如果数据不够怎么办?
方案 1:用现有开源数据
中文维基百科 (500M tok) + C4 中文子集 (5B) + 代码数据 (2B) = ~8B tokens
方案 2:数据重复(Epoch)
5B 数据训练 3~4 个 epoch = 等效 15~20B tokens(但效果略差)
方案 3:合成数据
用 GPT-4/Qwen API 生成额外训练数据,补充特定领域
§4 涌现能力——规模带来的"突然开窍"
某些能力在小模型上完全不存在,但当模型规模超过某个阈值后突然涌现。 这是 Scaling Law 最迷人也最令人不安的发现。
🔬 可视化:能力涌现的阈值
基础问答
100M 即可
简单翻译
300M 即可
文本摘要
~1B
代码生成
~3B
逻辑推理
~10B+
思维链推理
~30B+ (或 RLVR)
注意:2025-2026 年发现,RLVR(可验证奖励强化学习)能让小模型"提前涌现"推理能力。
R1-Distill-1.5B 通过蒸馏获得了思维链能力,远超同规模从头训练的模型。
对你的 500M 模型的期望
基础问答、简单翻译、格式模仿、简单摘要
代码生成(简单可以,复杂的会出错)
复杂逻辑推理、数学证明(除非蒸馏+RLVR)