Scaling Law

模型大小 × 数据量 × 计算量 = 性能的黄金公式

训练大模型之前,最重要的决策不是选什么架构,而是——
用多少参数、喂多少数据、花多少算力。这三者的关系就是 Scaling Law。

§1 Chinchilla 定律——计算最优的配比

2022 年 DeepMind 的 Chinchilla 论文发现了一个简单规律: 模型参数量和训练 token 数应该成正比,且最佳比例约为 1:20。

🔬 可视化:Chinchilla 最优配比

最优训练 token 数 ≈ 参数量 × 20
模型规模Chinchilla 最优 tokens2026 实际 tokens过度训练倍数
100M2B2~5B1~2.5×
500M10B10~15B1~1.5×
1B20B20~30B1~1.5×
7B140B15T (LLaMA 3)~100×
70B1.4T15T (LLaMA 3)~10×
500B MoE10T30T (DeepSeek V4)~3×
关键发现:2022 年的 Chinchilla 说 7B 模型只需要 140B tokens。 但 2026 年的 LLaMA 3 用了 15T tokens(100 倍!)来训练 7B 模型。 这叫过度训练(Over-training)——用远超 Chinchilla 最优的数据量,换取更好的推理性能。

为什么 2026 年不再遵守 Chinchilla?

Chinchilla 的假设

  • 目标:训练阶段的计算最优
  • 推理成本不重要
  • 只优化训练 loss

2026 年的现实

  • 推理阶段成本远大于训练
  • 小模型推理便宜 → 部署成本低
  • 过度训练让小模型接近大模型效果
📐 数学洞察:Chinchilla 最优解怎么来的? — 为什么 N:D = 1:20

DeepMind 拟合了一个 Loss 关于 N(参数)和 D(数据)的公式,然后用拉格朗日乘数法求最优配比。

1
拟合 Loss 曲面(经验公式)
用不同规模的实验数据拟合一个三参数公式:
L(N, D) = (Nc/N)α + (Dc/D)β + L∞
含义:Loss = 模型不足项 + 数据不足项 + 不可压缩项
2
约束条件:总计算量 C = 6ND
训练 FLOPs ≈ 6 × 参数量 × token 数。你的预算 C 是固定的,问题变成:
min L(N,D) subject to 6ND = C
3
拉格朗日乘数法求解 → N 和 D 同比例增长
对 L 分别求 ∂/∂N 和 ∂/∂D,令两者对 Loss 的边际贡献相等:
Nopt ∝ C0.5, Dopt ∝ C0.5
N 和 D 各占计算预算的一半 → N 和 D 应同比例增长
结论:计算量翻倍时,应该模型和数据各翻 √2 ≈ 1.41 倍,而不是只加模型或只加数据。拟合出的最佳比例 N:D ≈ 1:20(每 1 亿参数配 20 亿 token)。但 2026 年实际都"过头训练",因为推理阶段小模型更便宜。
4
把拟合常数代进去:指数并不是精确的 0.5
Chinchilla 论文的拟合值 α=0.34、β=0.28,由 Nopt ∝ Cβ/(α+β)、Dopt ∝ Cα/(α+β):
Nopt ∝ C0.28/0.62 = C0.4516, Dopt ∝ C0.34/0.62 = C0.5484
D/N 比随 C(α−β)/(α+β) = C0.0968 增长——预算越大,应该给数据的比例略高于模型(α≈β 时才严格退化成各占 0.5)。对照:α=0.4、β=0.3 时 D/N 随 C0.1429。
5
6ND 的体感:一块家用显卡能训多大的模型?
N = 5×108(500M 参数)、D = 1010(100 亿 token):
C = 6ND = 6 × 5×108 × 1010 = 3.0×1019 FLOPs
双 RTX 4090(bf16 dense 标称 165.2 TFLOPS/张,取 80% MFU → 有效 2×165.2×0.8 = 264.3 TFLOPS):3.0×1019 / 2.643×1014 ≈ 1.14×105 s ≈ 31.5 小时。拿计算器可复现——「预训练贵」贵在把这套乘法乘了 104 倍。

§2 过度训练——小模型也能很强

2026 年的主流路线:把小模型"喂过头"。 LLaMA 路线证明,7B 模型用 15T tokens 训练后,能力接近 Chinchilla 最优的 70B 模型。

🔬 可视化:过度训练的收益递减

Loss ↓
训练 Tokens →
Chinchilla 最优点:训练效率最高(每 FLOP 的 loss 降低最多)
过度训练区:loss 继续下降,但越来越慢(收益递减)

2026 过度训练的典型比例

模型规模过度训练倍数效果
1B~50× (1T tokens)接近 Chinchilla 最优的 7B
3B~30× (3T tokens)接近 Chinchilla 最优的 13B
7B~100× (15T tokens)接近 Chinchilla 最优的 70B
13B~20× (5T tokens)接近 Chinchilla 最优的 70B

规律:越小的模型,过度训练倍数越大。因为小模型推理成本低,多花训练算力换取更便宜的推理。

§3 你的 500M 模型该怎么配

根据 Scaling Law,给出你的具体训练配置建议。

🔬 推荐配置

📐 模型配置
参数量 500M
层数 16 层
隐藏维度 1024
注意力头 16 (GQA: 4 KV 头)
📊 数据配置
Chinchilla 最优 10B tokens
推荐(轻度过度) 15~20B tokens
文本量 ~30~40GB 纯文本
词表大小 32K~50K
⚡ 训练配置(单 4090)
batch size 8 × gradient_accum=8 → 有效 64
学习率 3e-4(cosine 衰减)
训练时间 ~24~36 小时(单卡)
训练时间 ~12~18 小时(双卡)

如果数据不够怎么办?

📚
方案 1:用现有开源数据
中文维基百科 (500M tok) + C4 中文子集 (5B) + 代码数据 (2B) = ~8B tokens
🔄
方案 2:数据重复(Epoch)
5B 数据训练 3~4 个 epoch = 等效 15~20B tokens(但效果略差)
🤖
方案 3:合成数据
用 GPT-4/Qwen API 生成额外训练数据,补充特定领域

§4 涌现能力——规模带来的"突然开窍"

某些能力在小模型上完全不存在,但当模型规模超过某个阈值后突然涌现。 这是 Scaling Law 最迷人也最令人不安的发现。

🔬 可视化:能力涌现的阈值

基础问答
100M 即可
简单翻译
300M 即可
文本摘要
~1B
代码生成
~3B
逻辑推理
~10B+
思维链推理
~30B+ (或 RLVR)
注意:2025-2026 年发现,RLVR(可验证奖励强化学习)能让小模型"提前涌现"推理能力。 R1-Distill-1.5B 通过蒸馏获得了思维链能力,远超同规模从头训练的模型。

对你的 500M 模型的期望

✅ 基础问答、简单翻译、格式模仿、简单摘要
⚠️ 代码生成(简单可以,复杂的会出错)
❌ 复杂逻辑推理、数学证明(除非蒸馏+RLVR)

下一章:训练工程实战——从理论到代码

◂ 返回导航主页