后训练革命
从 SFT 到 RLHF 到 GRPO 到 RLVR
预训练让模型"会说话",后训练让模型"说得好"。
本章用可视化拆解 2026 年让大模型变聪明的完整流水线。
§1 SFT——监督微调:教会模型"回答问题"
预训练出来的基座模型只会"接龙"——给它"请解释量子力学",它可能会续写"请解释量子力学的定义是……"。 SFT(Supervised Fine-Tuning)用人工标注的 (问题, 好答案) 对,教会模型按指令回答。
🔬 可视化:SFT 做了什么
SFT 的局限性
✅ SFT 能做的
- 教会模型按指令格式回答
- 让模型输出结构化内容(JSON、代码等)
- 注入领域知识
❌ SFT 做不到的
- 区分"好回答"和"更好的回答"——SFT 只有一个"标准答案"
- 学会人类的微妙偏好(幽默、安全、无害)
- 在多个合理回答中选择更优的
这就是为什么需要 RLHF——它解决的问题是:"两个回答都不错,但哪个更好?"
§2 RLHF/PPO——经典强化学习对齐
RLHF(Reinforcement Learning from Human Feedback)是 2022 年 InstructGPT 确立的经典范式: 先训练一个奖励模型学会"打分",再用 PPO 算法让模型朝着高分方向进化。
🔬 可视化:RLHF 三步流程
用这些偏好数据训练一个打分器——奖励模型。
加一个KL 惩罚防止模型跑离 SFT 太远。
PPO 需要 4 个模型——这是它贵的原因
4 个模型同时在显存中 → 显存占用约为模型参数的 4 倍 → 训练成本极高
§3 DPO——直接偏好优化:用数学砍掉 RL
2023 年 Stanford 的 DPO 论文(NeurIPS 最佳论文)证明了一个惊人的结论: 不需要奖励模型,不需要 PPO 循环——一个变量替换就能把 RL 问题变成监督学习。
🔬 可视化:DPO 的核心思想
DPO 的直觉
想象你在训练一个聊天机器人。DPO 做的事情很简单:
DPO 损失 = −log σ(β · [log π(y好)/πref(y好) − log π(y差)/πref(y差)])
直白说:好回答相对参考模型的"优势"必须大于差回答。β 控制偏离程度。
DPO 的优缺点
✅ 优势
- 简单——训练流程和 SFT 一样,只是损失函数不同
- 便宜——显存省一半(无 RM、无 Critic)
- 稳定——无 RL 训练的不稳定性
- 2026 年中小模型对齐的事实标准
❌ 短板
- 不探索——正确答案不在数据里就学不会
- 依赖离线偏好数据的质量
- 在数学/代码推理上不如 GRPO
§4 GRPO——组相对策略优化:DeepSeek 的杀手锏
GRPO 是 DeepSeek R1 背后的核心算法。它用一招"小组互评"干掉了 PPO 最贵的 Critic 网络, 显存省一半,且天然适合可验证奖励(数学题有标准答案)。
🔬 可视化:GRPO 的"小组互评"机制
A 的优势 = (0.9 − 0.675) / 0.2278 = +0.988(鼓励)
B 的优势 = (0.3 − 0.675) / 0.2278 = −1.646(惩罚)
→ 不需要 Critic 网络,组内互比就够了!
GRPO vs PPO 对比
| 维度 | PPO | GRPO |
|---|---|---|
| 需要的模型数 | 4 个(Actor+Critic+RM+Ref) | 2 个(Actor+Ref) |
| 显存占用 | ≈ 4× 模型参数 | ≈ 2× 模型参数 |
| 优势估计 | Critic 网络逐 token 估计 | 组内相对比较 |
| 适合场景 | 通用对齐 | 数学/代码(有标准答案) |
| 代表模型 | InstructGPT, GPT-4 | DeepSeek R1, Qwen, OLMo |
GRPO 的变体(2026 年工业级改进)
Qwen2.5-32B 在 AIME 上达到 50 分,训练步数只需 R1 的一半。
advantage 的完整公式,与它的头号敌人:熵坍缩(entropy collapse)
GRPO 不是拿「差值」当优势,而是组内标准化: Âi = (ri − mean(r)) / std(r)。上面例子: std = √(((0.9−0.675)²+(0.3−0.675)²+(0.7−0.675)²+(0.8−0.675)²)/4) = 0.2278, 于是 A 得 (0.225)/0.2278 = +0.988,B 得 (−0.375)/0.2278 = −1.646, C 得 +0.110,D 得 +0.549——全部可拿计算器复现。 除以 std 不是化妆:奖励尺度因题而异,不归一化就无法跨题共享一个学习率。
但 RL 训练中策略熵单调下降——模型越来越自信。设模型最偏爱的回答概率为 p、 一组抽 G=8 条,则「8 条完全相同」的概率是 p⁸: p=0.5 → 0.0039;p=0.9 → 0.4305;p=0.99 → 0.9227;p=0.999 → 0.9920。 全同 → 全组奖励相同 → std=0 → Â = 0/0:这一组不产生任何梯度,采样算力全白费; 更糟的是它自我强化——没有方差的题不再被鼓励探索,熵继续掉,直到训练「空转」。
能救场的恰恰是那些低概率的探索 token,而标准 PPO-clip 把上侧也锁在 1+ε(概率每步只能涨 ε)。 所以 DAPO 的 Clip-Higher 把上下侧解耦(εlow=0.2、εhigh=0.28,涨的概率放宽), 配动态采样(全对/全错的组直接重采)——两个补丁打的都是熵坍缩这一块靶。 这也是上一页 GRPO 变体表里「防熵崩溃」一语的完整数学含义。
§5 RLVR——可验证奖励强化学习
RLVR(RL with Verifiable Rewards)是 2026 年最前沿的后训练范式。 核心思想:奖励不来自人类偏好,而来自可验证的规则——数学答案可以对答案、代码可以跑测试用例。
🔬 可视化:RLVR 的奖励来源
选一个更好的 → 训练 RM → RM 打分
主观、贵、有人为偏差
代码题:跑测试用例 → 通过率
客观、免费、无限扩展
🔬 可视化:DeepSeek R1-Zero 的涌现推理
R1-Zero 证明了:用纯 RLVR(无需人工标注的推理数据),模型自己会"涌现"出思维链推理能力。
回答:大概是 50000 多吧。猜测
<think> 让我一步步计算:
123 × 400 = 49200
123 × 50 = 6150
123 × 6 = 738
49200 + 6150 + 738 = 56088 </think>
答案是 56088。自主涌现思维链
RLVR 的适用场景
奖励 = 0 或 1
奖励 = 通过率
奖励 = 是否符合观测
奖励 = 结论正确性
§6 2026 年后训练流水线与选型
2026 年的后训练已经从两阶段(SFT + RLHF)演化为三阶段流水线。 不同场景选择不同的技术组合。
🔬 可视化:2026 完整后训练流水线
第 3 阶段是 2025-2026 新增的,也是让 R1/o1/o3 推理能力飞跃的关键。
2026 五大后训练算法对比
| 算法 | 需要模型数 | 核心机制 | 适合场景 | 代表模型 |
|---|---|---|---|---|
| RLHF/PPO | 4 个 | RM 打分 + PPO 优化 | 通用对齐、高风险领域 | GPT-4, Gemini |
| DPO | 2 个 | 偏好数据直接优化 | 指令跟随、中小模型 | Llama, Mistral |
| KTO | 2 个 | 只需好/坏二元标签 | 数据成本敏感 | 各类模型 |
| GRPO | 2 个 | 组内相对比较、去 Critic | 数学/代码推理 | DeepSeek R1, Qwen |
| DAPO | 2 个 | GRPO + 四项工业级改进 | 工业级推理模型 | Qwen2.5 |
2026 年各实验室后训练策略
| 实验室 | 后训练方法 | 关键特点 |
|---|---|---|
| OpenAI | RLHF + RLVR 混合 | o 系列推理模型:后训练计算 > 预训练 |
| DeepSeek | GRPO + RLVR | R1:纯 RL 涌现推理,最经济路线 |
| Anthropic | CAI/RLAIF + RL | Constitutional AI:AI 自我批评替代人类标注 |
| PPO + RLHF | Gemini 保持最传统的 PPO 实现 | |
| 阿里 (Qwen) | DAPO + GRPO | 工业级 GRPO 变体,开源全链路 |
| Cursor | RL 后训练 | Composer 系列:后训练 20 倍扩展 |