后训练革命

从 SFT 到 RLHF 到 GRPO 到 RLVR

预训练让模型"会说话",后训练让模型"说得好"。
本章用可视化拆解 2026 年让大模型变聪明的完整流水线。

§1 SFT——监督微调:教会模型"回答问题"

预训练出来的基座模型只会"接龙"——给它"请解释量子力学",它可能会续写"请解释量子力学的定义是……"。 SFT(Supervised Fine-Tuning)用人工标注的 (问题, 好答案) 对,教会模型按指令回答。

🔬 可视化:SFT 做了什么

❌ 基座模型(只会接龙)
用户输入:请解释什么是量子力学
模型输出:的定义是,量子力学是20世纪初发展起来的物理学分支,其创始人包括普朗克、玻尔……续写维基百科
✅ SFT 后(会回答问题)
用户输入:请解释什么是量子力学
模型输出:量子力学是描述微观粒子行为的物理理论。与经典物理不同,微观粒子具有波粒二象性……结构化回答
SFT 的本质:用 (指令, 好回答) 的数据对继续训练模型。训练方式和预训练完全一样(自回归+错位法),只是数据变成了人工标注的。 数据量通常 10K~1M 条,远小于预训练的万亿 token。

SFT 的局限性

✅ SFT 能做的

  • 教会模型按指令格式回答
  • 让模型输出结构化内容(JSON、代码等)
  • 注入领域知识

❌ SFT 做不到的

  • 区分"好回答"和"更好的回答"——SFT 只有一个"标准答案"
  • 学会人类的微妙偏好(幽默、安全、无害)
  • 在多个合理回答中选择更优的

这就是为什么需要 RLHF——它解决的问题是:"两个回答都不错,但哪个更好?"

§2 RLHF/PPO——经典强化学习对齐

RLHF(Reinforcement Learning from Human Feedback)是 2022 年 InstructGPT 确立的经典范式: 先训练一个奖励模型学会"打分",再用 PPO 算法让模型朝着高分方向进化。

🔬 可视化:RLHF 三步流程

1
训练奖励模型 (RM)
给模型同一个问题的两个回答,让人类标注员选更好的。
用这些偏好数据训练一个打分器——奖励模型。
回答A:量子力学描述了微观世界的概率性行为……
回答B:量子力学就是薛定谔的猫那个东西吧……
人类选择 A → RM 学会给 A 更高分
→
2
PPO 强化学习优化
模型生成回答 → RM 打分 → 用 PPO 算法更新模型权重 → 让高分回答的概率增大。
加一个KL 惩罚防止模型跑离 SFT 太远。
模型生成回答
↓
RM 打分:7.5/10
↓
PPO 更新权重(朝高分方向)
↺ 循环

PPO 需要 4 个模型——这是它贵的原因

Actor(策略模型)
生成回答
Critic(价值模型)
评估当前状态好不好
Reward Model
给回答打分
Reference(参考模型)
KL 惩罚基准

4 个模型同时在显存中 → 显存占用约为模型参数的 4 倍 → 训练成本极高

§3 DPO——直接偏好优化:用数学砍掉 RL

2023 年 Stanford 的 DPO 论文(NeurIPS 最佳论文)证明了一个惊人的结论: 不需要奖励模型,不需要 PPO 循环——一个变量替换就能把 RL 问题变成监督学习。

🔬 可视化:DPO 的核心思想

RLHF 路线(绕一大圈)
偏好数据
→
训练 RM
→
PPO 循环
→
优化策略
需要 4 个模型 + 在线采样
✅ DPO 路线(一步到位)
偏好数据
→
直接训练策略
只需 2 个模型(策略 + 参考)

DPO 的直觉

想象你在训练一个聊天机器人。DPO 做的事情很简单:

好回答 (chosen)
"量子力学描述了微观粒子的波粒二象性和量子化行为……"
→ 增大模型生成这段文字的概率 ↑
差回答 (rejected)
"量子力学就是薛定谔的猫那个东西吧……"
→ 减小模型生成这段文字的概率 ↓
关键公式(只需理解直觉):
DPO 损失 = −log σ(β · [log π(y好)/πref(y好) − log π(y差)/πref(y差)])
直白说:好回答相对参考模型的"优势"必须大于差回答。β 控制偏离程度。
📐 数学洞察:DPO 怎么把 RL 变成监督学习? — 三步推导
1
RLHF 目标:最大化奖励,但不能偏离参考模型太远
标准的 RLHF 目标函数:
max E[r(x,y)] − β · KL(πθ ‖ πref)
KL 项防止策略模型 πθ 偏离参考模型 πref 太远。但这里需要训练一个单独的奖励模型 r(x,y)。
2
关键洞察:最优策略可以用奖励函数反解出来
用变分法对上面的目标求最优解,得到:
π*(y|x) = πref(y|x) · exp(r(x,y)/β) / Z(x)
反过来写,奖励可以用策略表示:r(x,y) = β · log[πθ(y|x) / πref(y|x)] + β·logZ
3
代入 Bradley-Terry 偏好模型 → 消掉 r,得到 DPO 损失
Bradley-Terry 模型说:P(y好 优于 y差) = σ(r好 − r差)。把步骤 2 的表达式代入:
LDPO = −log σ(β · [log πθ(y好)/πref(y好) − log πθ(y差)/πref(y差)])
奖励模型消失了!损失函数只涉及策略模型和参考模型的 log 概率比——就是一个标准的分类损失。
为什么 DPO 如此重要:整个推导的核心就一步——把奖励函数用策略的 log 比率重新表达。这让你不再需要:① 训练单独的奖励模型 ② 跑 PPO 在线采样循环。训练 DPO 和训练 SFT 一样简单,只是损失函数变了。

DPO 的优缺点

✅ 优势

  • 简单——训练流程和 SFT 一样,只是损失函数不同
  • 便宜——显存省一半(无 RM、无 Critic)
  • 稳定——无 RL 训练的不稳定性
  • 2026 年中小模型对齐的事实标准

❌ 短板

  • 不探索——正确答案不在数据里就学不会
  • 依赖离线偏好数据的质量
  • 在数学/代码推理上不如 GRPO

§4 GRPO——组相对策略优化:DeepSeek 的杀手锏

GRPO 是 DeepSeek R1 背后的核心算法。它用一招"小组互评"干掉了 PPO 最贵的 Critic 网络, 显存省一半,且天然适合可验证奖励(数学题有标准答案)。

🔬 可视化:GRPO 的"小组互评"机制

📝 问题:证明 √2 是无理数
样本 A 奖励 = 0.9
假设 √2 = p/q(最简分数),则 2q² = p²,p 为偶数,设 p=2k…… 完整证明
样本 B 奖励 = 0.3
√2 约等于 1.414,它不是整数所以是无理数…… 不是证明
样本 C 奖励 = 0.7
用反证法:设 √2 是有理数,则 √2 = a/b……但推到矛盾 思路对但断了
样本 D 奖励 = 0.8
假设 √2 = p/q,其中 gcd(p,q)=1。平方得 2q²=p²…… 正确完整
组内相对比较:组平均奖励 = (0.9+0.3+0.7+0.8)/4 = 0.675,组内标准差 = 0.2278
A 的优势 = (0.9 − 0.675) / 0.2278 = +0.988(鼓励)
B 的优势 = (0.3 − 0.675) / 0.2278 = −1.646(惩罚)
→ 不需要 Critic 网络,组内互比就够了!

GRPO vs PPO 对比

维度PPOGRPO
需要的模型数4 个(Actor+Critic+RM+Ref)2 个(Actor+Ref)
显存占用≈ 4× 模型参数≈ 2× 模型参数
优势估计Critic 网络逐 token 估计组内相对比较
适合场景通用对齐数学/代码(有标准答案)
代表模型InstructGPT, GPT-4DeepSeek R1, Qwen, OLMo

GRPO 的变体(2026 年工业级改进)

DAPO(字节 Seed)
GRPO++:Clip-Higher 防熵崩溃 + 动态采样跳过全对/全错题 + Token 级损失消除长度偏差。
Qwen2.5-32B 在 AIME 上达到 50 分,训练步数只需 R1 的一半。
GSPO
Group Sequence Policy Optimization:在组层面做序列级优化,而非 token 级。

advantage 的完整公式,与它的头号敌人:熵坍缩(entropy collapse)

GRPO 不是拿「差值」当优势,而是组内标准化: Âi = (ri − mean(r)) / std(r)。上面例子: std = √(((0.9−0.675)²+(0.3−0.675)²+(0.7−0.675)²+(0.8−0.675)²)/4) = 0.2278, 于是 A 得 (0.225)/0.2278 = +0.988,B 得 (−0.375)/0.2278 = −1.646, C 得 +0.110,D 得 +0.549——全部可拿计算器复现。 除以 std 不是化妆:奖励尺度因题而异,不归一化就无法跨题共享一个学习率。

但 RL 训练中策略熵单调下降——模型越来越自信。设模型最偏爱的回答概率为 p、 一组抽 G=8 条,则「8 条完全相同」的概率是 p⁸: p=0.5 → 0.0039;p=0.9 → 0.4305;p=0.99 → 0.9227;p=0.999 → 0.9920。 全同 → 全组奖励相同 → std=0 → Â = 0/0:这一组不产生任何梯度,采样算力全白费; 更糟的是它自我强化——没有方差的题不再被鼓励探索,熵继续掉,直到训练「空转」。

能救场的恰恰是那些低概率的探索 token,而标准 PPO-clip 把上侧也锁在 1+ε(概率每步只能涨 ε)。 所以 DAPO 的 Clip-Higher 把上下侧解耦(εlow=0.2、εhigh=0.28,涨的概率放宽), 配动态采样(全对/全错的组直接重采)——两个补丁打的都是熵坍缩这一块靶。 这也是上一页 GRPO 变体表里「防熵崩溃」一语的完整数学含义。

§5 RLVR——可验证奖励强化学习

RLVR(RL with Verifiable Rewards)是 2026 年最前沿的后训练范式。 核心思想:奖励不来自人类偏好,而来自可验证的规则——数学答案可以对答案、代码可以跑测试用例。

🔬 可视化:RLVR 的奖励来源

传统 RLHF 的奖励
👤
人类标注员看两个回答
选一个更好的 → 训练 RM → RM 打分
主观、贵、有人为偏差
✅ RLVR 的奖励
✅
数学题:验证答案是否正确 → 0 或 1
代码题:跑测试用例 → 通过率
客观、免费、无限扩展

🔬 可视化:DeepSeek R1-Zero 的涌现推理

R1-Zero 证明了:用纯 RLVR(无需人工标注的推理数据),模型自己会"涌现"出思维链推理能力。

训练前(基座模型)
问题:123 × 456 = ?
回答:大概是 50000 多吧。猜测
↓ 纯 RLVR 训练(答案对了就奖励,错了就惩罚)
训练后(R1-Zero)
问题:123 × 456 = ?
<think> 让我一步步计算:
123 × 400 = 49200
123 × 50 = 6150
123 × 6 = 738
49200 + 6150 + 738 = 56088 </think>
答案是 56088。自主涌现思维链
没有人教它"要一步步思考"——模型发现"分步计算"能答对更多题(获得更多奖励),于是自己学会了思维链。 这是 RLVR 最震撼的发现:推理能力可以从奖励信号中自发涌现。

RLVR 的适用场景

📐
数学推理
答案唯一可验证
奖励 = 0 或 1
💻
代码生成
跑测试用例
奖励 = 通过率
🧪
科学推理
实验结果可验证
奖励 = 是否符合观测
🔍
逻辑推理
推导链可检查
奖励 = 结论正确性

§6 2026 年后训练流水线与选型

2026 年的后训练已经从两阶段(SFT + RLHF)演化为三阶段流水线。 不同场景选择不同的技术组合。

🔬 可视化:2026 完整后训练流水线

1
SFT
指令跟随格式
10K~1M 条标注数据
→
2
偏好对齐
DPO 或 RLHF
10万+ 偏好对
→
3
RLVR
推理能力涌现
可验证任务 + GRPO
阶段 1 让模型"会答" → 阶段 2 让模型"答得好" → 阶段 3 让模型"会推理"
第 3 阶段是 2025-2026 新增的,也是让 R1/o1/o3 推理能力飞跃的关键。

2026 五大后训练算法对比

算法需要模型数核心机制适合场景代表模型
RLHF/PPO4 个RM 打分 + PPO 优化通用对齐、高风险领域GPT-4, Gemini
DPO2 个偏好数据直接优化指令跟随、中小模型Llama, Mistral
KTO2 个只需好/坏二元标签数据成本敏感各类模型
GRPO2 个组内相对比较、去 Critic数学/代码推理DeepSeek R1, Qwen
DAPO2 个GRPO + 四项工业级改进工业级推理模型Qwen2.5

2026 年各实验室后训练策略

实验室后训练方法关键特点
OpenAIRLHF + RLVR 混合o 系列推理模型:后训练计算 > 预训练
DeepSeekGRPO + RLVRR1:纯 RL 涌现推理,最经济路线
AnthropicCAI/RLAIF + RLConstitutional AI:AI 自我批评替代人类标注
GooglePPO + RLHFGemini 保持最传统的 PPO 实现
阿里 (Qwen)DAPO + GRPO工业级 GRPO 变体,开源全链路
CursorRL 后训练Composer 系列:后训练 20 倍扩展

一句话总结

2022
SFT + RLHF/PPO → 模型"能用"
2023
+ DPO → 更便宜、更稳定
2024
+ GRPO → 砍掉 Critic,推理模型可行
2025
+ RLVR → 推理能力涌现(R1、o1)
2026
后训练计算 > 预训练 → RL 是新的护城河