专题:扩散语言模型
把「一次一个词」这个前提拆掉
从图像扩散到 LLaDA/Dream/Mercury——掩码扩散如何在文本世界复刻「并行去噪」,以及它到底换来了什么
§1 自回归付的三笔账,扩散想赖掉哪一笔
推理篇 §7算过:decode 每个 token 花 4.18 ms,其中 99.7% 在等内存带宽。 自回归的「串行」不是物理必然,只是概率链式法则 P(x) = Π P(xi | x<i) 的一种实现。
| 自回归的账 | 数值(7B/H100) | 扩散想怎么赖掉 |
|---|---|---|
| 串行深度 = 序列长度 | 512 token → 512 次前向 ≈ 2.1 s | K 次前向生成 K 段中的全部位置:深度由去噪步数定,不由长度定 |
| 只能看左边 | 写后半句改不了前半句 | 每个位置都能看全局——天然支持 infilling、改写、编辑 |
| 似然方向单一 | P(x) 只能按一个分解顺序算 | 扩散给的是「能量/去噪残差」视角,长度无关的置信度 |
§2 扩散的数学地基:一条永远有解析解的前向路
扩散 = 把「采样」这个没法直接解的难题,拆成 1000 个「each 只加一点点噪声」的可解小步, 再想办法把每一步倒过来。关键奇迹:前向过程任意时刻的分布有闭式。
前向(加噪):每步 xt = √(1−βt)·xt−1 + √βt·ε,连乘 t 步后不必逐步走——直接跳:
q(xt | x₀) = N( √ᾱt·x₀ , (1−ᾱt)I ), ᾱt = Πs≤t (1−βs)
信噪比是这个式子的全部语义:SNRt = ᾱt/(1−ᾱt)。用 DDPM 线性调度 β: 1×10−4→0.02、T=1000(下一节 3D 舞台就是这组数,逐帧现算):
| t | 1 | 100 | 250 | 500 | 750 | 1000 |
|---|---|---|---|---|---|---|
| ᾱt | 0.9998 | 0.8953 | 0.5218 | 0.0780 | 0.0033 | 4.0×10−5 |
| SNRt | ≈4 778 | 8.55 | 1.09 | 0.085 | 0.0033 | 4.0×10−5 |
| √ᾱ(信号还剩多少) | 0.9999 | 0.9462 | 0.7224 | 0.2793 | 0.0575 | 0.0063 |
t=250 处 SNR≈1:一半信息已洗掉。对比 cosine 调度(ᾱt=cos²((t/T+0.008)/(1.008)·π/2) 归一化):t=500 时 ᾱ=0.4938,远高于线性的 0.0780——cosine 把信息在高 SNR 段留得更久,图像扩散 2026 年默认它。
反向(去噪)每步也只是个高斯,但需要知道「往哪走密度变大」——即 score ∇log q(xt);而高斯的 score 恰是 −ε/√(1−ᾱ),所以训练一个网络预测「当初加进去的噪声 ε̂」≡ 预测这个场:
L = Et,x₀,ε ‖ε − εθ(√ᾱtx₀ + √(1−ᾱt)ε, t)‖² (一条 MSE,扩散训练的全部)
前向免费(解析高斯),反向可学(一个 MSE 回归头)。这个「不对称」就是扩散框架的全部杠杆——文本版只是把「高斯噪声」换成「[MASK]」。
§3 3D 舞台:一张曲面上的「加噪→打分→回流」电影
一维玩具数据(两个高斯团),把 1000 个时刻的密度 pτ(x) 全部摊成一张曲面(X=数据轴,Z=噪声时间,Y=密度)。 前向 = 山脊摊平;score = 面上的箭头场;采样 = 三条确定性的概率流轨迹从纯噪层滚回数据团。
🌊 3D 舞台:扩散 = 密度地形上的时间地质剖面
读图:X = 数据值 x,Z = 噪声时间 τ(前=数据、后=纯噪),Y、色带 = 密度 pτ(x)。 配置全显式:数据 = ½N(−2, 0.5²)+½N(2, 0.5²),β 线性 1e−4→0.02,T=1000; 三条轨迹起点 x = −1.2 / −0.35 / 1.8,每步 x ← x + 0.02·∇log p,共 120 步——没有随机项, 终点(≈−1.98 / −1.95 / +1.99)拿计算器迭代可复现。
§4 文本上的扩散:掩码(absorbing)扩散与 dLLM
词表上没有「加高斯噪」这回事——最顺的离散类比是把 token 替换成 [MASK]: 信息单向流失、不可逆、状态空间只多一个符号。LLaDA、Dream 7B、Seed Diffusion 这一系都建在这上面。
前向(腐蚀):每个位置独立地以概率 1−ᾱt 变成 [MASK]——与高斯版同一个 ᾱ 记号:
q(xt|x₀) = 逐位:x₀(i) 保留概率 ᾱt,否则 [MASK]; t=T 时整句全是 [MASK]
训练目标:给被腐蚀的句子,预测每个 [MASK] 位的原文——就是交叉熵,但只算被掩位置并加权:
L(θ) = −(1/|Mt|) Σi∈Mt ln pθ(x₀(i) | xt),随 t 均匀采样(可看成 ELBO 的简化界)
对照 数学地基篇:自回归 CE 是「从左往右各位置一次考试」,掩码扩散 CE 是「随机挖坑的全卷填空」——同一个 loss 家族,换了考试顺序的约定。
模型架构几乎不变(双向 Transformer,不遮未来);变的是训练目标(填空而非接龙)与推理方式(并行去噪而非串行接龙)。一个「MASK 符号」就复刻了整台扩散机器。
为什么「填空」送来了双向与改写
自回归模型没被训练过「看右边猜左边」,而 dLLM 每个位置一半时间都在看双边上下文—— 于是 infilling(中间插写)、局部编辑、逆困惑度补全是它的原生能力, 不需要 AR 模型那些 prompt 技巧。这也是它被押注用于「编辑型任务」和代码修改的理由。
§5 dLLM 怎么解码:并行度的会计
生成 = 从全 [MASK] 出发,每步「解锁」一批最有把握的位置。K 步填 L 个 token: 串行深度从 L 降到 K,代价是每步前向算满 L 个位置。
均匀解锁调度(MaskGIT/LLaDA 风格,L=8 token,K 步,每步填 L/K 个):
| 去噪步数 K | 每步解锁 | 前向次数 | 串行深度 | token-FLOPs(7B:2N·L·K) |
|---|---|---|---|---|
| K=1 | 8 个 | 1 | 1 | 1.12×1011(一步全出,质量差) |
| K=2 | 4 个 | 2 | 2 | 2.24×1011 |
| K=4 | 2 个 | 4 | 4 | 4.48×1011(AR 需要 8.96×1011) |
| K=8 | 1 个 | 8 | 8 | 8.96×1011(退化成「带双向视野的 AR」) |
置信度并行(MaskGIT 原版):不是固定名额,而是设阈值 τ——模型对哪些 [MASK] 位的 top-1 概率 ≥ τ 就一次全解锁。可复现算例:8 位置置信度 [0.98, 0.91, 0.77, 0.72, 0.55, 0.41, 0.33, 0.20],τ=0.7 → 本轮锁定前 4 位;下轮 τ 降到 0.5 → 再锁第 5 位。「先填最稳的坑,再让新上下文重算剩余位的把握」就是 dLLM 版的「贪心+回看」。
速度账的真面目:低带宽场景赢两次——前向次数少 → 每 token 权重读写的摊销变好(§1 的 4.18 ms 大头是内存);串行深度短 → 延迟下限从 L 变 K。FLOPs 反而更高,但 FLOPs 恰恰是 H100 上最便宜的东西(推理篇 §7)。
还回来的三样、欠着的两样
还回来:① 并行解码(上表);② 任意顺序——先写结论再补论据、倒着填都合法;
③ 全局一致性编辑——改一个从句不必重放整段 KV。
欠着:① 似然理论——ELBO 松、顺序随机,「概率打分/重排序」类应用(对照推理篇 best-of-n)缺标准件;
② 生态——KV cache 增量续写、投机解码、continuous batching 全为 AR 而生,dLLM 得重造(并行解锁本身就是另一种批处理)。
§6 2026 前沿格局:三条技术线与它们的代表
路线 A:掩码扩散 dLLM(文本原生)
LLaDA(1B/8B,Instruct/SFT 全流程走通,「dLLM 版 BERT 预训练」成立); Dream 7B;字节 Seed Diffusion(2025):把 RL/奖励反馈接上扩散解码, 证明「reward feedback 可以让 dLLM 越来越准」——对标 RLHF 一系的补完。 并行解码加速(Mercury/Trojan/CBDEM 一类,2025 起):给 dLLM 再叠一层「半自回归分组」, 延迟上报告 3~10×AR。
路线 B:连续嵌入 + Flow Matching(统一视角)
把 token 映射到连续向量再做扩散/流:训练目标从「预测 ε」换成「预测速度场 v=x₁−x₀」的 rectified flow / flow matching——路径更直,步数更少。 图像/多模态生成 2026 年基本收敛于此(SD3/Flux 一代的后继),文本侧作为 dLLM 的 「连续松弛」变体在实验(LLaDA 系列的连续版、text-embedding diffusion)。
路线 C:混合体(AR 保似然 + 扩散保并行)
块内并行、块间自回归(BLM/「block diffusion」一系):以 32~128 token 为一块做掩码扩散, 块与块保持 AR 顺序——兼容性最好:长文质量接近 AR,延迟吃扩散红利; 也被拿来做「AR 模型 + 扩散头」的解码加速,和投机解码正面竞争同一块闲置算力。
判断力的锚点
扩散路线赌的是「串行不是信息论必然,只是实现选择」; AR 阵营的反赌是「语言本来就是时序因果的,双向并行赢不了推理链」。 两派 2026 年都还没终局——但 §2 的 SNR 表和 §5 的 K/L 账,是评判任何新论文的公共尺。
§7 总结:一台机器,两种时间
- 前向免费:q(xt|x₀) 恒为高斯/恒为掩码腐蚀,闭式、任意步可跳——一切全凭 ᾱt。
- 反向可学:预测噪声 ε̂ ≡ 学 score 场;训练只有一条 MSE(连续)或一条加权 CE(离散)。
- SNR 表:线性 β 下 t=250 处 SNR=1.09,信息丢失集中在前 1/4 → DDIM/蒸馏把 1000 步压到十几步的依据。
- dLLM:把高斯噪换成 [MASK],双向 Transformer 做全卷填空;解码从 L 步串行变 K 步并行(K=4 时 8 token 的串行深度 8→4)。
- 账本:FLOPs 变贵、内存带宽和延迟变便宜——正好压在 H100 那 99.7% 的闲置上;欠的是似然理论与 AR 生态。
回链:数学地基篇(CE/KL 从哪来)、 推理篇(AR 的内存墙与加速术)、 第一章(注意力三塔——dLLM 换掉的只是它的「训练目标与解码顺序」,不是它的架构)。