专题:推理的艺术
从采样策略到 test-time scaling
训练结束只是开始——如何把模型吐出的概率分布,花成更好的 token、更快的速度、更对的题
§1 采样策略全家福:从分布到 token 的最后一步
每一步模型给出 P(下一词 | 前文),但「给出分布」和「选出一个词」之间还有一次决策。 这条决策谱从「永远选最大」排到「几乎瞎选」,各家的名字和参数就长在这条谱上。
| 策略 | 规则 | 性质 | 用在哪 |
|---|---|---|---|
| greedy | 每步取 argmax | 确定、但会掉进复读坑(局部最优序列整体可以很差) | 诊断、推理题基线 |
| beam search | 保 B 条最优前缀(宽度 B),每步扩展后取全局 top-B | 逼近序列级 argmax;B→∞ 时退化成穷举 | 翻译/ASR 至今常用;聊天模型基本弃用(输出无聊、重复) |
| temperature | softmax(z/T) | T>1 摊平(更野),T<1 拉尖(更稳),T→0 = greedy | 所有采样式解码的第一只旋钮 |
| top-k | 只留概率前 k 名再归一化 | 固定预算的截断;k=V 时不截断 | 早期默认(k=40),已被 top-p 取代 |
| top-p (nucleus) | 按概率降序累加到 p 为止 | 自适应预算:分布尖时留的词少、分布糊时留的多 | 2026 年默认(p=0.9~0.95) |
| min-p | 丢掉低于「最高概率×阈值」的词 | 按相对强度截断,高温采样时比 top-p 更耐糊 | 新兴默认(如 threshold=0.1) |
§2 截断到底截掉了什么:一份可复现的账
用一组 8 词 logits = [4.0, 3.0, 2.5, 1.0, 0.5, 0.0, −1.0, −2.0],T=1 的 softmax:
p = [0.5887, 0.2166, 0.1314, 0.0293, 0.0178, 0.0108, 0.0040, 0.0015]
累积质量:0.5887 → 0.8053 → 0.9367 → 0.9660 → 0.9838 → 0.9946 → 0.9985 → 1.0000
top-k=3:留前三,重归一 [0.5887, 0.2166, 0.1314]/0.9367 = [0.6285, 0.2312, 0.1402](截掉 6.33% 质量)
top-p=0.9:累加首次 ≥0.9 停在第 3 名(0.9367),结果与 top-k=3 在这一拍恰好相同——但下一拍若分布变糊,top-k 仍留 3 个、top-p 会自动多留几个。
所有截断都是在赌同一件事:质量 <1% 的尾巴是模型在胡说。截掉它们不改变「好答案内部」的相对比例(重归一),只保证烂答案永不被选中。
工程常识三则
① 截断+重归一后熵会变小——「p 调到 0.9 感觉变蠢了」的机制之一是把长尾多样性直接剪了。
② 推理/数学场景常配 T≈0.6~1.0 + 大 n 并行采样(见 §5:单条 p 不够用时用 n 补);
创意场景反向:T 调高、top-p 调宽。
③ RL 训练后的模型(尤其带 thinking 的)常报告「去掉温度只保留 greedy/低温仍然很强」——
因为 RLVR 把分布本身推得更对了,截断的任务减轻。分布好,比旋钮巧更重要。
§3 3D 舞台:投机解码——把「串行等词」拍成「并行验收」
六帧讲完一整套推导:两个分布逐格取 min → 交集质量 α → 第 j 格被接受的概率 αj → 几何级数求和 E=(1−αγ+1)/(1−α) → γ 拉长的收敛与代价。柱高全是现算概率。
⚡ 3D 舞台:草稿与目标的交集、接受链与期望产出
读图:① ~② 沿 X 是 4 个候选词,Z 方向前后两排 = 目标分布 p(蓝)与草稿分布 q(红), 中间绿排 = 逐格 min;③ 起换成「第 j 个草稿被接受」的链 αj;⑤ 起五排 = 五档 γ。 配置:p=[0.50,0.30,0.15,0.05],q=[0.40,0.35,0.20,0.05],γ∈{1,2,4,6,8},草稿成本 c=0.1。
§4 投机解码的数学:无损加速 2~3 倍凭什么
自回归解码的根子问题是串行:每个 token 一次前向,§7 会算出这一拍 90% 的时间在读权重而不是在算数。 投机解码(speculative decoding)用一个便宜的小模型抢跑 γ 步,大模型一次前向并行验收——而输出分布严格不变。
接受率:一格草稿 token 被接受的概率 = 两分布的交集质量
α = Σi min(pi, qi) = 0.40 + 0.30 + 0.15 + 0.05 = 0.90
无损性:拒绝时从 (p−q)⁺/Σ(p−q)⁺ 重采——草稿漏掉的概率质量被精确补回,所以最终 token 的分布恒等于 p。草稿好坏只影响速度,不影响正确性。
每轮期望产出(第 j 格要前面全过 → αj,求和成几何级数):
E(γ) = Σj=0γ αj = (1−αγ+1)/(1−α) → γ=1:1.90,γ=2:2.71,γ=4:4.095,γ=6:5.217,γ=8:6.126,上界 1/(1−α)=10
加速比(每轮付出 1 次验证 + γ 次草稿,草稿一步 = c 倍验证成本):
speedup = E(γ)/(1+γc);c=0.1 时 γ=4 → 4.095/1.4 = 2.93×;γ=6 → 5.217/1.6 = 3.26×;γ=8 → 6.126/1.8 = 3.40×(边际收益已经贴着 αγ 的衰减)
三个量决定一切:α(草稿质量)、γ(抢跑长度)、c(草稿相对成本)。α 每高 0.01,上限 1/(1−α) 就大一截——所以工业实现都在卷「更像大模型的小模型」。
2026 年的三条实现路线
独立草稿模型(原始方案):小一号同族模型,词表必须对齐。
自产草稿头(Medusa/EAGLE 系):不养第二个模型,在主模型顶层挂几个轻量头并行预测后几步——共享表示,α 更高;EAGLE-3 一类已成推理引擎标配。
恢复式/树式验证:草稿不止一条链而是一棵候选树,一次验证同时验收多条路径,取最长通过前缀——把「一格被拒全轮作废」的损失救回来。
共同前提:验证那一步对 γ 个 token 是一次前向(因果注意力天然允许并行算一段),这正是 §7「算力有闲置」的套利。
§5 test-time scaling:把算力花在推理时的两种花法
训练堆不动了,就堆推理时——2024 年后大模型能力提升的主叙事。数学上它就是两个杠杆: 抬 p(让每条更早做对:更好的模型/verifier/思考长度)与花 n(多试几条:投票、best-of-n、搜索)。
杠杆 n 的公式:独立采 n 条,只要有一条对就算过(pass@n):
pass@n = 1 − (1 − p)n 要达 99% 需 n = ln0.01 / ln(1−p)
| 单条成功率 p | n=8 | n=32 | n=64 | n=512 | 到 99% 要 |
|---|---|---|---|---|---|
| 0.001 | 0.0080 | 0.0315 | 0.0620 | 0.4009 | ≈4 603 条 |
| 0.01 | 0.0773 | 0.2750 | 0.4744 | 0.9942 | ≈459 条 |
| 0.05 | 0.3366 | 0.8063 | 0.9625 | 1.0000 | ≈90 条 |
| 0.1 | 0.5695 | 0.9657 | 0.9988 | 1.0000 | ≈44 条 |
| 0.3 | 0.9424 | 1.0000 | 1.0000 | 1.0000 | ≈13 条 |
杠杆 p 有多值钱:同样 64 条,p 从 0.01 抬到 0.05,成功率从 0.474 变 0.963——抬 p 一个档,顶得上下 n 乘 16 倍。
这就是分工表:RLVR/更好预训练负责抬 p(永久资产),test-time 采样/搜索负责花 n(临时钞票)。p≈0 的题花多少 n 都救不回来。
两种花法 + 一个测量坑
并行花法(n 条各较短,自我一致性投票/best-of-n + verifier)与串行花法(1 条超长 thinking chain)
消耗的是同一份算力预算,区别在于 verifier 强度:verifier 弱就投票,verifier 强就搜索(PRM/过程奖励)。
o 系列/R1 的「思考长度换正确率」是串行花法的极致——本质是把 n 的指数收益用更长的单序列 p 提升替代。
测量坑:拿「n 条里 c 条对」算 pass@k 时,朴素式 1−(1−c/n)k 是有偏方差大的估计;
标准做法用无偏组合式 pass@k = 1 − C(n−c, k)/C(n, k)。例:n=100、c=5、k=10 →
无偏 = 1 − C(95,10)/C(100,10) = 0.4162,朴素式给 0.4013。刷榜口径差常出在这里。
§6 3D 舞台:pass@n = 1−(1−p)n 的两个平坦区
十帧走完「曲面全貌 → 钉死 p 看 n → 钉死 n 看 p → 两种死法」。 这张图存在的意义:2D 曲线永远看不出「该往哪边加算力」,曲面一眼看穿。
📈 3D 舞台:两条对数轴决定一面成功率之墙
读图:X = 采样条数 n(1→1024 对数轴),Z = 单条成功率 p(0.001→0.3 对数轴),Y = pass@n。 中间各帧把曲面压成「一条刃」= 固定一个自变量的切片,刃上每个读数都满足 1−(1−p)n。 曲面显式量程 0 → 1,色带蓝=不可能、黄=接近必过。
§7 推理经济账:为什么 decode 慢,以及一切技巧在抢什么
拿最主流的开源配置算一遍:7B 模型、bf16、单张 H100 SXM(990 TFLOPS dense、3.35 TB/s HBM3)。 结论先行:解码一步算力只占 14.14 µs,但读权重要 4.18 ms——99.7% 的时间卡在内存带上。
权重账:7×10⁹ × 2 B = 14.0 GB(13.0 GiB)→ 读一遍 = 14.0e9 / 3.35e12 = 4.179 ms = 单条请求的每 token 下限(≈239 tok/s)
算力账:1 token ≈ 2N = 14 GFLOPs → ÷990 TFLOPS = 14.14 µs。两者之比 296 = ridge batch:batch 到 296 条并发前,加用户不花额外时间(4.18 ms 内同时算 296×14.14 µs ≈ 4.18 ms,刚好填满)
KV Cache 账:每 token 每层存 K、V 各 32 头×128 维×2 B = 16 KB,32 层 = 512 KiB/token;4096 上下文 = 2.0 GiB,且每解码一步都要把这 2 GiB 再读一遍——上下文越长,每 token 的内存账越贵
prefill vs decode:4096 token 输入一次算完 2N·n = 5.73×10¹³ FLOPs ≈ 57.9 ms(算力受限、可并行);512 token 输出按计算只要 7.2 ms,却被内存钉在 512×4.18 ≈ 2 140 ms——30 倍差距,全在「串行读权重」四个字上。
于是推理优化的全部动机一目了然:把内存受限的 decode 拍出闲置算力(投机解码、大 batch、连续批处理),把 KV 读得更快更小(GQA/MQA、KV 量化、paged attention)。
这份账本的直接推论
① 批处理是印钞机:batch=128 时吞吐 ≈ 30 629 tok/s(单条的 128 倍几乎不衰减),成本/百万 token 直接除以百量级——API 定价结构的底层逻辑。
② 投机解码是白捡的:内存钉着 4.18 ms 而算力只用了 0.3%,草稿模型那点计算正好填进空隙——§3/§4 的加速在低 batch 时最明显。
③ 长上下文的真实成本在 KV 带宽不在 FLOPs:2 GiB/序列/步的读数压力,比注意力那 O(n²) 先疼(两条线的会合见长上下文篇)。
§8 总结:把分布花明白
- 选择:greedy/beam 是「信一步/信全局」,temperature/top-k/top-p/min-p 是「信多少随机/砍多少尾巴」。
- 加速:decode 每 token 4.18 ms 全在读权重;α=0.9 的草稿带来 E=(1−αγ+1)/(1−α)=4.10 tok/轮、≈2.9× 无损加速。
- 变强:pass@n=1−(1−p)n——n 是指数换线性的钞能力,p 才是资产;到 99% 的条数表(13→4 603)就是两种花法的分界线。
- 测量:pass@k 用无偏式 1−C(n−c,k)/C(n,k),别用朴素 1−(1−c/n)k。
- 经济:ridge batch 296、KV 512 KiB/token、prefill 57.9 ms——所有推理工程的动机都写在这三个数里。
继续:数学地基篇(这些数字从哪条公式来)、 长上下文篇(KV 与 O(n²) 的省钱术)、 扩散与 dLLM(把「一次一个词」这个前提本身拆掉)。