专题:推理的艺术

从采样策略到 test-time scaling

训练结束只是开始——如何把模型吐出的概率分布,花成更好的 token、更快的速度、更对的题

数学地基篇讲完 loss 怎么算出来的;本专题讲反方向: 拿着训好的分布,每一步该选哪个 token、选错了怎么办、不够聪明怎么办、太慢怎么办。 2026 年的大模型竞争有一半发生在这里——同样的权重,解码策略不同,能力可以差出一整个档位。

§1 采样策略全家福:从分布到 token 的最后一步

每一步模型给出 P(下一词 | 前文),但「给出分布」和「选出一个词」之间还有一次决策。 这条决策谱从「永远选最大」排到「几乎瞎选」,各家的名字和参数就长在这条谱上。

策略规则性质用在哪
greedy每步取 argmax确定、但会掉进复读坑(局部最优序列整体可以很差)诊断、推理题基线
beam search保 B 条最优前缀(宽度 B),每步扩展后取全局 top-B逼近序列级 argmax;B→∞ 时退化成穷举翻译/ASR 至今常用;聊天模型基本弃用(输出无聊、重复)
temperaturesoftmax(z/T)T>1 摊平(更野),T<1 拉尖(更稳),T→0 = greedy所有采样式解码的第一只旋钮
top-k只留概率前 k 名再归一化固定预算的截断;k=V 时不截断早期默认(k=40),已被 top-p 取代
top-p (nucleus)按概率降序累加到 p 为止自适应预算:分布尖时留的词少、分布糊时留的多2026 年默认(p=0.9~0.95)
min-p丢掉低于「最高概率×阈值」的词按相对强度截断,高温采样时比 top-p 更耐糊新兴默认(如 threshold=0.1)
beam search 和 temperature 是两个时代的产物:翻译时代要「序列级最优」,用 beam; 生成时代要「多样性且别复读」,用采样+截断。注意 beam 找的是联合概率 Πpt 的最大者, 而 greedy 只最大化每一步——这两个「最优」一般不重合,这正是 beam 存在的理由。

§2 截断到底截掉了什么:一份可复现的账

用一组 8 词 logits = [4.0, 3.0, 2.5, 1.0, 0.5, 0.0, −1.0, −2.0],T=1 的 softmax:

p = [0.5887, 0.2166, 0.1314, 0.0293, 0.0178, 0.0108, 0.0040, 0.0015]

累积质量:0.5887 → 0.8053 → 0.9367 → 0.9660 → 0.9838 → 0.9946 → 0.9985 → 1.0000

top-k=3:留前三,重归一 [0.5887, 0.2166, 0.1314]/0.9367 = [0.6285, 0.2312, 0.1402](截掉 6.33% 质量)

top-p=0.9:累加首次 ≥0.9 停在第 3 名(0.9367),结果与 top-k=3 在这一拍恰好相同——但下一拍若分布变糊,top-k 仍留 3 个、top-p 会自动多留几个。

所有截断都是在赌同一件事:质量 <1% 的尾巴是模型在胡说。截掉它们不改变「好答案内部」的相对比例(重归一),只保证烂答案永不被选中。

工程常识三则

① 截断+重归一后熵会变小——「p 调到 0.9 感觉变蠢了」的机制之一是把长尾多样性直接剪了。
② 推理/数学场景常配 T≈0.6~1.0 + 大 n 并行采样(见 §5:单条 p 不够用时用 n 补); 创意场景反向:T 调高、top-p 调宽。
③ RL 训练后的模型(尤其带 thinking 的)常报告「去掉温度只保留 greedy/低温仍然很强」—— 因为 RLVR 把分布本身推得更对了,截断的任务减轻。分布好,比旋钮巧更重要。

§3 3D 舞台:投机解码——把「串行等词」拍成「并行验收」

六帧讲完一整套推导:两个分布逐格取 min → 交集质量 α → 第 j 格被接受的概率 αj → 几何级数求和 E=(1−αγ+1)/(1−α) → γ 拉长的收敛与代价。柱高全是现算概率。

⚡ 3D 舞台:草稿与目标的交集、接受链与期望产出

读图:① ~② 沿 X 是 4 个候选词,Z 方向前后两排 = 目标分布 p(蓝)与草稿分布 q(红), 中间绿排 = 逐格 min;③ 起换成「第 j 个草稿被接受」的链 αj;⑤ 起五排 = 五档 γ。 配置:p=[0.50,0.30,0.15,0.05],q=[0.40,0.35,0.20,0.05],γ∈{1,2,4,6,8},草稿成本 c=0.1。

目标分布 p 草稿分布 q min(p,q) / 接受链 链尾:白送的第 1 个 ⑤ 起每排是一档 γ,柱高 = 该格草稿的贡献 α^j
舞台配置:每格 min(p,q) = [0.40, 0.30, 0.15, 0.05],求和得 α = 0.9000。 E(γ=4) = (1−0.9⁵)/(1−0.9) = 4.0951 tok/轮。

§4 投机解码的数学:无损加速 2~3 倍凭什么

自回归解码的根子问题是串行:每个 token 一次前向,§7 会算出这一拍 90% 的时间在读权重而不是在算数。 投机解码(speculative decoding)用一个便宜的小模型抢跑 γ 步,大模型一次前向并行验收——而输出分布严格不变。

接受率:一格草稿 token 被接受的概率 = 两分布的交集质量

α = Σi min(pi, qi) = 0.40 + 0.30 + 0.15 + 0.05 = 0.90

无损性:拒绝时从 (p−q)⁺/Σ(p−q)⁺ 重采——草稿漏掉的概率质量被精确补回,所以最终 token 的分布恒等于 p。草稿好坏只影响速度,不影响正确性。

每轮期望产出(第 j 格要前面全过 → αj,求和成几何级数):

E(γ) = Σj=0γ αj = (1−αγ+1)/(1−α) → γ=1:1.90,γ=2:2.71,γ=4:4.095,γ=6:5.217,γ=8:6.126,上界 1/(1−α)=10

加速比(每轮付出 1 次验证 + γ 次草稿,草稿一步 = c 倍验证成本):

speedup = E(γ)/(1+γc);c=0.1 时 γ=4 → 4.095/1.4 = 2.93×;γ=6 → 5.217/1.6 = 3.26×;γ=8 → 6.126/1.8 = 3.40×(边际收益已经贴着 αγ 的衰减)

三个量决定一切:α(草稿质量)、γ(抢跑长度)、c(草稿相对成本)。α 每高 0.01,上限 1/(1−α) 就大一截——所以工业实现都在卷「更像大模型的小模型」。

2026 年的三条实现路线

独立草稿模型(原始方案):小一号同族模型,词表必须对齐。
自产草稿头(Medusa/EAGLE 系):不养第二个模型,在主模型顶层挂几个轻量头并行预测后几步——共享表示,α 更高;EAGLE-3 一类已成推理引擎标配。
恢复式/树式验证:草稿不止一条链而是一棵候选树,一次验证同时验收多条路径,取最长通过前缀——把「一格被拒全轮作废」的损失救回来。 共同前提:验证那一步对 γ 个 token 是一次前向(因果注意力天然允许并行算一段),这正是 §7「算力有闲置」的套利。

§5 test-time scaling:把算力花在推理时的两种花法

训练堆不动了,就堆推理时——2024 年后大模型能力提升的主叙事。数学上它就是两个杠杆: 抬 p(让每条更早做对:更好的模型/verifier/思考长度)与花 n(多试几条:投票、best-of-n、搜索)。

杠杆 n 的公式:独立采 n 条,只要有一条对就算过(pass@n):

pass@n = 1 − (1 − p)n  要达 99% 需 n = ln0.01 / ln(1−p)

单条成功率 pn=8n=32n=64n=512到 99% 要
0.0010.00800.03150.06200.4009≈4 603 条
0.010.07730.27500.47440.9942≈459 条
0.050.33660.80630.96251.0000≈90 条
0.10.56950.96570.99881.0000≈44 条
0.30.94241.00001.00001.0000≈13 条

杠杆 p 有多值钱:同样 64 条,p 从 0.01 抬到 0.05,成功率从 0.474 变 0.963——抬 p 一个档,顶得上下 n 乘 16 倍。

这就是分工表:RLVR/更好预训练负责抬 p(永久资产),test-time 采样/搜索负责花 n(临时钞票)。p≈0 的题花多少 n 都救不回来。

两种花法 + 一个测量坑

并行花法(n 条各较短,自我一致性投票/best-of-n + verifier)与串行花法(1 条超长 thinking chain) 消耗的是同一份算力预算,区别在于 verifier 强度:verifier 弱就投票,verifier 强就搜索(PRM/过程奖励)。 o 系列/R1 的「思考长度换正确率」是串行花法的极致——本质是把 n 的指数收益用更长的单序列 p 提升替代。
测量坑:拿「n 条里 c 条对」算 pass@k 时,朴素式 1−(1−c/n)k 是有偏方差大的估计; 标准做法用无偏组合式 pass@k = 1 − C(n−c, k)/C(n, k)。例:n=100、c=5、k=10 → 无偏 = 1 − C(95,10)/C(100,10) = 0.4162,朴素式给 0.4013。刷榜口径差常出在这里。

§6 3D 舞台:pass@n = 1−(1−p)n 的两个平坦区

十帧走完「曲面全貌 → 钉死 p 看 n → 钉死 n 看 p → 两种死法」。 这张图存在的意义:2D 曲线永远看不出「该往哪边加算力」,曲面一眼看穿。

📈 3D 舞台:两条对数轴决定一面成功率之墙

读图:X = 采样条数 n(1→1024 对数轴),Z = 单条成功率 p(0.001→0.3 对数轴),Y = pass@n。 中间各帧把曲面压成「一条刃」= 固定一个自变量的切片,刃上每个读数都满足 1−(1−p)n。 曲面显式量程 0 → 1,色带蓝=不可能、黄=接近必过。

pass@n ≈ 0(低台地) pass@n ≈ 1(高墙头) 切片刃:钉死一个自变量 ② ~⑤ 钉 p;⑥ ~⑧ 钉 n;格子是示意,读数看 HUD
舞台配置:n∈[1,1024](对数),p∈[0.001,0.3](对数),曲面 40×24 采样。 切片帧的钉值:p∈{0.01,0.05,0.1,0.3},n∈{8,64,512}。

§7 推理经济账:为什么 decode 慢,以及一切技巧在抢什么

拿最主流的开源配置算一遍:7B 模型、bf16、单张 H100 SXM(990 TFLOPS dense、3.35 TB/s HBM3)。 结论先行:解码一步算力只占 14.14 µs,但读权重要 4.18 ms——99.7% 的时间卡在内存带上。

权重账:7×10⁹ × 2 B = 14.0 GB(13.0 GiB)→ 读一遍 = 14.0e9 / 3.35e12 = 4.179 ms = 单条请求的每 token 下限(≈239 tok/s)

算力账:1 token ≈ 2N = 14 GFLOPs → ÷990 TFLOPS = 14.14 µs。两者之比 296 = ridge batch:batch 到 296 条并发前,加用户不花额外时间(4.18 ms 内同时算 296×14.14 µs ≈ 4.18 ms,刚好填满)

KV Cache 账:每 token 每层存 K、V 各 32 头×128 维×2 B = 16 KB,32 层 = 512 KiB/token;4096 上下文 = 2.0 GiB,且每解码一步都要把这 2 GiB 再读一遍——上下文越长,每 token 的内存账越贵

prefill vs decode:4096 token 输入一次算完 2N·n = 5.73×10¹³ FLOPs ≈ 57.9 ms(算力受限、可并行);512 token 输出按计算只要 7.2 ms,却被内存钉在 512×4.18 ≈ 2 140 ms——30 倍差距,全在「串行读权重」四个字上。

于是推理优化的全部动机一目了然:把内存受限的 decode 拍出闲置算力(投机解码、大 batch、连续批处理),把 KV 读得更快更小(GQA/MQA、KV 量化、paged attention)。

这份账本的直接推论

① 批处理是印钞机:batch=128 时吞吐 ≈ 30 629 tok/s(单条的 128 倍几乎不衰减),成本/百万 token 直接除以百量级——API 定价结构的底层逻辑。
② 投机解码是白捡的:内存钉着 4.18 ms 而算力只用了 0.3%,草稿模型那点计算正好填进空隙——§3/§4 的加速在低 batch 时最明显。
③ 长上下文的真实成本在 KV 带宽不在 FLOPs:2 GiB/序列/步的读数压力,比注意力那 O(n²) 先疼(两条线的会合见长上下文篇)。

§8 总结:把分布花明白

  • 选择:greedy/beam 是「信一步/信全局」,temperature/top-k/top-p/min-p 是「信多少随机/砍多少尾巴」。
  • 加速:decode 每 token 4.18 ms 全在读权重;α=0.9 的草稿带来 E=(1−αγ+1)/(1−α)=4.10 tok/轮、≈2.9× 无损加速。
  • 变强:pass@n=1−(1−p)n——n 是指数换线性的钞能力,p 才是资产;到 99% 的条数表(13→4 603)就是两种花法的分界线。
  • 测量:pass@k 用无偏式 1−C(n−c,k)/C(n,k),别用朴素 1−(1−c/n)k。
  • 经济:ridge batch 296、KV 512 KiB/token、prefill 57.9 ms——所有推理工程的动机都写在这三个数里。

继续:数学地基篇(这些数字从哪条公式来)、 长上下文篇(KV 与 O(n²) 的省钱术)、 扩散与 dLLM(把「一次一个词」这个前提本身拆掉)。