专题:数学地基

从 logits 到 Loss 的完整链条

logits → softmax → 概率 → 信息量 → 熵 → 交叉熵 → KL → 优化——每一环都用能按计算器复现的数字讲透

前面所有章节都使用了「概率」「loss」这些词,但没有一个章节把它们 从同一个数字串起来算一遍。本专题补上这条链:模型吐出的一串分数, 如何一步步变成一个可以被梯度下降最小化的标量。全章只有两组配置数字, 每个页面上的数都由它们现算——拿计算器逐步能复现。

§1 从分数到概率:softmax 到底做了什么

语言模型每一步输出的是一串 logits(未归一化对数几率)——有正有负、可以任意大的实数。 它们唯一可靠的信息是差值。softmax 就是「差分 → 倍数 → 份额」的转换器。

本专题的贯穿配置:8 个候选词「雨 雪 晴 风 雾 霜 雷电」,logits 固定为一组:

z = [2.0, 1.0, 0.5, 0.0, −0.5, −1.0, −1.5, −2.0], softmax(z)i = ezi / Σj ezj

取指数:ez = [7.389, 2.718, 1.649, 1.000, 0.607, 0.368, 0.223, 0.135],Σ = 14.089

除以 Σ 得 T=1 的分布:p = [0.5245, 0.1929, 0.1170, 0.0710, 0.0431, 0.0261, 0.0158, 0.0096]

e2/e1 = e2−1 = e:logit 差 1,概率就差 e≈2.718 倍。这就是「差值才有意义」的算术形态。

性质一:平移不变性(softmax 只吃差值)

把整组 logits 加 5:[7.0, 6.0, 5.5, …],分子分母同乘 e5,约掉—— 分布逐位不变,仍是 [0.524458, 0.192937, 0.117022, 0.070978, 0.043050, 0.026111, 0.015837, 0.009606]。 所以模型最后一层输出的「绝对分数」没有任何含义,logit 的均值可以任意漂移(这就是某些训练器在 logit 上不约束 bias 也照样能训的原因)。

性质二:不移项就会爆炸——log-sum-exp 的数值稳定性

softmax 要先算 ez。而指数函数的输出范围很快就冲出浮点数的世界: z = 100 时 e100 = 2.688×1043,直接超出 fp32 上限 3.403×1038,得到 inf/inf = NaN。解法是利用性质一:先减去最大值再取指数, 最大的那项变成 e0=1,其余全在 (0,1]:

z = [100.0, 99.0, 98.5] → 减 max → [0.0, −1.0, −1.5] → softmax = [0.628532, 0.231224, 0.140244](与不减时完全一致)

格式最大可表示值能安全取 exp 的上限 ln(max)
fp323.403×103888.72
fp1665 50411.09——logit 超过 ±11 就溢出
bf163.390×103888.72(与 fp32 同指数域)

这一行表解释了一个真实现象:早期用 fp16 训 Transformer 经常 loss spike / NaN, 而 bf16 几乎从不炸——不是因为 bf16「更准」(它尾数反而少 5 位), 而是它的指数域和 fp32 一样宽,e11 到 e88 这段 logits 它装得下。 「减 max」技巧则让 softmax 在任何格式下都只面对 ≤0 的指数。

温度采样把这条链再走一遍:推理时算的是 softmax(z/T)。 T=0.5 时上面那组 z 变成 p=[0.8238, 0.1115, 0.0410, …](熵 0.6477 nats); T=2 时变成 [0.3062, 0.1857, 0.1447, …](熵 1.8856); T=10 时几乎均匀 [0.1543, …, 0.1035](熵 2.0715,逼近上限 ln 8 = 2.0794)。 下一节把「同一个 z、四个温度」直接摆成 3D。

§2 3D 舞台:概率的乘法变成高度的加法

七帧走完「logits → 取指数 → 归一化 → 四温度对比 → 信息量 → 交叉熵 → H+KL 分解」。 重点看第 ⑤⑦ 帧:换成 −ln p 之后,「链式法则把概率乘起来」在图上就是一排台阶做加法; 而第 ⑦ 帧里所有 CE 柱都踩在同一块地板上——那块地板是数据本身的熵,任何模型都抬不走。

🌡️ 3D 舞台:温度 → 信息量 → 交叉熵 → 校准(8 词玩具版)

读图:X = 候选词,Z = 温度档,Y = 数值。配置只有一组 logits 和一组「真实分布」p*, HUD 里每个概率/熵/CE/KL 都是现算的。词表取 8 个是故意的:均匀分布的熵正好 ln 8 = 2.0794 nats,「最大熵」这把尺子能直接标在图上。

T=0.2(尖锐) T=0.8(本例最优) T=1.0 T=5.0(糊) ①~③ 单排柱:logits → e^z → 概率;④ 起四排=四个温度
舞台配置(全部显式):z = [2.0, 1.0, 0.5, 0.0, −0.5, −1.0, −1.5, −2.0];T ∈ {0.2, 0.8, 1.0, 5.0}; p* = [0.60, 0.20, 0.10, 0.05, 0.03, 0.01, 0.005, 0.005](Σ=1)。 H(p*) = 1.2127 nats;CE(T) = [2.9698, 1.2161, 1.2379, 1.7921](T=0.2/0.8/1.0/5.0,见 §5 校准); 每档的 KL = CE − H(p*) 就是「模型的错」(T=0.2 → 1.7572;T=0.8 → 0.0034;T=1.0 → 0.0252;T=5.0 → 0.5794,数值由舞台现算)。

§3 信息量与熵:为什么 loss 里有个 −log

「这个 token 我有多惊讶」需要一个量化。答案是 信息量 I = −ln p: 概率 1(必然发生)惊讶为 0;概率越小惊讶越大。它不是定义的选择,而是 「独立事件的惊讶要相加」这条要求逼出来的唯一解。

链式法则的账(8 个位置的玩具句子,每位置模型给真词的概率):

P(整句) = 0.9 × 0.6 × 0.4 × 0.25 × 0.5 × 0.3 × 0.15 × 0.8 = 9.72×10−4 = 1/1 029

逐位取 −ln:[0.1054, 0.5108, 0.9163, 1.3863, 0.6931, 1.2040, 1.8971, 0.2231],求和 = 6.9362

平均 = 6.9362 / 8 = 0.8670——这就是训练日志里的 loss;PPL = e0.8670 = 2.3798,恰等于 1/P1/8 ✓

乘法会下溢(8 项已经 1/1029,真实句子 2048 项会小到 10−500),取 log 变加法正好治它。loss = 平均每 token 的惊讶,没有更多玄机。

熵:分布自己的平均惊讶

H(p) = −Σi pi ln pi  最大熵 = ln V(均匀分布时取到)

词表 V均匀分布的熵(nats)换算 bits(÷ln2)PPL = eH
8(本专题舞台)2.07943.0008
1284.85207.000128
151 936(LLaMA-3)11.931217.213151 936

一把实用尺子:训练收敛好的模型在每个位置的条件熵典型是 1.5~2.5 nats, 对应 PPL = eH ≈ 4.5~12——即使词表 15 万,模型也几乎从不把自己摊成均匀分布。 反过来说:看到 PPL≈V 就知道模型等于没学。困惑度不是玄学指标,它就是 「平均每题在几个选项间犹豫」:PPL=8 = 每一步像在 8 个词里抽签。

单位之争只是换底:ln 记账以 nat 为单位(信息论用 log₂ 记 bit,1 nat = 1/ln2 ≈ 1.443 bit)。 LLM 圈用 nats,因为 loss 就是自然对数的交叉熵。同一组数:T=1 时 H=1.4356 nats = 2.0712 bit。

§4 交叉熵 = 熵 + KL:loss 的解剖学

训练时真实标签是一个 one-hot(下一个词就是它),loss 写成 −ln q真(θ) 就够用了。 但把「数据分布 p*」显式写出来后,loss 的结构才现形:它由一块搬不动的地板和一块可以压小的误差组成。

三元手算例:真实分布 p* = [0.5, 0.3, 0.2],模型分布 q = [0.4, 0.4, 0.2]

H(p*) = −Σp* ln p* = 0.5·0.6931 + 0.3·1.2040 + 0.2·1.6094 = 1.029653

CE(p*, q) = −Σ p*i ln qi = 0.5·0.9163 + 0.3·0.9163 + 0.2·1.6094 = 1.054920

KL(p*‖q) = Σ p*i ln(p*i/qi) = 0.5·ln1.25 + 0.3·ln0.75 + 0.2·ln1 = 0.025267

校验:H(p*) + KL = 1.029653 + 0.025267 = 1.054920 = CE ✓

CE 恒等于「地板 H(p*) + 误差 KL」。地板与模型无关——所以最小化 CE 的唯一含义就是最小化 KL;KL≥0 且仅当 q=p* 时为 0,这就是「训到 loss 不再降」的终点定义。

三个立刻能用的推论

① loss 不可能降到 0(除非数据无噪):它至少要贴着 H(p*)。知道一个任务的 「理论 loss 下限」,才知道离终点还有多远——比如若下一词完全确定,地板是 0;若是双关语,地板就是 ln2=0.6931。
② 拿均匀分布当 q:CE(p*, 均匀) = −Σp*·ln(1/3) = ln 3 = 1.098612。上面例子的地板 H(p*)=1.029653 比它矮——一个啥都不学的模型 loss = ln V,这是检查训练代码的第一条基线: 训练初期 loss 应从 ln V 附近开始往下走,如果从别的数开始,多半是标签对齐错了。
③ KL 不对称:KL(p*‖q) 惩罚「p* 说有、q 却说没有」(漏答重罚),反过来不罚。 蒸馏、DPO 的 forward/reverse KL 之争全部源于这一条(见后训练篇)。

舞台第 ⑦ 帧的四根 CE 柱把这条分解画成了高度:地板 = 1.2127 nats 的蓝色平面, 每根柱高出平面的那一截就是该温度的 KL(T=0.2 → 0.2213;T=0.8 → 0.0034;T=1.0 → 0.0200;T=5.0 → 0.9453,数值由舞台现算)。

§5 Loss 工程:让 CE 更好训、更可信的三个补丁

原始 CE 是好的目标,但不是最好的训练目标。现代 LLM 训练在它旁边打了三个著名补丁: label smoothing 防过自信、Z-loss 治 logit 漂移、温度缩放把 confidence 校准回来。

补丁一:Label Smoothing——别把概率推到 1

V=8、ε=0.1 时,目标从 one-hot 变成「正确词吃 1−ε+ε/V = 0.9125,其余各吃 ε/V=0.0125」。 模型最优解不再是 p真=1,而是贴着这个软目标——softmax 的饱和区(要输出 0.999 需要十几 nats 的 logit 差) 不再逼模型把 logits 拉飞。账(本专题贯穿配置,p真 位置模型给了 0.5245): 原始 CE = −ln 0.5245 = 0.6454;LS 后 loss = 0.9125·0.6454 + 0.0875·(其余 −ln q 的均值) = 0.8641。 loss 变高不是退步——LS 给了一个不可穿透的下界:ε=0.1、V=8 时 loss 最低也是 −(ε/V)·Σln p ≈ 0.2833(均匀预测时),所以看训练曲线要按 LS 后的地板读 loss。

补丁二:Z-loss——管住 logit 的整体漂移

softmax 的平移不变性(§1 性质一)留了一个漏洞:模型可以让所有 logits 一起涨到 +50 而分布纹丝不动。 这本身无害,但会污染 bf16 精度、让梯度行为漂移。PaLM 的解法是在 CE 之外加一个对 log-sum-exp 本身的正则:Lz = (ln Σi ezi)²。 对贯穿配置,ln Σez = ln 14.089 = 2.6454,Z-loss = 6.998——罚的就是「这组分数整体离 0 有多远」。 把它写成显式的一项,logits 就被钉在 0 附近。

补丁三:温度缩放——推理/校准用的那只旋钮

用贯穿配置的「真实分布」p* 当老师(H=1.2127),四个温度的 CE = [2.9698, 1.2161, 1.2379, 1.7921](T=0.2/0.8/1.0/5.0): 最矮的是 T=0.8,此时 KL 只剩 0.0034——模型原始输出(T=1)其实略微过自信, 把它除以 0.8 反而更贴 p*。这不是巧合:CE(T) 对 T 有内点极小值(T→0 时错词概率趋 0、−ln 趋 ∞,CE→∞; T→∞ 时 q 趋均匀、CE→ln8=2.0794;两端都高,中间必有谷)。训练完在验证集上扫这个谷, 拿到的 T* 就是校准温度——2026 年各家模型卡里的 ECE/calibration 数字,大多就是这么一只免费旋钮调出来的。

三补丁的共性:都不改变「分布本身」这层语义(softmax 的形状家族不变),只改变 训练时目标的位置或logits 的记账范围。理解 §4 的 CE=H+KL 分解后, 它们全都可以一眼看穿是「改了哪个分布」。

§6 3D 舞台:损失曲面上的梯度下降

有了 loss,训练 = 在高维参数空间里沿 −∇L 走小步。这个舞台把「几亿维」压成能看的 2 维: 一个曲率差 25 倍的碗,看梯度下降怎么走成之字形,看学习率的上限凭什么定。

⛰️ 3D 舞台:L(w₁,w₂) 曲面、负梯度场与之字形收敛

读图:X = 参数 w₁,Z = 参数 w₂,Y = 损失 L,色带只是高度的复述。 曲率 k₁=0.2(缓坡)、k₂=5.0(陡壁),学习率 η=0.35,起点 (4, 4)。 轨迹不是贴图——是把 w ← w − η∇L 逐步迭代 32 次现算出来的,每一步的坐标都满足 w₁×0.93、w₂×(−0.75) 的解析规律,手算可查。

当前权重(小球) 走过的轨迹 箭头场:−∇L(越紫梯度越大) 曲面高度 = L ③ 起出现小球;④ 走一步;⑤ 连走 32 步并铺满负梯度场
舞台配置:L = ½(0.2·w₁² + 5.0·w₂²),η=0.35,起点 (4,4),32 步。 曲面显式量程 0 → ½(0.2+5.0)·5² = 65,每帧取景自动跟随。

§7 梯度下降的数学:曲率决定一切

舞台上每一步都是这条更新式:θ ← θ − η∇L(θ)。对二次型 L = ½kθ²,它退化成 等比数列 θt = θ₀(1−ηk)t——收敛、横跳、发散全由 ηk 一个乘数决定。

三个区间的算术(每个方向独立,直接代 ηk):

ηk < 1 → 同侧收敛; ηk = 1 → 一步到位(最优); 1 < ηk < 2 → 越过中线来回横跳(仍在收敛); ηk ≥ 2 → 发散

陡方向:ηk₂ = 0.35×5.0 = 1.75 → 系数 −0.75(每步翻边、缩 3/4);缓方向:ηk₁ = 0.35×0.2 = 0.07 → 系数 0.93(每步只挪 7%)

第一步账:L 从 ½(0.2+5.0)·4² = 41.6 降到 ½(0.2·3.72² + 5·3.3²) = 28.61;32 步后 w₂ 已 ≈0,w₁ 还剩 0.45——剩下的全是缓方向的账。

学习率上限由最陡方向定:η < 2/kmax = 2/5.0 = 0.4。想快,只能去「补偿各方向曲率差」——这就是动量和 Adam 存在的全部理由。

优化器家族 = 对「曲率差」的不同对策

动量(SGD-M):给速度加权累加,缓方向上连续同向的小步被累积放大——之字形的横跳互相抵消、纵跳被留住。
RMSProp/Adam:用梯度平方的滑动平均当「局部曲率的免费估计」,每个方向各自除以 √v—— 陡方向步长自动缩、缓方向自动放,等于给每个坐标轴各调一个 η。AdamW 的 W(weight decay)与梯度解耦, 是 LLM 训练的默认答案。
梯度裁剪:当单个 batch 的 ‖g‖ 超过阈值就整体缩放——它治的是「偶发大步」而不是「曲率差」, 所以和上面两个不冲突,LLM 预训练两个都开(典型 clip=1.0)。
warmup:开局各方向曲率还没被采样出来,ηk 很可能正处在「>2 发散」区间, 所以先用 0.1%~1% 步数把 η 爬上去——看舞台 ⑤ 就能理解为什么「开局炸」多半是陡方向先发散。

lr schedule(余弦退火等)同样能从这里读出来:训练后期损失面还是那个面,但模型已经在谷底附近, 大 η 只会让球在碗壁上摆来摆去(想想舞台上 −0.75 那一维永远到不了 0 的残差)——把 η 退到 0, 是让「横跳」的振幅收敛。LLM 预训练的「WSD 平台期」、post-train 的小 lr,全是同一句话的不同写法。

§8 总结:一条链背下来

z ─ez→ 非负 ─÷Σ→ 概率 p ─×p*加权求和→ CE loss ─减 H(p*)→ KL ─沿−∇→ θ更新

  • softmax = 差值→倍数的转换器;平移不变;减 max 保数值安全(fp16 的 ln 上限只有 11.09)。
  • −ln p = 惊讶;链式法则把整句概率的乘法翻译成逐 token 的加法;平均就是 loss。
  • 熵 H = 分布自己的平均惊讶;上限 ln V;训练起点 loss ≈ ln V 是第一条校验基线。
  • CE = H(p*) + KL:地板搬不走,KL 才是模型的错;one-hot 训练时 CE 退化回 −ln p真。
  • LS / Z-loss / 温度缩放:分别改目标软硬、钉 logit 漂移、找校准 T*(本例 T*=0.8,KL=0.0034)。
  • 梯度下降:每方向乘 (1−ηk);η < 2/kmax;动量/Adam 补偿曲率差;裁剪/warmup/schedule 各治各的病。

接着学

这条链在真实系统里怎么用:推理与 test-time scaling(把「概率」花成 token)、 后训练(把 CE 换成 RL 目标后 KL 的新角色)、 缩放定律(Loss 对 N、D 的曲面)、 长上下文(softmax 的 O(n²) 代价与在线算法)。