专题:数学地基
从 logits 到 Loss 的完整链条
logits → softmax → 概率 → 信息量 → 熵 → 交叉熵 → KL → 优化——每一环都用能按计算器复现的数字讲透
§1 从分数到概率:softmax 到底做了什么
语言模型每一步输出的是一串 logits(未归一化对数几率)——有正有负、可以任意大的实数。 它们唯一可靠的信息是差值。softmax 就是「差分 → 倍数 → 份额」的转换器。
本专题的贯穿配置:8 个候选词「雨 雪 晴 风 雾 霜 雷电」,logits 固定为一组:
z = [2.0, 1.0, 0.5, 0.0, −0.5, −1.0, −1.5, −2.0], softmax(z)i = ezi / Σj ezj
取指数:ez = [7.389, 2.718, 1.649, 1.000, 0.607, 0.368, 0.223, 0.135],Σ = 14.089
除以 Σ 得 T=1 的分布:p = [0.5245, 0.1929, 0.1170, 0.0710, 0.0431, 0.0261, 0.0158, 0.0096]
e2/e1 = e2−1 = e:logit 差 1,概率就差 e≈2.718 倍。这就是「差值才有意义」的算术形态。
性质一:平移不变性(softmax 只吃差值)
把整组 logits 加 5:[7.0, 6.0, 5.5, …],分子分母同乘 e5,约掉—— 分布逐位不变,仍是 [0.524458, 0.192937, 0.117022, 0.070978, 0.043050, 0.026111, 0.015837, 0.009606]。 所以模型最后一层输出的「绝对分数」没有任何含义,logit 的均值可以任意漂移(这就是某些训练器在 logit 上不约束 bias 也照样能训的原因)。
性质二:不移项就会爆炸——log-sum-exp 的数值稳定性
softmax 要先算 ez。而指数函数的输出范围很快就冲出浮点数的世界:
z = 100 时 e100 = 2.688×1043,直接超出 fp32 上限
3.403×1038,得到 inf/inf = NaN。解法是利用性质一:先减去最大值再取指数,
最大的那项变成 e0=1,其余全在 (0,1]:
z = [100.0, 99.0, 98.5] → 减 max → [0.0, −1.0, −1.5] → softmax = [0.628532, 0.231224, 0.140244](与不减时完全一致)
| 格式 | 最大可表示值 | 能安全取 exp 的上限 ln(max) |
|---|---|---|
| fp32 | 3.403×1038 | 88.72 |
| fp16 | 65 504 | 11.09——logit 超过 ±11 就溢出 |
| bf16 | 3.390×1038 | 88.72(与 fp32 同指数域) |
这一行表解释了一个真实现象:早期用 fp16 训 Transformer 经常 loss spike / NaN, 而 bf16 几乎从不炸——不是因为 bf16「更准」(它尾数反而少 5 位), 而是它的指数域和 fp32 一样宽,e11 到 e88 这段 logits 它装得下。 「减 max」技巧则让 softmax 在任何格式下都只面对 ≤0 的指数。
§2 3D 舞台:概率的乘法变成高度的加法
七帧走完「logits → 取指数 → 归一化 → 四温度对比 → 信息量 → 交叉熵 → H+KL 分解」。 重点看第 ⑤⑦ 帧:换成 −ln p 之后,「链式法则把概率乘起来」在图上就是一排台阶做加法; 而第 ⑦ 帧里所有 CE 柱都踩在同一块地板上——那块地板是数据本身的熵,任何模型都抬不走。
🌡️ 3D 舞台:温度 → 信息量 → 交叉熵 → 校准(8 词玩具版)
读图:X = 候选词,Z = 温度档,Y = 数值。配置只有一组 logits 和一组「真实分布」p*, HUD 里每个概率/熵/CE/KL 都是现算的。词表取 8 个是故意的:均匀分布的熵正好 ln 8 = 2.0794 nats,「最大熵」这把尺子能直接标在图上。
§3 信息量与熵:为什么 loss 里有个 −log
「这个 token 我有多惊讶」需要一个量化。答案是 信息量 I = −ln p: 概率 1(必然发生)惊讶为 0;概率越小惊讶越大。它不是定义的选择,而是 「独立事件的惊讶要相加」这条要求逼出来的唯一解。
链式法则的账(8 个位置的玩具句子,每位置模型给真词的概率):
P(整句) = 0.9 × 0.6 × 0.4 × 0.25 × 0.5 × 0.3 × 0.15 × 0.8 = 9.72×10−4 = 1/1 029
逐位取 −ln:[0.1054, 0.5108, 0.9163, 1.3863, 0.6931, 1.2040, 1.8971, 0.2231],求和 = 6.9362
平均 = 6.9362 / 8 = 0.8670——这就是训练日志里的 loss;PPL = e0.8670 = 2.3798,恰等于 1/P1/8 ✓
乘法会下溢(8 项已经 1/1029,真实句子 2048 项会小到 10−500),取 log 变加法正好治它。loss = 平均每 token 的惊讶,没有更多玄机。
熵:分布自己的平均惊讶
H(p) = −Σi pi ln pi 最大熵 = ln V(均匀分布时取到)
| 词表 V | 均匀分布的熵(nats) | 换算 bits(÷ln2) | PPL = eH |
|---|---|---|---|
| 8(本专题舞台) | 2.0794 | 3.000 | 8 |
| 128 | 4.8520 | 7.000 | 128 |
| 151 936(LLaMA-3) | 11.9312 | 17.213 | 151 936 |
一把实用尺子:训练收敛好的模型在每个位置的条件熵典型是 1.5~2.5 nats, 对应 PPL = eH ≈ 4.5~12——即使词表 15 万,模型也几乎从不把自己摊成均匀分布。 反过来说:看到 PPL≈V 就知道模型等于没学。困惑度不是玄学指标,它就是 「平均每题在几个选项间犹豫」:PPL=8 = 每一步像在 8 个词里抽签。
§4 交叉熵 = 熵 + KL:loss 的解剖学
训练时真实标签是一个 one-hot(下一个词就是它),loss 写成 −ln q真(θ) 就够用了。 但把「数据分布 p*」显式写出来后,loss 的结构才现形:它由一块搬不动的地板和一块可以压小的误差组成。
三元手算例:真实分布 p* = [0.5, 0.3, 0.2],模型分布 q = [0.4, 0.4, 0.2]
H(p*) = −Σp* ln p* = 0.5·0.6931 + 0.3·1.2040 + 0.2·1.6094 = 1.029653
CE(p*, q) = −Σ p*i ln qi = 0.5·0.9163 + 0.3·0.9163 + 0.2·1.6094 = 1.054920
KL(p*‖q) = Σ p*i ln(p*i/qi) = 0.5·ln1.25 + 0.3·ln0.75 + 0.2·ln1 = 0.025267
校验:H(p*) + KL = 1.029653 + 0.025267 = 1.054920 = CE ✓
CE 恒等于「地板 H(p*) + 误差 KL」。地板与模型无关——所以最小化 CE 的唯一含义就是最小化 KL;KL≥0 且仅当 q=p* 时为 0,这就是「训到 loss 不再降」的终点定义。
三个立刻能用的推论
① loss 不可能降到 0(除非数据无噪):它至少要贴着 H(p*)。知道一个任务的
「理论 loss 下限」,才知道离终点还有多远——比如若下一词完全确定,地板是 0;若是双关语,地板就是 ln2=0.6931。
② 拿均匀分布当 q:CE(p*, 均匀) = −Σp*·ln(1/3) = ln 3 = 1.098612。上面例子的地板
H(p*)=1.029653 比它矮——一个啥都不学的模型 loss = ln V,这是检查训练代码的第一条基线:
训练初期 loss 应从 ln V 附近开始往下走,如果从别的数开始,多半是标签对齐错了。
③ KL 不对称:KL(p*‖q) 惩罚「p* 说有、q 却说没有」(漏答重罚),反过来不罚。
蒸馏、DPO 的 forward/reverse KL 之争全部源于这一条(见后训练篇)。
§5 Loss 工程:让 CE 更好训、更可信的三个补丁
原始 CE 是好的目标,但不是最好的训练目标。现代 LLM 训练在它旁边打了三个著名补丁: label smoothing 防过自信、Z-loss 治 logit 漂移、温度缩放把 confidence 校准回来。
补丁一:Label Smoothing——别把概率推到 1
V=8、ε=0.1 时,目标从 one-hot 变成「正确词吃 1−ε+ε/V = 0.9125,其余各吃 ε/V=0.0125」。 模型最优解不再是 p真=1,而是贴着这个软目标——softmax 的饱和区(要输出 0.999 需要十几 nats 的 logit 差) 不再逼模型把 logits 拉飞。账(本专题贯穿配置,p真 位置模型给了 0.5245): 原始 CE = −ln 0.5245 = 0.6454;LS 后 loss = 0.9125·0.6454 + 0.0875·(其余 −ln q 的均值) = 0.8641。 loss 变高不是退步——LS 给了一个不可穿透的下界:ε=0.1、V=8 时 loss 最低也是 −(ε/V)·Σln p ≈ 0.2833(均匀预测时),所以看训练曲线要按 LS 后的地板读 loss。
补丁二:Z-loss——管住 logit 的整体漂移
softmax 的平移不变性(§1 性质一)留了一个漏洞:模型可以让所有 logits 一起涨到 +50 而分布纹丝不动。 这本身无害,但会污染 bf16 精度、让梯度行为漂移。PaLM 的解法是在 CE 之外加一个对 log-sum-exp 本身的正则:Lz = (ln Σi ezi)²。 对贯穿配置,ln Σez = ln 14.089 = 2.6454,Z-loss = 6.998——罚的就是「这组分数整体离 0 有多远」。 把它写成显式的一项,logits 就被钉在 0 附近。
补丁三:温度缩放——推理/校准用的那只旋钮
用贯穿配置的「真实分布」p* 当老师(H=1.2127),四个温度的 CE = [2.9698, 1.2161, 1.2379, 1.7921](T=0.2/0.8/1.0/5.0): 最矮的是 T=0.8,此时 KL 只剩 0.0034——模型原始输出(T=1)其实略微过自信, 把它除以 0.8 反而更贴 p*。这不是巧合:CE(T) 对 T 有内点极小值(T→0 时错词概率趋 0、−ln 趋 ∞,CE→∞; T→∞ 时 q 趋均匀、CE→ln8=2.0794;两端都高,中间必有谷)。训练完在验证集上扫这个谷, 拿到的 T* 就是校准温度——2026 年各家模型卡里的 ECE/calibration 数字,大多就是这么一只免费旋钮调出来的。
§6 3D 舞台:损失曲面上的梯度下降
有了 loss,训练 = 在高维参数空间里沿 −∇L 走小步。这个舞台把「几亿维」压成能看的 2 维: 一个曲率差 25 倍的碗,看梯度下降怎么走成之字形,看学习率的上限凭什么定。
⛰️ 3D 舞台:L(w₁,w₂) 曲面、负梯度场与之字形收敛
读图:X = 参数 w₁,Z = 参数 w₂,Y = 损失 L,色带只是高度的复述。 曲率 k₁=0.2(缓坡)、k₂=5.0(陡壁),学习率 η=0.35,起点 (4, 4)。 轨迹不是贴图——是把 w ← w − η∇L 逐步迭代 32 次现算出来的,每一步的坐标都满足 w₁×0.93、w₂×(−0.75) 的解析规律,手算可查。
§7 梯度下降的数学:曲率决定一切
舞台上每一步都是这条更新式:θ ← θ − η∇L(θ)。对二次型 L = ½kθ²,它退化成 等比数列 θt = θ₀(1−ηk)t——收敛、横跳、发散全由 ηk 一个乘数决定。
三个区间的算术(每个方向独立,直接代 ηk):
ηk < 1 → 同侧收敛; ηk = 1 → 一步到位(最优); 1 < ηk < 2 → 越过中线来回横跳(仍在收敛); ηk ≥ 2 → 发散
陡方向:ηk₂ = 0.35×5.0 = 1.75 → 系数 −0.75(每步翻边、缩 3/4);缓方向:ηk₁ = 0.35×0.2 = 0.07 → 系数 0.93(每步只挪 7%)
第一步账:L 从 ½(0.2+5.0)·4² = 41.6 降到 ½(0.2·3.72² + 5·3.3²) = 28.61;32 步后 w₂ 已 ≈0,w₁ 还剩 0.45——剩下的全是缓方向的账。
学习率上限由最陡方向定:η < 2/kmax = 2/5.0 = 0.4。想快,只能去「补偿各方向曲率差」——这就是动量和 Adam 存在的全部理由。
优化器家族 = 对「曲率差」的不同对策
动量(SGD-M):给速度加权累加,缓方向上连续同向的小步被累积放大——之字形的横跳互相抵消、纵跳被留住。
RMSProp/Adam:用梯度平方的滑动平均当「局部曲率的免费估计」,每个方向各自除以 √v——
陡方向步长自动缩、缓方向自动放,等于给每个坐标轴各调一个 η。AdamW 的 W(weight decay)与梯度解耦,
是 LLM 训练的默认答案。
梯度裁剪:当单个 batch 的 ‖g‖ 超过阈值就整体缩放——它治的是「偶发大步」而不是「曲率差」,
所以和上面两个不冲突,LLM 预训练两个都开(典型 clip=1.0)。
warmup:开局各方向曲率还没被采样出来,ηk 很可能正处在「>2 发散」区间,
所以先用 0.1%~1% 步数把 η 爬上去——看舞台 ⑤ 就能理解为什么「开局炸」多半是陡方向先发散。
§8 总结:一条链背下来
z ─ez→ 非负 ─÷Σ→ 概率 p ─×p*加权求和→ CE loss ─减 H(p*)→ KL ─沿−∇→ θ更新
- softmax = 差值→倍数的转换器;平移不变;减 max 保数值安全(fp16 的 ln 上限只有 11.09)。
- −ln p = 惊讶;链式法则把整句概率的乘法翻译成逐 token 的加法;平均就是 loss。
- 熵 H = 分布自己的平均惊讶;上限 ln V;训练起点 loss ≈ ln V 是第一条校验基线。
- CE = H(p*) + KL:地板搬不走,KL 才是模型的错;one-hot 训练时 CE 退化回 −ln p真。
- LS / Z-loss / 温度缩放:分别改目标软硬、钉 logit 漂移、找校准 T*(本例 T*=0.8,KL=0.0034)。
- 梯度下降:每方向乘 (1−ηk);η < 2/kmax;动量/Adam 补偿曲率差;裁剪/warmup/schedule 各治各的病。
接着学
这条链在真实系统里怎么用:推理与 test-time scaling(把「概率」花成 token)、 后训练(把 CE 换成 RL 目标后 KL 的新角色)、 缩放定律(Loss 对 N、D 的曲面)、 长上下文(softmax 的 O(n²) 代价与在线算法)。