风哥AI系列教程-图解大模型底裤

第一章:从自回归到 Transformer

理解 GPT、DeepSeek、Qwen、Kimi 等大语言模型的核心原理

自回归生成 因果掩码 Encoder vs Decoder Transformer 架构

2017 年到 2026 年,大语言模型的参数量从几百万增长到数万亿, 但它们的核心范式——逐 token 自回归预测——从未改变。 本章将从最简单的例子出发,用可视化的方式带你理解这一范式的本质。

§1 自回归生成:一个 token 一个 token 地"写"

所有大语言模型(GPT、Claude、DeepSeek、Qwen、Kimi)生成文本的方式完全相同: 每次预测下一个 token,拼回序列,再预测下下个 token,循环往复。

什么是 Token?

Token 是模型处理文本的最小单位。一个汉字、一个英文单词、或一段子串都可能是一个 token。

原始文本:
"我今天学习大模型"
分词结果:
我 今 天 学 习 大 模 型

🔬 交互演示:自回归生成过程

点击下方按钮,观察模型如何逐个生成 token:

点击按钮开始生成。每次模型根据已有 token 预测下一个。
核心要点:模型永远不知道"完整答案"——它每次只猜一个 token,然后把自己猜的结果当作已知,继续猜下一个。 自己之前生成的 token 和人类输入的 token,在模型眼里地位完全相同。
📦 关键概念:上下文窗口——输入 + 输出的共享预算

模型有一个固定的序列长度上限(上下文窗口)。用户的输入和模型的输出共享同一个预算——输入占多了,输出就少。

假设上下文窗口 = 128K tokens:
prompt (45K)
模型输出 (83K 可用)
未用
输入 + 输出 ≤ 上下文窗口 — 总预算固定,输入占多了输出就少
✅ 正常对话
输入:500 tokens
剩余:127,500 tokens
→ 绰绰有余,可以写很长的回答
⚠️ 输入太长
输入:127K tokens
剩余:1K tokens
→ 模型最多输出 ~700 个字就被截断
自回归生成的代价:模型每生成一个 token,这个 token 就占掉一个窗口位置。生成 1000 个 token 后,最早的 1000 个输入 token 就被"挤出"窗口了。这就是为什么需要第二章讲的百万 Token 上下文技术——窗口越大,能处理的任务越复杂。

§2 训练数据组织:错位法

基座模型的训练数据不需要任何人工标注——任何文本都是训练数据。 只需将文本"错位一位",就自动产生了输入和目标。

错位法原理

取一段文本,输入和目标错开一个位置——每个位置的任务就是"根据前面的 token 预测下一个"。

🔬 交互演示:错位法生成训练样本

输入任意文本,观察如何自动产生训练数据:

为什么数据无限?

❌ 图像分类

需要人标注"这是猫"、"这是狗"
标注几十万张就到瓶颈

❌ 目标检测

需要人画边界框
更贵更慢

✅ 自回归 LLM

训练数据 = 人类写过的所有文字
标注方式 = 错位一位(零成本)
可用数据 ≈ 几十万亿 token

核心要点:预训练的目标函数从 2018 年到现在一天都没变过: Loss = -Σ log P(t_i | t_1, ..., t_{i-1})。 区别只是规模——2019 年几 GB 文本,2026 年几十 TB 文本。

§3 因果掩码(Causal Mask)

因果掩码是 Transformer 最精妙的设计之一—— 一条文本进去,一次前向传播,等效于同时训练 n-1 条样本。

为什么需要掩码?

如果不用掩码,模型在预测"学"→"习"时,能同时看到后面的"大模型训练"—— 这就是偷看答案,模型学不到任何预测能力。 因果掩码确保每个位置只能看到自己和前面的 token,不能看到未来。

🔬 交互演示:因果掩码矩阵

点击任意位置,观察该 token 能看到哪些其他 token:

可见 被遮罩(不可见) 当前位置

为什么矩阵里包含「自己看自己」?

因果掩码遮掉的是未来(严格上三角 j > i),不是自己—— 对角线必须是 ✓,即 j ≤ i。三个原因:

① 打分来自两套不同权重。 注意力打分是 q_i · k_j,其中 q_i = W_Q · h_i、k_j = W_K · h_j,而 W_Q ≠ W_K。 所以 q_i · k_i 不是"自己和自己算相关系数"(那只会退化成常数 |q|²), 而是一次正常的「当前位置的查询」对「当前位置的键」的匹配,仍然携带信息。

② Value 里存着当前 token 自己的语义。 遮掉对角线后,位置 i 只剩前缀信息,只知道「我排在第 i 位」,却不知道「这一位是哪个词」, 预测下一个 token 的能力会明显变差。注意训练目标本来就是 P(t_{i+1} | t_1 ... t_i),条件里包含 t_i 自己。

③ 数学上也不允许全遮。 第 0 个 token(「我」)只有自己可看,一旦遮掉对角线,这一行 softmax 全是 -inf → NaN, 计算直接崩掉。所以工业实现无一例外保留下三角 + 对角线: PyTorch 用 torch.triu(torch.ones(n, n), diagonal=1) 生成掩码, scaled_dot_product_attention(..., is_causal=True) 也是把严格上三角置 -inf。

一句话记住:因果掩码只遮「未来」,不遮「自己」。

一次前向传播 = n-1 条训练数据

逻辑上等价于 9 条独立样本:

[我] → 今
[我,今] → 天
[我,今,天] → 学
...
[我,今,...,训] → 练
=

实际只需:

一条文本 + 因果掩码
→ 一次 forward pass
核心要点: 信息只能从过去流向未来,不能反过来。这个约束同时保证了训练时模型不能偷看答案, 推理时模型本来就没有未来可看——训练和推理的行为完全一致。

§4 批量训练(Batch Training)

实际训练时不是一段文本一段文本地训练——而是把很多段文本拼成一个 batch,同时送入 GPU 并行计算。 而且真实训练数据长短不一,只要不超过模型的最大序列长度(max_seq_len)即可。

📦 关键问题:不等长样本怎么处理?

GPU 需要矩阵运算,要求一个 batch 内的数据形状一致。真实训练数据长短不一,有两种主流解决方案:

方式 ① Padding(填充)
短样本末尾补 [PAD] 到 batch 内最长
PAD 位置不参与 loss 计算
简单但有计算浪费
方式 ② Packing(拼接)
多条短样本首尾拼接成一条长序列
用 [EOS] 分隔,零浪费
2026 年主流做法

🔬 可视化 ①:Padding 方式(不等长 + 填充)

注意每条样本长度不同,短的用 PAD 填充到 batch 内最长:

🔬 可视化 ②:Packing 方式(拼接打包)

同样的不等长样本,不补 PAD,而是拼成一条长序列:

🔬 可视化 ③:抽一条 Packed Sequence 看掩码(块对角)

把 Packing 后的一条序列单独抽出来:样本内部是普通下三角因果掩码, 样本之间被 EOS 切开、互不可见 —— 整个矩阵呈块对角形状。 点行头或任意格子可高亮该行。

可见(段内下三角,含自己) 段内未来(因果遮挡) 跨样本(互不可见) PAD(不参与)
和 §3 单样本矩阵的差别:单样本时矩阵就是一个完整下三角; Packing 后多了一条约束 —— 跨样本不可见。 等价于给每个 token 标一个 document id,注意力只在同一个 document 内允许。
不切会怎样:第 2 条样本在预测自己的第一个 token 时,会「读到」第 1 条的全文, 等于把两条不相干的语料拼成一句话在训练。另外位置编码必须在 EOS 处重置为 0, 否则第 2 条样本会继承第 1 条的绝对位置。

实际训练规模

参数2019 (GPT-2)2026 (DeepSeek V4)
序列长度1,0248,192
Batch Size~512~数千
单次 Loss 位置~50 万~数千万
总训练数据40 GB~15 TB
GPU 数量数百数万
训练时间数周数月
不等长处理PaddingPacking(主流)
核心要点:实际训练中,一个 batch 里的样本长度可以不同,只要不超过 max_seq_len。Padding 简单直观但有浪费,Packing 零浪费是 2026 年的主流选择。不管哪种方式,每条样本内部的训练逻辑完全等价。

§5 Encoder vs Decoder 架构对比

Transformer 有三种变体:Encoder-only、Decoder-only、Encoder-Decoder。 2026 年所有主流大模型都是 Decoder-only。

🔬 交互演示:注意力模式对比

选择架构类型,观察每个 token 的注意力视野:

🕸️ 3D 神经网塔 · Encoder-only:双向注意力,把中间被遮罩的那个字补回来

这座塔和 §6 那座 decoder 塔是同一套读图约定:颜色 = 这一格属于哪个字(整条向量一个纯色,从塔底到塔顶不变),格子高低 = |值|,X = token 位置、Y = 计算深度、Z = 向量分量。输入是 明 [M] 下——中间那个字被遮罩,模型要把它补回来。它必须同时看左边和右边,这就是双向:如果只像 decoder 那样看前缀,位置 1 永远不可能知道右边是「下」。三座塔用同一份 Wᵠ/W/Wᵛ 标定,所以两塔结果不一样只能归因于一件事:能看哪些位置。④ 到 ⑦ 是逐格推演:一次只算一个相关系数(9 格全都要算,一个都不能少),参与运算的那两行亮着、其余压暗,八项展开式写在画布下方的算式行里——塔上每个数字都拿计算器验算得出来。拖拽旋转 / 滚轮缩放。

明 [M] 遮罩位 下 天(被补回) 雨 (本塔没有因果遮罩:灰而塌平这个记号在这里不会出现,这正是它和 decoder 塔的差别)

🕸️ 3D 神经网塔 · Encoder-Decoder:左边把「明天下」读成理解结果,右边从 <start> 出发查它,翻成「rain」

还是那套读图约定:颜色 = 这一格属于哪个 token(整条向量一个纯色,跨塔也不变),格子高低 = |值|,X = 位置、Y = 计算深度、Z = 分量。这次画布里有两座塔并排,左边是 encoder、右边是 decoder,它们共用同一套层高度——所以左塔的 self-attention 和右塔的 cross-attention 落在同一个 Y 上,横向一比就看得出「谁在查谁」。⑤ 是本塔真正独有的那一步:右塔只有 <start> 一个 query,它去查左塔三个 key,一次只长一格,每格仍是 8 对分量乘积之和,来源线从左边那一行跨过中间空白接到正在生成的那格上。三塔共用同一份 Wᵠ/Wᵏ/Wᵛ 标定,只有 <start> 的 embedding 是本塔独有的输入。塔上每个数字都拿计算器验算得出来。拖拽旋转 / 滚轮缩放。

明 天 下 [S] <start> rain (左塔三列 = 源句的三个位置,右塔只有一列:它还没生成任何词,手上只有 <start>)

三种架构的对比

Encoder-only Decoder-only Encoder-Decoder
注意力 双向(看全部) 单向(看过去) 混合
代表模型 BERT GPT / DeepSeek / Qwen T5 / BART
擅长 理解(分类、提取) 生成(对话、编码、推理) 翻译、摘要
能否生成文本 ❌ 不能 ✅ 天然支持 ✅ 可以
Scaling Law 较差 最强 中等
2026 地位 已淘汰 绝对统治 基本淘汰

§6 经典 Transformer 架构详解

Transformer 论文发表于 2017 年("Attention Is All You Need")。 虽然所有大模型都是 Decoder-only,但理解完整的 Transformer 架构有助于理解每个组件的作用。

🔬 Transformer 架构图

点击各组件查看详细解释:

Output Probabilities Linear + Softmax Decoder Layer × N Add & LayerNorm Feed-Forward (SwiGLU) Add & LayerNorm Masked Multi-Head Attention + Causal Mask Positional Encoding (RoPE) Token Embedding Input Tokens 核心:Q·K^T / √d FFN: 逐位置非线性变换 现代用 RoPE

👆 点击架构图中的组件查看详细说明

🔬 可视化:Token 如何变成向量

每个 token 经过 Embedding + 位置编码,变成一个高维数值向量——这是模型能"理解"文字的唯一方式。

① 原始文本
"我今天学习"
→
② 分词(Tokenizer)
我ID: 1842 今ID: 556 天ID: 2031 学ID: 3890 习ID: 7712
→
③ Embedding 查表
我 [0.12, -0.87, 0.45, ..., 0.33]
今 [-0.56, 0.23, 0.91, ..., -0.14]
天 [0.78, -0.12, 0.34, ..., 0.67]
... 每个向量 d=4096 维(现代模型)
+
④ 位置编码(RoPE)
最终向量 = Embedding向量 ⊕ 位置信息
pos=0 "我" 知道自己在第 1 位
pos=1 "今" 知道自己在第 2 位
pos=2 "天" 知道自己在第 3 位
没有位置编码 → 模型分不清"我今"和"今我"
→
⑤ 输入向量序列
我
[4096 维向量]
今
[4096 维向量]
天
[4096 维向量]
送入 Decoder 层堆叠处理 →
本质:文字是离散的符号,神经网络只能处理连续的数字。 Embedding 就是把每个符号映射成一个固定长度的数字向量——语义相近的词,向量也相近(如"快乐"和"开心"的向量距离很小)。

🔬 可视化:注意力机制——Transformer 最核心的计算

注意力机制的本质:"对于当前 token,其他每个 token 有多重要?" —— 用 Q·K 算相关性,用 softmax 转成权重,用权重对 V 加权求和。

场景:模型正在预测 "我今天?" 的下一个 token
Step 1:每个 token 生成三个向量(Q、K、V)
Token Q(查询:我在找什么?) K(键:我有什么特征?) V(值:我的实际内容)
我 Q我 K我 V我
今 Q今 K今 V今
天 Q天 ← 当前关注 K天 V天
Q、K、V 都是通过线性变换(权重矩阵)从输入向量计算出来的。每个 token 都同时拥有这三个向量。
Step 2:用 Q·K 计算"相关系数"(注意力分数)
"天" 的 Q 向量分别和前面每个 token 的 K 向量做点积:
Q天 · K我 = 2.1
"我" 和 "天" 的相关性
Q天 · K今 = 3.8
"今" 和 "天" 相关性很高!("今天"是常见搭配)
Q天 · K天 = 1.5
"天" 和自己
点积值越大 → 两个 token 越"相关" → 注意力越强。 再除以 √dk(缩放因子)防止数值过大。 因果遮罩让 "天" 看不到后面的 token。
Step 3:Softmax 把分数转成权重(加起来 = 1)
原始分数
2.1
3.8
1.5
Softmax
→
注意力权重
0.15 (15%)
0.62 (62%)
0.23 (23%)
→
含义
少量关注"我"
重点看"今"!
一些关注"天"
Softmax 让所有权重变成正数且加起来 = 1,形成概率分布。高分 token 权重更大。
Step 4:用权重对 V 加权求和 → 输出向量
输出天 = 0.15 × V我 + 0.62 × V今 + 0.23 × V天
"天" 的输出向量 = 按权重混合所有可见 token 的内容信息(V)。
因为 "今" 的权重最大(62%),所以输出向量中"今"的信息占比最多。
这就是"注意力"的含义——模型学会了该重点看谁。
一句话总结注意力机制:
Q(我在找什么?) 和每个 K(它有什么?) 算相似度 → Softmax 转成权重 → 按权重混合 V(它的实际内容) → 得到融合了上下文信息的新向量
多头注意力 = 同时跑多组 Q/K/V,每组关注不同的语义关系(语法、语义、位置...),最后拼接。
📐 数学洞察:为什么注意力要除以 √d? — 不除的话 softmax 会崩溃

注意力公式 Attention(Q,K,V) = softmax(QKT / √d) — 这个 √d 不是随便加的,它解决了一个真实的数学问题。

1
Q 和 K 都是 d 维向量(如 d=128)
假设 Q、K 的每个分量都是均值 0、方差 1 的随机数
2
点积 Q·K 的方差 = d
Q·K = q₁k₁ + q₂k₂ + ... + qdkd,d 个独立随机变量相加,方差累加 → Var(Q·K) = d
Var(Q·K) = d × Var(qᵢkᵢ) = d
3
d 越大 → 点积值越分散 → softmax 输出越尖锐
d=128 时,点积的标准差 = √128 ≈ 11.3。softmax 输入差异巨大,输出变成 one-hot(一个位置 ≈ 1,其他 ≈ 0),梯度消失,学不到东西
4
除以 √d → 方差归一为 1 → softmax 输出平滑
除以标准差 √d,点积的方差变为 1,不管 d 多大,softmax 输入都在合理范围内
Var(QKT/√d) = d/d = 1 ✓
❌ 不除 √d(d=128)
tok₁
97%
tok₂
2%
tok₃
~0%
tok₄
~0%
✅ 除以 √d 后
tok₁
42%
tok₂
28%
tok₃
18%
tok₄
12%
结论:√d 是一个"方差归一化"操作。没有它,维度越高 softmax 越接近 one-hot,注意力退化为"只看一个 token",梯度消失无法训练。这就是为什么所有 Transformer 都有这个 √d。

🎬 动画:Attention(Q,K,V) = softmax(QKT/√d)·V —— 从 token 向量到 Loss 的完整计算

上一节静态图的主角。这里把 Q·KT/√d 放进真实训练闭环:8 个阶段自动播放,每一步的数字都是真实算出来的(为看清把维度缩小到 4 维,真实模型是 4096 维)。点阶段条可跳转任意一步。

Q·KT / √d → softmax → ·V → 预测 → Loss

🕸️ 3D 神经网塔:一座自下而上的 Transformer,看 tensor 逐层向上流动

这不是一张摊开的流程图,而是一座塔——三根轴的语义固定且正交:X = token 在序列里的位置(明/天/下 从左到右三列,全程不换语义)、Y = 网络深度 = 计算步序(越往上算得越晚,塔高 13 层)、Z = 向量的分量下标。于是每个张量都是一张水平薄片(一格 = 一个数;颜色 = 这个向量属于哪个字,从塔底到塔顶一路不变,所以你能盯着「明」的青色看它被投影、被点积、被加权、被 softmax——变了形状和数值,没变身份;整条向量是同一个纯色,格子的高低 = |值|),一层层叠上来就是网络结构本身;权重是立在塔边的半透明板,矩阵乘 = 数据穿过一块板。三根灰色竖轨是残差流:每层只往里加、不覆盖。注意力那一步画成 S = Q·Kᵀ 的 3×3 方阵薄片,第 i 行正对 Q 的第 i 列,右上三角(看未来)被因果遮罩塌缩变灰,softmax 后每一行求和恒为 1(右侧 Σ 是现算的)。④ 到 ⑨ 是逐格推演:一次只算一个相关系数,参与运算的那两行亮着、其余压暗,八项展开式写在画布下方的算式行里——塔上每个数字都拿计算器验算得出来。顶部 Block 2…12 因同构而被折叠成薄板——“深度”这个词被字面画出来。相机沿 Y 轴往上飞并逐层放大,默认不画任何连线,只画本阶段被追踪的那一条通路;最后梯度从 Loss 沿原路逐层向下逆流。塔身上那些暗灰薄板是骨架:它们先告诉你这塔一共多少层、你现在在哪一层(当前层那块会亮成青色);左下角三根箭头把 X/Y/Z 的语义字面画在场景里,不用记图例;薄片末端的 ⋯4096 表示这里只画了 8 个分量、真实是 4096 维;E 也不是一块灰板,而是一张真能抽出行的表——高亮的三行就是明/天/下各自的那一整行。拖拽旋转 / 滚轮缩放。

明 天 下 雨(新生成) 晴 雪 读图第一约定:颜色 = 这一格属于哪个字,从塔底到塔顶一路不变(格子高低=|值|、灰而塌平=因果遮罩);薄片=张量(X=token 位置、Y=计算深度、Z=向量分量),立板=权重,竖轨=残差流;注意力矩阵每行 Σ=1

2017 vs 2026:组件进化

组件原始 Transformer (2017)现代大模型 (2026)
注意力Multi-Head AttentionGQA / MQA(减少 KV-head)
位置编码绝对位置编码(sinusoidal)RoPE(旋转位置编码)
归一化LayerNorm(post-norm)RMSNorm(pre-norm)
激活函数ReLUSwiGLU(门控激活)
参数激活全参数激活MoE(混合专家,按需激活)
上下文长度512 tokens1,000,000+ tokens

§7 为什么 Decoder-only 胜出了?

不是因为它"更聪明",而是因为它用最简单的约束,换来了最强的生成能力和最好的规模扩展性。

五个胜出原因

1

统一所有任务

对话、编码、推理、工具调用——全部转化为"预测下一个 token"这同一个目标。不需要针对不同任务设计不同的头。

2

Scaling Law 最强

模型越大、数据越多、效果越好——没有天花板迹象。Encoder 和 Encoder-Decoder 在同等规模下都追不上。

3

训练 = 推理

训练时模型逐 token 预测(因果遮罩),推理时也是逐 token 生成——行为完全一致,无需额外适配。

4

数据无限

任何文本都是训练数据,标注成本为零。互联网上的全部文字 ≈ 几十万亿 token,足够支撑万亿参数模型。

5

工程最简单

只有 decoder 层堆叠,不需要 encoder,不需要 cross-attention,不需要序列到序列的对齐。越简单越好调试。

没有变 vs 变了

✅ 完全没变的(2017→2026)

  • 逐 token 自回归生成
  • Attention(Q, K, V) 核心计算
  • 层叠的 Decoder 结构
  • 因果遮罩(不许看未来)
  • 预训练目标函数

🔄 变了的

  • 组件升级(GQA、RoPE、SwiGLU、MoE)
  • 训练方法(SFT → RLHF → GRPO → RLVR)
  • 模型规模(117M → 2.8T 参数)
  • 行为模式(纯文本 → thinking + tool-call)
  • 上下文长度(512 → 1,000,000+)

§8 本章总结

生成范式:逐 token 自回归预测,从 2017 年到 2026 年从未改变。
训练数据:任何文本都是数据,错位一位自动产生监督信号,标注成本为零。
因果掩码:一条文本 + 掩码矩阵 = 一次前向传播等效于 n-1 条训练数据,GPU 并行效率拉满。
架构选择:Decoder-only 用最简单的"不许看未来"约束,换来了最强的生成能力和规模扩展性。
核心洞察:骨架没变,零件换了,训练方法变了,规模爆炸了,行为进化了——但"一次吐一个 token"这件事,从未改变。

📐 2026 版 Transformer:现代架构完整图

前面讲的是经典 GPT-2 架构。2026 年的主流模型(LLaMA、Qwen、DeepSeek)都用了这些改进:

经典 GPT-2 (2019)
Input + Sinusoidal 位置编码
Multi-Head Attention (MHA)
+ LayerNorm (Post) + bias
FFN: ReLU(Linear→Linear)
+ LayerNorm (Post) + bias
✅ 2026 现代版 (LLaMA 风格)
Input(无绝对位置编码)
RMSNorm (Pre) → GQA + RoPE + QK-Norm
无 bias,KV 头数仅为 Q 头的 1/4
RMSNorm (Pre) → SwiGLU FFN
SiLU(xW₁) ⊗ (xW₂) · W₃,无 bias
六大关键改进:
① RoPE(旋转位置编码)替代 Sinusoidal → 支持长度外推
② SwiGLU 替代 ReLU → 同等参数更强表达力
③ GQA(分组查询注意力)替代 MHA → KV Cache 省 75%
④ RMSNorm + Pre-LN 替代 Post-LayerNorm → 训练更稳定
⑤ QK-Norm → 防止注意力分数爆炸
⑥ 去掉 bias → 参数更少、推理更快
详细配置见 第九章:训练工程实战

下一章预告:后训练(Post-Training)—— 从 SFT 到 RLHF 到 GRPO

◂ 返回导航主页 📖 专题:百万 Token 上下文 🔬 详解:预训练数据→Loss