风哥AI系列教程-图解大模型底裤
第一章:从自回归到 Transformer
理解 GPT、DeepSeek、Qwen、Kimi 等大语言模型的核心原理
2017 年到 2026 年,大语言模型的参数量从几百万增长到数万亿, 但它们的核心范式——逐 token 自回归预测——从未改变。 本章将从最简单的例子出发,用可视化的方式带你理解这一范式的本质。
§1 自回归生成:一个 token 一个 token 地"写"
所有大语言模型(GPT、Claude、DeepSeek、Qwen、Kimi)生成文本的方式完全相同: 每次预测下一个 token,拼回序列,再预测下下个 token,循环往复。
什么是 Token?
Token 是模型处理文本的最小单位。一个汉字、一个英文单词、或一段子串都可能是一个 token。
🔬 交互演示:自回归生成过程
点击下方按钮,观察模型如何逐个生成 token:
模型有一个固定的序列长度上限(上下文窗口)。用户的输入和模型的输出共享同一个预算——输入占多了,输出就少。
剩余:127,500 tokens
→ 绰绰有余,可以写很长的回答
剩余:1K tokens
→ 模型最多输出 ~700 个字就被截断
§2 训练数据组织:错位法
基座模型的训练数据不需要任何人工标注——任何文本都是训练数据。 只需将文本"错位一位",就自动产生了输入和目标。
错位法原理
取一段文本,输入和目标错开一个位置——每个位置的任务就是"根据前面的 token 预测下一个"。
🔬 交互演示:错位法生成训练样本
输入任意文本,观察如何自动产生训练数据:
为什么数据无限?
❌ 图像分类
需要人标注"这是猫"、"这是狗"
标注几十万张就到瓶颈
❌ 目标检测
需要人画边界框
更贵更慢
✅ 自回归 LLM
训练数据 = 人类写过的所有文字
标注方式 = 错位一位(零成本)
可用数据 ≈ 几十万亿 token
Loss = -Σ log P(t_i | t_1, ..., t_{i-1})。
区别只是规模——2019 年几 GB 文本,2026 年几十 TB 文本。
§3 因果掩码(Causal Mask)
因果掩码是 Transformer 最精妙的设计之一—— 一条文本进去,一次前向传播,等效于同时训练 n-1 条样本。
为什么需要掩码?
如果不用掩码,模型在预测"学"→"习"时,能同时看到后面的"大模型训练"—— 这就是偷看答案,模型学不到任何预测能力。 因果掩码确保每个位置只能看到自己和前面的 token,不能看到未来。
🔬 交互演示:因果掩码矩阵
点击任意位置,观察该 token 能看到哪些其他 token:
为什么矩阵里包含「自己看自己」?
因果掩码遮掉的是未来(严格上三角 j > i),不是自己——
对角线必须是 ✓,即 j ≤ i。三个原因:
① 打分来自两套不同权重。
注意力打分是 q_i · k_j,其中 q_i = W_Q · h_i、k_j = W_K · h_j,而 W_Q ≠ W_K。
所以 q_i · k_i 不是"自己和自己算相关系数"(那只会退化成常数 |q|²),
而是一次正常的「当前位置的查询」对「当前位置的键」的匹配,仍然携带信息。
② Value 里存着当前 token 自己的语义。
遮掉对角线后,位置 i 只剩前缀信息,只知道「我排在第 i 位」,却不知道「这一位是哪个词」,
预测下一个 token 的能力会明显变差。注意训练目标本来就是 P(t_{i+1} | t_1 ... t_i),条件里包含 t_i 自己。
③ 数学上也不允许全遮。
第 0 个 token(「我」)只有自己可看,一旦遮掉对角线,这一行 softmax 全是 -inf → NaN,
计算直接崩掉。所以工业实现无一例外保留下三角 + 对角线:
PyTorch 用 torch.triu(torch.ones(n, n), diagonal=1) 生成掩码,
scaled_dot_product_attention(..., is_causal=True) 也是把严格上三角置 -inf。
一次前向传播 = n-1 条训练数据
逻辑上等价于 9 条独立样本:
实际只需:
→ 一次 forward pass
§4 批量训练(Batch Training)
实际训练时不是一段文本一段文本地训练——而是把很多段文本拼成一个 batch,同时送入 GPU 并行计算。
而且真实训练数据长短不一,只要不超过模型的最大序列长度(max_seq_len)即可。
GPU 需要矩阵运算,要求一个 batch 内的数据形状一致。真实训练数据长短不一,有两种主流解决方案:
[PAD] 到 batch 内最长PAD 位置不参与 loss 计算
简单但有计算浪费
用
[EOS] 分隔,零浪费2026 年主流做法
🔬 可视化 ①:Padding 方式(不等长 + 填充)
注意每条样本长度不同,短的用 PAD 填充到 batch 内最长:
🔬 可视化 ②:Packing 方式(拼接打包)
同样的不等长样本,不补 PAD,而是拼成一条长序列:
🔬 可视化 ③:抽一条 Packed Sequence 看掩码(块对角)
把 Packing 后的一条序列单独抽出来:样本内部是普通下三角因果掩码, 样本之间被 EOS 切开、互不可见 —— 整个矩阵呈块对角形状。 点行头或任意格子可高亮该行。
document id,注意力只在同一个 document 内允许。不切会怎样:第 2 条样本在预测自己的第一个 token 时,会「读到」第 1 条的全文, 等于把两条不相干的语料拼成一句话在训练。另外位置编码必须在 EOS 处重置为 0, 否则第 2 条样本会继承第 1 条的绝对位置。
实际训练规模
| 参数 | 2019 (GPT-2) | 2026 (DeepSeek V4) |
|---|---|---|
| 序列长度 | 1,024 | 8,192 |
| Batch Size | ~512 | ~数千 |
| 单次 Loss 位置 | ~50 万 | ~数千万 |
| 总训练数据 | 40 GB | ~15 TB |
| GPU 数量 | 数百 | 数万 |
| 训练时间 | 数周 | 数月 |
| 不等长处理 | Padding | Packing(主流) |
max_seq_len。Padding 简单直观但有浪费,Packing 零浪费是 2026 年的主流选择。不管哪种方式,每条样本内部的训练逻辑完全等价。
§5 Encoder vs Decoder 架构对比
Transformer 有三种变体:Encoder-only、Decoder-only、Encoder-Decoder。 2026 年所有主流大模型都是 Decoder-only。
🔬 交互演示:注意力模式对比
选择架构类型,观察每个 token 的注意力视野:
🕸️ 3D 神经网塔 · Encoder-only:双向注意力,把中间被遮罩的那个字补回来
这座塔和 §6 那座 decoder 塔是同一套读图约定:颜色 = 这一格属于哪个字(整条向量一个纯色,从塔底到塔顶不变),格子高低 = |值|,X = token 位置、Y = 计算深度、Z = 向量分量。输入是 明 [M] 下——中间那个字被遮罩,模型要把它补回来。它必须同时看左边和右边,这就是双向:如果只像 decoder 那样看前缀,位置 1 永远不可能知道右边是「下」。三座塔用同一份 Wᵠ/W/Wᵛ 标定,所以两塔结果不一样只能归因于一件事:能看哪些位置。④ 到 ⑦ 是逐格推演:一次只算一个相关系数(9 格全都要算,一个都不能少),参与运算的那两行亮着、其余压暗,八项展开式写在画布下方的算式行里——塔上每个数字都拿计算器验算得出来。拖拽旋转 / 滚轮缩放。
🕸️ 3D 神经网塔 · Encoder-Decoder:左边把「明天下」读成理解结果,右边从 <start> 出发查它,翻成「rain」
还是那套读图约定:颜色 = 这一格属于哪个 token(整条向量一个纯色,跨塔也不变),格子高低 = |值|,X = 位置、Y = 计算深度、Z = 分量。这次画布里有两座塔并排,左边是 encoder、右边是 decoder,它们共用同一套层高度——所以左塔的 self-attention 和右塔的 cross-attention 落在同一个 Y 上,横向一比就看得出「谁在查谁」。⑤ 是本塔真正独有的那一步:右塔只有 <start> 一个 query,它去查左塔三个 key,一次只长一格,每格仍是 8 对分量乘积之和,来源线从左边那一行跨过中间空白接到正在生成的那格上。三塔共用同一份 Wᵠ/Wᵏ/Wᵛ 标定,只有 <start> 的 embedding 是本塔独有的输入。塔上每个数字都拿计算器验算得出来。拖拽旋转 / 滚轮缩放。
三种架构的对比
| Encoder-only | Decoder-only | Encoder-Decoder | |
|---|---|---|---|
| 注意力 | 双向(看全部) | 单向(看过去) | 混合 |
| 代表模型 | BERT | GPT / DeepSeek / Qwen | T5 / BART |
| 擅长 | 理解(分类、提取) | 生成(对话、编码、推理) | 翻译、摘要 |
| 能否生成文本 | ❌ 不能 | ✅ 天然支持 | ✅ 可以 |
| Scaling Law | 较差 | 最强 | 中等 |
| 2026 地位 | 已淘汰 | 绝对统治 | 基本淘汰 |
§6 经典 Transformer 架构详解
Transformer 论文发表于 2017 年("Attention Is All You Need")。 虽然所有大模型都是 Decoder-only,但理解完整的 Transformer 架构有助于理解每个组件的作用。
🔬 Transformer 架构图
点击各组件查看详细解释:
👆 点击架构图中的组件查看详细说明
🔬 可视化:Token 如何变成向量
每个 token 经过 Embedding + 位置编码,变成一个高维数值向量——这是模型能"理解"文字的唯一方式。
🔬 可视化:注意力机制——Transformer 最核心的计算
注意力机制的本质:"对于当前 token,其他每个 token 有多重要?" —— 用 Q·K 算相关性,用 softmax 转成权重,用权重对 V 加权求和。
因为 "今" 的权重最大(62%),所以输出向量中"今"的信息占比最多。
这就是"注意力"的含义——模型学会了该重点看谁。
注意力公式 Attention(Q,K,V) = softmax(QKT / √d) — 这个 √d 不是随便加的,它解决了一个真实的数学问题。
🎬 动画:Attention(Q,K,V) = softmax(QKT/√d)·V —— 从 token 向量到 Loss 的完整计算
上一节静态图的主角。这里把 Q·KT/√d 放进真实训练闭环:8 个阶段自动播放,每一步的数字都是真实算出来的(为看清把维度缩小到 4 维,真实模型是 4096 维)。点阶段条可跳转任意一步。
🕸️ 3D 神经网塔:一座自下而上的 Transformer,看 tensor 逐层向上流动
这不是一张摊开的流程图,而是一座塔——三根轴的语义固定且正交:X = token 在序列里的位置(明/天/下 从左到右三列,全程不换语义)、Y = 网络深度 = 计算步序(越往上算得越晚,塔高 13 层)、Z = 向量的分量下标。于是每个张量都是一张水平薄片(一格 = 一个数;颜色 = 这个向量属于哪个字,从塔底到塔顶一路不变,所以你能盯着「明」的青色看它被投影、被点积、被加权、被 softmax——变了形状和数值,没变身份;整条向量是同一个纯色,格子的高低 = |值|),一层层叠上来就是网络结构本身;权重是立在塔边的半透明板,矩阵乘 = 数据穿过一块板。三根灰色竖轨是残差流:每层只往里加、不覆盖。注意力那一步画成 S = Q·Kᵀ 的 3×3 方阵薄片,第 i 行正对 Q 的第 i 列,右上三角(看未来)被因果遮罩塌缩变灰,softmax 后每一行求和恒为 1(右侧 Σ 是现算的)。④ 到 ⑨ 是逐格推演:一次只算一个相关系数,参与运算的那两行亮着、其余压暗,八项展开式写在画布下方的算式行里——塔上每个数字都拿计算器验算得出来。顶部 Block 2…12 因同构而被折叠成薄板——“深度”这个词被字面画出来。相机沿 Y 轴往上飞并逐层放大,默认不画任何连线,只画本阶段被追踪的那一条通路;最后梯度从 Loss 沿原路逐层向下逆流。塔身上那些暗灰薄板是骨架:它们先告诉你这塔一共多少层、你现在在哪一层(当前层那块会亮成青色);左下角三根箭头把 X/Y/Z 的语义字面画在场景里,不用记图例;薄片末端的 ⋯4096 表示这里只画了 8 个分量、真实是 4096 维;E 也不是一块灰板,而是一张真能抽出行的表——高亮的三行就是明/天/下各自的那一整行。拖拽旋转 / 滚轮缩放。
2017 vs 2026:组件进化
| 组件 | 原始 Transformer (2017) | 现代大模型 (2026) |
|---|---|---|
| 注意力 | Multi-Head Attention | GQA / MQA(减少 KV-head) |
| 位置编码 | 绝对位置编码(sinusoidal) | RoPE(旋转位置编码) |
| 归一化 | LayerNorm(post-norm) | RMSNorm(pre-norm) |
| 激活函数 | ReLU | SwiGLU(门控激活) |
| 参数激活 | 全参数激活 | MoE(混合专家,按需激活) |
| 上下文长度 | 512 tokens | 1,000,000+ tokens |
§7 为什么 Decoder-only 胜出了?
不是因为它"更聪明",而是因为它用最简单的约束,换来了最强的生成能力和最好的规模扩展性。
五个胜出原因
统一所有任务
对话、编码、推理、工具调用——全部转化为"预测下一个 token"这同一个目标。不需要针对不同任务设计不同的头。
Scaling Law 最强
模型越大、数据越多、效果越好——没有天花板迹象。Encoder 和 Encoder-Decoder 在同等规模下都追不上。
训练 = 推理
训练时模型逐 token 预测(因果遮罩),推理时也是逐 token 生成——行为完全一致,无需额外适配。
数据无限
任何文本都是训练数据,标注成本为零。互联网上的全部文字 ≈ 几十万亿 token,足够支撑万亿参数模型。
工程最简单
只有 decoder 层堆叠,不需要 encoder,不需要 cross-attention,不需要序列到序列的对齐。越简单越好调试。
没有变 vs 变了
✅ 完全没变的(2017→2026)
- 逐 token 自回归生成
- Attention(Q, K, V) 核心计算
- 层叠的 Decoder 结构
- 因果遮罩(不许看未来)
- 预训练目标函数
🔄 变了的
- 组件升级(GQA、RoPE、SwiGLU、MoE)
- 训练方法(SFT → RLHF → GRPO → RLVR)
- 模型规模(117M → 2.8T 参数)
- 行为模式(纯文本 → thinking + tool-call)
- 上下文长度(512 → 1,000,000+)