专题:百万 Token 上下文
如何破解 O(n²) 注意力瓶颈
从 4K 到 1,048,576 token——2026 年长上下文技术的六大突破路径
§1 问题:注意力矩阵的平方爆炸
标准注意力中,每个 token 都要和其他所有 token 计算相关性。 序列长度翻倍,计算量变成 4 倍。
🕸️ 3D 舞台:第一章塔上那块 S 板,从 n=4,096 一路长到 n=1,048,576
读图:X = query 下标,Z = key 下标,所以这块板必须是正方形——它的两个轴都是 n。
亮的那一半是因果遮罩留下的(k ≤ i),空的那一半那条路不存在。
每一档都会重新取景,把当前的板拍成差不多大的画面——所以你看到的不是“板在变大”,
而是上一档的框在变小:那才是平方爆炸的真实体感。
板上的格子只是 34×34 的示意,真实数量只看下面 HUD 里的算式(每一个数都能拿计算器复现)。
不只是计算量——显存也爆炸
§2 方案一:减少 KV 头数(GQA / MQA / MLA)
标准 MHA 中每个注意力头都有独立的 Q、K、V。 如果多个 Q 头共享同一组 K、V,KV Cache 就成倍缩小。
🔬 可视化:MHA → MQA → GQA → MLA 的演进
KV Cache: 100%
KV Cache: 25%
KV Cache: 50% — 精度损失最小
KV Cache: 4~14%
2026 年实际数据:每 token KV Cache 大小对比
| 模型 | 上下文 | 注意力方案 | 每 token KV Cache |
|---|---|---|---|
| DeepSeek V3 | 128K | MHA → GQA | 68.6 KiB |
| DeepSeek V4-Pro | 1M | MLA | 7.7 KiB |
| DeepSeek V4.1-Flash | 1M | MLA + CED | 3.1 KiB |
| Kimi K3 | 1M | Kimi Delta Attn | 7.9 KiB |
| GLM-5.3-Flash | 1M | 线性 + 稀疏混合 | ~11 KiB |
从 V3 到 V4.1-Flash,缓存单价降了约 20 倍——这就是 KV 头数压缩 + 潜在注意力的威力。
§3 方案二:Flash Attention(系统级 IO 优化)
Flash Attention 不改变 O(n²) 的数学复杂度,但通过重新安排 GPU 内存读写顺序, 让同样的计算量在实际硬件上快数倍。
🔬 可视化:标准注意力 vs Flash Attention 的内存访问模式
1M token = 4 TB 中间数据!
SRAM 读写速度是 HBM 的 12 倍
局限:不改变 O(n²) 的理论复杂度,只是让常数项更小。序列足够长时,仍然会遇到瓶颈。
把「分块」讲到底:在线 softmax 的三件套 (m, l, acc)
Flash 能「不存 n×n 矩阵」的全部魔法,是把 softmax 改造成可以一块一块喂的在线算法。维护三个量:行最大值 m、指数和 l、加权和 acc。来一块新分数就更新:
m′ = max(m, sblk); l ← em−m′·l + Σes−m′; acc ← em−m′·acc + Σ es−m′·v (最后 out = acc/l)
四分数手算例(一行 query 对 4 个 key:s=[1.0, 2.0 | 0.5, 3.0],v=[10, 20 | 30, 40],块1∣块2):
块1:m=2,l = e−1+e0 = 1.367879,acc = 10e−1+20 = 23.678794(此时归一输出=17.31,先不急着除)
块2 来了个更大的 m′=3:旧账乘 rescale=e2−3=0.367879 → l = 0.503200+0.082085+1 = 1.585300,acc = 8.710854+2.462546+40 = 51.173492
校验:acc/l = 51.173492/1.585300 = 32.280010;整块直接算 softmax 再乘 v 也是 32.280010,差 0.00e+00 ✓
为什么必须维护 m:不减最大值,e100 在 fp32 里就是 inf(数学地基篇 §1的溢出表)。分块流式计算里「后面的块可能更大的分数」,所以 m 要边走边换底,旧账乘 e旧m−新m 换底——这一笔就是在线 softmax 的全部增量。
§4 方案三:稀疏注意力 / 滑动窗口
不让每个 token 看所有 token——只看一部分就够了。 滑动窗口只看最近的 w 个 token,稀疏注意力先筛选再计算。
🔬 可视化:全注意力 vs 滑动窗口 vs 混合方案
混合注意力:2026 年主流模型的标配架构
几乎所有支持 1M 上下文的模型都采用了层间交替策略:
| 模型 | 滑动窗口层 | 全局注意力层 | 比例 |
|---|---|---|---|
| MiMo-V2-Flash | 滑动窗口注意力 (SWA) | 全局注意力 (GA) | 5:1 |
| Step 5 Preview | 滑动窗口注意力 | 稀疏全注意力 (Sparse GQA) | 3:1 |
| Gemma 4 | 窗口层 | 全局层 | 5:1 |
| LLaMA 4 | 窗口层 | 全局层 | 交替 |
| GLM-5.3-Flash | 线性注意力 (DeltaNet) | 稀疏全注意力 (DSA) | 3:1 |
口诀:短记忆靠窗口/线性层,长记忆靠稀疏检索,精度靠少量全注意力兜底。
§5 方案四:线性注意力 / 状态空间模型(SSM)
最激进的方案:彻底抛弃 O(n²) 的全局注意力,用 O(n) 的替代方案。 Mamba、DeltaNet、RWKV 都属于这条路。
🔬 可视化:标准注意力 vs 状态空间模型
复杂度:O(n) 每个 token → 总计 O(n²)
每读一个 token → 更新 h → 复杂度:O(n)
SSM 的优缺点
✅ 优势
- O(n) 复杂度——序列越长优势越大
- 推理时内存恒定——只需维护固定大小的状态,无需 KV Cache
- 天生适合超长序列和流式场景
❌ 代价
- 压缩必然丢信息——精确检索能力下降
- "第 3 页第 7 行第 2 个单词是什么?" → SSM 回答不如全注意力准
- 训练/微调生态不如 Transformer 成熟
2026 年的混合方案:75% SSM + 25% 全注意力
代表模型:NVIDIA Nemotron 3 Ultra(48 SSM 层 + 12 Attention 层)、Qwen3.8(Gated DeltaNet + 全注意力)。 这种混合架构在精度接近纯 Transformer 的同时,推理速度快数倍。
§5.5 2026 年独有:三大注意力路线 + CED 架构
前面讲的是通用方案。到 2026 年,行业已经形成了三条清晰的技术路线, 并且出现了两个全新的架构级创新——CED 和 Prefill/Decode 分离。
2026 三大注意力路线
2026 年的旗舰模型不再只用一种注意力,而是将三类机制混合搭配:
🔬 可视化:CED 架构——DeepSeek V4.1-Flash 的核心创新
2026 年 9 月发布的 DeepSeek V4.1-Flash 引入了 CED(Causal Encoder-Decoder)架构,实现 Prefill 8B 激活 / Decode 16B 激活的非对称设计:
Decode 逐 token 跑全部 40 层 → 激活 16B
全局 KV 只生成一份,解码器复用 → 缓存减半
完整计算
用自己的查询重新打分、选新 Top-K
省主 KV 计算
连打分都省了
🔬 可视化:Prefill/Decode 分离架构
2026 年另一个重大工程趋势:把 Prefill(处理输入)和 Decode(生成输出)拆到不同的 GPU 实例上运行。
Decode = 访存密集(用带宽大的卡)
互不干扰 → 延迟稳定 + 吞吐更高
Agent 场景中,prompt 会不断变长(工具结果不断追加)。Prefill 越来越慢, 如果不分离,每次新工具结果返回都会阻塞正在生成的 token。 P/D 分离 + CED 架构 = Agent 场景的最佳组合。
2026 年旗舰模型架构速查表
| 模型 | 注意力组合 | 缓存/创新 |
|---|---|---|
| DeepSeek V4.1-Flash | CED + CSA2 + SWA | 8B/16B 非对称,3.1 KiB/tok |
| Qwen3.8-27B/2.4T | 3 Gated DeltaNet : 1 Full GQA | 线性+全局 3:1 混合 |
| Kimi K3 | 3 KDA : 1 Gated MLA | Kimi Delta Attention (线性) |
| GLM-5.3-Flash | 34 KDA + 11 DSA | 线性+稀疏 3:1,11 KiB/tok |
| MiMo-V2.6-Pro | 6 SWA-GQA : 1 Global GQA | 滑动窗口+全局 6:1 |
| Nemotron 3 Ultra | 48 Mamba-2 + 12 Attention | 80% SSM + 20% 全注意力 |
§5.7 另一半问题:RoPE 怎么「读位置」,以及它为什么一过 4K 就碎
前面几节都在解决「算得少」,本节解决「位置读得准」。主流模型不给 token 加位置向量, 而是把 q、k 成对旋转——每一对 2-D 平面配一只自己的「钟」。 长上下文的全部补救(PI / NTK / YaRN)动的都是这些钟,不是位置本身。
一页纸的 RoPE 数学:θ_i = base^(−2i/d),每个维度对一只钟
位置 m 的第 i 对分量旋转角 = m·θ_i; q·k 内积只依赖 (m−n)·θ_i,因为 R(mθ)⊤R(nθ) = R((n−m)θ)
取 d_head = 128、base = 10,000(一个头 = 64 只钟),逐只查波长 λ_i = 2π/θ_i = 2π·base2i/128(每个数可拿计算器复现):
| 维度对 i | θ_i(rad/位置) | 转一圈要 λ_i 个位置 | 负责 |
|---|---|---|---|
| 0 | 1 | 6.3 | 相邻位置——快钟 |
| 16 | 0.1 | 62.8 | 句级尺度 |
| 32 | 0.01 | 628.3 | 段级尺度 |
| 48 | 0.001 | 6,283 | 接近训练窗口 |
| 63 | 1.155×10−4 | 54,410 | 长程计时——最慢的钟 |
m = 4,096 上两只钟的命运:快钟已经转了 652 圈(4096/2π = 651.9), 慢钟连一圈都没走完(4096×0.001/2π = 0.652 圈)。 外推碎在慢钟上——测试 m = 5,200 读数 5.20 rad,而训练域最高只读到过 4095×0.001 = 4.095 rad: 分布外角度,模型从没见过。快钟呢?模掉圈数落在 5200 mod 2π ≈ 3.81 rad——一个它路过 652 遍的老角度, 混叠,没有新信息。
位置外推问题 = 慢钟读数越界,不是「数字太大」。理解了这一点,下面三种补救就只是同一道算术题的三种解法。
🕰️ 3D 舞台:四只钟的塔——旋转、混叠、与三种补救在同一只慢钟上的读数
读图:每个水平面 = 一对维度的 2-D 平面,箭头 = 当前位置 m 下的指针朝向(Y 只是层高,用来分开四只钟)。 舞台显式配置:d=8 → 4 只钟(真实模型 d=128 → 64 只,规律完全一致), θ_i = 10000^(−2i/8) = [1, 0.1, 0.01, 0.001],训练上限 m=4096、测试拉到 m=5200—— 每帧转角、圈数、补救读数全部由这几个数现算,可拿计算器复现。
三种补救:让慢钟的读数别超出训练域
PI(位置插值):把 m 写成 m/s。Llama-2 4K→128K 要 s=32, 原位置 4095 改写为 128.0——所有钟一起被放慢 32 倍, 快钟被无辜压扁,短距分辨精度受损(这正对应舞台 ⑤ 里 PI 把四只钟同比例压缩)。
NTK-aware scaling:不动位置动 base——base′ = base·s^(d/(d−2))。 s=32、d=128:10000×32^(128/126) = 338,097;s=8 → 82,685。 因为 θ_0 ≡ 1 与 base 无关、θ_i 的缩放幂次随 i 递增,效果恰好是快钟几乎不动、慢钟大幅拉伸——一个旋钮完成分频重分配。
YaRN:按波长 λ_i/2π 分段——短于 α=1 原样,长于 β=32 一律 θ/s,中间线性爬坡。 s=8、β=32 实测倍率:i=0 → 1.000,i=16 → 0.746,i≥32(λ≥628)→ 一律 0.125(θ÷8)。 即「只给慢钟做手术」——当前长上下文继续训练的默认答案。
免费的第四招:训练时就把 base 调大(LLaMA-3 直接 base=500,000): i=32 的一圈从 628 拉长到 4,443 个位置,i=63 从 54,410 → 2,559,196—— 慢钟量程从源头盖过窗口,压根不存在「越界」,也就不需要外推。
四条算式同一个问题:测试时各只钟的读数落回训练见过的角度集合。PI 全压、NTK 平滑变速、YaRN 分段手术、大 base 提前布防。
§6 方案五:KV Cache 工程优化
即使注意力计算优化了,生成阶段仍需缓存历史的 K、V。 PagedAttention、量化、驱逐策略从工程层面压缩显存。
🔬 可视化:PagedAttention 分页管理
六大方案汇总对比
| 方案 | 原理 | 复杂度变化 | 代价 |
|---|---|---|---|
| GQA / MLA | 减少 KV 头数 / 压缩 KV | 仍是 O(n²),常数缩小 | 精度轻微损失 |
| Flash Attention | IO 感知分块计算 | 仍是 O(n²),常数缩小 | 无精度损失 |
| 滑动窗口 | 只看最近 w 个 token | O(n·w) ← 线性 | 远端信息丢失 |
| 稀疏注意力 | 先筛选再计算 | O(n·k) ← k 为筛选数 | 筛选器本身有开销 |
| SSM / 线性注意力 | 固定状态替代 KV | O(n) ← 线性 | 精确检索能力下降 |
| PagedAttention | 显存分页管理 | 不改变计算量 | 无精度损失,纯工程优化 |