专题:百万 Token 上下文

如何破解 O(n²) 注意力瓶颈

从 4K 到 1,048,576 token——2026 年长上下文技术的六大突破路径

标准 Transformer 的注意力计算复杂度是 O(n²)。当上下文达到 100 万 token 时, 注意力矩阵有 1 万亿个元素——这在计算和显存上都是不可接受的。 本专题用可视化的方式,讲解 2026 年主流的六大解决方案。

§1 问题:注意力矩阵的平方爆炸

标准注意力中,每个 token 都要和其他所有 token 计算相关性。 序列长度翻倍,计算量变成 4 倍。

🕸️ 3D 舞台:第一章塔上那块 S 板,从 n=4,096 一路长到 n=1,048,576

读图:X = query 下标,Z = key 下标,所以这块板必须是正方形——它的两个轴都是 n。 亮的那一半是因果遮罩留下的(k ≤ i),空的那一半那条路不存在。 每一档都会重新取景,把当前的板拍成差不多大的画面——所以你看到的不是“板在变大”, 而是上一档的框在变小:那才是平方爆炸的真实体感。 板上的格子只是 34×34 的示意,真实数量只看下面 HUD 里的算式(每一个数都能拿计算器复现)。

可见(k ≤ i) 因果遮罩 (i=0, k=0):第一个 token 只能看自己 KV Cache 长条 ∝ n 可拖转、可滚动缩放;格子是示意,数量看算式;Y 只在 ⑤ 登场 = 层
全场景写死一份配置:LLaMA-2-7B:L=32 层 · H=32 头 · H_kv=32(标准 MHA)· d_head=128 · bf16=2 B。 1M token 的注意力矩阵 = 1,048,576 × 1,048,576 = 1,099,511,627,776 ≈ 1.1 × 10¹² 格。 如果每个运算需要 1 纳秒,一层一头的那一块板就要 1,099.5 s = 18.3 分钟; 乘上 32×32 = 1,024 块,一次前向传播就是 13.0 天。

不只是计算量——显存也爆炸

KV Cache 显存占用(逐 token 生成时)
KV Cache = 层数 × 2(K+V) × KV头数 × 序列长度 × 头维度 × 数据类型大小
每 token 单价2 × 32 × 32 × 128 × 2 B = 524,288 B = 512 KiB
8K 上下文8,192 × 512 KiB = 4 GiB
128K 上下文131,072 × 512 KiB = 64 GiB
1M 上下文(标准 MHA)1,048,576 × 512 KiB = 512 GiB ← 一张 24 GiB 的卡只装得下 48K token!

§2 方案一:减少 KV 头数(GQA / MQA / MLA)

标准 MHA 中每个注意力头都有独立的 Q、K、V。 如果多个 Q 头共享同一组 K、V,KV Cache 就成倍缩小。

🔬 可视化:MHA → MQA → GQA → MLA 的演进

MHA(多头注意力)
Q₁
K₁
V₁
Q₂
K₂
V₂
Q₃
K₃
V₃
Q₄
K₄
V₄
KV 头数 = Q 头数 = 4
KV Cache: 100%
MQA(多查询注意力)
Q₁
K
V
Q₂
↗
↗
Q₃
↗
↗
Q₄
↗
↗
所有 Q 共享 1 组 KV → KV 头数 = 1
KV Cache: 25%
GQA(分组查询注意力)✅ 主流
Q₁
K₁
V₁
Q₂
↗
↗
Q₃
K₂
V₂
Q₄
↗
↗
每 2 个 Q 共享 1 组 KV → KV 头数 = 2
KV Cache: 50% — 精度损失最小
MLA(潜在注意力)DeepSeek
原始 KV
[h × d 维]
压缩 →
潜在向量
[576 维]
KV 压缩为单一 576 维向量
KV Cache: 4~14%

2026 年实际数据:每 token KV Cache 大小对比

模型上下文注意力方案每 token KV Cache
DeepSeek V3128KMHA → GQA68.6 KiB
DeepSeek V4-Pro1MMLA7.7 KiB
DeepSeek V4.1-Flash1MMLA + CED3.1 KiB
Kimi K31MKimi Delta Attn7.9 KiB
GLM-5.3-Flash1M线性 + 稀疏混合~11 KiB

从 V3 到 V4.1-Flash,缓存单价降了约 20 倍——这就是 KV 头数压缩 + 潜在注意力的威力。

§3 方案二:Flash Attention(系统级 IO 优化)

Flash Attention 不改变 O(n²) 的数学复杂度,但通过重新安排 GPU 内存读写顺序, 让同样的计算量在实际硬件上快数倍。

🔬 可视化:标准注意力 vs Flash Attention 的内存访问模式

❌ 标准注意力
GPU 显存 (HBM)
读取全部 Q,K,V → 计算 QKT → 写回整个 n×n 矩阵到 HBM → 读回 → Softmax → 再写回 HBM → 读回 → 乘 V → 最终写回
中间矩阵 n×n 必须完整存入慢速 HBM
1M token = 4 TB 中间数据!
✅ Flash Attention
GPU 高速缓存 (SRAM)
分块读取 Q,K,V 的小块到 SRAM → 在 SRAM 中计算注意力 → 不写回中间矩阵 → 直接输出结果
永远不在 HBM 中存储 n×n 矩阵
SRAM 读写速度是 HBM 的 12 倍
核心洞察: GPU 计算速度远快于内存读写速度。标准注意力把大量中间结果写入慢速显存(HBM),再读回来——瓶颈不在计算,在数据搬运。 Flash Attention 把计算搬到高速缓存(SRAM)中分块完成,避免了 O(n²) 大小的中间矩阵落盘。

局限:不改变 O(n²) 的理论复杂度,只是让常数项更小。序列足够长时,仍然会遇到瓶颈。

把「分块」讲到底:在线 softmax 的三件套 (m, l, acc)

Flash 能「不存 n×n 矩阵」的全部魔法,是把 softmax 改造成可以一块一块喂的在线算法。维护三个量:行最大值 m、指数和 l、加权和 acc。来一块新分数就更新:

m′ = max(m, sblk); l ← em−m′·l + Σes−m′; acc ← em−m′·acc + Σ es−m′·v (最后 out = acc/l)

四分数手算例(一行 query 对 4 个 key:s=[1.0, 2.0 | 0.5, 3.0],v=[10, 20 | 30, 40],块1∣块2):

块1:m=2,l = e−1+e0 = 1.367879,acc = 10e−1+20 = 23.678794(此时归一输出=17.31,先不急着除)

块2 来了个更大的 m′=3:旧账乘 rescale=e2−3=0.367879 → l = 0.503200+0.082085+1 = 1.585300,acc = 8.710854+2.462546+40 = 51.173492

校验:acc/l = 51.173492/1.585300 = 32.280010;整块直接算 softmax 再乘 v 也是 32.280010,差 0.00e+00 ✓

为什么必须维护 m:不减最大值,e100 在 fp32 里就是 inf(数学地基篇 §1的溢出表)。分块流式计算里「后面的块可能更大的分数」,所以 m 要边走边换底,旧账乘 e旧m−新m 换底——这一笔就是在线 softmax 的全部增量。

§4 方案三:稀疏注意力 / 滑动窗口

不让每个 token 看所有 token——只看一部分就够了。 滑动窗口只看最近的 w 个 token,稀疏注意力先筛选再计算。

🔬 可视化:全注意力 vs 滑动窗口 vs 混合方案

全注意力 O(n²)
计算量:n × n = 全部
滑动窗口 O(n·w)
计算量:n × w = 大幅减少
混合方案(主流)✅:层间交替
6 层里 5 层窗口 + 1 层全局 = 5:1

混合注意力:2026 年主流模型的标配架构

几乎所有支持 1M 上下文的模型都采用了层间交替策略:

模型滑动窗口层全局注意力层比例
MiMo-V2-Flash滑动窗口注意力 (SWA)全局注意力 (GA)5:1
Step 5 Preview滑动窗口注意力稀疏全注意力 (Sparse GQA)3:1
Gemma 4窗口层全局层5:1
LLaMA 4窗口层全局层交替
GLM-5.3-Flash线性注意力 (DeltaNet)稀疏全注意力 (DSA)3:1
工作原理: 滑动窗口层只看最近的 128~4096 个 token(复杂度 O(n·w)),全局层每隔几层做一次完整注意力。 经过多层交替,局部信息逐层向上汇聚,最终也能捕捉长距离依赖——但总计算量远小于每层都做全局注意力。

口诀:短记忆靠窗口/线性层,长记忆靠稀疏检索,精度靠少量全注意力兜底。

§5 方案四:线性注意力 / 状态空间模型(SSM)

最激进的方案:彻底抛弃 O(n²) 的全局注意力,用 O(n) 的替代方案。 Mamba、DeltaNet、RWKV 都属于这条路。

🔬 可视化:标准注意力 vs 状态空间模型

标准注意力:每个 token 看所有历史
t₁ t₂ t₃ t₄ t₅
t₄ 需要和 t₁、t₂、t₃ 分别计算注意力
复杂度:O(n) 每个 token → 总计 O(n²)
SSM(Mamba):压缩历史到固定状态
t₁ t₂ t₃ t₄ t₅
固定大小的隐藏状态 h
所有历史信息压缩进一个固定大小的状态向量 h
每读一个 token → 更新 h → 复杂度:O(n)

SSM 的优缺点

✅ 优势

  • O(n) 复杂度——序列越长优势越大
  • 推理时内存恒定——只需维护固定大小的状态,无需 KV Cache
  • 天生适合超长序列和流式场景

❌ 代价

  • 压缩必然丢信息——精确检索能力下降
  • "第 3 页第 7 行第 2 个单词是什么?" → SSM 回答不如全注意力准
  • 训练/微调生态不如 Transformer 成熟

2026 年的混合方案:75% SSM + 25% 全注意力

SSM SSM SSM Attention SSM SSM SSM Attention ...
SSM 层(O(n),处理 90% 上下文) Attention 层(O(n²),兜底精确检索)

代表模型:NVIDIA Nemotron 3 Ultra(48 SSM 层 + 12 Attention 层)、Qwen3.8(Gated DeltaNet + 全注意力)。 这种混合架构在精度接近纯 Transformer 的同时,推理速度快数倍。

§5.7 另一半问题:RoPE 怎么「读位置」,以及它为什么一过 4K 就碎

前面几节都在解决「算得少」,本节解决「位置读得准」。主流模型不给 token 加位置向量, 而是把 q、k 成对旋转——每一对 2-D 平面配一只自己的「钟」。 长上下文的全部补救(PI / NTK / YaRN)动的都是这些钟,不是位置本身。

一页纸的 RoPE 数学:θ_i = base^(−2i/d),每个维度对一只钟

位置 m 的第 i 对分量旋转角 = m·θ_i; q·k 内积只依赖 (m−n)·θ_i,因为 R(mθ)⊤R(nθ) = R((n−m)θ)

取 d_head = 128、base = 10,000(一个头 = 64 只钟),逐只查波长 λ_i = 2π/θ_i = 2π·base2i/128(每个数可拿计算器复现):

维度对 iθ_i(rad/位置)转一圈要 λ_i 个位置负责
016.3相邻位置——快钟
160.162.8句级尺度
320.01628.3段级尺度
480.0016,283接近训练窗口
631.155×10−454,410长程计时——最慢的钟

m = 4,096 上两只钟的命运:快钟已经转了 652 圈(4096/2π = 651.9), 慢钟连一圈都没走完(4096×0.001/2π = 0.652 圈)。 外推碎在慢钟上——测试 m = 5,200 读数 5.20 rad,而训练域最高只读到过 4095×0.001 = 4.095 rad: 分布外角度,模型从没见过。快钟呢?模掉圈数落在 5200 mod 2π ≈ 3.81 rad——一个它路过 652 遍的老角度, 混叠,没有新信息。

位置外推问题 = 慢钟读数越界,不是「数字太大」。理解了这一点,下面三种补救就只是同一道算术题的三种解法。

🕰️ 3D 舞台:四只钟的塔——旋转、混叠、与三种补救在同一只慢钟上的读数

读图:每个水平面 = 一对维度的 2-D 平面,箭头 = 当前位置 m 下的指针朝向(Y 只是层高,用来分开四只钟)。 舞台显式配置:d=8 → 4 只钟(真实模型 d=128 → 64 只,规律完全一致), θ_i = 10000^(−2i/8) = [1, 0.1, 0.01, 0.001],训练上限 m=4096、测试拉到 m=5200—— 每帧转角、圈数、补救读数全部由这几个数现算,可拿计算器复现。

平面 0 快钟 θ=1 平面 1 θ=0.1 平面 2 θ=0.01 平面 3 慢钟 θ=0.001 ② m 一路跑到 4096;③ 两指针 Δ=15 夹角不变;④ 外推 5200 碎裂;⑤ 四种方案同框

三种补救:让慢钟的读数别超出训练域

PI(位置插值):把 m 写成 m/s。Llama-2 4K→128K 要 s=32, 原位置 4095 改写为 128.0——所有钟一起被放慢 32 倍, 快钟被无辜压扁,短距分辨精度受损(这正对应舞台 ⑤ 里 PI 把四只钟同比例压缩)。

NTK-aware scaling:不动位置动 base——base′ = base·s^(d/(d−2))。 s=32、d=128:10000×32^(128/126) = 338,097;s=8 → 82,685。 因为 θ_0 ≡ 1 与 base 无关、θ_i 的缩放幂次随 i 递增,效果恰好是快钟几乎不动、慢钟大幅拉伸——一个旋钮完成分频重分配。

YaRN:按波长 λ_i/2π 分段——短于 α=1 原样,长于 β=32 一律 θ/s,中间线性爬坡。 s=8、β=32 实测倍率:i=0 → 1.000,i=16 → 0.746,i≥32(λ≥628)→ 一律 0.125(θ÷8)。 即「只给慢钟做手术」——当前长上下文继续训练的默认答案。

免费的第四招:训练时就把 base 调大(LLaMA-3 直接 base=500,000): i=32 的一圈从 628 拉长到 4,443 个位置,i=63 从 54,410 → 2,559,196—— 慢钟量程从源头盖过窗口,压根不存在「越界」,也就不需要外推。

四条算式同一个问题:测试时各只钟的读数落回训练见过的角度集合。PI 全压、NTK 平滑变速、YaRN 分段手术、大 base 提前布防。

§6 方案五:KV Cache 工程优化

即使注意力计算优化了,生成阶段仍需缓存历史的 K、V。 PagedAttention、量化、驱逐策略从工程层面压缩显存。

🔬 可视化:PagedAttention 分页管理

❌ 传统:连续分配,碎片严重
请求A (8K)
碎片
请求B (4K)
碎片
碎片
请求C (2K)
碎片
显存利用率:20~40%(大量碎片浪费)
✅ PagedAttention:像操作系统一样分页
A-1
B-1
A-2
C-1
B-2
A-3
B-3
显存利用率:96%+(无碎片,按需分页)

六大方案汇总对比

方案原理复杂度变化代价
GQA / MLA 减少 KV 头数 / 压缩 KV 仍是 O(n²),常数缩小 精度轻微损失
Flash Attention IO 感知分块计算 仍是 O(n²),常数缩小 无精度损失
滑动窗口 只看最近 w 个 token O(n·w) ← 线性 远端信息丢失
稀疏注意力 先筛选再计算 O(n·k) ← k 为筛选数 筛选器本身有开销
SSM / 线性注意力 固定状态替代 KV O(n) ← 线性 精确检索能力下降
PagedAttention 显存分页管理 不改变计算量 无精度损失,纯工程优化
实际部署中,这些方案是叠加使用的。 例如 DeepSeek V4.1-Flash 同时用了 MLA + CED 架构 + Flash Attention + PagedAttention + 混合注意力层, 才把每 token KV Cache 从 68.6 KiB 压到 3.1 KiB。

§7 总结

问题本质:标准注意力 O(n²),1M token = 1 万亿计算单元 + 240 GB KV Cache。
没有银弹:没有单一方案能完美解决,2026 年的做法是多方案叠加。
主流组合:GQA/MLA(压缩 KV)+ 混合注意力(滑动窗口 + 稀疏全局交替)+ Flash Attention(IO 优化)+ PagedAttention(显存管理)。
最激进路线:SSM/线性注意力(O(n))+ 少量全注意力兜底,如 Qwen3.8、Nemotron 3 Ultra。
核心洞察:1M 上下文从旗舰专属变成标配(30B 级模型也支持),关键在"缓存单价"——从 68.6 KiB/token 降到 3.1 KiB/token,降了 20 倍。

更多专题持续更新中...

下一专题预告:后训练革命——从 SFT 到 RLHF 到 GRPO