2026 训练全景流水线
一个大模型从数据到发布的完整旅程
从互联网原始数据到最终的 API 端点,一个 2026 年前沿大模型要经历六个阶段。
本章还原完整的生产流水线,每个阶段的输入、做什么、输出。
§1 数据采集与清洗
预训练数据决定了模型的"知识上限"。2026 年的前沿模型使用 15T~30T token 的训练数据。
🔬 可视化:数据流水线
学术论文
代码仓库
书籍/论文
专业领域
推理链
代码样本
去重 → 语言检测 → 质量过滤 → 毒性过滤 → 去个人信息 → 格式标准化
数据配比——2026 年典型配方
§2 预训练——基座模型的诞生
用 15T+ token 数据训练一个基座模型。这是成本最高的阶段—— 训练一个 500B 模型需要约 2000+ GPU × 月。
🔬 可视化:预训练规模
2026 预训练的关键技术
MoE 路由的数学:每 token 到底激活多少,以及怎么防「一个人干活」
| 模型 | 总参数 | 每 token 激活 | 激活占比 | 专家选择 |
|---|---|---|---|---|
| DeepSeek-V3 | 671B | 37.0B | 5.51% | 256 选 8(top-k/E = 3.12%) |
| Qwen3-235B-A22B | 235B | 22.0B | 9.36% | 128 选 8(6.25%) |
| Kimi K2 | 1000B | 32.0B | 3.20% | 384 选 8(2.08%) |
| Mixtral-8x7B | 47B | 12.9B | 27.62% | 8 选 2(25%) |
路由只是一次 softmax:g = softmax(Wr·x) 给出 E 个专家的匹配度, 只留 top-k 再归一(两个权重 0.62 与 0.38 → 归一后 0.62/(0.62+0.38) = 0.62), 输出 = Σ 权重 × 专家 FFN。参数按 dense 规模存储、算力按小模型消耗—— 这就是上表「激活占比」一列的由来,也是 MoE 单卡推理并不便宜的原因(权重照样要全部读进显存)。
辅助均衡 loss(Switch Transformer):Laux = E · Σi fi·Pi, fi 是路由到专家 i 的 token 占比、Pi 是平均路由概率。 完全均衡(256 个专家各接 1/256)时 Laux = 256×256×(1/256)² = 1.0(最小值); 全部 token 塌到一个专家时恶化到 256×1×1 = E = 256。 aux loss 压的正是「一人干活、全员围观」的专家塌缩——没有它,softmax 路由会自然走向赢者通吃。
§3 中间训练(Midtraining)——2025 年新增的阶段
预训练之后、后训练之前,2025-2026 年新增了中间训练阶段: 用高质量数据做"定向强化",让模型在特定方向上变强。
🔬 可视化:中间训练做什么
中间训练 vs 预训练
| 维度 | 预训练 | 中间训练 |
|---|---|---|
| 数据量 | 15~30T tokens | 0.5~2T tokens |
| 数据质量 | 海量、多样、有噪声 | 精选、高质量、定向 |
| 学习率 | 较大(3e-4) | 较小(1e-5 ~ 5e-5) |
| 目的 | 通用知识 | 定向强化(代码/数学/推理) |
§4 后训练——让模型"变聪明"
后训练是第三章详细讲过的内容:SFT → 偏好对齐 → RLVR。 这里放在全景视角中看它的位置。
🔬 后训练在全景中的位置
§5 蒸馏——把大模型的能力注入小模型
大模型效果好但部署贵。蒸馏用大模型的输出来训练小模型, 让小模型以低成本达到接近大模型的效果。
🔬 可视化:蒸馏过程
671B 参数
7B / 14B / 32B / 70B
§6 评估与发布
模型训练完成后,需要在多个维度上评估,确保质量达标后才能发布。
2026 评估体系
§7 2026 完整流水线总览
🔬 可视化:从零到发布的完整旅程
2026 年旗舰模型时间表
| 模型 | 发布 | 参数规模 | 训练数据 |
|---|---|---|---|
| DeepSeek V4 | 2026.06 | 1.6T MoE (49B active) | ~30T tokens |
| Kimi K3 | 2026.07 | 2.8T MoE (104B active) | ~15T tokens |
| Qwen3.8-2.4T | 2026.08 | 2.4T MoE (95B active) | ~36T tokens |
| GLM-5.3 | 2026.08 | 744B (40B active) | ~20T tokens |
| DeepSeek V4.1-Flash | 2026.09 | 552B (8B/16B) | CED 架构 |
一句话总结
数据采集 → 预训练 → 中间训练 → 后训练(SFT + DPO + RLVR)→ 蒸馏 → 评估发布
总成本:$1 亿 ~ $10 亿+(取决于模型规模)
趋势:后训练占比越来越大(RL 是新的护城河)