风哥AI系列教程-图解大模型底裤

从零理解 GPT、DeepSeek、Qwen、Kimi 等大语言模型的核心原理

12 章交互式可视化教学。想自己动手训练大模型?沿"训练学习路径"从上往下读; 只想了解某个独立话题?直接跳到"独立专题"。

🛤️ 从零训练大模型 · 学习路径
按顺序从上往下阅读,每一步都是下一步的基础。从理解原理 → 确定规模 → 准备数据 → 动手训练 → 后训练优化,完整走通一遍。
阶段一 · 基础原理 —— 先搞懂大模型是什么
阶段二 · 数据与规模 —— 训练前必须搞清楚的事
阶段三 · 架构深入 —— 理解训练中的关键瓶颈
阶段四 · 完整流水线 —— 从头到尾看一遍训练全过程
阶段五 · 动手实战 —— 在自己的显卡上跑通全流程
📚 独立专题 · 与大模型训练无关的前沿话题
以下专题相互独立,也不依赖前面的训练路径。可以按兴趣随意点进去阅读。
Draft ⚡ 它 们 说 过
Verify ✓ 它✓ 们✓ 说✓ 过✗
一次前向接受 3 个 token → 提速 2.9×
独立专题
推理的艺术——采样、投机解码与测试时扩展
temperature/top-p/min-p 在做什么?投机解码为什么无损? pass@n、o1 式长思考的 test-time scaling 曲线——全部配 3D 舞台与可复现算账。
采样策略 投机解码 test-time scaling pass@k 推理经济账
[M] [M] 今 [M]
↓ 并行去噪
天 下 雨 了
独立专题
扩散语言模型——拆掉「一次一个词」
LLaDA/Dream/Seed Diffusion 把自回归的串行接龙换成并行去噪填空。 ᾱ/SNR 调度表、MaskGIT 置信度解锁、K/L 速度账——另一条时间线的大模型。
掩码扩散 dLLM Flow Matching 并行解码 去噪 3D 舞台
O
A
B
C
独立专题
Agent 蜂群架构
编排者 → 工人 → 工具调用 → 结果收集。 理解 2026 年三种多 Agent 协作模式:层级式、对抗式、蜂群式。
编排者/工人 工具调用 上下文管理 三种架构模式
AI 提出改进 验证 改进自身 实验
独立专题
RSI——递归自我改进
AI 训练下一代 AI:从概念到工程落地。 2026 年最前沿的自进化闭环、AI Scientist、局部循环现状。
自进化 AI4AI AI Scientist 局部循环