训练工程实战

从理论到代码——你在自己 4090 上训练需要知道的一切

前八章讲了"是什么"和"为什么"。这一章讲"怎么做"—— 架构选择、框架对比、双卡配置、LoRA 微调、量化部署,全部可操作。

§1 现代架构实操——2026 版 Transformer 配置

第一章讲的经典 GPT-2 架构已经过时。2026 年的标准配置长这样:

🔬 可视化:2026 版 Transformer 单层结构

❌ 经典 GPT-2 (2019)
Input + Sinusoidal PE
Multi-Head Attention (MHA)
+ LayerNorm (Post)
+ Residual
FFN (ReLU)
+ LayerNorm (Post)
+ Residual
× N 层
✅ 2026 现代版 (LLaMA 风格)
Input (无绝对位置编码)
RMSNorm (Pre) ← 先归一化
GQA + RoPE + QK-Norm
+ Residual
RMSNorm (Pre) ← 先归一化
SwiGLU FFN (无 bias)
+ Residual
× N 层 + 最终 RMSNorm

500M 模型的完整配置(可直接使用)

# config.py — 2026 版 500M 模型配置
model_config = {
    # ═══ 基础尺寸 ═══
    "n_layer": 16,           # 16 层 Transformer
    "n_head": 16,            # 16 个 Query 头
    "n_kv_head": 4,          # GQA: 4 个 KV 头 (4:1 压缩)
    "n_embd": 1024,          # 隐藏维度
    "n_inner": 2816,         # SwiGLU FFN: 8/3 × 1024 ≈ 2816
    "vocab_size": 32000,     # 词表大小
    "block_size": 1024,      # 最大上下文长度

    # ═══ 2026 架构特性 ═══
    "rope": True,            # RoPE 旋转位置编码
    "rope_theta": 10000,     # RoPE 基频
    "swiglu": True,          # SwiGLU 激活 (替代 ReLU/GELU)
    "rmsnorm": True,         # RMSNorm (替代 LayerNorm)
    "rmsnorm_eps": 1e-5,
    "pre_norm": True,        # Pre-LN (每层先归一化)
    "qk_norm": True,         # Q/K 归一化 (防注意力爆炸)
    "no_bias": True,         # 线性层不加 bias

    # ═══ 正则化 ═══
    "dropout": 0.0,          # 大模型通常不用 dropout
    "weight_decay": 0.1,     # AdamW 权重衰减
}

# → 约 500M 参数
# KV Cache 仅为 MHA 的 1/4 (GQA 效果)
📐 数学洞察:RoPE 为什么用“旋转”编码位置? — 相对位置自然出现在点积中

RoPE(Rotary Position Embedding)的核心思想:把每个 token 的 Q/K 向量想象成二维平面上的箭头,位置越远,箭头之间的夹角越大。点积自动只依赖相对位置。

pos 0 pos 1 pos 2 pos 5 θ
每个位置 m 对应一个旋转角度 θ·m。

位置 0 的 Q 向量朝右,位置 1 旋转 θ,位置 2 旋转 2θ...

两个 token 的 Q·K 点积只取决于它们的角度差 = θ·(m−n),即只依赖相对位置 m−n。
1
把向量拆成 2D 对,每对独立旋转
d 维向量拆成 d/2 对 (x₁,x₂), (x₃,x₄), ...。每对用不同的频率旋转:第 i 对用频率 θi = 10000−2i/d
2
旋转矩阵作用于 Q 和 K
位置 m 的 Q 和 K 各旋转 m·θi 角度。实现上不需要真旋转,只需交叉乘加:
RoPE(x, m) = x · cos(mθ) + rotate_half(x) · sin(mθ)
3
点积自动编码相对位置
Qm·Kn 的结果包含 cos((m−n)·θ) 项——只和相对距离 m−n 有关,和绝对位置无关。这就是为什么 RoPE 天然是“相对位置编码”。
为什么 RoPE 优于绝对位置编码:① 天然编码相对距离 ② 长度外推更容易(NTK-aware 插值) ③ 不额外增加参数(只是旋转现有向量)。2026 年所有主流模型都用 RoPE,只是基频 θ 不同。

§2 训练框架选择

别自己从头写——选对框架省几周时间。

🔬 框架对比表

框架适合内置特性上手难度
litgpt ⭐预训练+SFT+DPO 全流程RoPE/GQA/SwiGLU + 多卡 + 量化低
picotron从零理解训练nanoGPT 现代版 + DDP 多卡低
TinyLlama完整流水线LLaMA 架构 + 数据处理脚本中
LLaMA-FactorySFT/DPO/GRPO 微调GUI 界面 + 多种方法低
AxolotlSFT/DPO 微调YAML 配置 + 丰富数据格式中
TRL (HuggingFace)RL 对齐DPO/GRPO/PPO 全套中

推荐路线

预训练
litgpt 或 picotron
内置现代架构,多卡支持好
→
SFT
LLaMA-Factory 或 litgpt
GUI 直观 / 命令行简洁
→
DPO/GRPO
TRL 或 LLaMA-Factory
RL 对齐算法最全
→
部署
Ollama / llama.cpp
本地运行,一行命令

§3 分布式训练——你的双 4090 怎么用

双 4090 = 48GB 显存 + 2 倍速度。三种并行方式。

🔬 可视化:三种并行方式

📦📦
DDP 数据并行
每张卡完整复制模型,各卡处理不同数据,梯度同步
简单 速度 ×2 每卡需装完整模型
500M 预训练 ← 你的首选
🧩
FSDP 全分片
模型参数、梯度、优化器都切分到多张卡
大模型能装 通信开销大
7B+ 模型预训练
📐
张量并行 (TP)
把单层内部的矩阵乘法切到多张卡
推理加速 需要 NVLink
大模型推理部署

你的双 4090 DDP 启动命令

# 方式一:torchrun(推荐)
torchrun --nproc_per_node=2 train.py \
    --config config_500m.yaml \
    --data_dir ./data \
    --out_dir ./output

# 方式二:litgpt 多卡
litgpt pretrain \
    --model_name my_500m \
    --data_dir ./data \
    --devices 2 \
    --precision bf16-mixed

# 方式三:DeepSpeed ZeRO(大模型用)
deepspeed --num_gpus=2 train.py \
    --deepspeed ds_config.json

§4 LoRA / QLoRA——用小显卡训练大模型

LoRA 不训练完整模型,只训练两个小矩阵的增量。 原本需要 24GB 显存的 7B 微调,LoRA 只需 8GB。

🔬 可视化:LoRA 原理

全量微调(贵)
W (7B 参数)
全部更新 ↓
显存: 7B × 16 bytes = 112GB
vs
✅ LoRA(便宜)
W (冻结不动) + A·B (训练)
A: 4096×16, B: 16×4096
只更新 A 和 B ↓
新增参数: 仅 0.1% (~7M)
核心公式: W' = W + A × B
W 是原始权重(冻结),A 和 B 是低秩矩阵(训练)。 推理时 W' 合并成一个矩阵,推理零开销。

QLoRA:LoRA + 4-bit 量化

QLoRA 把基础模型量化到 4-bit,进一步省显存。7B 模型 QLoRA 微调只需 6~8GB 显存。

方法7B 模型显存效果
全量微调~112GB (需要多卡)最好
LoRA~24GB (单 4090)接近全量
QLoRA (4-bit)~8GB (单 3060 就能跑)略低于 LoRA

§5 混合精度——BF16 训练

用半精度(BF16)做前向和反向,用全精度(FP32)做参数更新。 显存省一半,训练速度提升 30~50%。

精度对比

精度每参数字节数值范围适合
FP324 bytes很宽参数主副本、优化器状态
BF162 bytes宽(指数 8 位)前向/反向计算 ← 2026 首选
FP162 bytes窄(容易溢出)需要 loss scaling,不推荐
FP81 byte很窄2026 H100 专用加速

你的 4090 支持 BF16——直接用 BF16 混合精度训练,不需要 loss scaling。

§6 量化与部署——训练完怎么跑起来

训练完的模型是 BF16 格式,部署时通常量化到更小精度。

🔬 部署流水线

🏋️
训练完
BF16 格式
500M × 2B = 1GB
→
📦
量化
GGUF Q4_K_M
500M × 0.5B ≈ 250MB
→
🦙
Ollama 运行
ollama run my-model
本地对话

量化方式对比

格式精度大小 (500M)质量损失工具
BF16全精度1.0 GB无PyTorch 原生
Q8_08-bit500 MB极小llama.cpp
Q4_K_M4-bit250 MB很小llama.cpp ← 推荐
Q2_K2-bit150 MB明显llama.cpp

§7 完整实操脚本——从零到对话

以下是在你的双 4090 机器上,从环境准备到模型能对话的完整步骤。

Step 1:环境准备

# 安装 PyTorch (CUDA 12.x)
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121

# 安装训练框架
pip install litgpt                    # 预训练 + SFT
pip install trl                       # DPO/GRPO
pip install sentencepiece             # 分词器
pip install datasets                  # 数据加载

# 安装部署工具
# Ollama: https://ollama.com 下载安装
# llama.cpp: git clone + cmake build

Step 2:准备数据

# 下载中文维基百科 (约 500M tokens)
from datasets import load_dataset
ds = load_dataset("wikipedia", "20220301.zh", split="train")
ds.to_json("data/wiki_zh.jsonl")

# 下载 C4 中文子集 (约 5B tokens)
ds = load_dataset("c4", "zh", split="train", streaming=True)
# 流式处理保存到本地...

# 下载 SFT 数据 (Belle, 约 100K 条)
ds = load_dataset("BelleGroup/train_1M_CN", split="train")
ds.select(range(50000)).to_json("data/sft_belle.jsonl")

# 训练分词器 (可选,也可直接用 Qwen 的)
import sentencepiece as spm
spm.SentencePieceTrainer.train(
    input='data/wiki_zh.jsonl',
    model_prefix='tokenizer',
    vocab_size=32000,
    model_type='bpe',
    byte_fallback=True,
)

Step 3:预训练(双卡 DDP)

# 用 litgpt 预训练
litgpt pretrain \
    --model_name my_500m \
    --data_dir ./data/pretrain \
    --out_dir ./checkpoints/pretrain \
    --devices 2 \
    --precision bf16-mixed \
    --train.max_tokens 15_000_000_000 \
    --train.micro_batch_size 8 \
    --train.global_batch_size 64 \
    --train.max_seq_length 1024

# 预计时间: ~12-18 小时 (双 4090)

Step 4:SFT 微调

# SFT 微调 (单卡就够)
litgpt finetune_lora \
    --checkpoint_dir ./checkpoints/pretrain \
    --data_dir ./data/sft \
    --out_dir ./checkpoints/sft \
    --precision bf16-mixed \
    --train.micro_batch_size 4 \
    --train.epochs 3

# 合并 LoRA 权重
litgpt merge_lora --checkpoint_dir ./checkpoints/sft

# 预计时间: ~1-2 小时

Step 5:对话测试 + 部署

# 快速对话测试
litgpt chat --checkpoint_dir ./checkpoints/sft/final

# 转换为 GGUF 格式 (用于 llama.cpp / Ollama)
python convert_to_gguf.py \
    --model_dir ./checkpoints/sft/final \
    --outfile my-500m.gguf \
    --outtype q4_K_M

# 用 Ollama 运行
# 创建 Modelfile:
# FROM ./my-500m.gguf
# PARAMETER temperature 0.7
ollama create my-model -f Modelfile
ollama run my-model
# > 你好!请介绍一下你自己。

全流程时间线

Day 1 AM
环境准备 + 数据下载
Day 1 PM
开始预训练(双卡)
Day 2 AM
预训练完成 → SFT 微调
Day 2 PM
DPO 对齐 + 对话测试
Day 2 晚
量化 + Ollama 部署 🎉

🎉 全部九章完成!

从自回归原理到 Transformer,从分词器到 Scaling Law,
从后训练到 Agent 架构,从 RSI 到训练全景,
从理论到工程实战——你现在可以动手训练自己的大模型了。

◂ 返回导航主页