训练工程实战
从理论到代码——你在自己 4090 上训练需要知道的一切
前八章讲了"是什么"和"为什么"。这一章讲"怎么做"—— 架构选择、框架对比、双卡配置、LoRA 微调、量化部署,全部可操作。
§1 现代架构实操——2026 版 Transformer 配置
第一章讲的经典 GPT-2 架构已经过时。2026 年的标准配置长这样:
🔬 可视化:2026 版 Transformer 单层结构
500M 模型的完整配置(可直接使用)
# config.py — 2026 版 500M 模型配置
model_config = {
# ═══ 基础尺寸 ═══
"n_layer": 16, # 16 层 Transformer
"n_head": 16, # 16 个 Query 头
"n_kv_head": 4, # GQA: 4 个 KV 头 (4:1 压缩)
"n_embd": 1024, # 隐藏维度
"n_inner": 2816, # SwiGLU FFN: 8/3 × 1024 ≈ 2816
"vocab_size": 32000, # 词表大小
"block_size": 1024, # 最大上下文长度
# ═══ 2026 架构特性 ═══
"rope": True, # RoPE 旋转位置编码
"rope_theta": 10000, # RoPE 基频
"swiglu": True, # SwiGLU 激活 (替代 ReLU/GELU)
"rmsnorm": True, # RMSNorm (替代 LayerNorm)
"rmsnorm_eps": 1e-5,
"pre_norm": True, # Pre-LN (每层先归一化)
"qk_norm": True, # Q/K 归一化 (防注意力爆炸)
"no_bias": True, # 线性层不加 bias
# ═══ 正则化 ═══
"dropout": 0.0, # 大模型通常不用 dropout
"weight_decay": 0.1, # AdamW 权重衰减
}
# → 约 500M 参数
# KV Cache 仅为 MHA 的 1/4 (GQA 效果)
RoPE(Rotary Position Embedding)的核心思想:把每个 token 的 Q/K 向量想象成二维平面上的箭头,位置越远,箭头之间的夹角越大。点积自动只依赖相对位置。
位置 0 的 Q 向量朝右,位置 1 旋转 θ,位置 2 旋转 2θ...
两个 token 的 Q·K 点积只取决于它们的角度差 = θ·(m−n),即只依赖相对位置 m−n。
§2 训练框架选择
别自己从头写——选对框架省几周时间。
🔬 框架对比表
| 框架 | 适合 | 内置特性 | 上手难度 |
|---|---|---|---|
| litgpt ⭐ | 预训练+SFT+DPO 全流程 | RoPE/GQA/SwiGLU + 多卡 + 量化 | 低 |
| picotron | 从零理解训练 | nanoGPT 现代版 + DDP 多卡 | 低 |
| TinyLlama | 完整流水线 | LLaMA 架构 + 数据处理脚本 | 中 |
| LLaMA-Factory | SFT/DPO/GRPO 微调 | GUI 界面 + 多种方法 | 低 |
| Axolotl | SFT/DPO 微调 | YAML 配置 + 丰富数据格式 | 中 |
| TRL (HuggingFace) | RL 对齐 | DPO/GRPO/PPO 全套 | 中 |
推荐路线
§3 分布式训练——你的双 4090 怎么用
双 4090 = 48GB 显存 + 2 倍速度。三种并行方式。
🔬 可视化:三种并行方式
你的双 4090 DDP 启动命令
# 方式一:torchrun(推荐)
torchrun --nproc_per_node=2 train.py \
--config config_500m.yaml \
--data_dir ./data \
--out_dir ./output
# 方式二:litgpt 多卡
litgpt pretrain \
--model_name my_500m \
--data_dir ./data \
--devices 2 \
--precision bf16-mixed
# 方式三:DeepSpeed ZeRO(大模型用)
deepspeed --num_gpus=2 train.py \
--deepspeed ds_config.json
§4 LoRA / QLoRA——用小显卡训练大模型
LoRA 不训练完整模型,只训练两个小矩阵的增量。 原本需要 24GB 显存的 7B 微调,LoRA 只需 8GB。
🔬 可视化:LoRA 原理
W 是原始权重(冻结),A 和 B 是低秩矩阵(训练)。 推理时 W' 合并成一个矩阵,推理零开销。
QLoRA:LoRA + 4-bit 量化
QLoRA 把基础模型量化到 4-bit,进一步省显存。7B 模型 QLoRA 微调只需 6~8GB 显存。
| 方法 | 7B 模型显存 | 效果 |
|---|---|---|
| 全量微调 | ~112GB (需要多卡) | 最好 |
| LoRA | ~24GB (单 4090) | 接近全量 |
| QLoRA (4-bit) | ~8GB (单 3060 就能跑) | 略低于 LoRA |
§5 混合精度——BF16 训练
用半精度(BF16)做前向和反向,用全精度(FP32)做参数更新。 显存省一半,训练速度提升 30~50%。
精度对比
| 精度 | 每参数字节 | 数值范围 | 适合 |
|---|---|---|---|
| FP32 | 4 bytes | 很宽 | 参数主副本、优化器状态 |
| BF16 | 2 bytes | 宽(指数 8 位) | 前向/反向计算 ← 2026 首选 |
| FP16 | 2 bytes | 窄(容易溢出) | 需要 loss scaling,不推荐 |
| FP8 | 1 byte | 很窄 | 2026 H100 专用加速 |
你的 4090 支持 BF16——直接用 BF16 混合精度训练,不需要 loss scaling。
§6 量化与部署——训练完怎么跑起来
训练完的模型是 BF16 格式,部署时通常量化到更小精度。
🔬 部署流水线
500M × 2B = 1GB
500M × 0.5B ≈ 250MB
本地对话
量化方式对比
| 格式 | 精度 | 大小 (500M) | 质量损失 | 工具 |
|---|---|---|---|---|
| BF16 | 全精度 | 1.0 GB | 无 | PyTorch 原生 |
| Q8_0 | 8-bit | 500 MB | 极小 | llama.cpp |
| Q4_K_M | 4-bit | 250 MB | 很小 | llama.cpp ← 推荐 |
| Q2_K | 2-bit | 150 MB | 明显 | llama.cpp |
§7 完整实操脚本——从零到对话
以下是在你的双 4090 机器上,从环境准备到模型能对话的完整步骤。
Step 1:环境准备
# 安装 PyTorch (CUDA 12.x)
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
# 安装训练框架
pip install litgpt # 预训练 + SFT
pip install trl # DPO/GRPO
pip install sentencepiece # 分词器
pip install datasets # 数据加载
# 安装部署工具
# Ollama: https://ollama.com 下载安装
# llama.cpp: git clone + cmake build
Step 2:准备数据
# 下载中文维基百科 (约 500M tokens)
from datasets import load_dataset
ds = load_dataset("wikipedia", "20220301.zh", split="train")
ds.to_json("data/wiki_zh.jsonl")
# 下载 C4 中文子集 (约 5B tokens)
ds = load_dataset("c4", "zh", split="train", streaming=True)
# 流式处理保存到本地...
# 下载 SFT 数据 (Belle, 约 100K 条)
ds = load_dataset("BelleGroup/train_1M_CN", split="train")
ds.select(range(50000)).to_json("data/sft_belle.jsonl")
# 训练分词器 (可选,也可直接用 Qwen 的)
import sentencepiece as spm
spm.SentencePieceTrainer.train(
input='data/wiki_zh.jsonl',
model_prefix='tokenizer',
vocab_size=32000,
model_type='bpe',
byte_fallback=True,
)
Step 3:预训练(双卡 DDP)
# 用 litgpt 预训练
litgpt pretrain \
--model_name my_500m \
--data_dir ./data/pretrain \
--out_dir ./checkpoints/pretrain \
--devices 2 \
--precision bf16-mixed \
--train.max_tokens 15_000_000_000 \
--train.micro_batch_size 8 \
--train.global_batch_size 64 \
--train.max_seq_length 1024
# 预计时间: ~12-18 小时 (双 4090)
Step 4:SFT 微调
# SFT 微调 (单卡就够)
litgpt finetune_lora \
--checkpoint_dir ./checkpoints/pretrain \
--data_dir ./data/sft \
--out_dir ./checkpoints/sft \
--precision bf16-mixed \
--train.micro_batch_size 4 \
--train.epochs 3
# 合并 LoRA 权重
litgpt merge_lora --checkpoint_dir ./checkpoints/sft
# 预计时间: ~1-2 小时
Step 5:对话测试 + 部署
# 快速对话测试
litgpt chat --checkpoint_dir ./checkpoints/sft/final
# 转换为 GGUF 格式 (用于 llama.cpp / Ollama)
python convert_to_gguf.py \
--model_dir ./checkpoints/sft/final \
--outfile my-500m.gguf \
--outtype q4_K_M
# 用 Ollama 运行
# 创建 Modelfile:
# FROM ./my-500m.gguf
# PARAMETER temperature 0.7
ollama create my-model -f Modelfile
ollama run my-model
# > 你好!请介绍一下你自己。