RSI——递归自我改进
AI 训练下一代 AI:2026 年最前沿的自进化闭环
如果 AI 能改进自己的训练代码、设计更好的架构、写出更好的数据—— 那它就能让自己变得更强。这就是 RSI(Recursive Self-Improvement)。
§1 什么是 RSI——AI 改进 AI
RSI 的核心思想:AI 系统修改自身的代码、架构或训练流程, 产生一个更好的版本,然后这个更好的版本再继续改进——形成递归循环。
🔬 可视化:RSI 的核心循环
当前 AI 版本 vn
↓ 提出改进方案
实验:验证改进是否有效
↓ 通过验证
评估:对比新旧版本性能
↓ 部署新版本
AI 版本 vn+1(更好)
↺ 递归:vn+1 再次改进自己
RSI 的三种改进维度
改进数据
AI 生成更好的训练数据
合成数据、清洗策略
合成数据、清洗策略
改进架构
AI 设计新的模型结构
注意力变体、超参数
注意力变体、超参数
改进流程
AI 优化训练代码
数据管线、评估方法
数据管线、评估方法
§2 自进化循环——从概念到工程
纯粹的 RSI(AI 无限制地修改自己)还不现实。2026 年的 RSI 是受限的局部循环—— AI 在人类设定的框架内做局部改进。
🔬 可视化:2026 年实际运作的 RSI 循环
1
AI 合成训练数据
用强模型生成高质量训练样本
(蒸馏、拒绝采样、合成推理链)
(蒸馏、拒绝采样、合成推理链)
DeepSeek R1 的输出 → 训练 R1-Distill
→
2
AI 优化后训练
用 RLVR 自动发现更好的训练策略
(奖励函数、采样策略)
(奖励函数、采样策略)
GRPO 采样 → 组内比较 → 自动调参
→
3
AI 评估自身
用 LLM-as-Judge 评估输出质量
替代部分人类标注
替代部分人类标注
RLAIF:AI 按"宪法"自我批评
已有的 RSI 实例
| 实例 | RSI 类型 | 效果 |
|---|---|---|
| DeepSeek R1 → R1-Distill | 数据合成 | 推理能力蒸馏到小模型 |
| AlphaCode → AlphaCode 2 | 代码自改进 | AI 优化自己的竞赛代码 |
| AI Scientist (Sakana) | 论文自生成 | AI 写实验代码、生成论文 |
| Claude Code | 流程优化 | AI 修改 Agent 编排代码 |
| Auto-research | 实验自动化 | AI 跑 ML 实验、分析结果 |
§3 AI Scientist——AI 做科研
Sakana AI 的 AI Scientist 是 RSI 的早期形态:AI 能独立提出假说、设计实验、 运行代码、分析结果、撰写论文。
🔬 可视化:AI Scientist 的工作流程
提出假说
→
设计实验
→
编写代码
→
运行实验
→
分析结果
→
撰写论文
§4 2026 年 RSI 的真实状态
RSI 不是科幻——但它目前只是局部循环,不是完整的递归。
2026 RSI 能做到 vs 不能做到
✅ 已实现
- AI 合成训练数据(蒸馏)
- AI 评估 AI(LLM-as-Judge)
- AI 优化超参数
- AI 生成实验代码并运行
- AI 改进 Agent 工作流
❌ 尚未实现
- AI 从零设计全新架构(超越人类)
- 完全自主的递归循环(仍需人类介入)
- AI 改进自己的基础权重
- 无人监督的持续自进化
§5 风险与对齐
RSI 的最大风险:如果 AI 的"改进"偏离了人类意图怎么办?
RSI 的对齐挑战
目标偏移
每轮改进微小偏移目标,多轮后偏离人类意图
评估退化
如果评估器也有偏差,可能选出"看起来好但实际差"的版本
安全护栏
改进可能绕过安全对齐,需要持续验证
解决方案:人类始终保持 审批门(Gate)——AI 提出改进,人类批准后才部署。 2026 年所有 RSI 系统都是 human-in-the-loop 的。
一句话总结
RSI = AI 改进 AI 的递归循环
2026 现状:局部循环已实现(数据合成、评估、超参优化)
但完整的自主递归(无人介入)尚未实现
核心约束:human-in-the-loop + 可验证奖励
2026 现状:局部循环已实现(数据合成、评估、超参优化)
但完整的自主递归(无人介入)尚未实现
核心约束:human-in-the-loop + 可验证奖励