虎嗅

首个RSI 实验,究竟证明了什么?

核心内容总结

Weco的AIDE²实验是首个被严格验证的“一级递归自我改进(RSI)”案例:它通过“外层Agent改进内层Agent”的结构,在固定成本、多任务测试、私有评分等硬约束下,持续找到比人工手调更有效的Agent工作方法,但并未实现“点火”(改进自身改进能力)或智能爆炸。这个实验的价值在于把模糊的“AI自我改进”变成可量化、可复现的科学问题,对产业研发有实际指导意义,但离科幻中的“AI自我进化”还很远。

一、实验咋运作?外层“教练”改内层“运动员”

AIDE²的结构像“教练带徒弟”:

  • 内层Agent是“运动员”:负责具体干活——改代码、跑实验、优化任务得分(比如机器学习模型调优、组合优化)。
  • 外层Agent是“教练”:不直接做题,而是盯着内层的“工作方法”(比如搜索策略、上下文组织、调试规则),重写这些规则后,让新版内层Agent去测试;如果表现更好就保留,否则放弃。

关键细节:它没改基础模型(比如Claude或Gemini的权重),只改Agent的代码流程和工作逻辑。所以它更像“自动化的研发工程师”,不是自己训练自己的通用智能体——前者能帮公司省人力,后者才是科幻里的“自我进化”。

二、为啥结果靠谱?三个硬约束防“作弊”

很多所谓“自我改进”是假的(比如只刷某类题、靠砸钱提升),AIDE²用三个规则堵了漏洞:

1. 公开分vs私有分:内层能看到“模拟考分”(公开分)来调整方案,但最终是否保留要看“高考分”(私有分,内层看不到)。防止Agent只做表面功夫(比如把公开分刷高但实际没用)。

2. 固定成本:每次评估都有美元上限(模型调用+计算资源)。不能靠无限刷题、开更多机器来蒙混过关,必须把钱花得更高效。

3. 多任务测试:内层要做机器学习、组合优化、Agent脚手架等不同任务。避免只擅长某一类题的“偏科生”被保留。

这三个约束合起来,确保改进是“真有效”,不是“自我迎合”。

三、RSI分几级?AIDE²只过了第一关

Weco把RSI分成四级(不是行业标准,但方便理解):

  • 零级:能自动完成研发流程,但效率不如人工。
  • 一级(AIDE²达到):持续改进(不是一次偶然)、比人工好、能迁移到新任务、成本不无限上升。
  • 二级(点火):改进后的内层Agent,还能当外层Agent继续改进自己的改进能力(比如徒弟变成更好的教练)。
  • 三级(拐点):固定预算下进步加速,走向智能爆炸。

AIDE²的二级测试没通过:把改进后的Agent放到外层,虽然前期快了点,但最终上限和人工教练差不多,没有持续提升改进能力。所以它只是“把当前工作做得更好”,不是“把找更好方案的能力做得更好”。

四、产业关心啥?不是爆炸,是咋用“黑箱”

对企业来说,智能爆炸太远,眼前的问题更实际:

AIDE²优化出的Agent代码很复杂,像“黑箱”——人看不懂、难维护、出故障时没法快速定位。比如AIDE85有死代码,团队要上线它,得解决:

  • 怎么记录每次修改的来历?
  • 怎么重放它通过的实验?
  • 怎么隔离有问题的修改?
  • 怎么给客户解释“机器生成但人不懂的方案”?

未来研发团队的核心能力,不是敢让Agent自我修改,而是能设计严格的实验环境(比如私有分、固定成本),让Agent没法“假进步”,还能在它跑偏时拉回来。

五、意义和局限:一小步,但不是虚的

意义:首次用科学方法证明,在严格约束下,Agent能持续找到比人工更好的工作方法。这让研发团队重新思考:未来Agent不只是“产品”,还是“永远在改的研究对象”。

局限

  • 没改基础模型权重,离“自我进化”差得远;
  • 代码可解释性差,维护成本高;
  • 结果是公司报告,需要独立复现验证。

它不是“AI革命”,但给产业指了一条路:用严格实验把模糊的AI能力变成可落地的工具。

最后一句话总结

AIDE²证明了“AI能帮人改进AI的工作方法”,但还没证明“AI能自己变得更会改进自己”——这是一小步,但让我们离“可控的AI自我改进”更近了一点。