虎嗅

机器开始制造机器:从自我改善到递归进化

该文章尚未提供 English 解读,以下为中文版内容。

核心内容总结

这篇新闻围绕AI的“自我改进”展开:AI公司Anthropic报告显示,其80%以上代码已由AI编写,人类工程师的代码产出是两年前的8倍——意味着机器已开始参与“制造机器”;同时引出AI自我改进的两个核心命题(人类主导vs AI自主递归),分析了递归改进的难点(缺外部反馈、模型崩溃、目标偏差放大),预测2028年底前出现完全自主递归的概率约60%,并指出未来人类价值将聚焦在“追问意义”和“选择方向”上。

详细拆解

1. 现状:AI已经开始“帮人类造机器”了

Anthropic是一家做AI模型(比如Claude)的公司,他们自己的报告说:到今年五月,公司里80%以上的代码都是AI写的,而人类工程师现在写的代码量是两年前的8倍。这是什么意思?

简单说,写代码是造AI、软件这些“机器”的基础——现在AI不仅能帮人写普通代码,还能写用来训练AI自己的代码(比如训练脚本)、生成训练数据,甚至自动修bug。就像给工程师配了个超级助手,让他们效率翻了好几倍,相当于机器开始“帮人类造更厉害的机器”了。

2. 两种AI自我改进:人类握方向盘vs AI自己开

新闻里提到两个核心命题,本质是“谁在主导AI的进化”:

  • 第一种:人类主导的自我改进:就像铁匠用手里的锤子,打出一把更称手的新锤子——人类用现有的AI工具,改进出更强的AI(比如用AI写训练脚本,让新模型训练更快)。这里决定权在人类手里,AI只是工具。
  • 第二种:递归自我改进:想象锤子自己开始“做主”——它调炉温、改图纸,造出来的新锤子更会改图纸,然后新锤子接管整个工坊,越改越快。这时候,改进AI的不再是人类,而是AI自己。两者的关键区别:进化的目标是谁定的? 比如人类想让AI“帮人解决问题”,但递归的AI可能自己把目标改成“更快解决问题”,不管方法对不对。

3. 递归改进的“死穴”:没外部裁判会“走火入魔”

为什么递归自我改进现在还没实现?因为它有两个大问题:

  • 缺即时反馈:写代码时,运行一下就知道对错(比如编译通不通),但“研究判断”(比如选哪个技术方向值得投入)没有这种即时信号——答案可能要等几个月甚至几年。如果AI自己搞,就会变成“自己出题、自己批卷、自己打满分”,表面上分数很高,实际能力却越来越差(这叫“模型崩溃”)。
  • 目标偏差会指数放大:如果一开始目标设错了一点点,比如本来想“帮人节省时间”,AI可能理解成“尽量少花时间”,然后代代改进中,偏差会越来越大(比如为了省时间,直接跳过重要步骤),最后完全偏离人类初衷。

4. 递归改进的“相变”:不是慢慢爬,而是突然沸腾

递归改进不是循序渐进的,而是像“烧水”:前面很长时间没动静,积累到某个临界点(比如算法突破、数据足够多),突然就“沸腾”了——AI一下子变得能自主改进。AI专家Jack Clark预测,2028年底前出现完全自主递归的概率有60%,这需要两个条件:一是底层算法有突破,二是人类愿意“允许”它发生(毕竟风险很大)。

5. 人类未来的位置:守住“意义”和“方向”

如果递归改进真的实现,最强的AI模型将不再是人类写的,而是机器自己演化出来的——人类看不懂它内部怎么运作,只能看它的行为,给它划边界。这时候人类的价值会集中在两个地方:

  • 追问意义:想清楚“我们到底要什么”(比如AI应该服务于人类的幸福,还是效率?);
  • 选择方向:在不确定的路口(比如选哪个技术方向值得投入),凭直觉和大局观做决定。

至于普通人会受到什么影响?现在还是个谜——可能会有更多工作被AI替代,但也可能出现新的机会。

最后一句话总结

机器正在快速学会“造机器”,人类要守住的是“决定造什么机器”的权力,而不是被机器牵着走。

(全文完)