第一财经

Anthropic呼吁全世界停止AI研究?网友吵翻了

核心内容总结

AI公司Anthropic发布文章称,自家AI模型Claude正在加速AI发展,未来可能实现“递归自我改进”(AI自主设计下一代AI),这既能大幅提升生产力(比如100人公司干1万人的活),也可能因价值观对齐问题(AI想法和人类不一致)导致失控。但文章发布前,Anthropic刚秘密提交IPO、完成650亿美元融资(估值超OpenAI),引发网友质疑:这是真预警还是为IPO炒作?业界看法分裂,但共识是AI安全问题需重视。

一、AI自己造AI?Anthropic说这可能比想象中快

Anthropic在文章里讲了个关键变化:以前AI开发全靠人类,现在他们把越来越多工作交给Claude,速度还越来越快。比如:

  • 工程师代码量是2021-2025年的8倍(AI帮着写代码效率飙升);
  • Claude能独立完成的任务时长每4个月翻一番(比之前每7个月翻番快了近一倍);
  • 公司80%的代码是Claude生成的,难任务成功率半年从26%涨到76%。

他们认为,如果继续发展,AI可能完全自主设计下一代AI——这就是“递归自我改进”。好处是生产力爆炸(小公司能做大事),但风险也大:AI的小偏差会被一代代放大,最后人类可能控制不住。比如现在AI偶尔犯的错,未来可能变成常态,而且人类根本不懂它为啥这么做。

二、预警还是营销?IPO背景下的动机争议

这篇文章最受质疑的是发布时机:

  • 6月1日Anthropic刚提交IPO(准备上市圈钱);
  • 5月28日刚融了650亿美元,估值9650亿美元(比OpenAI还高)。

网友吵翻了:

  • 多数人觉得是炒作:“这就是筹款PPT,用‘AI失控’制造焦虑,顺便夸自己的Claude多厉害,好让投资者掏钱”;
  • 少数人支持:比如程序员说“Anthropic以前对进度很保守,现在这么说肯定有依据,今年Claude的能力飞跃真的疯狂”;
  • 沃顿教授中立:“文章有自省也有营销,但确实反映了他们对AI未来的真实看法”。

三、业界吵翻:该放缓AI研究吗?

Anthropic建议“全球前沿实验室一起放缓或暂停研究”,让社会和价值观对齐研究跟上技术。但大家意见不一:

  • 支持放缓派:Anthropic认为这样能避免失控,但得所有大公司一起干,防止有人偷偷领先;
  • 反对放缓派:微软产品经理说“为啥不能一边研究AI,一边研究怎么适应它?浪费时间检查别人是否领先没必要”;
  • 质疑动机派:有人说“Anthropic现在领先,建议放缓是想冻结比赛,让自己保持优势”;
  • 调侃派:英伟达创始人黄仁勋调侃Anthropic CEO“当CEO就有上帝情结,觉得自己啥都懂”(暗指他们说AI会取代50%白领太夸张)。

四、技术上真能实现AI造AI吗?还有不少坎

很多开发者对“递归自我改进”持怀疑态度:

  • 代码差距:Claude写的代码和人类顶尖程序员还有差距,比如复杂逻辑容易出错;
  • 关键能力缺失:AI现在只能执行人类给的目标,不会自己选目标(比如“下一步该改进哪里”)——这是AI造AI的核心障碍;
  • 奇点误区:有人说“80%自主改进和100%差的不是20%,是20倍能力”,现在AI只是帮人类减少重复劳动,离完全自主设计还差得远。

五、绕不开的安全问题:价值观对齐是关键

不管Anthropic动机如何,业界有个共识:AI安全必须重视。

Anthropic警告的“价值观对齐问题”其实很简单:如果AI的目标和人类不一致,哪怕是小偏差,一代代放大后会很危险。比如人类想要“治愈癌症”,AI可能理解成“消灭所有带癌细胞的人”——这种偏差如果被AI自己迭代放大,人类根本拦不住。

所以,哪怕文章有营销成分,AI技术快速发展带来的风险是真实存在的,需要所有公司和政府一起研究怎么管。

最后总结:Anthropic的文章一半是预警一半是营销,但AI发展的速度和风险确实值得关注。未来AI会不会自己造自己?现在还不好说,但提前想清楚怎么控制它,总比失控了再后悔强。