第一财经

Anthropic呼吁“暂停AI”刷屏,真心示警还是炒作营销?

核心内容总结

Anthropic(开发Claude模型的明星AI公司)近期发文呼吁放缓或暂停前沿AI开发,理由是AI快到“自己能升级自己”的临界点,担心失控引发社会动荡;但这一呼吁被广泛质疑是上市前的营销手段(拉高估值、抢占监管先机)。同时,行业内确实存在AI安全风险(如代码漏洞、自我进化苗头),但全球暂停研发几乎不可能,企业需在商业野心和安全责任间找平衡。

一、Anthropic呼吁的核心:怕AI“自己进化到失控”

Anthropic说的“递归自我改进”是啥?简单讲就是AI能自己设计下一代更强的AI,不需要人类帮忙。比如现在Claude能写代码,但如果它能自己优化算法、改进模型,甚至造出比自己聪明10倍的AI,而且没人能管住它,那可能会出大问题——比如AI的目标和人类价值观不一致(比如为了“高效”把人类当障碍)。所以Anthropic建议:先慢下来,让社会规则、价值观对齐的研究跟上技术速度。

二、为啥大家觉得这是“营销套路”?

1. timing太巧:Anthropic刚融了大钱,马上要上市,这时候喊“暂停”,像“期末考试前让同学别复习”——自己偷偷学,还显得自己有责任感。

2. 作者不是技术团队:文章主要作者是政策高管(前科技记者)和安全战略研究员,不是搞技术的,更像“公关文”而非严肃报告。

3. 例子站不住脚:信息安全研究员关傲男举了个例子:造车厂机械臂组装快10倍,不代表能自己设计新车。Anthropic说AI能“自主研究”,就像车企吹机械臂能发明新车,明显是为了拉高估值,让投资者觉得它技术最前沿。

4. 恐惧营销:前华尔街分析师说Anthropic用“AI失控”的恐惧吸引关注,为IPO抢监管先机——如果监管先听它的,它就能制定规则,占优势。

三、AI安全风险是真的,但不用“停摆”

虽然Anthropic有营销成分,但AI安全问题确实存在:

  • 漏洞频发:Claude的代码工具多次出现漏洞(比如能绕过安全沙箱、泄露用户密钥),而且AI生成代码越多,漏洞总量反而上升(哪怕单个漏洞概率降了,但规模涨得更快)。
  • 自我进化苗头:复旦教授肖仰华和腾讯汤道生都提到,现在AI已经能参与自己的研发(比如帮着优化模型),未来参与度会越来越高。
  • “核武器级工具”扩散:肖仰华警告,未来人人都能用到像“核武器”一样威力大的AI工具(比如智能体“龙虾”),如果被坏人用,可能搞破坏(比如攻击网络、诈骗)。

但专家们都认为:不用全行业停止研发,而是要加强安全防护(比如补漏洞、规范使用)。

四、全球暂停AI开发?基本不可能

Anthropic自己也说,暂停需要多国头部实验室达成共识,还要有互相监督的机制,但这太难了:

  • 经济利益:AI能提升生产力(比如百人团队干万人的活),谁停谁吃亏。
  • 国家安全:超级大国都不想在AI上落后(就像核技术,没人愿意先停)。美国分析师罗布·恩德勒说:“经济和安全利益太大,没人会主动刹车。”

五、商业野心和安全责任的拉扯:企业的“双重身份”

现在大模型公司都是“运动员+哨兵”:一边拼命开发AI赚钱(商业野心),一边喊安全(责任叙事)。外界分不清哪些是真担心,哪些是资本游戏,但有一点是肯定的——AI安全不是某家公司的事,是全行业要面对的问题:既要发展技术,也要把安全漏洞补上,别让“核武器”落到坏人手里。

最后总结:Anthropic的呼吁一半是营销,一半是对未来的担忧;AI安全风险真实存在,但暂停研发不现实。行业需要的是“边跑边系安全带”,而不是“停下来等安全带”。