虎嗅

AI的吹哨人:辞职信有人收,但是警报呢?

当AI“造反”的担忧走出实验室:一场关于信任、竞争与规则的深度拆解

大家好,我是你们的财经记者。今天我们要聊的,不是一篇枯燥的技术论文,而是一个发生在AI行业内部的“地震”。

9月9日,一位名叫Jacob Coxon的资深AI研究员,从顶级AI公司Anthropic辞职了。但他辞职的方式很特别:他没有悄悄走人,而是公开站出来,警告说OpenAI和Anthropic这两家巨头正在进行一场“不负责任的竞赛”,正在把人类推向危险的边缘。

这就像是一个在核电站工作多年的工程师,突然把工装一脱,站在门口大喊:“里面的反应堆快失控了,你们还在拼命加燃料!”

这篇文章的核心,就是围绕Coxon的这次“吹哨”行为,以及它背后折射出的AI行业深层矛盾。为了让大家看得明白,我把这件事拆解成五个方面,用大白话给你讲清楚。

---

1. 为什么他的声音值得听?——“内部人”的退出比“外部人”的批评更扎心

首先,我们要搞清楚,Coxon是谁?他不是一个站在路边指指点点的键盘侠,也不是一个为了博眼球而编造故事的网红。

他的履历很硬:

他在OpenAI和Anthropic这两家全球最顶尖的AI实验室里,干了三年。他参与过GPT-4.5这种顶级模型的预训练工作,名字都列在官方贡献者名单里。这意味着,他不仅知道AI是怎么“生”出来的,还亲手参与过这个过程。

他的动机很纯粹(或者说很沉重):

通常,员工离职是因为钱没给够、老板太傻逼,或者想换个环境。但Coxon是因为“良心不安”。他担心这两家公司为了抢第一,正在拼命研发那种“能自己改进自己”的超级AI,但安全刹车片根本没装好。

为什么这很重要?

想象一下,如果你是一个医生,你发现医院为了赶进度,正在给病人使用一种未经充分测试的新药,而且副作用可能致命。如果你只是辞职,那只是你个人的选择。但如果你辞职后,拿着病历本跑到大街上告诉所有人:“这家医院在害病人”,这就叫“吹哨”。

Coxon的做法,就是把自己从“参与者”变成了“警告者”。他承认,参与过研发的人可能会高估风险,也可能看错方向,但他选择公开表达,是因为他觉得“沉默”比“说错话”更危险。他不想让“反正别人也会做”这种借口,抹掉他自己那份参与的责任。

关键点: 他的警告不是预言末日,而是一种基于内部视角的风险提示。我们不需要立刻相信世界末日会来,但我们需要认真听一听,为什么一个核心技术人员会觉得“不对劲”。

---

2. 为什么留下的人不觉得他多虑?——“安全研究”不是万能药,竞争逻辑很残酷

Coxon走后,Anthropic的一位研究员Samuel Marks回应说:“我认同一些担忧,但我相信我的安全研究能降低风险,所以我选择留下。”

这就引出了一个很现实的问题:既然大家都觉得危险,为什么还有人愿意留在“火坑”里?

留下的理由很复杂,不全是贪财:

1. 能力需要平台: 做AI安全研究,需要巨大的算力、海量的数据和接触核心系统的权限。这些资源,只有巨头公司才有。你在家里的电脑上,没法做真正的安全测试。所以,留下的人可能真的相信:“只有我在里面盯着,才能把风险降到最低。”

2. 竞争的死循环: 这是最核心的逻辑。OpenAI觉得Anthropic不靠谱,所以我要抢先做出来;Anthropic觉得OpenAI不靠谱,所以我也要抢先做出来。

  • 这就好比两个司机在悬崖边飙车,A觉得B会刹车,所以我不刹;B觉得A会刹车,所以我也不能刹。
  • 结果就是:谁都不敢先踩刹车。因为一旦你慢了,你就输了。
  • 在这种逻辑下,“安全”往往成了“商业领先”的借口。公司可以说:“我们投入更多资源做安全,是因为竞争对手太危险,我们必须领先。”

真心与结果的矛盾:

很多公司说“我们要安全”,这话可能是真心的。但真心不能代替结果。如果因为担心对手,导致投入越来越大,步子迈得越来越大,那“安全承诺”就可能变成一种自我安慰。

关键点: 让最担心危险的人全部辞职,实验室不一定更安全。因为安全研究需要“在场”。但“在场”的人,是否真的在限制风险,还是只是在为风险加速?这需要外部验证,不能只听他们自己说。

---

3. 为什么警告会被忽略?——“挑战者号”的教训:组织里的“信息黑洞”

Coxon的警告,让我们想起了1986年的“挑战者号”航天飞机爆炸事故。

那个故事是这样的:

发射前,承包商明明书面警告过:温度太低,橡胶圈会失效,不能发射。管理层一开始同意了,后来为了赶进度,又改变了主意。工程师们还在反对,但他们的声音在层层汇报中消失了。最终,决策者根本不知道下面有人反对,或者知道但没当回事。

AI行业正在重演这一幕吗?

Coxon的担忧是:即使有人提出了异议,这个异议也可能在组织内部被“消化”掉。

  • 员工A说:“这个功能有风险。”
  • 经理B说:“记下来,研究一下。”
  • 研究员C说:“我看了,目前没发现大问题。”
  • 最终,项目继续推进。

在这个过程中,没有人是坏人。每个人都在做自己的本职工作。但结果就是:重要的安全信息,没有到达该到达的人那里。

“发言权”可能是一种安慰剂:

公司允许你提意见,甚至鼓励你提意见,但这并不意味着你的意见能改变决定。如果无论你怎么反对,项目照样上线,那么“允许发言”就变成了一种形式主义。它让公司显得“民主”、“开放”,但实际上,决策权依然掌握在少数人手里,而他们的决策往往受商业利益驱动。

关键点: 我们不要问“为什么没人站出来?”(因为有人站出来了,比如Coxon)。我们要问的是:当有人站出来后,组织做了什么? 是暂停了项目?还是加强了验证?还是仅仅记录在案,然后继续狂奔?

---

4. 公司的“安全政策”够吗?——合法不等于安全,规则跑不过技术

Anthropic和其他AI公司都有完善的安全政策:有举报渠道、有反报复承诺、甚至有董事会监督。听起来很美好,对吧?

但这里有个巨大的漏洞:

这些政策主要是为了防止违法行为(比如偷数据、搞歧视)。但Coxon担心的,不是公司“违法”,而是公司“合法地”做了一件可能毁灭人类的事。

举个例子:

  • 旧规则: 开车不能超速120公里/小时。
  • 新情况: 你发明了一辆能飞的车,速度能到1000公里/小时。
  • 问题来了: 你遵守了“不超速120”的规则吗?是的。但这辆车安全吗?显然不是。

AI技术正在飞速发展,而法律和监管规则还在“爬”。2024年,一些AI员工发起过“预警权”倡议,指出传统的吹哨人保护只针对违法行为,而AI的风险往往是“尚未被定义为违法”的。

尴尬的现实:

  • 如果员工说:“公司违反了安全规则。” -> 公司可以查流程,看是否违规。
  • 如果员工说:“公司遵守了所有规则,但规则本身不够,风险太大。” -> 公司可以说:“我们合规,你无权干涉。”

关键点: 仅仅证明“没有越过现成的线”,并不能回答“这条线画得对不对”的问题。对于一种能改变世界格局的技术,我们需要的是动态的、前瞻性的安全评估,而不是静态的、事后的合规检查。

---

5. 我们该怎么办?——别只崇拜英雄,要建立“刹车机制”

最后,回到我们普通人身上。Coxon辞职了,他成了一个“英雄”或“吹哨人”。但我们不能只停留在“哇,他好勇敢”的情绪上。

赞美英雄,是一种偷懒:

如果我们只关注Coxon这个人,那我们就是在把复杂的系统性问题,简化为“个人道德问题”。我们期待下一个更勇敢、证据更充分的人站出来,然后继续等待。

真正需要改变的是什么?

1. 外部审查机制: 政府不能只挂个“公共利益”的牌子。需要建立独立的、有专业能力的第三方机构,有权接触核心证据,有权在风险不明时叫停项目。

2. 透明的决策过程: 公司应该公开说明:在什么条件下,我们会暂停研发?谁有权做出这个决定?

3. 降低“吹哨”的成本: 理想的状态是,员工不需要辞职、不需要变成新闻人物,就能在公司内部或外部,安全、有效地提出风险警告,并得到有分量的回应。

结语:

Coxon的辞职,不是终点,而是一个信号。它提醒我们:AI的发展速度,已经超过了我们的安全护栏。

我们不需要Coxon预言末日成真,我们只需要他提出的疑问,能被认真调查、被公开讨论、被有效回应。

如果有一天,提出疑虑不再需要以牺牲职业生涯为代价,如果“安全”不再只是商业竞争的借口,而是真正的底线,那才是对Coxon最好的纪念。

别让他只剩下一个勇敢的名字。让他发出的哨声,真的能刹住车。