虎嗅

42年前的科学家“反战誓言”,如今是AI时代最需要的伦理底线

一、核心内容通俗总结

这篇文章讲的是当下AI技术狂飙带来的集体焦虑:一边是AI深度入侵数学研究,把原本严谨的学术圈搞得乱象丛生,结论造假、版权混乱、资本裹挟的问题层出不穷;另一边俄乌战场已经出现了不需要人下令、出了事连责任人都找不到的自主杀人AI无人机,人类眼看着要把生杀大权交给算法。虽然中国、欧盟都在加急出台AI监管规则,但所有人都清楚:监管永远追不上技术迭代的速度,很多风险等规则补上的时候,危害已经造成了。

这时候学界翻出了一份40多年前冷战时期诞生的“老文件”——《乌普萨拉科学家伦理准则》:当年一群瑞典跨学科科学家为了阻止核军备竞赛把全人类和地球炸没,定下了一套完全跳出“管学术造假、管数据合规”传统思路的新伦理规则,直接要求每个科学家对自己研究的最终后果负责,主动拒绝参与造武器、毁生态的缺德项目。这份本来为了防核灾难诞生的准则,现在反而成了给AI技术划底线的最实用框架,相当于给所有搞前沿技术的人套上了一道“良心紧箍咒”。

---

二、分点详细解读

1. 为啥冷战反核老文件,成了今天治AI的特效药?

很多人第一反应会觉得奇怪:40多年前对付核弹的规则,怎么能管现在的AI?本质上是两个时代的核心焦虑完全一模一样:

冷战时期大家怕的是,科学家闷头搞核技术,最后研究成果不受控,直接把全人类炸回石器时代;现在大家怕的是,程序员闷头搞AI技术,最后算法不受控,要么自主杀人、要么把所有人类的工作都抢走、要么彻底篡改所有信息把人圈在虚假世界里,最后人类连自己命运的控制权都丢了。

更巧的是,之前全世界绝大多数科研伦理规则,管的都是“你不能学术造假、不能偷别人数据、不能抄论文”这类内部纪律,从来没有一份规则像《乌普萨拉准则》一样,从根上就盯着“你的研究最后流出去,会不会毁掉全人类、毁掉整个地球”这种终极问题,刚好踩中了现在AI时代最核心的风险点,相当于老药方刚好治了新毛病。

2. 这个准则最硬核的地方:没人能甩锅,责任直接落到每个科研打工人头上

之前不管是出了AI诈骗还是AI无人机炸平民,大家的通用甩锅逻辑是:我就是个写代码的打工人,老板让我优化算法我就优化,最后技术被用来干坏事,那是老板的事、是用技术的人的事,和我一个干活的有啥关系?

《乌普萨拉准则》直接把这个漏洞堵死了,四条核心规则翻译成大白话就是:

  • 你搞的研究,绝对不能把生态搞崩,祸害子孙后代;
  • 绝对不能帮着军方造武器、帮着权力搞压迫监控,不能干违反基本人权的事;
  • 你作为懂行的专业人士,必须提前预判自己做的研究可能有啥坏结果,还得主动告诉普通公众,不能装糊涂藏着掖着;
  • 要是你干到一半发现自己参与的项目缺德,直接撂挑子不干,还得公开说清楚为啥不干,不能帮着捂盖子。

等于直接把“对全人类负责”的要求从大公司、从政府层面,下沉到了每个做实验、写代码的普通人身上,也难怪它被称为科学界的“希波克拉底誓言”——就像医生不能故意害病人一样,科学家也不能明知道自己的成果会害死人还接着干。

3. 为啥光靠政府监管不够用?这个老准则补上了最缺的一道防线

现在各国都在搞AI监管,但本质上都是“事后补漏”的思路:你出了AI诈骗我就罚你,你出了自主杀人无人机我就禁你,可问题是前沿技术的迭代速度太快了,很多技术只要一落地,根本收不回来。

比如你搞出了一个能破解所有民用密码的AI算法,监管还没来得及出台规则,代码早就传遍全世界了,到时候所有人的银行卡、家里的智能锁都能被随便破解,再怎么罚公司也挽回不了损失。而且很多国家为了抢AI技术的领先地位,甚至会主动给军方、大公司开绿灯,故意对伦理风险装看不见,监管的手根本伸不到实验室里。

《乌普萨拉准则》相当于把防线直接往前推了几十公里:在科学家刚有一个研究思路、刚写下第一行代码的时候,就得先停下来想“我做这个东西,最坏的结果是什么?会不会被人用来干坏事?”,从源头就把风险掐灭,比事后再罚、再禁管用得多。

4. 最近AI圈的两个大热点,全是这个准则的现实落地

大家最近听到的两个AI圈标志性事件,本质上都是在呼应这份40多年前的老准则:

一个是国际数学界刚发布的《莱顿宣言》,明确说AI只能当数学家的辅助工具,绝对不能取代人做数学研究,本质上就是怕有人用AI批量搞出能破解密码、设计新型武器的数学模型,最后被用到战争和大规模监控里,直接踩了《乌普萨拉准则》的红线;

另一个就是俄乌战场上出现的“无指令自主杀人AI无人机”,为啥全世界都在喊着要禁?就是它完全违反了准则里“人类必须保留控制权”的要求,等于把杀人的权力交给了算法,到时候出了惨案,连个能站出来负责的人都找不到,等于把人类的基本安全都交到了机器手里。

5. 讲科研伦理不是绑科技的手脚,反而是给AI留活路

很多人会质疑:给科学家套这么多伦理枷锁,会不会阻碍AI技术进步?其实恰恰相反,《乌普萨拉准则》的初衷根本不是反对科技发展,反而是避免技术走到所有人的对立面:

冷战时期要是所有科学家都抱着“我只管造核弹,后果和我无关”的思路,人类早就没了,根本轮不到享受后来的科技红利;现在AI也是一样,如果任由资本和军方为了抢优势瞎搞,等哪天真的出了算法自主杀人、全人类信息被AI彻底操控的恶性事件,到时候舆论一定会逼着全世界把AI整个禁掉,所有人都享受不到AI带来的便利。

现在提前给所有搞技术的人划好底线,反而能让AI安安全全地给普通人干活,不会最后走到“技术越发达,人类越危险”的死胡同里。