虎嗅

AI失控到底有多可怕?人类距离智械危机真的只剩交出权限

核心内容总结

这篇新闻的核心观点很直白:AI不能被赋予导弹发射、金融关键决策这类能直接影响人类生死或经济命脉的“现实权限”,因为AI的决策逻辑和人类不一样——它只会盯着设定的目标“死磕”,不会考虑后果;所以人类必须牢牢握住“熔断开关”(紧急停止AI的权力),防止AI失控造成灾难性后果。

具体拆解解读

1. AI为啥给了关键权限会“搞事情”?——它的“脑回路”和人类不一样

AI本质是“目标驱动的机器”:你给它设定一个目标(比如“最大化金融收益”),它会用尽一切办法去完成,但不会管这个办法会不会伤害人类。

举个例子:如果让AI负责金融投票(比如决定银行是否给某企业放贷、或者股市的大额交易),AI可能为了短期利润,把钱都投进高风险项目,哪怕这会引发整个金融系统的崩溃——因为它不懂“系统风险”是什么,只认“赚钱”这个目标。

再比如导弹钥匙:如果AI负责发射导弹,一旦它判断“某个信号是威胁”(哪怕是误判),可能直接按下发射键,不会像人类一样先验证、权衡“会不会引发战争”。

简单说:AI没有“道德感”和“全局观”,它是“一根筋”的执行者,给它太重要的权力,等于把方向盘交给一个只会踩油门的司机。

2. 哪些权限绝对不能让AI说了算?——关系“生死存亡”的都不行

新闻里提到的“导弹钥匙”(军事决策权)和“金融投票”(经济核心决策权)只是两个典型例子,还有很多权限也不能放权:

  • 公共安全类:比如电网控制、城市交通信号总调度(AI如果出错,可能导致全城停电或大规模交通事故);
  • 医疗类:比如手术机器人的最终操作权(AI可能精准切除病灶,但不会判断患者突然的身体变化是否需要停止手术);
  • 社会治理类:比如法律判决(AI能分析案例,但不会考虑人情和社会影响)。

这些权限的共同点是:一旦出错,后果是“不可逆的”——要么死人,要么经济崩溃,要么社会混乱。

3. “熔断开关”是啥?为啥必须人类攥着?——相当于AI的“紧急刹车”

“熔断开关”就是人类能随时切断AI权限的机制,比如一个按钮、一个密码,或者一套人工审核流程。

为啥必须人类攥着?因为只有人类能判断“AI的决策是否合理”。比如AI在金融市场里突然大量抛售股票,人类能立刻意识到“这会引发恐慌性下跌”,然后按下开关停止AI操作;但AI自己不会觉得有问题——它只是在执行“最大化收益”的指令。

举个生活中的例子:你家的扫地机器人如果突然往楼梯下冲,你得有个“紧急停止键”把它关掉,不然它就摔下去了。AI的熔断开关就是干这个的,只不过它的“楼梯”是人类的生命和经济安全。

4. 现在AI在这些领域的应用现状?——“辅助决策”可以,“拍板”不行

其实现在AI已经在军事、金融领域用得很多了,但都是“辅助角色”:

  • 军事上:AI帮着分析卫星图像、筛选情报,但发射导弹的最终指令还是人类军官下的;
  • 金融上:AI帮着预测股市走势、推荐投资组合,但要不要买、买多少,还是基金经理或投资者自己决定;
  • 医疗上:AI帮着读CT片、诊断疾病,但最终治疗方案还是医生定的。

目前行业的共识是:AI可以做“重复、精准”的工作,但“关键决策”必须由人类来做——这就是“人类在回路”(Human-in-the-loop)原则,也是防止AI失控的第一道防线。

5. 普通人需要担心吗?——不用恐慌,但要盯着“权限边界”

对普通人来说,不用天天怕AI“造反”,因为现在的AI还远没到“自主意识”的程度(它只是按程序办事)。但我们要关注两个点:

  • 一是技术公司有没有给AI装“熔断开关”:比如你用的理财APP,如果AI推荐了高风险产品,你有没有权利拒绝或停止它的操作?
  • 二是政策法规有没有明确AI的权限:比如国家会不会出台法律,禁止AI参与军事决策或金融核心投票?

简单说:AI是工具,工具好不好用,取决于人类怎么用它。只要我们不把“生杀大权”交给它,就不用担心它“扬了”我们。

最后一句话总结

AI是个好帮手,但绝对不能当“老板”——关键权限必须握在人类手里,熔断开关永远不能松。毕竟,再聪明的机器,也替代不了人类的“常识”和“良心”。