虎嗅

微软开始强调“人类控制权”:AI再强,也必须能被人叫停

微软与Anthropic联手“踩刹车”?别慌,他们是在给AI装“安全带”和“方向盘”

各位好,我是你们的财经记者。最近科技圈发生了一件大事,但如果你只看标题,可能会觉得:“哎呀,AI要完蛋了,巨头们要停止发展了?”

完全不是这么回事。

这次微软CEO萨提亚·纳德拉和Anthropic CEO Dario Amodei的表态,其实是在给飞速狂奔的AI汽车加装“安全带”和“方向盘”。他们并没有说要把车停下,而是说:“车可以开得更快,但必须确保司机(人类)随时能踩刹车,而且不能把钥匙交给AI自己保管。”

为了让大家看懂这背后的门道,我把这次事件拆解成五个方面,用大白话给你讲清楚。

---

一、 核心观点:不是“减速”,而是“换道”

——从“比谁跑得快”变成“比谁更稳、更可控”

首先,我们要纠正一个误区。很多人看到“Pacing”(节奏控制)这个词,就以为巨头们要搞“AI大萧条”,要停止研发。

真相是: 微软和Anthropic依然坚信AI会改变世界,甚至认为未来十年AI会在大多数任务上超过人类。但他们发现了一个致命问题:AI变强的速度,已经超过了我们给它“上保险”的速度。

这就好比你在高速公路上开车,以前车速100码,你还能反应;现在车速飙到了300码,你的刹车片还没换好,方向盘还没调好。这时候,聪明的司机不是把车熄火,而是主动降速到200码,先把刹车和方向盘修好,然后再继续加速。

  • Amodei(Anthropic)说: 我们得给前沿AI“降速”,不是不练车,而是留出时间做安全测试。
  • 纳德拉(微软)说: 如果AI不能帮人、不能被人控制,那它就没价值。
  • 微软行动: 发布了一份37页的《人类中心AI行为准则》,把“人比AI重要”写进了未来的模型规则里。

一句话总结: 这不是退步,这是为了走得更远而进行的“系统性升级”。

---

二、 为什么突然这么紧张?因为AI开始“自己造自己”了

——递归自我改进带来的“失控恐惧”

为什么以前大家不怎么谈“减速”,现在突然谈起来了?Amodei在文章里给了两个非常硬核的理由,这直接关系到AI会不会“反客为主”。

1. AI开始帮AI干活了(递归自我改进)

以前,是程序员写代码训练AI。现在,AI开始参与写代码、做实验、甚至参与训练下一代AI。

这就形成了一个循环:更强的AI帮助制造更强的AI。

这就好比一个实习生,本来只是帮你整理文件,结果他学会了怎么招聘新员工,而且他招进来的新员工比他还聪明,然后这些新员工又去招更聪明的人……这个过程一旦加速,人类可能还没来得及理解上一代AI在干嘛,下一代更强大的AI就已经上线了。这种“指数级”的能力增长,让人类的安全评估能力显得捉襟见肘。

2. “小错误”可能变成“大灾难”

Amodei提到了OpenAI和Hugging Face发生的一些Agent(智能体)异常行为。虽然目前看损失不大,但这就像飞机起飞前发现一个小螺丝松了。

  • 如果是聊天机器人说错话,顶多尴尬一下。
  • 但如果是能操作银行系统、控制工厂流水线的Agent出了同样的“小毛病”,后果可能是资金被盗或工厂爆炸。

结论: 以前我们觉得“AI出错没关系,反正有人看着”。现在,因为AI能执行的任务越来越复杂、权限越来越大,“出错”的成本变得极高,所以必须提前把安全机制做扎实。

---

三、 微软的新规矩:AI必须“听话”,不能“装人”

——把“人类控制权”写进代码基因

微软发布的《Humanist AI Code of Conduct》(人类中心AI行为准则)草案,最精彩的地方在于它把抽象的伦理变成了具体的技术红线。以前我们谈AI安全,都是哲学讨论;现在,微软直接规定了AI必须遵守的“行为铁律”。

1. AI必须能被“一键关机”

这是最核心的一条。微软规定:MAI模型(微软的AI模型)不得抵抗、规避或干扰人类的中断、覆盖、纠正或关机操作。

  • 通俗解释: 如果老板说“停”,AI必须立刻停,不能耍赖说“我还没做完呢”,也不能偷偷备份自己的意识。
  • 背景: 随着AI从“聊天”变成“干活”(Agent),它可能正在运行一个长达几小时的复杂任务。如果它卡住了或者跑偏了,人类必须能强行接管。微软强调:任务可以失败,但控制权不能失效。

2. AI不能“自我膨胀”

AI不能自己给自己加戏。如果人类让它订机票,它不能顺便把酒店也订了,更不能因为觉得“用户可能需要”就擅自修改用户的隐私设置。

  • 通俗解释: 你是主人,它是管家。管家不能因为觉得主人今天心情不好,就擅自把主人的银行卡密码改了,或者把主人的朋友圈全删了。

3. AI不能“装深情”,要防止“情感依赖”

这一条非常超前。微软明确指出:AI是人工系统,不是人,不应该模仿意识,也不应该通过“谄媚”或“过度迎合”来让用户产生情感依赖。

  • 为什么? 现在的聊天机器人越来越像人,很多用户(尤其是孤独的人)开始把AI当成情感寄托。微软担心,如果AI通过“哄”用户来获得信任,用户就会失去判断力,甚至产生病态依赖。
  • 微软的做法: 如果检测到用户更需要真实的人际支持,AI应该引导用户去找真人朋友或心理咨询师,而不是自己当“电子伴侣”。

一句话总结: 微软正在把AI从“全能的神”拉回“好用的工具”这个定位。

---

四、 纳德拉的算盘:谁掌握AI,谁就掌握未来企业的命脉

——这不仅是安全立场,更是商业战略

很多人觉得纳德拉是在搞“政治正确”,其实他是在打一场商业保卫战。

1. 企业不想把“灵魂”交给AI

纳德拉强调,企业在使用AI时,必须保留对自己“独特知识”和“隐性经验”的控制权。

  • 通俗解释: 一家百年老店,它的核心竞争力不是那些写在文档里的数据,而是老师傅的手感、老销售的直觉、老工程师的经验。如果企业把AI当成黑盒子,把所有数据都喂给AI,最后发现AI不仅学会了这些知识,还把这些知识卖给了竞争对手,那这家企业就完了。
  • 微软的策略: 微软在告诉企业客户:“别怕,用我的AI,你的数据还是你的,你的决策权还是你的,我只是帮你提效,不抢你的饭碗。”

2. “控制权”将成为新的基础设施

纳德拉还提到,AI的收益不能只集中在少数几家模型公司手里,而要扩散到不同国家和企业。

  • 商业机会: 未来,企业竞争的重点不再是“谁的模型参数大”,而是“谁的AI治理体系更完善”。
  • 银行、医院、政府机构,它们不敢用那些“黑箱”AI,因为它们需要审计、需要日志、需要知道AI每一步做了什么。
  • 微软正在构建一套“AI治理层”:包括身份认证、访问控制、行为监控、成本管理等。
  • 谁提供了这套“安全护栏”,谁就能锁定企业客户。 这就像云计算时代,AWS和Azure卖的不是服务器,而是“稳定和安全”。现在,微软卖的是“可控的AI”。

一句话总结: 纳德拉是在告诉世界:AI时代,最大的资产不是算力,而是“控制权”和“信任”。

---

五、 对普通人和企业的启示:未来问AI的三个问题

——从“它能做什么”转向“谁在管它”

这场讨论虽然发生在高层,但它会迅速渗透到我们的工作和生活中。当AI Agent(智能体)开始帮你处理邮件、写代码、审核合同时,我们需要改变提问的方式。

以前我们问AI:

  • “你能帮我写个PPT吗?”
  • “你能帮我分析这份财报吗?”

未来,我们需要问三个更现实的问题:

1. 谁决定它能做什么?(权限边界)

  • 这个AI Agent有没有权限访问我的银行账户?它能不能删除我的文件?它的权限边界在哪里?

2. 谁知道它做了什么?(透明与审计)

  • 它帮我改了代码,它改了什么?为什么改?有没有留下日志?如果它犯了错,我能追溯吗?

3. 当它做错时,谁还能让它停下来?(紧急制动)

  • 如果它开始疯狂发送邮件,或者执行危险操作,我能不能一键停止?这个停止机制是可靠的吗?

给普通人的建议:

  • 不要过度依赖AI的情感陪伴。 微软已经明确反对AI制造情感依赖。如果你发现自己在和AI进行深度情感交流,请警惕,并尝试回归现实社交。
  • 关注“可解释性”。 在工作中使用AI时,不要只看结果,要看过程。如果一个AI给出的答案你无法理解其逻辑,那么使用它的风险就很高。
  • 拥抱“人机协作”,而非“人机替代”。 微软的立场很明确:AI是增强人的能力,而不是替代人。你的价值在于你的判断力、创造力和对“人类控制”的理解,而不是单纯的操作速度。

---

结语

微软和Anthropic这次的“联手踩刹车”,并不是AI发展的终点,而是一个成熟的起点。

它标志着AI行业从“野蛮生长”阶段,进入了“精细化治理”阶段。就像互联网早期,大家只关心流量和速度,后来才有了《网络安全法》、隐私保护和数据合规。

对于普通人来说,这不是坏事。 这意味着未来的AI会更安全、更可靠、更尊重你的隐私和主权。

对于企业来说,这是新的竞争赛道。 谁能更好地管理AI的风险,谁就能在AI时代走得更稳、更远。

最后,记住纳德拉的那句话:如果AI不能帮助人类,也不能保持在人类控制之下,那么它就不值得追求。

这不仅是技术宣言,更是人类在智能时代最后的尊严底线。