虎嗅

AI时代,我们需要的不是“人管AI”,而是人与AI共同治理

该文章尚未提供 Русский 解读,以下为中文版内容。

核心内容总结

过去AI只是辅助工具时,“人管AI”(比如人工审批、最后确认)的模式是有效的;但当AI Agent(能持续自动运行、处理海量信息、协调任务的智能体)出现后,人类已经跟不上它的速度和规模,“人工确认”要么失去自动化价值,要么变成形式主义。因此,AI时代的治理需要升级:不是“人管住AI”,而是建立人与AI共同参与、彼此约束的治理结构——核心是权力拆分(不让任何一方拥有完整权力)、能力分工(AI做擅长的,人做不可替代的),同时明确责任边界,甚至要治理“谁有资格参与治理”这件事本身。

详细拆解

1. 为什么“人管AI”在Agent时代失灵了?

AI Agent和以前的AI工具不一样:工具是“人点一下,它做一下”(比如你用AI写文案,得你发指令它才生成),但Agent是“自动跑起来的”——比如一个电商Agent,几分钟内就能看几万条用户数据、调用十几个系统接口、调整上百个商品价格,还能和其他Agent协作。这时候如果坚持“每一步都要人工确认”,会有两个结果:

  • 自动化白搞了:人成了瓶颈,Agent的效率优势完全被抵消(比如Agent一秒能处理100件事,人一小时才确认10件);
  • 确认变成走过场:人根本看不懂Agent做的所有细节,只能扫一眼摘要就点“同意”,表面上是人管着,实际上已经失控。

所以,“人最后确认”不等于“人真的控制”——当机器速度超过人的理解速度,旧模式就失效了。

2. AI不只是被管的对象,还能帮着“管事儿”

过去我们总觉得AI是风险来源(比如幻觉、犯错),所以只想着“怎么约束它”。但其实AI也能当“监督者”:

  • 一个AI可以检查另一个AI的输出(比如用模型A审模型B生成的合同,找漏洞);
  • AI能在几十万条交易里快速发现异常(比如某员工突然改了100个客户的权限,人可能没注意,但AI能立刻识别);
  • AI还能持续核对规则(比如有没有人绕过审批流程,或者参数偷偷变了)。

更重要的是,人也会犯错:疲劳、误判、被利益诱惑……所以治理不能只“人监督AI”,还要“AI监督人”,甚至“AI之间互相监督”——这样才能补上双方的漏洞。

3. 共同治理不是“人AI平权”,而是“各干各的强项”

很多人误解“共同治理”是“人一票AI一票”,其实不是。核心是能力分工:

  • AI擅长的:处理海量数据、找异常、保持规则一致性(比如24小时不休息地检查每笔交易);
  • 人擅长的:定目标(比如“什么算不可接受的风险”)、处理例外(比如AI发现员工行为异常,但到底是违规还是正常调岗,得人判断)、担责任(法律和伦理上的锅,AI背不了)。

举个例子:一笔大额交易,AI先查“有没有异常模式”,系统再核对“是否符合公司规则”,最后人来决定“要不要批准”——缺任何一步都不能执行。这不是平权,而是把权力拆成几块,谁也不能单独说了算。

4. 真正的危险不是AI权力大,而是“某一方权力太完整”

现在很多人说“最终决定权必须在人手里”,但问题是:为什么“完整权力”一定要给某个人?比如公司管理员能改所有规则、重置密码、调审批权限——只要他想,就能绕过所有AI风控和人工审批。这和AI拥有完整权力一样危险。

成熟的治理应该防止两种极端:既不让AI独大,也不让人独大。比如改公司规则,不能管理员一个人说了算,得AI检查“规则有没有冲突”,再让团队投票通过;或者AI想执行某个操作,必须经过人确认“符合价值目标”,同时另一个AI检查“有没有异常”。总之,任何一方都不能单独决定现实发生什么。

5. 共同治理还要管“谁能参与治理”

如果一家公司说“我们用AI参与治理”,但“谁能加入治理AI”“谁能改它的规则”都是管理员一个人说了算,那这还是假的共同治理——因为最高权力还是集中在管理员手里。

真正的共同治理,要把“治理结构本身”也纳入治理:

  • 加新的AI参与治理,需要流程(比如团队审核);
  • 改AI的规则或数据范围,不能一个人拍板;
  • 甚至“什么叫共同治理”这件事,也要大家一起定。

不然,总有一个人站在治理之外,控制着所有参与者——这就不是“共同”治理了。

最后:责任不能稀释

共同治理拆分了权力,但责任不能消失。比如公司出了事故,不能说“是AI建议的”“是系统自动执行的”——人必须担责:谁定的目标?谁批的制度?谁对结果负责?AI没有法律人格,所以最终责任永远在人身上。

总之,AI时代的治理,不是“人压着AI”,也不是“AI取代人”,而是建立一个“彼此约束、各尽其责”的结构——让任何一方都无法独断,同时让责任清晰可查。这才是真正的安全。