虎嗅

为什么企业还没准备好让 AI 替员工点按钮?

核心内容总结

AI从“只会提建议的工具”(如写邮件、总结文档)进化到“能直接操作企业系统的Agent”(如改CRM数据、发起退款、调云配置),但企业现有的安全体系只解决了“谁能访问系统”的问题,没解决“AI能执行哪些动作、怎么约束这些动作”的新问题。如果不建立“执行边界”和专门的治理模型,企业不敢让AI碰关键操作——毕竟按钮背后是真金白银、客户数据和生产系统,错了就无法撤销。

详细拆解解读

1. AI从“动口”到“动手”,企业安全老一套不管用了

过去企业安全只盯着“人”:员工账号有角色,角色有权限,比如财务能看报表、运维能重启服务。这套逻辑成立是因为所有关键动作最终都是“人点按钮”,系统默认“人点了就是他想干的”。

但AI Agent来了之后,员工把权限给AI,AI直接替人执行动作——比如读邮件后自动回复、分析工单后调用接口改客户状态,甚至跨多个系统连续操作。这时候问题变了:员工有权限不代表AI该继承全部权限,人能点按钮不代表AI能自动点。传统安全管“谁能进门”,现在要管“进门后能碰哪些东西”,这是两套完全不同的逻辑,企业还没建后者。

2. 最危险的不是AI“说错”,而是“做错”

之前大家担心AI“幻觉”(编假信息),但在企业里,“做错”比“说错”可怕10倍:说错话可以纠正,做错动作直接改系统状态。比如AI把测试环境的命令用到生产环境,或者把“准备退款方案”执行成“直接打钱”,这些都是不可逆的。

更糟的是AI的错误会被链条放大:自然语言指令→AI生成任务→调用工具→发API请求→改变业务状态。链条越长,只靠“一开始授权”兜底就越危险——企业要控制的不是AI能不能访问系统,而是能不能真的改变系统。

3. “人类确认”为啥挡不住风险?

很多企业觉得“关键操作让员工确认就行”,但这只是心理安慰。比如AI给你看的确认页面是“是否处理这批退款?”,但实际执行的细节可能是:退给了不该退的客户、金额超了上限、绕过了审批流程。人看到的是摘要,AI执行的是藏在背后的复杂动作,你点确认时根本不知道自己签了啥。

这不是说确认没用,而是不能只靠确认——得在执行前约束动作(比如退款金额超1万必须二次审批)、执行中不能绕关键步骤、执行后留证据,否则确认就是走过场。

4. 旧系统漏洞被AI放大,小问题变灾难

过去员工也会误操作,但人一天最多点错几次,而且只在一个系统里。AI不一样:它能几分钟内连续调用几十个接口,跨CRM、财务、云平台操作,还不会犹豫。比如员工权限配置过宽,过去最多偶尔误删数据;AI继承权限后,可能批量删客户记录。

AI不是恶意的,但它有速度、有权限、没边界感——把旧系统里的小漏洞(比如审批流走过场、日志没人看)自动化、规模化,小问题就变成大灾难。

5. 企业需要建“执行边界”,让AI“能做事但不闯祸”

企业现在最缺的不是更聪明的AI,而是一层“执行边界”——就像给AI装刹车、限速器和黑匣子:

  • 刹车:高风险动作(比如转钱)必须能停下来;
  • 限速器:AI不能无限调用接口(比如一天最多发100封邮件);
  • 黑匣子:所有执行动作都留痕,出问题能追溯;
  • 护栏:关键步骤(比如退款审批)不能被绕过;
  • 隔离带:一个系统的权限不能随便用到另一个系统(比如CRM权限不能直接访问财务系统)。

这套边界不能附属于业务系统(业务系统想让流程越快越好),得独立在执行前校验——比如API调用前检查金额是否超限额、生产操作前确认环境是否正确。只有这样,企业才敢让AI碰关键按钮,否则AI永远只能站在旁边提建议。

一句话总结

AI要替员工点按钮,企业得先把“执行权”管起来——从“谁能访问”到“谁能执行、怎么执行”,建立独立的执行边界和治理模型,不然按钮背后的风险谁也担不起。

(全文完)