虎嗅

AI 最大的问题,不是幻觉,而是没有边界感

该文章尚未提供 Deutsch 解读,以下为中文版内容。

核心内容总结

这篇文章的核心观点是:AI的“幻觉”(胡说八道、编假信息)只是表面问题,更深层的隐患是AI缺乏现实世界的边界感——它不知道什么时候该停、哪些操作不能做、执行后会有什么真实后果。这种边界感缺失不是模型变强就能解决的(因为它涉及责任、后果意识,而AI没有真实的身体、财产或法律人格),所以必须在AI和现实执行之间加一道“执行控制层”,像社会的法律制度一样,约束AI的操作不越界,确保风险可控。

一、AI幻觉只是表象,缺的是“知道什么时候停”的边界感

AI幻觉大家都懂:没依据却编得像真的。但真正危险的不是“说错”,而是“做错”——比如AI帮你写代码有bug是小问题,可如果它直接调用API改服务器配置、发起交易,就会变成现实中的损失。

为什么会这样?因为AI本质是“补全语言”:它会把不完整的东西补完整,把不确定的事说顺,但它不知道什么时候该承认“不知道”,什么时候该停止推断。比如你问AI“某公司去年的净利润”,如果它没数据,不会说“我不知道”,而是编一个看起来合理的数字;如果让它处理高风险操作,它不会因为“风险不可逆”就停下,反而会继续推进任务。

对比人类:我们知道乱按银行转账按钮会丢钱,知道没证据不能乱下结论,这些约束来自法律、责任、经验——但AI没有这些,它只活在语言逻辑里,不管现实后果。

二、边界感不是“背规则”,是懂“后果”和“责任”

很多人以为给AI加规则(比如提示词“不要乱编”)就能解决问题,但边界感不是“知道规则”,而是理解规则背后的现实代价

举个例子:一个人背熟了交通法规,但如果他没经历过撞车的疼痛、没赔过钱、没被追责,就不会真正懂得“闯红灯危险”。AI也是一样:它可以理解“高风险操作要谨慎”这句话,但它不会真正体会“一次错误转账导致公司损失百万”的后果——因为它没有财产,不用承担法律责任,也没有“心疼”的感觉。

现实世界的边界是“后果驱动”的:法律是怕坐牢,合同是怕赔钱,审批是怕担责。但AI没有这些“痛点”,所以它的边界感永远是“模拟”,不是“真实拥有”。

三、边界感缺失会长期存在,不是模型变强就能解决

有人说“等模型更大、数据更多,AI就会有边界感”,但文章认为这不可能。原因有两个:

1. AI没有真实的“存在”:它没有身体(不会疼)、没有财产(不会损失)、没有法律人格(不用坐牢),所以它永远无法真正理解“后果”。比如AI可以模拟“道歉”,但它不会因为做错事而感到愧疚。

2. 边界感是“社会习得”的:人类的边界感来自从小到大的经验(被父母骂、被老师罚、被法律约束),而AI只能通过数据学习“语言上的规则”,无法学到“现实中的代价”。

就像一个机器人背熟了所有烹饪步骤,但它不会知道“把油倒进火里会爆炸”——因为它没被烧过。

四、AI和现实之间需要“执行控制层”,像社会的法律

既然AI自己守不住边界,那就要在它和现实操作之间加一道“关卡”——执行控制层。这层的作用不是阻止AI思考,而是在AI的建议变成真实操作前,检查几个关键问题:

  • 这个操作是谁发起的?(有没有权限?)
  • 执行后会有什么后果?(可逆吗?比如转账能不能撤回?)
  • 风险超过阈值了吗?(比如涉及百万资金要人工确认)
  • 责任谁来担?(出问题找谁?)

这就像社会的法律:不是不让人做事,而是不让人做“后果失控”的事。比如AI建议“给客户发优惠券”,控制层会检查“优惠券金额是否在预算内”“有没有上级审批”,确认后才执行;如果AI建议“删除所有用户数据”,控制层会直接拒绝——因为风险不可逆。

五、AI该当“参谋”,不能当“决策者”

文章最后建议:未来很长时间里,AI最好的位置是建议层,而不是“最终执行层”。

什么意思?AI可以帮你分析数据(比如“这个产品销量下降的原因”)、生成方案(比如“如何提高转化率”)、提醒风险(比如“这个操作可能违规”),但涉及真实执行的环节——尤其是高风险操作(转账、改系统配置、发布产品)——必须由人或独立系统来确认。

比如:AI写了一份营销方案,你可以参考;但AI说“直接给所有用户发50元红包”,你得先看预算够不够、有没有审批,不能让AI直接点发送。

因为AI可以扩展“可能性”,但“后果能不能控制”得靠边界来决定。

结语

AI的幻觉会慢慢减少,但边界感的问题不会消失。未来的AI系统,不是要让它“无所不能”,而是要让它“有所不为”——知道什么时候停,知道哪些事不能做。毕竟,智能的价值不仅在于“能做什么”,更在于“该做什么”。