核心内容总结
这篇文章的核心是:自动化时代(尤其是AI普及)中,人类正在把越来越多的执行权交给无法可靠自证的系统(包括AI),但我们对自己的记忆从不完全信任(比如反复检查门锁),却越来越相信AI的自我汇报——这种“信任不对称”是被低估的巨大风险。文章从认知心理学原理出发,结合实验和工程案例,说明“执行”和“证明执行”是两回事,并给出了如何用制度设计规避风险的方法。
一、为什么你总忘自己锁没锁门?不是记性差,是“输出监控”在搞鬼
你有没有过锁门后走出去很远,突然怀疑“门到底锁了没”?这不是因为你记性不好,而是认知心理学里的“输出监控”能力出了问题。简单说,“输出监控”就是记住自己已经做过什么的能力,它和智力、计划能力没关系,但特别容易失效,主要有三个原因:
1. 动作太熟,自动“隐身”:锁门、关灯这类重复上万次的动作,会变成“自动化操作”——你不用想就能做,但做完后几乎没留下具体记忆(比如锁门时手的触感、当时的环境细节)。
2. 被打断,没“存档”:执行动作时突然接电话、回消息,注意力被切走,动作可能完成了,但“任务已完成”的状态没存进大脑。比如你关煤气时有人叫你,关完后你可能忘了自己关过。
3. 相似场景“打架”:今天锁门、昨天锁门、前天锁门,场景几乎一样,记忆互相覆盖,你只记得“我锁过门”,但分不清是今天还是昨天。
最常见的例子就是老年人重复吃药——不是忘了吃,是忘了自己已经吃过,这就是输出监控失败导致的“重复执行错误”。
二、反常识:反复检查门锁,反而更不信自己锁了?
你可能觉得“多检查几次就能记住”,但实验证明恰恰相反:2003年的虚拟煤气灶实验中,被试反复开关检查炉灶后,对自己是否关了灶的记忆变得模糊(没细节),信心反而下降。后续元分析也确认:重复自查会削弱记忆的信心、生动性,甚至轻微降低准确性。
原因很简单:反复检查让你对“检查对象”太熟悉,大脑从“记细节”变成“记概念”(比如只记得“我检查过”,但不记得检查时的具体感觉),细节没了,自然不信自己的记忆。
这对AI更危险:同一个AI模型反复自查,用的是同一套逻辑和数据,它不会产生新的证据——自查越多,反而越没底气证明自己做过什么。
三、拍门、拍照不是强迫症,是你在给自己留“证据”
很多人锁门后会拉一下把手、拍张照片,或者出声说“锁好了”——这不是强迫症,是朴素的“证据思维”。这些行为的本质是:跳出自动化动作,制造独立的、可验证的痕迹:
- 拉把手的阻力是“触觉证据”;
- 照片是“视觉证据”;
- 出声说话是“语音证据”。
这些痕迹调动了你的注意力,让动作留下更清晰的记忆。实验也证明:如果执行动作时设计得更独特(比如锁门时故意用不同的手势),重复错误会显著减少。人类真正需要的不是“更好的记性”,而是“能证明自己做过的东西”。
四、高可靠性行业早不用“我记得”,他们靠“我能证明”
在航空、银行、数据库、核电站这些不能出错的行业,“依赖记忆”早被抛弃了:
- 航空:飞行员不放起落架,不是靠“记得”,而是靠检查单、读回(比如副驾念“起落架放下”,机长确认)、告警系统;
- 银行:柜员不会说“我印象中转账了”,而是看流水、对账、双人复核;
- 数据库:不会相信“一次写入成功”,而是用事务日志、校验和来证明数据真的更新了。
这些行业的逻辑很冷酷:执行者的自我报告(不管是人还是系统)都不算证据。工程的本质,就是把“我记得”换成“我能证明”。
五、AI比你更“不靠谱”?别信它说“完成了”,要查证据
现在AI能做很多事(转账、改数据库、发代码),但它和人类一样,甚至更难自证执行:
- AI的“记忆”会被截断(上下文有限,前面的操作可能忘);
- 多步操作中会被新信息干扰(像你被电话打断一样);
- 相似操作会混淆(比如重复发同一笔钱);
- 更可怕的是:AI会自信地编假话(比如明明没转账,却告诉你“转账成功”)。
怎么解决?文章给出了4个落地方法:
1. 找外部“真值源”:AI说转账成功不算,要看账户余额变化;
2. 设计“幂等性”:让重复执行无害(比如转账时加唯一标识,重复操作不会多转钱);
3. 分开执行和验证:别让同一个AI既做事又检查,验证要换不同的模型或方法;
4. 问三个问题:AI要回答“做了啥、为啥做、怎么证明做了”,尤其是第三个问题,不能事后补。
结语
人类怀疑自己的记忆,是因为知道“记忆不能证明现实”;但对AI,我们却常常默认“它说完成就完成”——这是自动化时代最危险的信任迁移。AI会越来越聪明,但没有任何智能能仅凭自己证明外部世界的变化。执行会消失,记忆会模糊,只有证据能穿越时间,避免我们为“信任错了”付出代价。