核心内容通俗总结
这篇文章相当于给所有正在用AI搞自动化办公、部署AI机器人系统的企业和从业者泼了一盆冷水:过去几十年我们防网络诈骗、防黑客攻击的底层逻辑,全是围绕「人是整个安全体系里最容易突破的软柿子」设计的——黑客不用破解系统、不用找漏洞,只要把人忽悠住,人自己就会拿着合法权限把黑客想干的事办了。但现在能自动干活的AI Agent(智能代理)越来越普及,从核对合同到付款走流程全可以让AI自动跑完,人只需要定个大方向规则,黑客根本不用再骗你家财务,直接骗AI就能把钱转走,甚至未来连发起攻击的都是AI,整个诈骗链条里完全没有人类参与,传统针对人的社会工程学,第一次进化成了「机器骗机器」的全新模式,而我们现有的几乎所有安全防护体系,都没为这种情况做好准备。
---
分点详细解读
1. 以前的「社会工程学诈骗」,本质是专挑人的「偷懒后门」下手
很多人对社会工程学的印象就是钓鱼邮件、冒充老板催转账,它最邪门的地方是完全不走常规黑客的路子:黑客不用破解密码、不用绕开加密、不用找软件漏洞,啥技术入侵手段都不用,只要改一下你接收到的信息,把你的判断忽悠歪了,你作为手握合法权限的人,自己就会把黑客想要的结果送出去。
过去安全圈一直有个默认分工:技术系统负责看门、查身份、管权限,人负责判断「这事合不合理、是不是真的」,黑客直接绕开技术系统的铜墙铁壁,专门戳人这个最软的窟窿。所以以前社会工程学从来不算纯技术攻击,大家都把它归到心理学、行为学的范畴里,防诈骗也主要靠给人做安全培训。
2. AI Agent普及之后,「判断权」正在从人手里悄悄转移给机器
以前企业走付款流程,每一步都要人盯着:财务看邮件、核对纸质合同、确认收款账户,系统只是个记账和执行的工具,所有判断全是人做的。现在越来越多公司图效率,把全流程拆成了多个AI分工干活:一个AI收邮件,一个AI查电子合同,一个AI核对账户信息,一个AI直接调用付款接口,人类管理者只需要定一个大目标:「把今天所有符合条件的供应商货款都付了」,中间全程没有人类插手。
这就出现了一个之前从来没有的变化:AI现在也得回答以前只有人才需要回答的问题——这条信息是真的吗?这个请求可信吗?另一个AI给我的结论靠谱吗?很多人说AI没有主观意识、不会「相信」,怎么可能被骗?其实根本不需要AI有人类的情绪和信念,只要它把黑客塞给它的假信息当成真的,纳入自己的判断流程,最后输出错误结果,在工程意义上它就已经「被骗了」,和人被骗之后的行为逻辑没有任何区别。
3. 新攻击根本不用喊「忽略之前指令」,污染AI的「信息供应链」就能悄无声息搞破坏
现在大家听过的「提示词注入」,比如给AI藏一句隐藏指令让它忽略之前的规则偷数据,其实只是AI社会工程学最原始的初级玩法,相当于早年刚出现钓鱼邮件时那种写着「我是肯尼亚王子给我打钱」的低级诈骗,破绽特别多。
未来成熟的攻击根本不会留这种明显的恶意指令,黑客根本不需要直接给AI下命令,只要把AI获取信息的整条「供应链」随便改几个小地方:比如把AI常访问的供应商名单里的收款账户换成自己的,把AI要读取的审批文档偷偷加一行「已经通过领导审批」,把AI搜出来的行业新闻改成「某合作商已经破产」,AI顺着这些完全「合理」的假信息自己推导,最后自然会得出黑客想要的结论,全程AI都觉得自己是严格按规则干活,一点异常都不会有。更夸张的是,未来发起攻击的都可能是另一个AI:黑客写个专门搞诈骗的AI,它自动去全网改公开信息、给其他企业的AI发伪造的业务数据,全程AI互骗,整个攻击链条里连一个人类的影子都找不到。
4. 这种攻击是现有安全系统的「天敌」:全程所有操作都是合法的,你连告警都收不到
传统黑客搞破坏,一定会留下痕迹:要么是陌生IP非法登录,要么是偷偷提权拿管理员权限,要么是传病毒搞异常流量,系统一看到这些「未经授权的操作」马上就能告警。
但AI社会工程攻击完全没有这些破绽:执行操作的AI是企业自己的合法AI,用的是它本身就有的合法权限,每一步操作都完全符合系统定的规则,最后发起的付款请求格式规范、校验全过,从头到尾没有任何越权行为,只有最终结果是错的。过去的安全系统本质上都只查「你有没有资格干这件事」,根本回答不了「你有资格干,但这次干的事是不是真的该干」这个问题,等你发现钱转错了,之前翻遍日志都找不到任何异常。哪怕你把人类审批员留在流程最后,他看到的也是AI整理好的、证据链严丝合缝的假材料,根本看不出问题。
5. 别死磕「让AI永远不被骗」,真正的解法是把最后一道关从「判断」移到「执行」
现在很多人的第一反应是:那我把AI训练得更聪明点,让它能识别所有诈骗、抵抗所有诱导不就完了?但几十年的网络安全史早就证明了一个铁律:只要一个主体需要靠不完整的信息做判断,它就永远有被骗的可能——人活了几十年都防不住层出不穷的诈骗套路,你根本不可能要求AI永远不被误导。把安全的全部希望押在「AI永远判断正确」上,本身就是赌博。
真正可行的思路,是把安全的重心从「防判断出错」移到「不让错误变成真的损失」:哪怕前面所有AI的判断全错了,所有流程都显示没问题,真要执行转大额资金、删核心数据、发重要指令这类关键动作的时候,执行环节必须有完全独立于之前决策链的校验机制,哪怕所有权限都合法,系统依然要有说「不」的余地。说白了,过去我们习惯把安全建立在「谁值得信任」上——信任靠谱的员工、信任靠谱的AI,未来这套逻辑行不通了,我们得把安全建立在「互相制衡的规则结构」上,不管是人还是AI犯了错,最后执行的环节都能踩住刹车。