核心内容の平易なまとめ
この記事は、AIを活用した自動化オフィスやAIロボットシステムを導入している企業や従事者にとって、冷水を浴びせるような内容となっています。過去数十年間、サイバー詐欺やハッカー攻撃から身を守るための基本的な考え方は、「人間がセキュリティシステムの中で最も突破しやすい弱点である」という前提に基づいていました。つまり、ハッカーはシステムを破壊したり脆弱性を探したりする必要なく、人間を騙して合法的な権限を利用させるだけで目的を達成できたのです。しかし、今では自動で処理を行うAIエージェントが広く普及しており、契約の確認から支払いプロセスまですべてAIが自動で処理できるようになりました。人間は大まかな方向性やルールを設定するだけでよくなり、ハッカーはもはや人間の財務部門を騙す必要がなく、AIを直接騙して資金を移動させることができるのです。将来的には、攻撃を仕掛けるのもAIになり、詐欺のプロセスに人間の関与は全くなくなるでしょう。これまでの人間を対象としたソーシャルエンジニアリングは、「機械が機械を騙す」という新しい形に進化しています。しかし、私たちが持っているほとんどのセキュリティシステムは、このような状況に対応する準備ができていません。
---
詳細な解説
1. 以前の「ソーシャルエンジニアリング詐欺」は、人間の「怠惰」を利用したものでした
多くの人はソーシャルエンジニアリングをフィッシングメールや上司になりすまして支払いを促す行為と考えていますが、その最も厄介な点は、ハッカーが通常の手法を使わないことです。ハッカーはパスワードを解読したり暗号を破ったりソフトウェアの脆弱性を探したりする必要がなく、受け取った情報を改ざんして人間の判断を誤らせるだけで、合法的な権限を持つ人間がハッカーの意図した通りに行動してしまうのです。
以前のセキュリティ対策では、技術システムが防御の役割を果たし、人間が「その行為が適切かどうか」を判断していました。ハッカーは技術的な防御を迂回して人間の弱点を突いていたのです。そのため、ソーシャルエンジニアリングは純粋な技術的攻撃とは見なされず、心理学や行動学の範疇に分類され、詐欺防止は主に人間へのセキュリティ教育に依存していました。
2. AIエージェントの普及により、「判断権」が人間から機械へと移行している
以前は企業の支払いプロセスの各ステップで人間が監視していました。財務部門がメールを確認し、紙の契約をチェックし、受取口座を確認するなど、すべての判断は人間が行っていました。しかし、効率化を求める企業はプロセスを複数のAIに分けて処理させています。一つのAIがメールを受け取り、別のAIが電子契約を確認し、また別のAIが口座情報をチェックし、最終的には人間の管理者が「今日条件を満たすすべてのサプライヤーへの支払いを行う」という大きな目標を設定するだけです。このように、AIも人間が以前にしか答えなかった質問に答えるようになりました。例えば、「この情報は本当ですか？このリクエストは信頼できますか？」といった質問です。AIには主観的な感情や信念はないと思われがちですが、ハッカーが提供した偽情報を本物として判断すれば、AIも「騙された」ことになります。
3. 新しい攻撃では「以前の指示を無視する」必要がなく、AIの「情報供給チェーン」を操作するだけで破壊が可能
「ヒントワード注入」と呼ばれる手法では、AIに隠された指示を与えて以前のルールを無視させてデータを盗むといったものですが、これはソーシャルエンジニアリングの最も基本的な手法に過ぎません。将来的な成熟した攻撃では、ハッカーはAIに直接命令を出す必要がなく、AIが情報を取得するチェーンのいくつかの部分を簡単に改ざんするだけです。例えば、AIがアクセスするサプライヤーのリストの受取口座を自分のものに変更したり、承認文書に「既に上司の承認を得た」という偽情報を追加したりするだけで、AIはそれらの「合理的」な偽情報に基づいて結論を出し、ハッカーの意図した通りに動作します。この過程で人間の関与は一切ありません。
4. このような攻撃は既存のセキュリティシステムの天敵であり、警告すら発せない
従来のハッカー攻撃では痕跡が残ります（例：未知のIPからの不正なログイン、管理者権限の取得、ウイルスによる異常なトラフィックなど）。しかし、AIを利用した攻撃にはそのような痕跡がありません。攻撃を行うAIは企業が所有する合法的なAIであり、使用する権限もシステムのルールに完全に従っています。最終的な支払いリクエストも形式が正しく、すべてのチェックに合格しています。従来のセキュリティシステムは「その行為を行う資格があるかどうか」しかチェックできず、「その行為が本当に必要なのか」という問いには答えられません。資金が誤って振り込まれても、ログを調べても異常は見つかりません。また、人間の承認者がプロセスの最後にいても、見せられるのはAIが整理した証拠が整った偽の資料であり、問題は見つかりません。
5. 「AIを永遠に騙されないようにする」ことに固執するのは無駄です。本当の解決策は「判断」から「実行」の段階にセキュリティを移すこと
多くの人はAIをより賢く訓練して詐欺を識別させればよいと考えがちですが、長年のセキュリティの歴史は「不完全な情報に基づいて判断する主体には常に騙される可能性がある」という事実を証明しています。AIに「永遠に正しい判断をする」ことを期待するのは無理です。セキュリティの焦点を「判断の誤りを防ぐ」ことから「誤りが実際の損失になるのを防ぐ」ことに移すべきです。たとえAIのすべての判断が間違っていても、重要な操作（大金の振り込みや重要なデータの削除など）を行う際には、以前の決定プロセスとは独立したチェック機構が必要です。つまり、たとえすべての権限が合法であっても、システムは「ダメ」と判断する余地を持つべきです。従来のセキュリティは「誰を信頼するか」に基づいていましたが、これからは「相互に制御するルール構造」に基づく必要があります。人間であれAIであれ、誤りがあればその行為を止めることができるようにする必要があります。