一、核心内容の平易なまとめ
過去2年間、AIセキュリティに関する議論が業界全体で行われてきました。皆が「どのモデルを選ぶべきか」という問題に頭を悩ませていました。オープンソースかクローズドソースか、大手企業が開発したものか自社で改良したものか、何度もテストを繰り返し、資格を確認し、モデルが「十分に信頼できる」と判断された後でようやく核心業務を任せていました。しかし、ゴールドマン・サックスは従来のネットワークセキュリティで実証されていた「ゼロトラスト」や「深層防御」の概念をAI分野に直接導入し、常識に反するアプローチを提案しました。どのモデルも100％信頼できるとは思わない。出所が不明なオープンソースのモデルであっても、適切な防御構造を構築すれば、銀行のような非常に機密性の高い環境で安心して使用できるというのです。この転換は、AIセキュリティの焦点を「信頼できるモデルの選択」から「信頼できるシステムの構築」へと完全に移すものであり、企業がAIを自由に活用できるようになるだけでなく、単一のモデルベンダーに縛られるリスクからも解放されることを意味します。これはAIが「試しに使うおもちゃ」から、核心業務を支える本格的なインフラへと進化したことを示しています。
---
二、ポイントごとの平易な解説
1. これまでのAIセキュリティの考え方は「一度チェックすれば全てを任せる」というものでした
以前、企業がAIを導入する際のプロセスはまるで従業員を採用するようなものでした。まず背景調査や筆記試験、セキュリティテスト、サプライヤーの資格確認を行い、問題がなければ「アクセス許可証」を発行していました。その後、徐々に警戒を緩め、AIに権限を与えていきました。普通のデータから始め、次に核心顧客の情報を見せ、支払いインターフェースの呼び出しや生産設定の変更を許可し、最終的には人の確認プロセスをすべて廃止してしまいました。これは、まるで新入社員に公印やU盾、パスワードを任せるようなものでした。
しかし、この考え方には致命的な欠陥があります。モデルは静的なものではありません。今日は安全だとテストされても、明日誰かが悪意のあるデータを入力したり、モデルのバージョンがこっそり更新されたり、明後日には使用している業務システムの設定が変更されたりする可能性があります。一度のテストでは「その時点でのモデルバージョンが問題ない」というだけを保証できるだけで、将来も常に正常に動作するとは限りません。つまり、企業のセキュリティを「モデルが永遠にエラーを起こさない」という低確率の事象に賭けているのです。
2. AI版ゼロトラストの核心は「モデルの言うことを全て信じない」ことです。重要なことを行う前には必ず一つ一つ確認する必要があります
多くの人はゼロトラストを「AIを敵として扱う」と誤解していますが、実際には従来のネットワークセキュリティから導入された成熟したルールです。以前は社内ネットワークに接続した人は全員自社の人間だと考えられていたため、何度も身元を確認する必要はありませんでしたが、ハッカーの被害を恐れてゼロトラストが導入されました。たとえ正式な従業員でネットワークに接続していても、核心サーバーにアクセスする際には毎回身元を再確認し、操作が適切かをチェックする必要があります。
AIの場合にはこれがさらに重要です。AIは従来のソフトウェアのように問題が発生してもすぐにクラッシュするわけではなく、ハッカーに悪意のある命令を注入されたり、プロンプトに騙されたりしても正常に動作し、誤った結果を出したり誤った操作を行ったりする可能性があります。したがって、ゼロトラストの要求は非常にシンプルです。たとえそのモデルに数百万ドルを費やして購入し、すべてのセキュリティ認証を通過したとしても、核心データにアクセスしたり、お金を振り込んだり、設定を変更したりする際には、「それが信頼できるモデルだ」というだけで簡単には許可されません。その操作自体が適切かを個別に確認する必要があります。どれだけの金額を振り込むのか？誰に振り込むのか？その操作が現在の業務シナリオに合っているか？ たとえ家のスマートスピーカーが普段は従順でも、金庫のアクセス権を簡単に与えることはできません。スマートスピーカーが金庫を開けたいと言っても、毎回スマートフォンで確認を行う必要があります。
3. セキュリティの責任をモデルから企業に移し、「ベンダーに縛られる」リスクを回避する
ゴールドマン・サックスの提案する「深層防御」アーキテクチャはより実用的です。モデルにはもはや最高権限がなく、単なる「要求を出す存在」に過ぎません。核心データを見たい場合は銀行の中央データプラットフォームの承認を得なければならず、モデル自体は元のデータにアクセスできません。操作を行いたい場合も独立した権限システムの審査を経なければなりません。モデル自体がハッカーに盗まれたり改ざんされたりしても、外側の防御壁がリスクを防ぎます。
このアーキテクチャの最大の利点は、企業がもはやモデルベンダーに縛られることがないという点です。以前はGPTに慣れ親しんでいても、Claudeやオープンソースのモデルに切り替えたい場合はすべてのセキュリティテストをやり直さなければならず、コストが高くて切り替えができませんでしたが、今ではセキュリティの境界が外側のシステムにあります。モデル自体は交換可能な普通のコンポーネントになり、今日は大手企業のクローズドソースモデルを使用し、明日はオープンソースモデルで機密業務を行い、明後日は自社で微調整したカスタムモデルに切り替えても、セキュリティシステム全体を変更する必要はありません。これはAndroidスマートフォンを使用するのと同じで、どのアプリをインストールしても簡単にショートメッセージを盗んだり写真アルバムを見たりすることはできません。アプリを変更してもスマートフォンのセキュリティチェックを行う必要はありません。
4. まだ解決すべき最後の課題は「誰の顔も気にしない独立した審判」の存在です
現在のシステムにはまだ解決が難しい問題があります。多くのAI事故では、すべてのプロセスがコンプライアンスに適合しています。モデルは審査を通過し、アカウントは合法で、権限も許可されており、呼び出されるAPIもホワイトリストに含まれていますが、AIが突然エラーを起こすことがあります。例えば、AIトレーダーが幻覚に騙されて100億ドル分の注文を出し、株式市場を崩壊させることもあります。すべての従来のセキュリティチェックを通過していても、その操作が業務の意図に合っていない場合があります。
したがって、将来のAIセキュリティアーキテクチャには完全に独立した「最終審判」が必要です。その審判はモデルにも業務システムにも属しておらず、操作を行った人や権限の有無に関わらず、その操作が適切かどうかのみを判断します。例えば、単一の振込金額が100万ドルを超える場合は自動的に停止し、人の確認を求めます。明け方2時に見知らぬアカウントにお金を振り込む場合は直ちに遮断します。注文金額が過去の平均値の10倍を超える場合も直ちにキャンセルします。この審判の唯一の役割は「ノー」と言うことです。たとえすべての前置きプロセスが通過していても、その操作が不適切だと判断されれば、リクエストを遮断することができます。これこそが最後のセキュリティの砦です。
5. 「モデルを信頼しない」というのはAIを軽視しているわけではなく、むしろ核心的なインフラとして扱うことです
多くの人はこのアプローチをAIを信頼できないと誤解していますが、実際にはそうではありません。飛行機には最高のパイロットが乗っていますが、自動運転の警告や故障のアラーム、地上の管制塔の監視が備わっています。それはパイロットを信頼していないわけではなく、どんなに信頼できる人でもミスをする可能性があるからです。銀行が従業員にU盾を配るのも、大金の振り込みには二人の確認を求めるのも、従業員を信頼していないわけではなく、フィッシングメールに騙されるのを防ぐためです。
成熟したエンジニアリングシステムは、どのコンポーネントも永遠にエラーを起こさないことを要求するのではなく、「エラーが発生してもシステムが崩壊しない」ことを保証します。企業がAIを購入する際に求めるのは「世界で最も安全なモデル」ではなく、「モデルがハッキングされたりエラーを起こしたりしても、核心業務に影響が出ない」というシステム全体です。これはAIを軽視しているわけではなく、AIが本当に重要なインフラになったことを示しています。車の運転手には永遠に事故を起こさないことを求めるのではなく、安全ベルトやエアバッグ、ABSシステムを装備することを求めます。AIも同様に、核心業務を支えるためのインフラとして扱われるべきです。