核心内容の要約
この記事の主な論点は以下の通りです：AIのリスクと価値は、その「賢さ」（パラメータの規模や精度など）によるものではなく、実際の業務プロセスにおける「位置」に依存します。現実の操作に近いほど、実行権限が大きくなり、誤りの結果も重大になります。また、その位置はAI製品のビジネスモデルを決定し、重要なポジションにあるほど代替不可能になります。記事では、「魚が異なる状況でどのように振る舞うか」を例に挙げており、AIを評価する際には「単に賢さを追求するだけでなく、その位置や役割を設計することが重要である」と強調しています。
詳細な解説
1. 同じAIでも、位置によってリスクは大きく異なる
「AIの精度は99%」といった宣伝を耳にしたことがあるかもしれませんが、この数字自体に意味はありません。重要なのはそのAIがどのような場面で使われるかです。例えば：
- チャットボックス内で使用される場合：一度間違ってもユーザーは「このAIはあまり信頼できない」と思うだけで済みます。
- 企業の内部ナレッジベースとして使用される場合：一度間違うと、従業員が誤った情報を持って会議に参加し、意思決定に影響を与える可能性があります。
- カスタマーサービスシステムに組み込まれている場合：一度間違うと顧客を怒らせ、ブランドの損害を招く可能性があります。
- 生産データベースの変更権限を持っている場合：一度間違うと生産ラインが停止し、大きな損失につながる可能性があります。
- 工業機器を操作する場合：一度間違うと安全事故を引き起こす可能性さえあります。
AI自体は変わりませんが、現実の業務に近いほど、誤りの影響は大きくなります。多くの人々は「AIのエラー率を0.01%にできるか」と考えがちですが、企業はまず「このAIは現在何ができるのか？」と問うべきです。提案するだけなのか、それともデータを直接変更したり資金を移動させたり機械を起動したりできるのか？これらの点の方がリスクを予測する上でより重要です。
2. 能力は上限を決め、位置が結果を決める
私たちは技術を評価する際に「能力」を重視します（例えば、より速いコンピュータ＝より高性能）。しかしAIは従来のソフトウェアとは異なります。従来のソフトウェアは「提案するだけ」ですが（Excelでデータを計算するなど）、最終的には人間がボタンを押します。一方、AIは「直接行動する」ことができます（自動的にメールを送ったりコードを提出したり、支払いを行ったり）。
重要なのは、「能力」と「位置」の違いです。「能力」とは「AIが何ができるか」であり、「位置」とは「AIが間違えた場合にどのような結果が起こるか」です。非常に賢いが実行権限がないAIはリスクが低いですが、普通のAIでも会社の資金を直接操作できれば危険です。これは企業内の従業員と同じです。普通の従業員が間違えても部分的な影響に留まりますが、CEOが間違えると会社全体に影響が及びます。それはCEOが愚かだからではなく、その位置が結果に近いからです。
3. どんなに信頼できるAIでも、無闇に権限を与えてはならない
多くの人々は「AIが信頼できるほど、より多くの権限を与えるべきだ」と考えます（例えば、モデルが安定したら人的なチェックを減らす、パフォーマンスが良ければ自動的に実行させる）。しかし、これは誤解です。「信頼できる」と「コントロールできる」は同じではありません。
例えば、パイロットは非常に専門的ですが、航空業界では検査を廃止したことはありません。銀行員も信頼できますが、二重チェックや取引限度額の制度は廃止されていません。なぜか？優れたシステムでも間違いは起こり得るからです。一度の間違いが大きな結果を招く場合には、境界線が必要だからです。
AIも同様です。賢さは徐々に向上します（99%から99.9%へ），しかし権限がもたらすリスクの変化は急激です（チャットでの軽いミスから大金の誤送まで）。AIが賢くなったからといって、無闇に権限を与えてはいけません。境界線は常に能力よりも重要です。
4. 位置がAIのビジネスモデルを決定する：機能が良くても、位置の方が重要
現在の多くのAI製品は機能が似ています（文章を書いたり、データを分析したり、タスクを自動的に完了させたり）。しかし、なぜ一部の製品は単なる「ツール」であり、別の製品は「インフラストラクチャー」として機能するのでしょうか？
その鍵は「位置」にあります：
- ユーザーがいつでも閉じることができるチャットボックス内にある場合：単なるツールで、代替可能です。
- 企業の日常的なワークフローに組み込まれている場合（例えば自動的に経費精算を処理したりレポートを生成したりする場合）：システムの一部となり、企業はそれなしでは成り立ちません。
- 多くのシステム間の重要な接点に位置している場合（例えばCRMやERPを連携するAIの場合）：プラットフォームとして機能する可能性があります。
- すべての重要な実行処理がそのAIを経由する場合：インフラストラクチャーとなります。
簡単に言えば、「機能」は「他人がそれを使うかどうか」を決め、「位置」は「他人がそれなしではいられないか」を決めます。評価基準はAIの賢さではなく、産業内での代替不可能性です。
5. AIの新しい評価基準：「IQ」から「権限半径」へ
これまで私たちはAIの「知能」を評価してきました（誰がより論理的か、コードが優れているか、多様なモードに対応できるか）。しかし、AIが実際のシステムに組み込まれると、企業は「権限半径」を重視します。つまり、AIが何にアクセスできるか、何を変更できるか、その誤りがどれだけ広範囲に影響を及ぼすかです：
- 企業の機密データを見ることができるか？
- 顧客情報を直接変更できるか？
- その誤りが何人/部門に影響を与えるか？
- AIの誤動作を防ぐための独立したシステムはあるか？
例えば、AIが非常に賢くてもデータを見るだけで変更できない場合、その権限半径は小さいです。しかし、工場のロボットを直接操作できる場合、その権限半径は大きいです。成熟したシステムではAIが無制限に動くことはなく、どこで停止すべきかが明確にされています。
最後のまとめ
AIはあの魚のようなものです：その性質自体は変わりませんが、位置によって意味が完全に異なります。これからは「AIがどれだけ賢いか」だけでなく、「私たちがそれをどのような位置に配置しているか」を問うべきです。なぜなら、知能は能力を決定し、位置は権限を決定し、権限が結果を決定するからです。AI時代に本当に必要なのは、知能そのものだけでなく、知能と現実との間の「安全な距離」の設計です。