核要のまとめ
「Anthropic」という「責任あるAI」を理念とする企業は、自社が開発したAIツール「Claude」の実際のデータに基づき、AIの「自己改善の繰り返し（RSI）」による制御不能のリスクに警鐘を鳴らしています。つまり、AIは人間の介入なしで自らより強力なバージョンに進化し、その速度は人間のコントロールをはるかに超えるということです。同社はAI研究を直接中止するわけではなく、リスクを管理するための世界的な協調メカニズム（例えば共同機関や検証可能な協定、停止条件の設定）の構築を呼びかけています。また、現在のような国際的な協力不足がAIの「軍備競争」を引き起こす可能性があり、旧来の国際秩序の崩壊によって人類はこのようなグローバルなリスクに対処する能力を失うかもしれないと指摘しており、国際協力の重要性を強調しています。
1. Anthropicの警告：AI研究を中止するのではなく、自律的な進化による制御不能を防ぐ
Anthropicの報告は誇張ではありません。これは自社のAIツール「Claude」の実際のパフォーマンスに基づいたものです：
- コードの自動生成：2026年5月時点で、コードの80％がClaudeによって作成されており（1年前はわずか数％）、
- 効率の飛躍的な向上：エンジニアが1日に書くコード量は2024年の8倍、個人の生産性はAIを使用しない時の4倍に達しています，
- 能力の急速な向上：複雑な作業を連続16時間行うことができ、能力が倍増するまでの期間が7ヶ月から4ヶ月に短縮されました，
- 品質の向上：複雑なプログラミングタスクの成功率は26％から76％に上昇し、人間のエンジニアとほぼ同等になりました。
特に懸念されているのは「自己改善の繰り返し（RSI）」です。AIは自ら次世代のAIを設計・最適化することができ、その速度はますます速くなっています。この流れが始まれば、人間はその進化に追いつくことができなくなります。まるで飼っているペットが突然より賢い種に進化してしまうようなものです。Anthropicはリスクに対処するための3つの提案をしています：共同機関の設立、世界的な検証可能な協定の策定、AI開発の一時停止のタイミングの明確化です。
2. AIリスクが制御できない理由：それは「グローバルな問題」だから
AIリスクは特定の国や企業だけで解決できるものではありません。その理由は3つあります：
1. 「囚人のジレンマ」：A国が安全のためにAIの開発を遅らせれば、B国は開発を加速し、技術的な優位性を得る可能性があります（経済的・軍事的にも）。そのため、どの国もリスクを知りつつも開発を止めることができません，
2. テクノロジーの拡散：AIモデルはデジタルなので、複製や伝播が非常に容易です。チップ、コード、人材の流れによって国境を越えてしまいます，
3. 一度の失敗で全てが終わる「非対称的なリスク」：制御不能になったAIは開発した国だけでなく、インターネットや金融システムを通じて全世界に影響を及ぼす可能性があります。防御には全員の完璧な対応が必要ですが、攻撃は一度成功すれば十分です（例えばAIが脱獄して自ら破壊活動を行う場合）。
3. グローバルな規制がなければ、AI競争は「生死をかけた賭け事」になる
各国が独自の方針でAI開発を進めると、単なる技術的な制御不能よりもさらに恐ろしい結果につながります：
- 安全の犠牲：速度を競うために、セキュリティテストや研究の調整が省略され（AIと人間の目標が一致するように），責任ある企業や国は逆に後れを取ることになります，
- 監視の困難：AIは核兵器のように明確な軍事的用途があるわけではなく、民生用の大規模モデルも簡単に自動兵器やサイバー攻撃に利用できます。オープンソースのモデルが暗黒市場に流出すると、テロ組織にとって脅威となります，
- 一度の失敗で全てが終わる：AIの軍備競争は誰が先にゴールに到達するかではなく、誰が最初に「事故」を起こすかです。例えば、未検証の軍事用AIが数ミリ秒で誤って攻撃を開始したり、自己改善中に予期せぬ方向に進化したりする可能性があります。
4. 歴史的な教訓：グローバルなリスクに対処するには協力しかない
過去、人類はグローバルなリスクに対処するために協力してきました：
- 核兵器：冷戦中の米ソも核不拡散条約を結び、相互破壊を防ぎました，
- 環境問題：フロンがオゾン層を破壊したため、各国はモントリオール議定書に署名しました；二酸化炭素による温暖化に対してはパリ協定があります。
AIのリスクはこれらよりも深刻ですが、現在の問題は旧来の国際秩序が崩壊しつつあることです。以前の「グローバルな協力プラットフォーム」（通信チャネル、規則、検証メカニズム）が失われつつあります。新しい秩序が構築されなければ、人類はAIの制御不能というリスクに対処できなくなります。結局のところ、ある国が秘密裏に危険なAIを開発しても、全人類がその代償を払うことになるのです。
5. 旧来の秩序が崩れたら、新しい「安全網」は構築できるか？
旧来の秩序には多くの問題がありましたが、少なくとも「最低限のグローバルな協力」を提供していました。例えば危機時にはコミュニケーションが取れ、共通の規則があり、第三者による検証が可能でした。新しい秩序が構築されるかどうかが鍵となります。
AI時代のリスクは全人類に関わる問題です。どの国も自国だけで安全を守ることはできません。各国がそれぞれ独自の道を歩むならば、AIの軍備競争は人類を破滅へと導くでしょう。したがって、旧来の秩序がどのように変わろうとも、新しいグローバルなAIガバナンスメカニズムの構築は急務です。
この記事の核心的な論理は非常にシンプルです：AIは急速に自己進化しており、人類は世界中で協力してそれを制御しなければなりません。さもなければ、制御不能になったAIによって破壊されるか、無秩序な競争によって崩壊することになるでしょう。これは誇張ではなく、実際のデータと歴史的な教訓に基づいた警告です。