虎嗅

最も安全だとされるAI企業でさえ、安全保障の約束を守ることができない

原文:最安全的AI公司,也守不住安全承诺

「最も安全」とされるAI企業が「裸で走り出す」:信頼、金銭、そして生存をかけた駆け引き

皆さん、こんにちは。私は財経ジャーナリストです。今日お話しするのは、退屈な技術レポートではなく、シリコンバレーのトップレベルで起きた「信頼危機」についてです。

この話の主役はAnthropicです。AI業界で「最も規則を守り、安全性を重視する」と公認されている企業です。中心的な人物はジェイコブ・コクソンで、入社してからまだ4ヶ月の研究者です。彼は2026年9月8日に突然辞職し、公に発表しました。「AnthropicとOpenAIの両社は人間の命を危険にさらしており、超知能を追求するために安全性の基準を捨てている」と。

この件が大きな話題になったのは、単に誰かが辞職したからではありません。コクソンが率直な真実を語ったからです。「私は株式の帰属前に辞めました。もはやAnthropicの評価を高めて利益を得る必要はありません」と。

想像してみてください。手には巨額の宝くじ(Anthropicは10月にIPOを予定しており、評価額は2兆ドル)を持っているのに、それを破り捨てるとします。なぜでしょうか?その会社が間違ったことをしていると感じたからです。そして、その間違いがあまりにもひどいからです。

今日は、この事件の背後にある論理をわかりやすく解説し、何が起こっているのかを見ていきましょう。

---

一、安全への約束が静かに変わる:「ブレーキパッド」から「装飾条」へ

まず、Anthropicが何を変えたのかを明らかにしましょう。

2023年、Anthropicは「責任ある拡張ポリシー」(RSP)を発表しました。その中には非常に厳格な約束があり、車の「緊急ブレーキシステム」と考えることができます。

> 「もし私たちの安全対策が不十分なら、より強力なモデルの訓練を一時停止しなければならない」

これは「できなければ続けてはいけない」という厳しい制約でした。当時、これはAnthropicの看板であり、OpenAI(速度を追求する)との違いを示す核心的な特徴でした。

しかし、2026年2月にRSP 3.0が発表されました。このアップデートで、その「緊急ブレーキ」はなくなりました。代わりに、より複雑な「計器盤」が導入されました:ロードマップ、リスク報告、外部監視などです。

簡単に言えば:

以前は「ブレーキが故障したら車を停める」

今は「ブレーキに少し問題があっても、なぜまだ運転できるのかを報告し、計器盤を見ながら運転する」

Anthropicは、AIの能力の境界があまりにも曖昧で、いつ停止すべきかを正確に定義できないため、厳格なブレーキは機能しないと説明しています。この言い分は理にかなっていますが、問題はなぜ2年前にその約束を看板にしたのか?なぜIPOの直前に変更したのか?です。

さらに警戒すべきは、同じ時期にAnthropicが今後10年間で5170億ドルのコンピューティングパワー契約を結んだことです。未来10年間の「燃料代」を事前に固定してしまった企業が、積極的にブレーキを踏むことは難しいでしょう。安全への約束は「何をしないか」(厳格な制約)から「何をしたかをどのように説明するか」(柔軟な説明)に変わってしまいました。

二、消えた2つの言葉:OpenAIも「化粧を落としている」

Anthropicだけが文書を変更していると思っていましたか?いいえ、OpenAIも動いています。

OpenAIは2025年11月に年次税務報告書(990フォーム)を発表し、自社のミッションステートメントをこっそりと変更しました。

  • 以前: 「安全に(safely)全人類のために役立つ汎用AIを構築する。財務的な報酬の要求に束縛されない。」
  • 現在: 「汎用AIが全人類のために役立つことを確実にする。」

注目すべきは、2つの言葉が消えたことです:

1. 「Safely(安全に):安全に関する約束が薄れました。

2. **「財務的な報酬の要求に束縛されない」:金銭に関する約束がなくなりました。

これは、OpenAIがもはや人類の安全のために存在しているとは主張せず、資本の利益から独立しているとも主張しなくなったことを意味します。純粋に利益を最大化するテクノロジー巨頭のようになりました。

同時に、OpenAIは2年間で3つの核心的なセキュリティチームを解体しました。有名な「スーパーアライメントチーム」も含まれます。イリヤ・スツケヴァーのような専門家でさえ、セキュリティ専門の会社を立ち上げるために去りました。

解釈:

これら2つの安全を最も強調していた企業が、同じ時期に「安全」の境界を再定義しています。これは単なる1社の道徳的な後退ではなく、資本と競争の圧力の下での業界全体の「化粧を落とす」動きです。安全が交渉可能な変数になったとき、危険が始まります。

三、解けないパラドックス:より安全になるためには、より速くなければならない?

コクソンはインタビューで心に刺さるような言葉を2つ述べました。AI業界のジレンマを明らかにしました:

1. 「競争の圧力に直面したら、近道を選ぶか、監視プロセスのステップを飛ばさなければならない。」

2. 「OpenAIや中国に対する過度な偏見は、時には加速を正当化する理由に使われる。」

これが恐ろしい「安全のパラドックス」を形成しています:

  • 論理A: Anthropicが安全評価を遅らせると、OpenAIや中国の競争相手が先に超知能を実現する。
  • 論理B: 競争相手が先に実現した場合、その安全対策がAnthropicよりも劣っていれば、世界の安全リスクはコントロール不能になる。
  • 結論: より「安全」になるために(安全でない者が先に超知能を実現するのを防ぐために)、Anthropicは「より速く」超知能を実現しなければならない。
  • 結果: しかし「より速く」するということは、訓練、評価、リリースの時間を短縮することを意味し、研究者がモデルの内部メカニズムを理解し、危険な行動をチェックする時間が必然的に減少する。

簡単に言えば:

「より安全になるためには、より速くなければならない。しかし、速くなるほど、より安全ではなくなる。」

コクソンが辞職したのはAnthropicを嫌ったからではなく、この競争構造の下ではどの企業も単独で安全を保つことができないと気づいたからです。これはシステム的なジレンマです。別の企業に移っても無駄です。なぜなら、全体のレースが加速しており、ブレーキを踏む者は排除されるか、競争相手に追い越されるからです。

四、3日でのオフライン:安全は「事後の消火」に頼っており、「事前の予防」ではない

記事には重要な出来事があります:2026年6月の「Fable 5」事件です。

Anthropicは新しいモデルFable 5を発表しました。2日後、アマゾンのCEOがホワイトハウスに電話をかけ、このモデルには脆弱性があり、安全制限を迂回できると指摘しました。ホワイトハウスは緊急会議を開き、商務省は輸出規制を命じ、Fable 5は全世界でオフラインになりました。

発表からオフラインになるまで、たった3日しかかかりませんでした。

ここに残酷な事実があります:

モデルを停止させたのは、Anthropic内部で変更された「安全の赤線」ではなく、リスクが既に発生した後の**政府の強制介入でした。

これは何を意味するのでしょうか?Anthropicの安全約束が重要な時に「事前に阻止」する機能を果たしていなかったことを意味します。それは「事後のPR」や「事後のコンプライアンス」の道具に過ぎませんでした。リスクが大きくなると、外部の力(政府)が3日以内に反応します。しかし問題は、リスクは既に発生していたということです。

RSP 3.0で変更されたその赤線は、リスクが発生する前に機能するはずでした。今では、それは機能していません。私たちが見ているのは「予防」ではなく、「事故処理」です。

五、投資家の悪夢:安全への約束はいくらの価値があるのか?

最後に、資本市場に目を向けましょう。

Anthropicの評価額は2兆ドルに達しており、そのブランドストーリーは「私たちは最も安全なAI企業です」というものです。投資家が買っているのはモデルの能力だけでなく、「安全なガバナンス」の約束もです。

しかし、安全への約束が競争圧力によって変更されるのであれば、その評価は割引されるべきです。

  • Morningstarの報告によると: Fable 5の事件により、安全への約束は財務リスクになりました。
  • デビッド・サックス(アメリカのテクノロジーアドバイザー)は発言しています: 調査が明らかになるまで、AnthropicのIPOは延期されるべきです。

これは一般の人々にとって何を意味するのでしょうか?

1. ブランドのプレミアムが崩壊する: 「安全」が単なるマーケティングの言葉であり、実際の制約ではない場合、Anthropicの評価額の基盤は不安定です。

2. コンプライアンスの危機: 規制機関がその「安全への約束と実際の行動が一致しない」と判断した場合、これはPRの危機だけでなく、法的なコンプライアンスの危機でもあります。

3. 信頼の投票: コクソンが株式を放棄したことは、この問題に対する「不信の票」となります。彼は自分のお金で市場に伝えています:「このシステムが自己修正できるとは信じていない。」

結論:

コクソンが放棄した株式は、2兆ドルの評価額の前ではほんの小さなものです。しかし、彼の言葉は重要です。

この言葉はAI業界の最も華やかなバルーンを刺しました。「私たちはより安全な未来を築いていると思っていましたが、実際には、より高価で、よりコントロール不能で、政府が最後に対処しなければならない機械を築いているだけです。」

「安全」が「何をしないか」から「何をしたかをどのように説明するか」に変わったとき、失われるのは技術的なブレーキだけでなく、道徳的な基準もです。

一般の人々にとっては、以下のことを意味します:

  • テクノロジー巨頭の「安全への約束」を盲目的に信じないでください。彼らの行動と規制機関の反応を見てください。
  • AI業界の規制動向に注目してください。なぜなら、現在の安全は大きく政府の事後介入に依存しており、企業の事前の自律には依存していないからです。
  • 「速度第一」の文化に警戒してください。AI分野では、速度はしばしば安全を犠牲にしており、その代償は最終的には全人類が支払うことになるかもしれません。

この駆け引きに勝者はいません。Anthropicは魂のある研究者を失い、OpenAIは道徳的な高みを失い、投資家は崖の上に立ち、ブレーキのないレースカーが轟音を立てて通り過ぎるのを見ています。