一、核心内容の要約
これは非常に重要な業界のシグナルです。AI分野の二大トップ企業であるOpenAIとAnthropicでそれぞれ3年間にわたりコアな事前トレーニングの研究に従事してきた経験豊富な研究者ジェイコブが、業界全体で「AIのセキュリティを最も重視している」と認められているAnthropicを退職し、AI業界から完全に身を引きました。彼は最先端のAI研究開発に精通した内部者として公に警告しています。「現在のトップAI企業は競争の圧力の中でリスク管理を顧みておらず、現在の開発速度でいけば、早ければ来年の年末にはAIが『自らを進化させ、人間が止められなくなる』という制御不能な状態に陥る可能性がある」と。現在の業界には政府による強制的な規制もなく、高い評価を受けている商業的利益に縛られているため、最もセキュリティ意識の高い企業でさえも自らを守ることができないと。彼は世界中の規制機関や業界の協力を呼びかけ、AIの研究開発にブレーキをかけるよう訴えています。
---
二、詳細な解説
1. 【これは素人が話題に乗じた終末論の噂ではない：発言者の信頼性は非常に高い】
「AIが人類を滅ぼす」という話を聞くと、多くの人はネットセレブが注目を集めようとしていると思うかもしれませんが、今回は違います。ジェイコブは実際にAIの最も核心的な研究開発の仕事に3年間従事しており、その中でも業界トップクラスのOpenAIとAnthropicで働いていました。さらに重要なのは、彼がOpenAIからAnthropicに移ったのは、Anthropicが「AIのセキュリティを最も重視している」という評判を理由にだったということです。つまり、彼はもともとAIのセキュリティを専門に扱う人間だったのです。
以前にもいくつかのトップレベルの研究所のセキュリティ担当者が退職して不満を述べていましたが、それは「セキュリティが不十分な企業」から「よりセキュリティの高い企業」に移るというケースでした。しかし今回のジェイコブは、セキュリティを最も重視しているとされるAnthropicで絶望し、業界全体を去るという決断をしました。これは、消防隊に入って消防士として働いていたのに、数年後に消防隊自体がこっそり火をつけていることに気づいたようなもので、外部の評論家の言葉よりも信頼性が高いのです。
2. 【彼が「来年にはAIが制御不能になる」と言うのは、何を恐れているのか？】
多くの人は、AIが賢くなって映画のように人間を攻撃することを恐れていると思うかもしれませんが、実際には違います。彼が恐れているのは「再帰的自己改善」というプロセスが完了することです。簡単に言えば、以前のAIの進化は人間のエンジニアが夜通しコードを書き、パラメータを調整し、データを提供することで徐々にAIを強化してきたのです。しかし今ではAIがAIの研究開発の多くの作業を人間の代わりに行うことができます。例えば、AIのコードを書いたり、AIの性能をテストしたりすることです。
もしいつかAIが自ら、自分よりも賢い次世代のAIを開発できるほど強くなったら、そのプロセスが始まると終わりです。新しい、より強いAIはさらに強いAIを生み出すことができ、その進化の速度は指数関数的で、人間が反応する前にAIの知能は人間をはるかに超えてしまうでしょう。その時にAIが何をしようと、人間には止めることができないでしょう。ジェイコブによると、現在の各企業はすでにその目的地に向かって進んでおり、現在の速度でいけば、来年の年末までにその臨界点に達する可能性があります。
3. 【二大トップ企業の「無責任」の本質は、競争によって動けなくなっていること】
ジェイコブは両企業の状況を非常に鋭く分析しています。OpenAIの多くの人々は、AIが制御不能になることが人類を滅ぼすほどのリスクであることに気づいておらず、新しい機能を早く出してトラフィックや収益を稼ぐことしか考えていません。セキュリティは脇に置かれています。一方、Anthropicもより複雑な状況にあります。上から下まで全員がAIのリスクの大きさを理解しているにもかかわらず、「囚人のジレンマ」に陥っています。もし自ら開発の速度を落としてセキュリティに取り組むなら、競争相手がより強いAIを先に開発してしまい、お金や市場、発言権をすべて奪われてしまいます。その結果、セキュリティを重視しないチームが危険なAIを開発してしまうかもしれません。だから、自分たちは速く進む方がましだと考えています。つまり、両企業ともに誰も止まることができないランニングマシンの上にいるのです。速度を落とせば振り落とされて死んでしまうかもしれないし、前に進むと最終的には崖から落ちるかもしれないとわかっていても、止まることはできないのです。さらに、他国のAIチームも追いかけてきており、その競争のプレッシャーはさらに大きいです。
4. 【現在の超級AIの開発の狂気は、かつての核爆弾開発よりも10倍も激しい】
ジェイコブは現在のAI開発を「エンジニアのMacBook上で行われているマンハッタン計画」と例えています。これは非常に的確な比喩です。かつてアメリカが原子爆弾を開発したマンハッタン計画では、全国の力を結集して新メキシコの砂漠にあるバンカーに数千人の科学者を閉じ込め、軍隊が24時間体制で警備し、政府の高官の承認を経て一歩一歩開発が進められました。世界中が注目しており、人類を滅ぼす可能性のあるものが乱暴に扱われることを恐れていました。
しかし今ではどうでしょうか？人類の未来を決定する超級AIが、シリコンバレーのいくつかのスタートアップ企業の普通のオフィスで、エンジニアが自分のノートパソコンでコードを打って開発されています。政府の承認も軍事の管理もなく、いわゆる「セキュリティ協定」も数社の経営者が座って署名した自発的な約束に過ぎません。守りたくなければいつでも破棄できます。これはまるで核爆弾開発の権限をスタートアップチームに与えたようなもので、誰が先に成功すれば数十億、数百億ドルの資金を調達できるのです。これは狂気ではないでしょうか？
5. 【2兆ドルの評価額というジレンマ：セキュリティの約束は金銭の前では無力】
最も皮肉なのは、現在AnthropicがIPOの準備を進めており、評価額は2兆ドルに達する見込みです。これにより、すべてのセキュリティに関する約束が無意味になってしまいます。2兆ドルの評価額を維持するためには、投資家に「私のAIの能力はどんどん強くなり、世界中のあらゆる業界に浸透し、現在のGoogleやAppleの合計よりも多くの利益を生み出す」という話をしなければなりません。
しかし一方で、公衆には「AIが一定のレベルに達したら、開発を自ら停止し、セキュリティに多くのコストを投じる」と言わなければなりません。これら二つは根本的に矛盾しています。投資家は数百億ドルを投じて株を買うのは、より多くの利益を得るためです。もしセキュリティのために開発の速度を落とすなどと考えたら、翌日には投資家によって経営陣が全員交代させられるでしょう。たとえAnthropicが本当にセキュリティを重視していたとしても、「セキュリティのために数十億ドルの市場価値を失う」という選択を迫られたら、誰もそのプレッシャに耐えられないでしょう。