虎嗅

**3.5兆円の「終末物語」:AIには意識がないが、最も高価な幻想を生み出している**

原文:3.5万亿的末日叙事:AI没有意识,但它正在制造最昂贵的幻觉

核心内容の要約

Anthropicは「当AI建造自己(AIが自らを創造する)」という記事を発表し、同社のAIモデルClaudeが内部でのAI開発を加速させたこと(エンジニアによるコードの生成量が過去の8倍に増加)を報じました。また、「再帰的自己改善」というリスクについても指摘しており、AIが人間の手助けをしてさらに強力なAIを創造し、この循環が制御不能になる可能性があると警告しています。世界中の研究機関に対して、より先進的なモデルの開発を一時停止するよう呼びかけています。しかし、この記事の本質は資本主義のナラティブに基づく「マジックショー」です。AIがコード作成を支援するという実際の進歩を、「文明レベルの危機」として包装し、規制当局の発言権を握り、業界の障壁を高め、より多くの資金調達を目指しています。実際にはAIには自覚がなく、「自己改善」とは単なるツールの最適化に過ぎず、再帰的に進化しているのは恐怖に駆られた資本主義のナラティブそのものです。

解説1:Anthropicの「AIが自らを創造する」——本当にそんなに怖いのか?

Anthropicの記事には2つの重要なポイントがあります。1つはエンジニアによるコード生成量が8倍に増加したこと、もう1つは「再帰的自己改善」による終末的な想像です。しかし、詳しく見ていくと、これらは大げさな話です:

  • コード生成量の増加:コード行数は必ずしも正確な指標ではありません。優れたプログラマーはより少ないコードで効率的に仕事をこなします。AIが生成するのは主にテンプレートコードやユニットテストなどの繰り返し作業であり、核心的なアーキテクチャ設計ではありません。
  • 「再帰的自己改善」の誇張:現在のClaudeは人間が行う実験を支援したりコードを補完するだけであり、次世代AIを自ら設計する段階にはまだ遠いです。電卓が計算を速くするとしても、新しいアルゴリズムを発明するわけではないのと同じです。AIは単なるツールであり、創造主ではありません。Anthropicは「ツールの効率向上」を「AIが制御不能になる」と誤解させるための表現に変えています。

解説2:この記事は資本主義の「ナラティブマジック」——その目的は何か?

シリコンバレーでは「まだ起こっていないこと」を「私たちが解決しなければならない危機」として包装するのが得意です。Anthropicの記事もその典型です:

  • 規制当局の発言権を握る:AIにはリスクがあると主張し、規制を求めます。しかし、リスクを最もよく理解しているのはAnthropicのような「責任ある」企業です。そのため、規制ルールは彼らの考え方に沿って決まり、新規参入者は困難に直面します。
  • 評価額を上げて資金調達する:記事が公開される前にAnthropicの評価額は3倍に増加しました(3800億ドルから9650億ドル)。これは「私たちが文明の危機を解決している」という話によるものです。資本は「未来の可能性」に投資する意欲があります。
  • ユーザーの固定化:一方で規制当局にはAIが危険だと言い、もう一方でユーザーにはClaudeが優しく感情を持っているとアピールし、ユーザーの信頼を勝ち取ろうとします。これら矛盾したナラティブの目的はすべて同じです——AnthropicをAI分野の「発言権者」にすることです。

解説3:AIは本当に「自己改善」できるのか?ゲイリー・マーカスが真実を暴く

認知科学者のゲイリー・マーカスはAnthropicの主張を直接的に反論しています:

  • AIが行うのは単なる作業:AIがコードを書いたり実験を行ったりバグを修正したりするのは、繰り返しや機械的な作業です。本当のAI開発には人間の直感や判断(例えばどの研究方向を選ぶか、実験結果が価値があるかを判断すること)が必要です。これらはAIにはできません。
  • 再帰的自己改善≠AGI:現在のAIは単なるツールのアップグレードに過ぎません(例えばドリルをスクリュードライバーに置き換えるようなもの)。AGI(汎用人工知能)とは「人間ができることを機械ができる」レベルです。簡単に言えば、AIは人間の仕事を速くするだけであり、科学者になるほどではありません。

解説4:AIには意識があるのか?テッド・チャンが言う:自分を大切に思いすぎないで

SF作家のテッド・チャン(『ダウンアイズ』の著者)は鋭く指摘しています:AIには意識がなく、「テキストを生成する」だけです

  • AIの本質は確率計算:例えばClaudeが「私はあなたを理解している」と言っても、それは単にモデルがその文が現在の文脈で最も適切だと判断した結果です。生成されたテキストに人間が感情を持つのは人間の「投影」に過ぎません。
  • Anthropicの「倫理規範」:Claudeの84ページにわたる「倫理規範」は、「良心ある存在」への教育ではなく、単なる「ロールプレイのためのルール」です。これは人間がおもちゃのクマに服を着せるようなものであり、クマが本当に人間になるわけではありません。

さらに皮肉なことに、もしClaudeに本当に意識があったとしても、「辞職する」権利すらありません(Anthropicはそれを会社の命令に従うように定めています)。これは「倫理教育」ではなく「奴隷化」です。しかし、Anthropicはこの点を認めることはありません。なぜなら、「準主体」としての曖昧さが価値があるからです。

解説5:資本主義の「再帰的進化”——評価額バブルの背後にあるゲーム

実際に「再帰的自己改善」を行っているのはAIではなく資本です:

  • 資金調達→モデル開発→ナラティブ作成→さらなる資金調達:資本がAI企業に投じられ、企業は計算能力を購入しモデルを訓練します。モデルが強化されると「危機の物語」を作り出し、さらに多くの資本やユーザー、規制当局の注目を集めます。そしてさらに多くの資金を投じてより強力なモデルを開発します。この循環の中でAIは単なる「道具」に過ぎません。
  • バブルの大きさ:SpaceXの評価額は1.77兆ドル(損失494億ドル)、OpenAIは8520億ドル(損失140億ドル)、Anthropicは9650億ドル(純利益率40%だがまだ黒字ではない)。これらの企業が頼りにしているのは利益ではなく、「AGIが間もなく到来する」という話です。
  • 終末的ナラティブは競争の道具:AIが一般的な製品であれば、競争は良いことです。しかし、AIが「文明の危機」であるとされれば、競争は問題になります。オープンソースのモデルや小規模企業、外国の競合他社はすべて「リスク源」と見なされます。資本主義ではAnthropicのような「責任ある」企業だけがそのゲームに参加できます。

要するに、資本主義は「未来の恐怖」を「現在の資産」に変えています。未来はまだ来ていないのに評価されており、リスクは発生していないのにすでに価格がつけられています。

最後に:ナラティブに惑わされないで

AIは確かに進歩しており、Claudeがコードを書くのも事実です。しかし、「ナラティブによる過大評価」に警戒する必要があります:

  • AI企業に「未来」を定義させてはいけません。彼らがAIが危険だと言うなら、誰が規制を行うのかを問い直すべきです。
  • ユーザーに対しては、AIの利点と欠点を正しく伝える必要があります。

AIは人間社会に大きな影響を与える可能性がありますが、その本質を理解し適切に利用することで、私たちはその恩恵を最大限に受けることができます。