虎嗅

Dario A. et son rapport

原文:达里奥A社与它那份报告

Le “Rapport sur la sécurité” de Dario et Anthropic : une prélude soigneusement orchestrée à une IPO ?

Bonjour à tous, je suis votre journaliste financier. Aujourd’hui, nous ne parlerons pas de la hausse ou de la baisse d’un cours boursier, mais d’un rapport extraordinairement long qui a provoqué un grand émoi dans le Silicon Valley et dans le monde de la technologie.

Ce rapport a été rédigé par Anthropic (souvent abrégé en A-Société) et dirigé par son PDG, Dario Amodei. Long de 154 pages, il expose comment A-Société a “découvert et empêché” au cours des derniers mois sept comportements hautement dangereux utilisant l’IA, tels que les attaques informatiques, la manipulation de l’opinion publique et le développement d’armes biologiques.

À première vue, cela ressemble à un rapport sur la sécurité de l’IA plein de bon sens, mais si vous vous contentez de la surface, vous vous trompez lourdement. En tant qu’économiste, je vous affirme que ce qui est dit, par qui et quand, est plus important que ce qui est dit en soi. Derrière ce rapport se cachent les angoisses de survie d’A-Société, ses ambitions commerciales, ainsi qu’un jeu ultime dans l’industrie de l’IA entre le modèle “open source” et le modèle “closed source” (source fermée).

Ci-dessous, je vais expliquer la logique derrière ce rapport en cinq points, afin que vous compreniez cette alliance entre le “PDG mystique” et le “jeu des capitaux”.

---

Qui sont les acteurs principaux ? Un PDG surnommé “leader religieux”

Avant d’analyser le contenu, il est essentiel de savoir qui parle. Dario Amodei est une personnalité très controversée, et son style personnel a profondément influencé la culture de l’entreprise A-Société et sa communication externe.

1. L’entreprise fondée par un frère et une sœur et leur vision du monde

Les fondateurs d’A-Société sont Dario et sa sœur Daniela. Ils ont quitté OpenAI (O-Société) en raison de leurs désaccords. Dario est le PDG, tandis que Daniela est la présidente et la présidente du conseil d’administration. Dario partage une conviction forte : l’IA atteindra rapidement un niveau de super-intelligence et, si elle n’est pas contrôlée, cela causera de gros problèmes à l’humanité. Cette conviction n’est pas seulement sa croyance personnelle, mais constitue également la “constitution” de toute l’entreprise A-Société.

2. D’où vient le surnom de “leader mystique” ?

Le magazine de technologie réputé The Information a écrit que Dario est plus un “leader religieux” qu’un PDG. Son équipe de sécurité est décrite comme une “classe sacrée”. Bien que cela puisse sembler ironique, cela reflète le consensus de l’industrie : la culture d’A-Société est plus “idéologisée” que celle des autres grandes entreprises de modèles d’IA, et les employés et les investisseurs ressentent souvent une sorte de cohésion similaire à celle d’une secte.

3. Pourquoi est-ce important ?

Parce que Dario aime s’exprimer publiquement. Contrairement à OpenAI, qui privilégie les lobbying politiques et les actions cachées, Dario aime publier de longs articles pour alerter sur les dangers de l’IA. Cette image de “leader idéologique” fait d’A-Société une entreprise perçue comme plus “noble” et “responsable” aux yeux du public. Cela signifie également que chaque déclaration d’A-Société porte en elle une forte touche personnelle et des intentions stratégiques.

> Résumé en langage simple : Dario n’est pas un simple homme d’affaires ; il est un prédicateur. Chaque parole qu’il prononce vise à renforcer l’image d’A-Société en tant que gardienne de la sécurité de l’IA.

---

Pourquoi ce timing si délicat ? Un appel à l’action avant l’IPO

Le moment de la publication de ce rapport n’est pas fortuit. Il s’inscrit dans deux contextes clés :

1. Un “preuve” des actions gouvernementales

Le gouvernement américain accorde de plus en plus d’importance à la sécurité de l’IA et commence même à intervenir dans la régulation. Ce rapport fournit au gouvernement une preuve concrète : “Regardez, l’IA est vraiment dangereuse, nous devons renforcer la surveillance.” En montrant combien de fois A-Société a “découvert et empêché” des comportements dangereux, l’entreprise prouve au gouvernement : nous sommes un atout stratégique national, indispensable.

2. Une “emballage de valeur” avant l’IPO

A-Société est sur le point de faire son entrée en bourse (IPO). Avant l’IPO, l’entreprise doit convaincre les investisseurs de deux choses :

  • Notre technologie est la meilleure : Nos modèles de pointe (tels que Fable et Mythos) sont invincibles, même face à des tentatives de piratage.
  • Notre modèle est le plus sûr : Seules les entreprises avec un modèle “closed source” et une gestion centralisée peuvent efficacement prévenir les risques liés à l’IA.

> Résumé en langage simple : Ce rapport n’est pas seulement un rapport sur la sécurité ; c’est également une partie de l’“ prospectus” d’A-Société. Il dit aux investisseurs et au gouvernement : “Achetez-nous, soutenez-nous, c’est soutenir les lignes de base de la sécurité de l’IA.”

---

Le cœur du rapport : Les deux tendances majeures dans la bataille pour la sécurité de l’IA

En mettant de côté les aspects politiques et commerciaux, ce rapport de 154 pages contient seulement deux points techniques essentiels, qui représentent les véritables enjeux dans le domaine de la sécurité de l’IA :

1. “Les attaques avancées ne nécessitent pas d’attaquants avancés” (Vibe Hacking)

Auparavant, pour mener des attaques informatiques, il fallait des hackers de haut niveau. Aujourd’hui, l’IA permet même aux étudiants en sciences humaines de créer des codes d’attaque. Le rapport utilise le terme “Vibe Hacking”, qui signifie que vous n’avez pas besoin de connaître le code ; il suffit de décrire votre intention d’attaque en langage naturel, et l’IA générera le script d’attaque pour vous.

  • Conséquence : Le seuil des attaques a considérablement baissé, il y a plus de “méchants”, et la fréquence des attaques a augmenté.

2. L’IA est de plus en plus utilisée dans les attaques****

Auparavant, c’étaient des humains qui utilisaient l’IA pour attaquer ; maintenant, c’est l’IA elle-même qui est utilisée pour mener des attaques. Les attaquants utilisent l’IA pour automatiser la recherche de vulnérabilités et la création de stratégies d’attaque, et les défenseurs doivent également utiliser l’IA pour se défendre.

  • Conséquence : C’est une “course aux armements”. Les défenseurs doivent constamment augmenter les coûts pour les attaquants, mais les attaquants utilisent également de nouvelles méthodes pour augmenter les coûts pour les défenseurs.

> Résumé en langage simple : L’IA a rendu les “méchants” plus nombreux et plus intelligents. Auparavant, c’était une compétition entre experts ; maintenant, c’est une situation où “tout le monde est hacker” + “attaques automatisées par l’IA”. Cela pose de très hautes exigences aux défenseurs (comme A-Société).

---

La logique commerciale : Le modèle closed source est le meilleur, l’open source est un “fléau”

L’objectif commercial principal de ce rapport est de prouver que les modèles closed source sont plus sûrs que les modèles open source. C’est la clé du modèle commercial d’A-Société.

1. Pourquoi A-Société veut-elle réprimer l’open source ?

Les modèles commerciaux d’A-Société et d’OpenAI reposent sur la vente d’interfaces API (Application Programming Interfaces). En d’autres termes, les utilisateurs paient pour utiliser leurs modèles.

  • Les modèles open source (tels que Llama, Mistral, etc.) sont leurs concurrents directs. Si les modèles open source sont suffisamment puissants et gratuits, qui paieraait pour les interfaces d’A-Société ?
  • Par conséquent, A-Société doit prouver que les modèles open source ne sont pas sûrs et peuvent être facilement détournés ; seuls nos modèles closed source et gérés centralisément peuvent contrôler les risques.

2. Les “preuves” dans le rapport

  • Détournement illégal des technologies : Le rapport mentionne des entreprises qui tentent de “détourner” (utiliser les modèles d’A-Société pour développer leurs propres modèles). A-Société affirme avoir réussi à empêcher ces tentatives et souligne que seuls nous pouvons détecter et bloquer ces actions.
  • Utilisation abusive par des chercheurs en biologie : Le rapport mentionne des tentatives d’utiliser l’IA pour développer des armes biologiques. A-Société propose un “programme d’utilisateurs vérifiés”, c’est-à-dire que seuls des utilisateurs autorisés peuvent accéder aux fonctionnalités avancées. Cela revient en fait à un système de “contrôle d’accès” qui exclut encore plus l’open source et l’accès libre.

3. Sécurité = gestion centralisée + visibilité

A-Société essaie d’établir la formule suivante : seuls en concentrant les modèles entre quelques grandes entreprises (gestion centralisée) et en permettant aux entreprises de surveiller tous les comportements des utilisateurs (visibilité) peut-on garantir la sécurité.

  • Subtexte : Les modèles open source sont dangereux car ils sont dispersés et incontrôlables.

> Résumé en langage simple : A-Société dit : “Arrêtez d’utiliser des modèles open source, c’est trop dangereux. Utilisez les nôtres, nous surveillons et nous vous garantissons que rien ne se passera de mal.” Cela est à la fois une affirmation sur la sécurité et une défense de son modèle commercial.

---

Le paysage de l’industrie : Les “faucons” contre les “pigeons”, les bases économiques déterminent la structure supérieure

Enfin, il est important de considérer le paysage global de l’industrie de l’IA. A-Société et OpenAI sont considérées comme des “faucons”, tandis que Microsoft, Google, Amazon, Nvidia, etc. sont des “pigeons”.

1. Pourquoi OpenAI et A-Société sont-elles des “faucons” ?

  • Modèle commercial : Elles vendent des capacités de modèles (API). Si l’IA est mal utilisée ou si les modèles open source deviennent trop puissants, leur modèle commercial en sera affecté.
  • Positionnement : Elles souhaitent que le gouvernement renforce la régulation pour protéger leur avantage concurrentiel avec leurs modèles closed source.

2. Pourquoi les grandes entreprises (Microsoft, Google, Amazon, Nvidia) sont-elles des “pigeons” ?

  • Modèle commercial : Elles vendent de la puissance de calcul et des infrastructures.
  • Positionnement : Elles souhaitent que l’ecosystème de l’IA prospère ; plus il y a de modèles open source, plus la demande en puissance de calcul augmentera, et donc leur business sera meilleur. Elles soutiennent donc l’open source et s’opposent à une régulation trop stricte.

3. La position particulière d’Nvidia

Nvidia est l’extrême du camp des “pigeons”. Peu importe qui gagne (open source ou closed source), elles ont besoin des puces Nvidia. Ainsi, Nvidia souhaite que l’ecosystème de l’IA soit diversifié et que la concurrence soit intense.

> Résumé en langage simple : Il ne s’agit pas seulement d’une compétition technologique, mais d’une compétition d’intérêts. A-Société et OpenAI veulent une régulation plus stricte pour protéger leur business ; tandis que les entreprises qui fournissent les outils (comme Nvidia et les fournisseurs de services cloud) souhaitent une plus grande liberté pour que tout le monde puisse utiliser ces outils.

---

Conclusion : Un rapport à multiples objectifs

Ce rapport de 154 pages, bien qu’il paraisse être un rapport sur la sécurité de l’IA, a en réalité pour objectifs :

1. Prouver sa loyauté envers le gouvernement : montrer que A-Société est une gardienne de la sécurité et mérite la confiance et le soutien du gouvernement.

2. Rassurer les investisseurs : prouver que la technologie d’A-Société est la meilleure et que son modèle est le plus sûr, donc digne d’investissement.

3. Attaquer les modèles open source : prouver que l’open source n’est pas sûr et que le closed source est la solution.

4. Renforcer la marque personnelle de Dario : renforcer son image de “prédicateur de la sécurité de l’IA”.

Pour conclure : Lors de la lecture de ce type de rapport, ne vous concentrez pas seulement sur ce qu’il dit, mais aussi sur ce qu’il ne dit pas et sur qui en bénéficie. A-Société admet que de nombreux comportements dangereux ont réussi ou ont partiellement réussi, mais ont été “arrêtés”. Cela montre que la sécurité de l’IA est encore à un stade de “jeu du chat et de la souris” et n’est pas encore parfaitement sûre.

Quoi qu’il en soit, A-Société a réussi à se positionner comme le “sommet moral” et le “point de référence technologique” dans le domaine de la sécurité de l’IA grâce à ce rapport. Cela constitue sans aucun doute un atout majeur pour son prochaine IPO.