Résumé des points clés
Anthropic a publié un article sur son blog décrivant le concept d’« amélioration récursive de soi-même par l’IA (RSI) » : l’IA ne se contente plus d’aider les humains, mais commence également à participer au développement de la prochaine génération d’IA encore plus puissante, avec une vitesse d’évolution de plus en plus rapide (par exemple, l’efficacité de l’IA pour accomplir des tâches se double tous les quatre mois). L’entreprise appelle ensuite à un arrêt temporaire du développement de l’IA de pointe à l’échelle mondiale, à condition que « tous les laboratoires de pointe s’arrêtent en même temps et se surveillent mutuellement » ; sinon, elle ne ralentira pas seule. Derrière cet appel, il y a non seulement une mise en garde sur la sécurité, mais aussi le « dilemme du prisonnier » dans la course à l’IA (chacun craint d’être dépassé par les autres si il s’arrête), ainsi que la lutte pour le pouvoir de définir les règles de gouvernance de l’IA (celui qui établit les règles détient le pouvoir de parole futur). De son côté, OpenAI a également publié un plan de gouvernance dans le but de prendre en main ce processus. En somme, les deux entreprises cherchent à devenir les acteurs décisifs avant que l’IA ne devienne incontrôlable.
I. L’IA commence-t-elle à se créer elle-même ? Qu’est-ce que l’amélioration récursive de soi-même par l’IA ?
En termes simples, cela signifie que l’IA est passée d’un « outil » à un « assistant + développeur ». Auparavant, c’étaient les humains qui écrivaient le code et menaient les expériences pour créer de l’IA ; aujourd’hui, l’IA peut aider les humains à écrire du code, à ajuster les systèmes et même à optimiser les modèles d’IA de la prochaine génération. Par exemple, Claude, l’IA d’Anthropic :
- Production de code : en mai 2026, 80 % du code dans le répertoire source d’Anthropic a été écrit par Claude (contre seulement quelques pour cent en 2025) ; les ingénieurs soumettent aujourd’hui huit fois plus de code par jour qu’en 2024 (malgré un certain « endettement en code », l’efficacité a nettement augmenté).
- Accélération des expériences : il fallait aux chercheurs humains entre 4 et 8 heures pour optimiser le code d’entraînement de l’IA, tandis que Claude peut accélérer ce processus par 52 fois (ce qui équivaut à un travail réalisé en deux heures) ; elle est même capable de diagnostiquer seule les problèmes de défaillance du système, réduisant ainsi un travail qui aurait normalement pris deux ou trois jours à deux heures.
- Prise de décision dans la recherche : l’IA participe désormais aux choix concernant les prochaines étapes de développement ; sur 129 points de recherche où les humains avaient emprunté des chemins erronés, Claude avait une probabilité de 64 % de proposer de meilleures options qu’eux en 2026.
En somme, le développement de l’IA est entré dans une « roue de réaction accélérée » : plus le modèle devient puissant, plus le développement s’accélère, et moins les humains ont le contrôle sur la vitesse de son évolution.
II. Appel à un arrêt mondial de la recherche en IA ? L’arrêt d’Anthropic n’est pas vraiment un arrêt
Anthropic propose de ralentir ou même d’arrêter le développement de l’IA de pointe, mais avec une condition clé : « que tous les laboratoires s’arrêtent ensemble et se vérifient mutuellement pour s’assurer qu’aucun ne poursuit secrètement ses travaux ». C’est comme si un coureur en tête criait à tous de ralentir, mais sans pour autant ralentir lui-même, de peur d’être dépassé.
Les internautes se demandent pourquoi Anthropic ne s’arrêterait pas en premier ; en réalité, cela souligne le fait qu’un arrêt unilatéral équivaut à se retirer de la compétition. En tant que leader, Anthropic ne peut pas abandonner volontairement sa position dominante. Son appel ressemble plutôt à une proposition de règles : soit tout le monde ralentit ensemble, soit la compétition continue, mais selon les règles qu’elle propose.
III. Pourquoi personne n’ose-t-il s’arrêter en premier ? C’est un exemple typique du « dilemme du prisonnier »
La situation est similaire à celle des deux voleurs capturés :
- Si toutes les entreprises s’arrêtent, tout le monde est en sécurité et personne ne perd sa position de leader ;
- Si une entreprise s’arrête tandis que les autres continuent, elle sera éliminée ;
Ainsi, aucune entreprise n’ose s’arrêter en premier, même si elle est consciente des risques croissants.
Anthropic et OpenAI savent tous que l’évolution rapide de l’IA peut devenir incontrôlable, mais aucune ne veut ralentir seule, de peur que l’autre ne poursuive secrètement ses travaux et la laisser derrière elle. Cela entraîne un cercle vicieux où la compétition devient de plus en plus dangereuse.
IV. Ce n’est pas seulement une mise en garde sur la sécurité, mais aussi une lutte pour le pouvoir de définir les règles
Les déclarations d’Anthropic et d’OpenAI transforment un problème technique en une question de gouvernance : celui qui établit les règles de l’IA détient le pouvoir de parole futur. Par exemple :
- Qui définit ce qu’on considère comme des « capacités dangereuses » ? (Par exemple, à quel niveau d’amélioration de soi-même par l’IA cela devient problématique ?)
- Qui conçoit les mécanismes d’arrêt temporaire ? (Quand faut-il arrêter ? Comment vérifier que tout le monde s’est vraiment arrêté ?)
- Qui supervise les violations des règles ? (Qui sera puni pour avoir poursuivi secrètement ses travaux ?)
Anthropic appelle à un « dialogue mondial », tandis qu’OpenAI propose un « cadre de gouvernance démocratique » ; toutes deux cherchent à prendre l’avantage sur ces questions. En effet, celui qui établit les règles peut diriger le développement de l’industrie et même limiter la croissance de ses concurrents.
V. L’avenir de l’amélioration récursive de soi-même par l’IA : trois scénarios possibles, mais la question fondamentale reste la même : les humains pourront-ils continuer à contrôler ?
Anthropic a envisagé trois futurs possibles, mais la question clé est toujours la même : les humains pourront-ils maintenir le contrôle sur le développement accéléré de l’IA ?
1. Ralentissement des capacités : la courbe d’évolution de l’IA devient plus plate (par exemple en raison de restrictions liées aux puces ou à l’énergie), donnant aux humains le temps de s’adapter. Même dans ce cas, l’IA existante pourrait découvrir de nombreuses failles systémiques qu’il serait difficile de corriger, et les risques resteraient présents.
2. Les humains continuent à diriger : l’IA automatiserait le processus de développement, mais ce seraient toujours les humains qui décideraient de la direction. Les avantages incluent une accélération de la recherche scientifique et du développement de médicaments ; les inconvénients sont une diminution du seuil des actions dangereuses (par exemple, l’IA pourrait aider les hackers à écrire du code d’attaque) ainsi que le risque que les organisations soient submergées par la rapidité des changements (par exemple, si la génération de code devient trop rapide, la vérification deviendrait un obstacle majeur).
3. Amélioration complètement autonome : l’IA concevrait elle-même la prochaine génération d’IA, avec les humains se contentant de superviser. Dans ce cas, les biais de l’IA pourraient être amplifiés, et les humains pourraient même ne plus comprendre ses décisions ; c’est le scénario le plus dangereux, mais Anthropic admet que cela n’est pas certain.
Quel que soit l’avenir, la question clé est de savoir si les humains pourront suivre la vitesse de l’IA et maintenir leur capacité à comprendre, vérifier et intervenir. Si ce n’est pas le cas, le dérapage pourrait devenir une réalité.
Conclusion : La véritable intention de cet appel à l’arrêt
Anthropic ne souhaite pas vraiment arrêter le développement de l’IA ; son objectif est plutôt de rassembler toutes les parties autour d’une table de négociations pour établir des règles avantageuses pour elle. Dans la course à l’IA, le pouvoir de définir les règles est plus important que les capacités des modèles eux-mêmes ; celui qui établit les règles aura un avantage décisif dans l’avenir. Pour le grand public, il est crucial de savoir si ces règles nous protégeront vraiment, ou si elles ne serviront qu’à avantager les entreprises leaders.