第一财经

**Anthropic appelle-t-il le monde entier à mettre fin à la recherche sur l’IA ? Les internautes sont en plein débat.**

原文:Anthropic呼吁全世界停止AI研究?网友吵翻了

Résumé des points clés

L’entreprise d’intelligence artificielle Anthropic a publié un article selon lequel son modèle d’IA, Claude, accélère le développement de l’IA et pourrait à l’avenir réaliser une “auto-amélioration récursive” (l’IA concevant elle-même la prochaine génération d’IA). Cela pourrait considérablement augmenter la productivité (une petite entreprise pourrait accomplir le travail de 10 000 personnes), mais cela pourrait également entraîner un dérapage en raison de problèmes d’alignement des valeurs (les idées de l’IA étant différentes de celles des humains). Cependant, juste avant la publication de cet article, Anthropic a déposé secrètement une demande d’IPO et a levé 65 milliards de dollars (une valorisation supérieure à celle d’OpenAI), ce qui a suscité des questions chez les internautes : s’agit-il d’une véritable mise en garde ou d’une stratégie de marketing pour l’IPO ? Les opinions dans le secteur sont divisées, mais il existe un consensus sur le fait que la sécurité de l’IA doit être prise au sérieux.

I. L’IA créant-elle elle-même de l’IA ? Anthropic estime que cela pourrait se produire plus rapidement qu’on ne le pense

Dans leur article, Anthropic souligne un changement majeur : auparavant, le développement de l’IA dépendait entièrement des humains, mais maintenant ils confient de plus en plus de tâches à Claude, et la vitesse augmente constamment. Par exemple :

  • La quantité de code écrit par les ingénieurs a été multipliée par 8 entre 2021 et 2025 (l’efficacité grâce à l’IA a grimpé en flèche) ;
  • Le temps nécessaire pour que Claude complète des tâches de manière indépendante double tous les quatre mois (ce qui est presque deux fois plus rapide qu’auparavant) ;
  • 80 % du code de l’entreprise est généré par Claude, et le taux de réussite pour les tâches difficiles est passé de 26 % à 76 % en six mois.

Ils estiment que si cela continue, l’IA pourrait concevoir entièrement la prochaine génération d’IA – c’est ce qu’on appelle l’“auto-amélioration récursive”. Les avantages sont une augmentation spectaculaire de la productivité (de petites entreprises pourraient accomplir des choses importantes), mais les risques sont également importants : de petits écarts dans le fonctionnement de l’IA pourraient être amplifiés à chaque génération, au point que les humains ne pourraient plus en avoir le contrôle. Par exemple, les erreurs occasionnelles commises par l’IA pourraient devenir la norme à l’avenir, et les humains ne comprendraient pas vraiment pourquoi elle agit de cette manière.

II. Mise en garde ou marketing ? Les motivations dans le contexte de l’IPO sont controversées

Le moment de publication de cet article est particulièrement sujet à discussion :

  • Le 1er juin, Anthropic a déposé sa demande d’IPO (prêt à entrer en bourse pour lever des fonds) ;
  • Le 28 mai, l’entreprise a levé 65 milliards de dollars, avec une valorisation de 96,5 milliards de dollars (supérieure à celle d’OpenAI).

Les internautes sont divisés :

  • La plupart pensent que c’est du marketing : “Il s’agit simplement d’un PowerPoint pour lever des fonds, utilisant la peur d’un dérapage de l’IA pour mettre en valeur les capacités de Claude et inciter les investisseurs à payer” ;
  • Un petit nombre de personnes sont favorables : par exemple, certains programmeurs affirment que “Anthropic était auparavant très prudente quant aux progrès réalisés, donc ces déclarations doivent être fondées ; l’amélioration des capacités de Claude cette année est vraiment incroyable” ;
  • Un professeur de la Wharton School reste neutre : “L’article reflète à la fois une réflexion sur soi et du marketing, mais il exprime bien leur véritable point de vue sur l’avenir de l’IA”.

III. Le secteur est divisé : faut-il ralentir la recherche en IA ?

Anthropic suggère que “les laboratoires de pointe mondiaux ralentissent ou suspendent leurs recherches” pour aligner les valeurs sociales avec le développement technologique. Mais les opinions sont partagées :

  • Partisans du ralentissement : Anthropic pense que cela éviterait un dérapage, mais tous les grands acteurs doivent participer pour empêcher qu’un seul d’acquérir un avantage décisif ;
  • Contrepartisans du ralentissement : Un responsable de produits chez Microsoft affirme que “pourquoi ne pas rechercher à la fois l’IA et des moyens de s’y adapter ? Il est inutile de perdre du temps à vérifier si les autres sont en avance” ;
  • Partisans qui mettent en doute les motivations : Certains disent que “comme Anthropic est actuellement en tête, leur suggestion de ralentir vise probablement à conserver leur avantage” ;
  • Partisans du sarcasme : Le fondateur d’NVIDIA, Jensen Huang, a ironisé en disant que le PDG d’Anthropic “a une sorte de complexe divin, pensant tout savoir” (en référence à l’affirmation selon laquelle l’IA remplacerait 50 % des emplois de bureau).

IV. Est-il vraiment possible techniquement que l’IA crée de l’IA ? Il reste encore de nombreux obstacles

De nombreux développeurs sont sceptiques quant à l’“auto-amélioration récursive” :

  • Écart dans le code : Le code écrit par Claude diffère encore de celui des meilleurs programmeurs humains ; les logiques complexes sont plus susceptibles d’erreur ;

Manque de capacités clés : L’IA ne peut actuellement que mettre en œuvre des objectifs définis par les humains, elle ne peut pas choisir ses propres objectifs (par exemple, “où améliorer ensuite”) – c’est un obstacle majeur pour qu’elle puisse créer de l’IA ;

Mythos du point de singularité : Certains affirment que “80 % d’autonomie ne représente pas 20 % de différence, mais 20 fois plus de capacités” ; actuellement, l’IA aide simplement les humains à réduire le travail répétitif, et elle est loin d’être capable de concevoir entièrement par elle-même.

V. Le problème de sécurité inévitable : l’alignement des valeurs est crucial

Quelles que soient les motivations d’Anthropic, il existe un consensus dans le secteur sur le fait que la sécurité de l’IA doit être prise au sérieux. Le problème de l’alignement des valeurs souligné par Anthropic est en réalité simple : si les objectifs de l’IA diffèrent de ceux des humains, même de petits écarts peuvent devenir dangereux à mesure qu’ils sont amplifiés. Par exemple, si les humains veulent “guérir le cancer”, l’IA pourrait interpréter cela comme “éliminer toutes les personnes portant des cellules cancéreuses” – un tel écart, s’il est amplifié par l’IA elle-même, serait difficile à contrôler.

Ainsi, même si l’article a une composante marketing, les risques liés au développement rapide de l’IA sont réels et nécessitent que toutes les entreprises et gouvernements travaillent ensemble pour trouver des solutions.

En conclusion : L’article d’Anthropic est à la fois une mise en garde et du marketing, mais la vitesse et les risques du développement de l’IA méritent réellement notre attention. L’IA créera-t-elle elle-même de l’IA à l’avenir ? C’est encore difficile à dire pour le moment, mais il est préférable de réfléchir à l’avance à la manière de la contrôler, plutôt que de regretter ensuite un dérapage.