虎嗅

**Titre français :** Les trois arguments d'un article de longue portée sur Anthropic qui a fait sensation, ainsi qu'une stratégie sournoise méritant notre vigilance

原文:Anthropic万字爆火长文的三个判断,以及一个值得警惕的阳谋

Résumé des points clés

L’article « When AI builds itself », publié par Anthropic, utilise des données internes réelles pour montrer à quel point l’intelligence artificielle (Claude) participe activement à son propre développement : actuellement, 80 % du code produit par Anthropic est généré par Claude, transformant les ingénieurs de « créateurs de code » en « superviseurs de la qualité du code ». L’article suggère également que la vitesse d’itération de l’IA augmente de manière significative, mais le titre peut induire en erreur en donnant l’impression que l’IA est capable de s’évoluer par elle-même. Il y a deux implications principales : premièrement, l’IA accélère effectivement son développement, mais les décisions clés restent entre les mains des humains ; deuxièmement, Anthropic appelle à la régulation juste avant son financement et son entrée en bourse, probablement dans le but de consolider son avantage concurrentiel.

1. Les ingénieurs passent de « créateurs de code » à « superviseurs de la qualité du code »

Actuellement, 80 % du code d’Anthropic est écrit par Claude, et la quantité de code soumis quotidiennement par les ingénieurs a augmenté de huit fois par rapport à l’année précédente (même si le nombre de lignes de code ne reflète pas nécessairement la qualité, la logique du code vérifiée est correcte). Cela signifie que la manière de travailler des programmeurs a complètement changé : auparavant, ils écrivaient le code, le testaient et le soumettaient eux-mêmes ; maintenant, ils donnent des objectifs à l’IA, qui écrit le code, effectue les tests et corrige les erreurs, tandis que les humains se contentent de vérifier si la direction est appropriée et si les résultats sont corrects.

En d’autres termes, il y a longtemps, un réalisateur devait tenir la caméra et monter le film lui-même ; aujourd’hui, avec 10 équipes de tournage AI à sa disposition, il suffit au réalisateur de dire « filmez cette scène », « ceci n’est pas correct » ou « arrêtez ». La valeur des humains ne réside plus dans leur capacité à exécuter des tâches, mais dans leur capacité à savoir quoi faire et comment juger si quelque chose est bon ou mauvais. Cela est similaire au développement de la photographie mobile : ce qui détermine la qualité d’une photo n’est pas la technologie utilisée pour appuyer sur le déclencheur, mais le choix de l’angle et le sujet de la prise de vue.

Conclusion : La valeur de l’exécution diminue ; la capacité à juger devient la compétence clé du futur.

2. Un nouveau obstacle : Pouvez-vous vérifier les résultats de l’IA ?

L’IA est capable de générer une grande quantité de code, de solutions et d’expériences, mais le fait que les humains ne puissent pas tous les vérifier rapidement devient un problème. Anthropic utilise l’IA pour vérifier le code écrit par l’IA et parvient ainsi à détecter un tiers des erreurs en ligne à l’avance. Cependant, il y a un risque : lorsque Claude vérifie le code écrit par Claude, c’est comme si des étudiants enseignés par le même professeur évaluaient leurs propres travaux, ce qui peut conduire à une méconnaissance collective des mêmes erreurs.

Le plus important est de savoir si l’IA a raison lorsqu’elle prend une décision. Par exemple, si une fonctionnalité développée par l’IA fonctionne correctement, on ne sait pas toujours s’il n’y a pas de risques cachés dans sa logique. Le problème futur des équipes ne sera pas le manque de solutions, mais de savoir quelles des 100 propositions proposées par l’IA sont vraiment viables et lesquelles semblent bonnes mais sont en réalité déviantes.

Conclusion : La compétence la plus rare à l’avenir ne sera pas l’utilisation de l’IA, mais la capacité à vérifier ses résultats – choisir les bons choix, détecter les erreurs cachées et savoir quand arrêter.

3. L’IA avance trop vite ; les humains ont du mal à suivre

L’article indique que le temps nécessaire pour que l’IA termine des tâches complexes a été divisé par deux (de 7 mois à 4 mois). En mars 2024, elle ne pouvait effectuer qu’une tâche de 4 minutes ; en mars 2025, elle en pourrait effectuer une de 1,5 heure, et en mars 2026, une de 12 heures. Bien que le taux de réussite soit seulement de 50 % (et ne puisse pas encore être entièrement confié à l’IA), la tendance est claire : l’IA évolue rapidement et pourrait même aider les entreprises à développer la prochaine génération d’IA, sans être limitée par le nombre d’humains, mais uniquement par les capacités de calcul et les puces.

Cependant, il y a un écart important entre la vitesse des machines (l’IA) et celle de la société humaine. Par exemple, l’IA peut rapidement développer de nouveaux médicaments, mais l’approbation de ces médicaments prend des décennies (il faut vérifier les effets secondaires) ; l’IA peut modifier le code rapidement, mais il faut du temps pour que les utilisateurs s’y habituent (comme pour obtenir les fonctionnalités de mémorisation cérébrale, il faut collecter de nombreuses données d’utilisateurs). Ces facteurs « lents » (lois, éducation, psychologie des utilisateurs) ne peuvent pas être remplacés par l’IA, et c’est là que réside la véritable inquiétude pour les gens ordinaires : ce n’est pas le risque de voir leurs emplois disparaître, mais le fait que les règles sociales ne suivent pas assez rapidement l’évolution technologique.

Conclusion : Si votre travail implique des facteurs lents (comme la compréhension des utilisateurs, le perfectionnement des processus ou l’établissement de confiance), cela peut être un atout pour vous.

4. Le titre est une « feinte d’attaque » : L’IA n’est pas encore capable d’évoluer par elle-même

Le titre de l’article, « When AI builds itself », est très impressionnant, mais la réalité est que l’IA ne fait actuellement que « soutenir le développement humain », et non qu’elle se développe seule. L’évolution réelle de l’IA consisterait à ce qu’elle puisse identifier ses propres faiblesses, proposer des solutions et s’entraîner elle-même, mais Anthropic admet que nous n’en sommes pas encore là.

Par exemple, la création de la structure Transformer a été rendue possible grâce à une discussion entre des ingénieurs de Google dans un couloir, qui a été entendue par le chercheur Xavier Gravelle, qui a ensuite participé activement à la réécriture du code pour surmonter les obstacles. Dans ce processus, les interactions et les décisions humaines ont été déterminantes ; le code n’était que le résultat de ces efforts collectifs. Le fait que 80 % du code d’Anthropic soit généré par l’IA ne signifie pas que 80 % du développement est réalisé par l’IA : les choix des problèmes à aborder, la sélection des résultats et les décisions de pause restent entre les mains des humains.

Conclusion : Ne vous laissez pas tromper par le titre ; l’IA est actuellement un « assistant puissant », mais pas un décideur autonome.

5. L’appel à la régulation : une stratégie pour consolider l’avantage concurrentiel

À la fin de l’article, il est demandé l’établissement d’un mécanisme permettant de suspendre temporairement le développement de l’IA, ce qui semble responsable. Cependant, cela s’inscrit dans un contexte précis : Anthropic vient de lever 650 millions de dollars et sa valeur est estimée à près de un trillion de dollars ; elle a également déposé secrètement une demande d’entrée en bourse. Un appel à la régulation à ce moment-là vise probablement à consolider son avantage concurrentiel, car seules les grandes entreprises peuvent se permettre les coûts liés à la régulation (comme la mise en place de mécanismes de vérification et de processus de conformité), tandis que les petites entreprises n’en ont pas les moyens.

Cela rappelle le Plan Baruch de 1946, lorsqu’les États-Unis, détenteurs monopolaire des armes nucléaires, ont proposé d’établir un système international de contrôle avant de détruire ces armes, dans le but de maintenir leur position dominante. La logique d’Anthropic est similaire : en suspendant le développement de l’IA maintenant, elles pourraient conserver leur avantage sur leurs concurrents.

Conclusion : Lorsque vous lisez un article sur la régulation, pensez à ceux qui en bénéficient avant tout.

Conseils pour lire cet article

1. Croyez aux tendances : L’IA accélère effectivement son développement et la manière de travailler des ingénieurs va changer.

2. Examinez les données avec prudence : Les données fournies par Anthropic (utilisant Claude pour écrire le code) ne représentent pas l’ensemble de l’industrie.

3. Ne croyez pas aux promesses d’évolution autonome de l’IA : Cela fait partie du discours public, mais ce n’est pas la réalité.

4. Soyez vigilant face aux arguments moralisateurs : Les appels à la régulation peuvent cacher des objectifs commerciaux.

En résumé, l’IA est un outil, mais les stratégies des personnes et des entreprises qui la développent sont bien plus importantes à comprendre.

Lien de l’article original : https://www.anthropic.com/institute/recursive-self-improvement