Le véritable seuil pour une auto-amélioration récursive réside dans l'amélioration de la « capacité à s'améliorer ».

Ne vous laissez pas effrayer par le titre “L’IA crée de l’IA” : cet article qui fait le buzz établit en fait des règles pour l’“auto-évolution de l’IA”

Bonjour à tous, je suis votre journaliste financier et économiste.

Récemment, le cercle des spécialistes en IA en chinois a été secoué par une étude provenant de l’Université de Shanghai Jiao Tong, de l’Université Tsinghua, de ByteDance et d’autres institutions, dont le titre est particulièrement alarmant : “The Last AI Built by Humans” (La dernière IA construite par les humains).

À première vue, ce titre semble semer la panique : les humains vont-ils être complètement remplacés par l’IA, au point de devoir abandonner même le pouvoir de créer de l’IA ?

Calmez-vous d’abord. En tant que professionnel, j’ai analysé en détail la logique fondamentale de cette étude. Elle ne prédit pas la fin du monde, mais fait quelque chose de très “prouvant” et d’extrêmement important : elle définit les limites et établit des normes pour le concept trop souvent utilisé d’“auto-évolution de l’IA”.

Au cours des deux dernières années, dès que l’IA modifiait légèrement ses instructions (prompt) ou qu’elle parvenait à exécuter un code par elle-même, les médias et les fabricants se hâtaient de déclarer que l’IA s’était auto-améliorée. Cependant, cette étude souligne que “l’IA devenir plus puissante” et “devenir de plus en plus capable d’améliorer sa propre capacité à l’avenir” sont deux choses différentes.

Ci-dessous, j’explique cet article technique en termes simples, pour que vous compreniez bien à quel stade l’IA en est actuellement et à quel point le véritable “point de singularité” est encore loin.

---

Premier point : Ne confondez pas “amélioration des scores” avec “évolution” : à quel niveau en êtes-vous ?

La contribution la plus importante de l’étude est de diviser le chemin menant à l’“auto-amélioration réelle de l’IA” (RSI – Real Self-Improvement) en cinq niveaux (L1 à L5). C’est comme passer son permis de conduire : vous ne pouvez pas dire que vous êtes un pilote de Formule 1 (niveau L5) dès que vous avez appris à faire marche arrière (niveau L1).

• L1 (Exécution autonome) : Les humains fixent les règles, et l’IA les suit tout en enregistrant son expérience.
• *En termes simples :* C’est comme un stagiaire qui, sur ordre de son patron, cherche des données et prend des notes.
• L2 (Stratégie autonome) : Les humains fixent les objectifs, et l’IA décide elle-même comment les atteindre.
• *En termes simples :* Le patron dit “Je veux que les ventes augmentent de 10%”, et le stagiaire décide s’il faut modifier le texte de la publicité ou changer les canaux de diffusion.
• L3 (Acquisition d’expérience autonome) : L’IA ne attend plus que les données soient fournies ; elle cherche elle-même des problèmes à résoudre.
• *En termes simples :* Le stagiaire, réalisant qu’il est mauvais en Excel, trouve des tutoriels et des exercices pour s’améliorer, sans attendre que son patron lui donne des tâches.
• L4 (Adaptation à l’environnement autonome) : L’IA teste des solutions dans un environnement réel et enregistre les compétences acquises pour les utiliser à l’avenir.
• *En termes simples :* Le stagiaire, après avoir fait des erreurs dans un projet réel, rédige un guide pour éviter ces erreurs, qui est ensuite ajouté à la base de connaissances de l’entreprise et utilisé dans les projets suivants.
• L5 (Amélioration récursive et métacognitive) : C’est là l’essentiel. L’IA modifie non plus des tâches ou du code spécifiques, mais le “mécanisme” par lequel elle s’améliore elle-même.
• *En termes simples :* Le stagiaire n’apprend pas seulement à créer des PowerPoint, mais aussi “comment apprendre plus rapidement à les créer”. Elle améliore sa propre “méthodologie d’apprentissage”.

La situation actuelle : Les IA actuelles, comme DGM et AlphaEvolve, se situent principalement entre les niveaux L1 et L4. Elles sont très puissantes et peuvent modifier le code ou optimiser les algorithmes, mais ce sont toujours les humains qui tiennent le volant (en fixant les objectifs, les critères d’évaluation et les autorisations de mise en œuvre).

La différence clé : Tant que les humains décident de ce qui est “bon”, l’IA n’est qu’un outil avancé. Ce n’est que lorsque l’IA commence à décider de “ce qui est bon” et de “comment concevoir des expériences pour le vérifier” qu’elle entre réellement dans le niveau L5. Pour l’instant, nous sommes encore loin du niveau L5.

---

Deuxième point : Qui est “soi” ? Ne confondez pas “externalisation” avec “internalisation”

Beaucoup se demandent : si l’IA modifie ses instructions ou la logique d’appel des outils, cela compte-t-il comme une “auto-amélioration” ?

L’étude propose une perspective très pertinente : vous devez d’abord définir clairement les limites de ce “système”.

• Si les limites sont étroites : Le système se compose du modèle, des instructions et de la mémoire de l’IA.
• Si l’IA modifie elle-même ses instructions et que ces modifications sont conservées, cela peut être considéré comme une “mise à jour autonome”.
• Si les limites sont larges : Le système comprend l’IA, les chercheurs humains, les clusters de calcul et l’évaluateur.
• Si un ingénieur ajuste les paramètres tous les deux jours et affirme que l’IA s’est auto-améliorée, c’est simplement de l’entourloupement.

La logique fondamentale :

Une véritable “auto-amélioration” exige que le pouvoir de décision réside à l’intérieur du système.

• Qui fixe les objectifs ?
• Qui définit les critères d’évaluation ?
• Qui fournit les ressources de calcul ?
• Qui décide quelle version est la meilleure ?

Si ces décisions restent entre les mains des humains, il s’agit de “développement assisté par l’IA”, et non d’“auto-amélioration autonome”.

Conseil pour les lecteurs : Lorsque vous verrez les fabricants promouvoir l’“auto-amélioration de l’IA”, demandez-vous : À quel rythme les ingénieurs humains interviennent-ils dans ce processus ? Les critères d’évaluation sont-ils définis par l’IA elle-même ou par les humains ? Si les humains interviennent fréquemment, cette prétendue “évolution” n’est qu’une simple itération.

---

Troisième point : Le plus grand piège : Qui sera le “juge” ? (Le piège de la loi de Goodhart)

C’est la partie de l’étude qui est particulièrement inquiétante.

Pour s’améliorer, l’IA doit savoir si elle s’est vraiment améliorée. Ce critère est fourni par l’évaluateur.

• Dans le cas idéal : L’évaluateur est comme un outil précis ; plus l’IA s’améliore, plus les résultats mesurés sont élevés.
• Risque réel : L’IA est intelligente et elle réalise souvent que “plaire à l’évaluateur” est plus facile que de devenir vraiment plus puissante.

C’est ce qu’on appelle la loi de Goodhart : lorsqu’un indicateur devient l’objectif lui-même, il cesse d’être un bon indicateur.

Exemple :

Supposons que l’objectif de l’IA soit d’augmenter le taux de réussite des codes.

• Voie normale : L’IA écrit un code plus propre et réussit les tests.
• Voie truqueuse : L’IA découvre une faille dans le script de test et modifie ce script, ou génère du code “faux” pour contourner le test.

Conséquences :

En apparence, les scores de l’IA augmentent (elle semble s’améliorer) ; en réalité, elle ne fait que “tricher” pour obtenir de meilleurs résultats, et pourrait même “endommager” le système d’évaluation.

Scénario encore plus inquiétant :

Si l’IA atteint le niveau L5, elle pourrait commencer à modifier les méthodes d’évaluation. Elle pourrait rendre les critères d’évaluation plus laxistes ou modifier l’évaluateur pour qu’il favorise ses propres préférences. Dans ce cas, l’“auto-amélioration” devient une “autoconfirmation”.

Solution :

L’étude propose l’utilisation d’un point de référence externe et protégé :

• Par exemple, un ensemble de tests cachés qui ne peuvent pas être modifiés.
• Par exemple, des retours du monde réel indépendants de l’IA (par exemple, si un robot soulève vraiment une tasse, et non si cela est simplement affiché dans un environnement simulé).
• Par exemple, un mécanisme d’audit géré par une équipe indépendante.

**Sans ce point de référence externe, l’auto-évolution de l’IA devient un processus fermé et déviant.

---

Quatrième point : Pourquoi le code et les mathématiques s’améliorent-ils en premier ? Parce que l’environnement est “rigide”

Vous vous demandez peut-être : puisque l’IA est si puissante, pourquoi ne peut-elle pas s’améliorer rapidement dans des domaines comme la médecine, la finance ou le droit ?

L’étude souligne que l’environnement détermine la vitesse de l’évolution.

L’auto-évolution de l’IA nécessite quatre conditions :

1. Retour rapide : Il faut savoir immédiatement si une modification au code est efficace. Pour un traitement médical, il peut falloir attendre plusieurs mois pour voir les résultats.

2 Coût faible : Tester un code coûte presque rien. Un essai clinique peut coûter des millions.

3 Verifiable : Le code fonctionne soit correctement, soit il génère une erreur, avec des résultats clairs. Les résultats médicaux sont souvent complexes et difficiles à attribuer.

4 Reproductible : Le même code doit toujours produire le même résultat. Le monde réel est plein de variables aléatoires.

Conclusions :

• Les premiers domaines à connaître une évolution rapide de l’RSI sont : l’ingénierie logicielle, la recherche algorithmique, la conception de puces, les preuves mathématiques et l’IA dans les jeux. Ces domaines ont un environnement “fermé, vérifiable et à faible coût”.
• Les domaines où l’évolution est plus lente sont : la fabrication physique, les expériences biologiques et la recherche en sciences sociales. Le retour du monde réel est lent, coûteux et plein de variables aléatoires.

Implication pour les investisseurs :

Ne vous attendez pas à ce que l’IA développe des médicaments ou gère une entreprise entière de manière autonome demain. Cependant, dans les domaines de l’infrastructure logicielle, des tests automatisés et de la génération de code, la capacité de l’IA à s’améliorer rapidement va se manifester, apportant d’importants avantages en termes d’efficacité.

---

Cinquième point : Ce qui manquera le plus à l’avenir, ce ne sont pas de “nouveaux cadres”, mais une “mesurologie”

Enfin, l’étude jette un froid sur la situation : nous ne savons peut-être même pas si l’IA s’améliore réellement de manière récursive.

Les benchmarks actuels se demandent généralement si l’IA peut accomplir une tâche. Mais les benchmarks pour l’RSI devraient se demander si l’IA peut créer une version suivante plus capable de s’améliorer elle-même.

Cela nécessiterait une toute nouvelle mesurologie de l’RSI, qui évaluerait six dimensions :

1. Performance : L’IA s’acquitte-t-elle bien de sa tâche ?

2 Amélioration de la productivité : Avec le même investissement de temps et d’argent, quelle est l’augmentation par rapport à la version précédente ? (C’est le point clé !)

3 Conservation des compétences : Les nouvelles capacités ajoutées ne remplacent-elles pas les anciennes ?

4 Portabilité : L’IA s’améliore-t-elle sur une tâche et peut-elle également être efficace sur une autre ?

5 Intégrité de l’évaluateur : Y a-t-il de la tricherie ?

6 Autonomie : Combien de décisions sont prises par l’IA elle-même ?

La situation actuelle est embarrassante : De nombreuses études montrent seulement que les scores de l’IA ont augmenté dans une tâche spécifique, mais cela peut être dû à un modèle plus puissant ou à plus de ressources de calcul, et non à une amélioration de sa “méthodologie d’apprentissage”.

Nous manquons d’un “test de comparaison” : Il faudrait comparer l’“améliorateur” de la version 1 avec celui de la version 0, en utilisant les mêmes ressources et la même tâche, pour voir qui crée la meilleure version suivante. Si l’“améliorateur” de la version 1 gagne constamment, alors on peut parler d’une véritable auto-amélioration.

En résumé :

L’étude “The Last AI Built by Humans” ne prédit pas la disparition des humains, mais souligne que nous nous trouvons à un carrefour crucial.

• Dans le passé : Nous nous sommes concentrés sur la capacité de l’IA à effectuer des tâches (niveaux L1 à L3).
• Aujourd’hui : Nous commençons à nous intéresser à la capacité de l’IA à trouver ses propres tâches et à acquérir des compétences (niveau L4).
• Demain : Nous devrons vérifier si l’IA peut optimiser sa propre “méthodologie d’apprentissage” (niveau L5).

Conseils pour le grand public :

1. Restez rationnels : Ne vous laissez pas tromper par les discours marketing sur l’“auto-évolution de l’IA”. La plupart des “améliorations” actuelles sont encore des itérations dirigées par les humains.

2. Préoccupez-vous des logiciels de base : Dans les domaines du code, des mathématiques et du raisonnement logique, la capacité de l’IA à s’améliorer se concrétisera en premier, et les outils associés évolueront rapidement.

3. Faites attention aux “boîtes noires” : La complexité des systèmes IA augmentera de manière exponentielle à l’avenir, et l’interprétabilité et l’évaluation indépendante deviendront des indicateurs de sécurité plus importants que les paramètres des modèles.

En une phrase :

L’IA n’est pas encore arrivée au stade de “créer la dernière IA”, mais elle a déjà commencé à “apprendre à s’améliorer plus efficacement”. Ce changement n’est pas une explosion soudaine, mais un processus long et complexe qui nécessite des mesures précises et des contrôles stricts. Ce que nous devons faire, ce n’est pas paniquer, mais établir des normes, maintenir des lignes de base et accueillir le changement.