**La IA peut-elle vraiment apprendre à calculer mentalement ? La chaîne de pensée implicite est prouvée pour la première fois, avec la participation de Stuart Russell**

Résumé des points clés

Ce rapport de presse se concentre sur les « points douloureux en termes de coûts » des modèles d'inférence basés sur l'intelligence artificielle (IA). Actuellement, lorsque les IA utilisent une chaîne de pensée explicite (CoT) pour résoudre des problèmes, elles génèrent un grand nombre d'étapes intermédiaires (comme sur un brouillon), ce qui entraîne une consommation élevée de tokens et des temps d'inférence lents. Une nouvelle étude propose une méthode d'optimisation appelée « chaîne de pensée implicite (ICoT) » : Log-ICOT, qui utilise une structure arborescente pour entraîner le modèle afin que les étapes intermédiaires soient « internalisées » dans les couches cachées. Lors de l'inférence, seules les réponses sont affichées. Pour la première fois, l'efficacité de cette méthode a été prouvée mathématiquement, ce qui offre une base théorique pour réduire les coûts et les temps d'inférence de l'IA.

1. La chaîne de pensée explicite : le « brouillon » coûteux

Lorsque les modèles IA résolvent des problèmes mathématiques ou écrivent du code, ils « réfléchissent » étape par étape, comme les humains, et ces processus de réflexion (par exemple, « calculer d'abord le chiffre une, puis le chiffre dix ») sont exprimés sous forme de tokens. Cependant, cela présente des inconvénients :

• Coûteux : Le nombre de tokens nécessaires pour résoudre un problème complexe peut être plus de 10 fois supérieur à celui d'une conversation ordinaire, entraînant une augmentation significative des coûts en ressources de calcul ;
• Lents : Les étapes de réflexion sont séquentielles (il faut attendre que l'étape précédente soit terminée avant de passer à la suivante), ce qui ralentit le processus.

Par exemple, si vous aidez un enfant à calculer 123 × 45 et qu'il écrit chaque étape sur du papier, vous devez attendre qu'il ait fini pour voir le résultat. C'est exactement le principe de la chaîne de pensée explicite de l'IA : les tokens intermédiaires consomment à la fois des ressources (papier) et du temps.

2. La chaîne de pensée implicite : une tentative pour que l'IA fasse « de l'arithmétique mentale »

Existe-t-il un moyen de permettre à l'IA de donner directement la réponse sans écrire de brouillon ? C'est l'idée de l'ICoT : cacher les étapes intermédiaires dans le « cerveau » du modèle (les couches cachées). Des tentatives ont déjà été faites :

• D'abord, faire résoudre le problème à l'IA avec une chaîne de pensée explicite, puis réduire progressivement le nombre d'étapes intermédiaires (en cachant un token à chaque fois) pour que le modèle s'habitue à l'« arithmétique mentale ».

Cependant, ces méthodes présentent des inconvénients notables : si la chaîne de pensée comporte 16 étapes, il faut entraîner le modèle 15 fois (en cachant un token à chaque fois), ce qui augmente linéairement les coûts. De plus, personne ne peut garantir que cette méthode soit efficace ; et si le modèle s'embrouille en cours d'entraînement ?

3. Log-ICOT : une approche arborescente pour rendre l'« arithmétique mentale » plus efficace

L'innovation principale de cette nouvelle étude réside dans la conception rénovée des cours d'entraînement utilisant une structure arborescente, ce qui résout les problèmes précédents d'efficacité :

• La chaîne de pensée est essentiellement arborescente : par exemple, la vérification du parité sur 16 bits (pour déterminer si le produit est positif ou négatif) peut être décomposée en 4 niveaux de arbres binaires (chaque niveau implique des multiplications par paires de bits) ;
• Cacher toutes les étapes en une seule fois : au lieu de cacher un token à chaque fois, on cache tout un niveau de l'arbre. Ainsi, pour une chaîne de 16 étapes, il suffit d'entraîner le modèle 4 fois (log₂16 = 4), ce qui augmente l'efficacité de plus de trois fois ;
• Alignement des niveaux du modèle : Chaque couche du Transformer correspond à un niveau de l'arbre ; la première couche traite les produits des paires de bits du niveau inférieur, la deuxième couche traite les résultats de la couche supérieure, et ainsi de suite. Le modèle a une « division claire des tâches », ce qui évite le désordre.

4. Une avancée théorique : la première preuve mathématique de l'efficacité de l'arithmétique mentale

Le point le plus remarquable de cette étude est que l'efficacité de l'ICoT a été prouvée pour la première fois de manière rigoureuse :

• Concluion théorique : Un modèle Transformer de niveau L, entraîné avec Log-ICOT, nécessite un nombre polynomial de données d'entraînement et log₂k sessions d'entraînement pour fournir directement la réponse correcte lors des tests (avec une erreur très faible) ;
• Résolution de deux problèmes majeurs :
• Effondrement de la représentation : Les modèles à plusieurs niveaux ont tendance à « normaliser » les informations ; l'équipe a introduit des mécanismes de contrôle pour activer uniquement les éléments correspondant au niveau spécifique de l'arbre, évitant ainsi la perte d'informations ;
• Propagation des erreurs : Les petites erreurs détectées au début de l'entraînement peuvent être amplifiées ; l'équipe a utilisé une méthode de quantification pour arrondir les poids d'attention, permettant de fixer les couches déjà entraînées et d'empêcher la propagation des erreurs.

5. Validation expérimentale : 4 sessions d'entraînement suffisent pour atteindre un résultat parfait en arithmétique mentale

L'équipe a testé cette méthode sur une tâche de vérification du parité sur 16 bits :

• 4 phases d'entraînement (correspondant à 4 niveaux de l'arbre) ; lors de la dernière phase, toutes les étapes intermédiaires ont été cachées, et le modèle n'a reçu que l'entrée originale ;
• Le taux de précision sur l'ensemble de validation était de 100 %, et les cartes de chaleur des poids d'attention montrent que chaque couche du modèle correspondait précisément au niveau correspondant de l'arbre. Le modèle a vraiment appris à effectuer des calculs mentaux.

Signification future et défis

• Signification : Si cette méthode est appliquée aux grands modèles d'apprentissage automatique (LLM) tels que GPT, elle permettrait de réduire la consommation de tokens et les temps d'inférence tout en conservant les capacités de raisonnement de l'IA, ce qui pourrait entraîner une baisse des coûts d'utilisation de l'IA (par exemple, les frais d'API de ChatGPT pourraient diminuer) ;
• Défis : Cette méthode n'a été vérifiée que sur des tâches synthétiques (comme la vérification du parité) ; il reste à explorer comment concevoir des phases d'entraînement adaptées aux chaînes de pensée des LLM réels, qui n'ont pas nécessairement une structure arborescente claire.

En somme, cette étude transforme l'« art de la réflexion silencieuse » de l'IA en une approche scientifique, ouvrant la voie à des modèles d'inférence plus efficaces et moins coûteux.

(Tout le texte utilise des métaphores simples et des exemples du quotidien pour que les lecteurs non spécialisés en finance ou en IA puissent comprendre facilement la logique sous-jacente.)