Aperçu des principaux points de l'analyse
Ce rapport est comme un seau d'eau froide jeté sur l'industrie des grands modèles, actuellement très en vogue : tous les produits AI majeurs (de GPT à Tongyi Qianwen en Chine) reposent sur la technologie Transformer proposée par Google en 2017. Cette technologie a propulsé l'industrie AI à des niveaux sans précédent au cours des 7 dernières années, mais elle a atteint ses limites naturelles en termes de performance. Les nouvelles fonctionnalités telles que la compréhension de contextes longs ou l'accélération des raisonnements ne sont en fait que des correctifs apportés aux défauts intrinsèques de cette technologie, sans résoudre les problèmes fondamentaux comme l'augmentation vertigineuse des coûts de calcul, la consommation d'énergie élevée et l'incapacité à gérer des tâches complexes.
Actuellement, un groupe de startups AI sans contraintes historiques a développé quatre approches technologiques complètement différentes, permettant d'accélérer la vitesse des grands modèles de plusieurs fois, de réduire les coûts à un fraction de leur valeur initiale et même de réaliser des tâches de raisonnement complexes que les modèles Transformer ne peuvent pas accomplir. Ces innovations pourraient représenter la prochaine vague de développement de l'industrie AI et même bouleverser le paysage concurrentiel actuel.
---
Interprétation détaillée et accessible
1. Pourquoi le “sol sacré” de l'IA est-il devenu un fardeau ?
L'avantage principal du Transformer est également devenu son point faible : sa logique de traitement du texte est extrêmement rigide. Lorsque vous entrez 10 000 mots, le modèle doit comparer chaque mot avec les 9999 autres, ce qui équivaut à devoir réfléchir à toutes les combinaisons de mots pour comprendre le sens global du texte. Cette méthode offre une précision élevée, mais à un coût exorbitant : 10 000 mots nécessitent 50 millions d'opérations de multiplication. OpenAI dépense chaque année 50 milliards de dollars pour l'achat de puissance de calcul. L'Agence internationale de l'énergie prévoit que la consommation d'énergie des data centers doublera d'ici 2030, équivalant à la consommation électrique de la majeure partie de l'Union européenne.
De plus, les tâches confiées aux systèmes AI deviennent de plus en plus complexes (par exemple, lire un code complet, mener des recherches scientifiques de manière autonome sur plusieurs semaines ou résoudre des dizaines de milliers de problèmes mathématiques). La logique rigide du Transformer ne suffit plus. Les fonctionnalités de compréhension de contextes longs, obtenues par l'ajout de serveurs et de correctifs, ne sont qu'une solution temporaire, comparable à essayer de faire fonctionner des jeux 3D sur un ordinateur obsolète avec des disques externes.
2. Réduire les calculs inutiles sans sacrifier la performance
La première approche consiste à améliorer la partie la plus énergivore du Transformer : la comparaison mot à mot. Des startups comme Subquadratic ont développé un mécanisme de sélection dynamique qui permet à l'IA de distinguer les mots clés des mots superflus, réduisant ainsi les calculs inutiles. La société Manifest AI a remplacé le modèle d'attention traditionnel par un système de résumé dynamique, permettant à l'IA de se concentrer uniquement sur les informations essentielles. Ces innovations ont permis à ces startups de rattraper les performances des grands modèles existants et attirent de nombreux utilisateurs.
3. Des petits modèles plus intelligents et économes en énergie
Contrairement à l'idée répandue selon laquelle plus les modèles sont grands, plus ils sont performants, la société Liquid AI, issue du MIT, a adopté une approche opposée. Elle a combiné des technologies inspirées du cerveau des vers avec le Transformer pour créer des modèles beaucoup plus compacts et plus performants (4 fois plus performants que les modèles traditionnels). Ces modèles peuvent être exécutés même sur des plateformes peu puissantes (comme des Raspberry Pi) et peuvent être utilisés par des entreprises de petite taille sans coût significatif, abaissant ainsi les barrières à l'utilisation de l'IA.
4. Améliorer la rapidité de réponse
Les startups comme Inception ont utilisé la technologie de diffusion, déjà mature dans le domaine de la génération d'images, pour améliorer la vitesse de réponse des modèles textuels. Ils ont réussi à transformer des mots désordonnés en phrases cohérentes en un seul coup, accélérant la réponse de l'IA de 10 fois. Google suit également cette voie pour développer de nouveaux produits.
5. Une approche révolutionnaire : éviter la pensée par mots et utiliser la logique abstraite
Les grands modèles Transformer ont une limite naturelle : ils doivent convertir toutes leurs pensées en séquences de texte pour fonctionner. Cette contrainte limite leur efficacité et leur capacité à résoudre des problèmes abstraits. La société Pathway a remplacé le mécanisme d'attention traditionnel par une logique mathématique, permettant à l'IA de compresser les informations en structures abstraites. Leurs modèles peuvent désormais résoudre 97 % des problèmes de Sudoku de haute difficulté. Cette approche ouvre la voie à une nouvelle génération d'IA capable de réaliser des tâches complexes sans dépendre de serveurs cloud et sans risques de violation de la vie privée ou de lenteur de réponse.
En somme, ces innovations pourraient révolutionner l'industrie AI, en permettant à des systèmes plus intelligents et économes en énergie de devenir largement accessibles, bouleversant ainsi le paysage concurrentiel actuel.