---
Resumen del contenido principal
Este artículo representa un baño de agua fría para la actualmente muy popular industria de los grandes modelos de inteligencia artificial: todos los productos principales de IA (desde GPT hasta el chino Tongyi Qianwen) se basan en la tecnología Transformer, propuesta por Google en 2017. Esta tecnología ha llevado a la industria de la IA a niveles sin precedentes en los últimos 7 años, pero ha alcanzado su techo de rendimiento inherente. Las nuevas funciones como el “contexto extendido” y la “aceleración de la inferencia” que hemos visto recientemente no son más que parches para las deficiencias intrínsecas de la tecnología original, y no resuelven los problemas fundamentales de los costos exorbitantes de la computación, el aumento drástico del consumo de energía y la incapacidad de manejar tareas complejas.
Actualmente, un grupo de startups de IA sin cargas históricas ha desarrollado cuatro enfoques tecnológicos completamente diferentes que pueden multiplicar la velocidad de los grandes modelos por varios factores y reducir los costos a una fracción de su nivel actual. Estos enfoques incluso pueden realizar tareas de inferencia complejas que los modelos Transformer no pueden hacer, lo que podría marcar la próxima ola de crecimiento en la industria de la IA y cambiar completamente la estructura competitiva del sector.
---
Interpretación detallada y sencilla
1. ¿Por qué la tecnología Transformer, que una vez fue revolucionaria, ahora es un estorbo?
La principal ventaja de Transformer también es su mayor debilidad: su lógica para procesar texto es demasiado rígida. Cuando se introducen 10,000 palabras, el modelo debe comparar cada una de ellas individualmente con las otras 9,999, lo que es equivalente a leer un artículo de 10,000 palabras y considerar cada posible combinación de palabras antes de poder entender el significado general. Este enfoque ofrece una alta precisión, pero a un costo exorbitante: se necesitan 50 millones de operaciones de multiplicación para procesar 10,000 palabras. OpenAI gasta 50 mil millones de dólares al año en computación, y la Agencia Internacional de Energía predice que el consumo de energía de los centros de datos globales se duplicará para 2030, lo que equivale al consumo de energía de casi toda la Unión Europea. Además, las tareas que la IA debe realizar son cada vez más complejas (por ejemplo, leer un código completo, realizar investigación científica de manera autónoma durante varias semanas o resolver decenas de miles de problemas matemáticos), y el enfoque rígido de Transformer no es adecuado para esto. Las funciones de “contexto extendido” que se han implementado son solo soluciones temporales, similar a intentar hacer funcionar juegos de alta gama en una computadora antigua con discos duros externos.
2. Reduciendo el consumo de energía sin sacrificar el rendimiento
El primer enfoque práctico es modificar el aspecto más energívoro de Transformer: el proceso de comparación palabra por palabra. Dos startups, Subquadratic y Manifest AI, han resuelto este problema. Subquadratic ha desarrollado un mecanismo de selección dinámica que permite al AI identificar las palabras clave y omitir las palabras irrelevantes, mejorando el rendimiento hasta alcanzar el nivel de los modelos principales del mercado. Manifest AI ha reemplazado el enfoque tradicional de atención completa por un modelo de “resumen desplazable”, lo que reduce significativamente el consumo de energía y permite que modelos antiguos (sin necesidad de reentrenamiento) funcionen de manera más eficiente.
3. Modelos más pequeños y más inteligentes
Liquid AI, una empresa respaldada por MIT, ha creado modelos más pequeños y eficientes. En lugar de utilizar grandes cantidades de datos y parámetros, estos modelos utilizan redes neuronales “líquidas” inspiradas en el cerebro de los gusanos, lo que los hace 4 veces más potentes que los modelos tradicionales. Estos modelos pueden ejecutarse incluso en dispositivos económicos como placas Raspberry Pi y en chips de bajo costo, reduciendo así las barreras de acceso a la IA y eliminando preocupaciones sobre privacidad y respuesta lenta.
4. Mejorando la eficiencia de la generación de contenido
Las empresas Inception y otras han adoptado técnicas de generación de imágenes para mejorar la eficiencia de la generación de texto. En lugar de generar contenido palabra por palabra, estos modelos pueden convertir conjuntos de palabras en frases coherentes de manera más rápida y eficiente. El modelo más reciente de Inception tiene un rendimiento comparable al de GPT-4 de 2023, a un décimo del costo original, y hasta Google está explorando este enfoque.
5. Pensamiento alternativo: evitar la lógica textual y utilizar lógica abstracta
Los modelos Transformer tienen un techo de rendimiento inherente debido a su necesidad de convertir todo en secuencias de texto. Pathway ha eliminado este requisito, permitiendo que el AI comprese información de manera más directa y eficiente. Esto ha mejorado la capacidad del AI para resolver problemas complejos, incluso aquellos que no pueden describirse con palabras. Este enfoque representa la verdadera dirección futura de la IA.
---
Este análisis destaca los avances tecnológicos que podrían transformar radicalmente la industria de la IA, reduciendo costos, aumentando la eficiencia y abriendo nuevas posibilidades para su aplicación en diversos campos.