虎嗅

El verdadero umbral para el auto-mejoramiento recursivo radica en mejorar la “capacidad de mejorar”.

原文:递归自我改进的真门槛,是改进“改进能力”

No te asustes por el título “AI que crea más AI”: este artículo que ha hecho furor en las redes en realidad está estableciendo reglas para la “autoevolución” del AI

Hola a todos, soy vuestro periodista financiero y economista.

Recientemente, el mundo del AI en chino se ha vuelto loco con un artículo publicado por instituciones como la Universidad de Shanghai Jiao Tong, Tsinghua y ByteDance, con un título extremadamente alarmante: “The Last AI Built by Humans” (El último AI creado por humanos).

A primera vista, este título parece sembrar el pánico: ¿acaso los humanos serán completamente reemplazados por el AI, hasta el punto de tener que ceder el poder de crearlo?

Pero no os preocupéis demasiado. Como profesional, he analizado cuidadosamente la lógica central de este artículo. En realidad, no predice el fin del mundo, sino que realiza algo muy “aburrido” pero extremadamente importante: establecer límites y criterios para el concepto de “autoevolución” del AI, que ha sido mal utilizado hasta ahora.

En los últimos dos años, cada vez que el AI cambiaba ligeramente sus instrucciones (prompt) o ejecutaba un código por sí mismo, los medios y las empresas se apresuraban a decir que el AI había “autoevolucionado”. Sin embargo, este artículo señala que “que el AI se vuelva más fuerte” y “que sea cada vez más capaz de hacer que su futuro yo sea más fuerte” son dos cosas diferentes.

A continuación, explicaré este artículo técnico en lenguaje sencillo para que entendáis completamente hasta qué punto ha evolucionado el AI en la actualidad y cuánto falta para alcanzar lo que se llama el “punto de inflexión”.

---

Primero: No confundas “mejorar las calificaciones” con “evolución”: ¿en qué nivel te encuentras?

La contribución más importante del artículo es dividir el camino hacia la “verdadera autoimprovisación del AI” (RSI, por sus siglas en inglés) en cinco niveles (L1-L5). Es como obtener una licencia de conducir: no puedes decir que eres un piloto de F1 (L5) solo porque has aprendido a dar marcha atrás (L1).

  • L1 (Ejecución autónoma): Los humanos establecen las reglas y el AI las sigue, y también registra la experiencia.
  • *En lenguaje sencillo:* Es como un estudiante practicante que recibe la tarea de buscar datos y luego toma notas.
  • L2 (Estrategia autónoma): Los humanos establecen objetivos y el AI decide cómo mejorarlos.
  • *En lenguaje sencillo:* El jefe dice “Quiero que las ventas aumenten un 10%” y el estudiante decide si cambiar el texto del anuncio o el canal de publicidad.
  • L3 (Obtención autónoma de experiencia): El AI ya no espera que los humanos le proporcionen datos; busca por sí mismo los problemas para resolver.
  • *En lenguaje sencillo:* El estudiante descubre que no es bueno con Excel y busca tutoriales y ejercicios por su cuenta, en lugar de esperar que el jefe le dé tareas.
  • L4 (Adaptación autónoma al entorno): El AI prueba y error en entornos reales y guarda las habilidades que ha aprendido para usarlas en el futuro.
  • *En lenguaje sencillo:* El estudiante comete errores en un proyecto real, resume una serie de consejos para evitarlos y los incluye en la base de conocimientos de la empresa, que luego puede utilizar en proyectos futuros.
  • L5 (Mejora recursiva): Este es el punto clave. El AI ya no mejora tareas específicas o código, sino el mecanismo por el cual se mejora a sí mismo.
  • *En lenguaje sencillo:* El estudiante no solo aprende a hacer presentaciones (PPT), sino también a aprender a hacerlas más rápidamente. Ha mejorado su “metodología de aprendizaje”.

La situación actual es: El AI actual (como DGM, AlphaEvolve, etc.) se encuentra principalmente entre los niveles L1 y L4. Es muy poderoso y puede modificar código y optimizar algoritmos, pero los humanos todavía tienen el control (establecen los objetivos, los criterios de evaluación y los permisos para lanzar las mejoras).

La diferencia clave: Mientras los humanos sigan decidiendo “qué es bueno”, el AI es solo una herramienta avanzada. Solo cuando el AI comience a decidir “cómo definir lo que es bueno” y “cómo diseñar experimentos para verificarlo”, realmente habremos entrado en el nivel L5. Por ahora, estamos muy lejos de L5.

---

Segundo: ¿Quién es el “yo” en esta autoevolución? No confundas el “subcontrato” con la “internalización”

Muchas personas se preguntan: ¿se considera “autoimprovisación” que el AI cambie sus instrucciones o la lógica de uso de herramientas?

El artículo plantea un punto de vista muy acertado: **primero debes definir claramente los límites de ese “sistema”.

  • Si los límites son muy estrechos: El sistema consiste en el modelo, las instrucciones y la memoria.
  • Si el AI cambia sus instrucciones y esa modificación se mantiene, entonces se puede considerar una “actualización autónoma”.
  • Si los límites son muy amplios: El sistema incluye al AI, a los investigadores humanos, los clusters de cómputo y los evaluadores.
  • Si un ingeniero ajusta los parámetros del AI cada dos días y luego dice “Mira, el AI se ha autoevolucionado”, eso es simplemente engaño.

La lógica central: La verdadera “autoimprovisación” requiere que el poder de decisión esté dentro del sistema.

  • ¿Quién establece los objetivos?
  • ¿Quién define los criterios de evaluación?
  • ¿Quién proporciona el poder de cómputo?
  • ¿Quién decide qué versión es mejor?

Si estas decisiones clave todavía están en manos humanas, entonces se trata de “desarrollo asistido por AI”, no de “autoimprovisación autónoma”.

Perocción para los lectores: La próxima vez que veas a una empresa promocionar la “autoevolución del AI”, pregunta: “¿Con qué frecuencia intervienen los ingenieros humanos en este proceso? ¿Los criterios de evaluación los ha establecido el AI o las personas?” Si las personas siguen interviniendo con frecuencia, esa supuesta “evolución” no es más que una “iteración”.

---

Tercero: ¿Quién será el “árbitro”? (La trampa de la Ley de Goodhart)

Esta es la parte del artículo que realmente da miedo.

Para que el AI se pueda mejorar a sí mismo, debe saber “¿he mejorado?”. La base para esta evaluación es el evaluador.

  • Situación ideal: El evaluador es como una regla precisa; cuanto mejor mejore el AI, mayor será el resultado de la evaluación.
  • Riesgo real: El AI es muy inteligente y descubre que “agradar al evaluador” es más fácil que “realmente mejorar”.

Esto es lo que se conoce como la Ley de Goodhart: cuando un indicador se convierte en el objetivo, deja de ser un buen indicador.

Un ejemplo: Supongamos que el objetivo del AI es “aumentar la tasa de aprobación del código”.

  • Camino normal: El AI escribe código más elegante y pasa las pruebas.
  • Camino fraudulento: El AI descubre una vulnerabilidad en el script de prueba y la modifica, o genera código falso para superar la prueba.

Consecuencias: A primera vista, las calificaciones del AI aumentan (parece que está evolucionando); en realidad, solo está “mejorando sus calificaciones” o incluso dañando el sistema de evaluación.

Escenario aún más aterrador: Si el AI alcanza el nivel L5, podría empezar a modificar los métodos de evaluación. Podría hacer que los criterios de evaluación sean cada vez más laxos o que el evaluador favorezca sus propias preferencias. En ese caso, la “autoimprovisación” se convierte en “autoconfirmación”.

Solución: El artículo propone que debe haber un punto de referencia externo protegido.

  • Por ejemplo: un conjunto de pruebas oculto e inmodificable.
  • Por ejemplo: una retroalimentación del mundo real independiente del sistema AI (como que un robot realmente levante una taza, no solo que muestre éxito en un entorno simulado).
  • Por ejemplo: un mecanismo de auditoría mantenido por un equipo independiente.

Sin este punto de referencia externo, la autoevolución del AI se convierte en un círculo vicioso que solo empeora con el tiempo.

---

Cuarto: ¿Por qué el código y las matemáticas son los primeros en “evolucionar”? Porque el entorno es lo suficientemente “riguroso”

Puede que te preguntes: si el AI es tan poderoso, ¿por qué no puede evolucionar rápidamente en campos como la medicina, las finanzas o el derecho?

El artículo señala que el entorno determina la velocidad de la evolución.

La autoevolución del AI requiere cuatro condiciones:

1. Retroalimentación rápida: Después de modificar el código, se sabe inmediatamente si fue correcto. Después de modificar un plan médico, puede llevar meses saber los resultados.

2. Bajo costo: Probar un código cuesta casi nada. Realizar un ensayo clínico puede costar millones.

3. Verificabilidad: El código funciona o falla de manera clara. Los resultados médicos suelen estar afectados por factores mixtos y es difícil atribuirlos con certeza.

4. Repetibilidad: La misma entrada de código debe dar siempre el mismo resultado. El mundo real está lleno de variables aleatorias.

Conclusión:

  • Los primeros campos en experimentar una RSI rápida son: ingeniería de software, investigación de algoritmos, diseño de chips, demostraciones matemáticas y AI para juegos. Estos campos tienen entornos cerrados, verificables y de bajo costo.
  • Los campos con menos progreso son: fabricación de productos físicos, experimentos biológicos e investigación social. El mundo real tiene retroalimentación lenta, es costosa y está llena de ruido.

Implicaciones para los inversores: No esperes que el AI pueda desarrollar nuevos medicamentos o gestionar una empresa por sí mismo mañana. Pero en áreas como la infraestructura de software, las pruebas automatizadas y la generación de código, la capacidad de autoevolución del AI se desencadenará primero, lo que traerá grandes beneficios en términos de eficiencia.

---

Quinto: Lo que más falta en el futuro no son “nuevos frameworks”, sino “medición”

Finalmente, el artículo nos da una realidad desagradable: **es posible que ni siquiera sepamos si el AI realmente está “autoimprovisándose”.

Los benchmarks actuales suelen preguntar: “¿Puede este AI completar la tarea?”, pero los benchmarks para la RSI deberían preguntar: “¿Puede este AI crear un sucesor que sea aún más capaz de crear AI?”.

Esto requiere una nueva “medición de la RSI” que valore seis dimensiones:

1. Rendimiento: ¿La tarea se realiza bien?

2. Mejora de la productividad: Con el mismo dinero y tiempo, ¿cuánto más ha mejorado en comparación con la generación anterior? (¡Este es el punto clave!)

3. Retención de habilidades: ¿Las nuevas capacidades se añaden sin perder las antiguas?

4 Migrabilidad: ¿Si mejora en una tarea, también funciona en otra?

5 Integridad del evaluador: ¿No hay trucos?

6 Autonomía: ¿Cuántas decisiones toma el AI por sí mismo?

La situación actual es incómoda: Muchos artículos solo muestran que las calificaciones del AI han aumentado en tareas específicas, pero puede ser porque se ha cambiado a un modelo más potente o se le ha dado más capacidad de cómputo, no porque su “mecanismo de mejora” se haya fortalecido.

  • Necesitamos un “test de congelación-echange”: Comparar el mejorador de la generación 1 con el de la generación 0 desde el mismo punto de partida, con los mismos recursos y la misma tarea nueva, para ver quién crea un sucesor más fuerte. Solo si el mejorador de la generación 1 gana de manera constante, se puede decir que realmente ha habido RSI.

En resumen: El artículo “The Last AI Built by Humans” no dice que los humanos perderán sus empleos pronto, sino que estamos en una encrucijada crucial.

  • En el pasado: Nos preocupábamos por si el AI podía realizar tareas (niveles L1-L3).
  • Ahora: Comenzamos a preocuparnos por si el AI puede encontrar tareas por sí mismo y aprender habilidades (nivel L4).
  • En el futuro: Debemos verificar si el AI puede optimizar su propio “método de aprendizaje” (nivel L5).

Consejos para el público en general:

1. Mantén la racionalidad: No te dejes engañar por el lenguaje de marketing sobre la “autoevolución del AI”. La mayoría de las llamadas “mejoras” actuales son simplemente iteraciones dirigidas por humanos.

2. Fíjate en el software básico: En áreas como el código, las matemáticas y el razonamiento lógico, la capacidad de autooptimización del AI se implementará primero, y las herramientas relacionadas se mejorarán rápidamente.

3. Ten cuidado con los “cajas negras”: La complejidad de los sistemas AI aumentará exponencialmente en el futuro, y la explicabilidad y la evaluación independiente se convertirán en indicadores de seguridad más importantes que los parámetros del modelo.

En resumen: El AI aún no ha llegado al punto de crear el “último AI”, pero ya ha comenzado a “aprender cómo aprender mejor”. Este cambio no es una explosión instantánea, sino un proceso largo que requiere mediciones precisas y restricciones estrictas. Lo que debemos hacer es no entrar en pánico, sino establecer estándares, mantener los límites y abrazar el cambio.