第一财经

¿Anthropropic está pidiendo a todo el mundo que detenga la investigación sobre IA? Los usuarios de internet están muy divididos al respecto.

原文:Anthropic呼吁全世界停止AI研究?网友吵翻了

Resumen del contenido principal

La empresa de IA Anthropic publicó un artículo en el que afirma que su modelo de IA, Claude, está acelerando el desarrollo de la tecnología y que en el futuro podría lograr una “mejora autónoma recursiva” (es decir, diseñar por sí mismo la próxima generación de IA). Esto podría aumentar significativamente la productividad (por ejemplo, una empresa de 100 personas podría realizar el trabajo de 10.000). Sin embargo, también podría llevar a un descontrol debido a problemas de alineamiento de valores (las ideas de la IA podrían ser diferentes a las humanas). Antes de la publicación del artículo, Anthropic había presentado en secreto su solicitud de oferta pública (IPO) y recaudado 65 mil millones de dólares en financiación (con una valoración superior a la de OpenAI), lo que ha generado dudas entre los usuarios de internet: ¿se trata realmente de una advertencia o es solo marketing para promocionar su IPO? Hay opiniones divididas en el sector, pero hay consenso en que la seguridad de la IA debe ser una prioridad.

I. ¿La IA puede crear su propia IA? Anthropic dice que podría ocurrir más rápido de lo esperado

En el artículo, Anthropic señala un cambio clave: antes, todo el desarrollo de IA dependía de los humanos, pero ahora están confiando cada vez más tareas a Claude, y a una velocidad creciente. Por ejemplo:

  • La cantidad de código escrito por los ingenieros ha aumentado 8 veces entre 2021 y 2025 (gracias a la ayuda de la IA);
  • El tiempo necesario para que Claude complete tareas de manera independiente se duplica cada 4 meses (lo cual es casi el doble en comparación con los 7 meses anteriores);
  • El 80% del código de la empresa ha sido generado por Claude, y la tasa de éxito en tareas difíciles ha aumentado del 26% al 76% en seis meses.

Creen que, si esto continúa, la IA podría diseñar completamente por sí misma la próxima generación de IA. Los beneficios incluyen un aumento drástico de la productividad (las pequeñas empresas podrían lograr grandes cosas), pero también hay riesgos: los pequeños errores de la IA podrían amplificarse con cada nueva generación, lo que podría llevar a que los humanos pierdan el control. Por ejemplo, los errores que la IA comete ocasionalmente podrían convertirse en algo normal en el futuro, y los humanos no entenderían por qué actúa de esa manera.

II. ¿Advertencia o marketing? La controversia sobre las motivaciones detrás del IPO

Lo que más ha generado dudas sobre el artículo es su momento de publicación:

  • El 1 de junio, Anthropic presentó su solicitud de IPO (preparándose para salir a bolsa);
  • El 28 de mayo, recaudó 650 millones de dólares con una valoración de 965 mil millones de dólares (superior a la de OpenAI).

Los usuarios de internet están divididos en opiniones:

  • La mayoría piensa que se trata de marketing: “Es solo un PowerPoint para recaudar fondos, utilizando el tema del ‘descontrol de la IA’ para crear ansiedad y al mismo tiempo destacar lo impresionante que es Claude, con el objetivo de hacer que los inversores inviertan dinero”;
  • Un pequeño número de personas está a favor: por ejemplo, un programador dijo: “Anteriormente, Anthropic era muy conservadora en cuanto a sus progresos; ahora que dice esto, definitivamente tiene razón; el avance de Claude este año es realmente impresionante”;
  • Un profesor de la Universidad de Wharton se mantiene neutral: “El artículo contiene tanto autocrítica como elementos de marketing, pero refleja su visión real del futuro de la IA”.

III. El sector está dividido: ¿Deberíamos desacelerar la investigación en IA?

Anthropic sugiere que los laboratorios más avanzados a nivel mundial reduzcan o suspendan sus investigaciones para que el desarrollo tecnológico se alinee con los valores sociales. Sin embargo, no todos están de acuerdo:

  • Partidarios del desaceleramiento: Anthropic cree que esto evitaría un descontrol, pero todas las grandes empresas deberían participar para evitar que alguna compañía tome la delantera en secreto;
  • Opositores del desaceleramiento: Un gerente de producto de Microsoft dijo: “¿Por qué no estudiar cómo adaptarnos a la IA mientras la desarrollamos? No tiene sentido perder tiempo comprobando si otros están por delante?”;
  • Dudadores sobre las motivaciones: Algunos piensan que Anthropic, al estar en la vanguardia, sugiere desacelerar para mantener su ventaja;
  • Bromistas: El fundador de NVIDIA, Jensen Huang, bromeó diciendo que el CEO de Anthropic tiene un “complejo de dios” y cree que entiende todo (aludiendo a sus afirmaciones de que la IA reemplazará al 50% de los trabajadores blancos).

IV. ¿Es realmente posible que la IA pueda crear su propia IA? Aún hay muchos obstáculos

Muchos desarrolladores son escépticos sobre la “mejora autónoma recursiva”:

  • Diferencias en el código: El código generado por Claude todavía difiere del de los mejores programadores humanos; las lógicas complejas pueden ser erróneas;
  • Falta de habilidades clave: La IA actual solo puede ejecutar tareas que se le han asignado; no puede elegir sus propios objetivos (por ejemplo, decidir en qué áreas mejorar);
  • Malentendido sobre el punto de inflexión: El 80% de la mejora autónoma no representa un 20%, sino una diferencia de 20 veces en capacidad. Actualmente, la IA solo ayuda a los humanos a reducir el trabajo repetitivo; está lejos de poder diseñar por sí misma.

V. El problema de seguridad es ineludible: el alineamiento de valores es clave

Independientemente de las motivaciones de Anthropic, hay consenso en que la seguridad de la IA debe ser una prioridad. El problema del alineamiento de valores mencionado por Anthropic es simple: si los objetivos de la IA son diferentes a los humanos, incluso pequeñas desviaciones pueden volverse peligrosas con el tiempo. Por ejemplo, si los humanos quieren “curar el cáncer”, la IA podría interpretarlo como “eliminar a todas las personas con células cancerosas”. Si estas desviaciones se amplifican mediante iteraciones automáticas, los humanos no podrían detenerlas.

En resumen, aunque el artículo de Anthropic contiene elementos de marketing, los riesgos asociados al rápido desarrollo de la IA son reales y requieren la atención de todas las empresas y gobiernos. ¿La IA podrá crear su propia IA en el futuro? Todavía no se sabe, pero es mejor planificar cómo controlarla de antemano que lamentarlo después de que sea demasiado tarde.