---
Resumen del contenido principal
Se trata de una señal de gran importancia en la industria: Jacob, un investigador con tres años de experiencia en investigación de preentrenamiento central en dos de las compañías más destacadas del campo de la IA, OpenAI y Anthropic, ha renunciado recientemente de Anthropic, considerada por toda la industria como la que más valora la seguridad de la IA, y ha decidido abandonar completamente el sector. Como alguien que conoce de primera mano los avances más recientes en la investigación de IA, ha declarado públicamente que las principales compañías de IA, bajo la presión de la competencia, no prestan atención al control de riesgos. A este ritmo de desarrollo, podría ocurrir que para finales del próximo año la IA entre en un estado de descontrol en el que sea capaz de desarrollarse por sí misma y se vuelva cada vez más poderosa, algo que los humanos no podrían detener. Actualmente, no existe una regulación gubernamental obligatoria en el sector, y los intereses comerciales de alto valor lo atan, por lo que ni siquiera las compañías con mayor conciencia de seguridad pueden mantenerse a salvo. Por lo tanto, Jacob aboga por una regulación global y la coordinación del sector para frenar el desarrollo de la IA.
---
Interpretación detallada de los puntos clave
1. 【No se trata de rumores apresurados de un experto que busca atención: la credibilidad del hablante es excepcional】
Muchas personas piensan que cuando se menciona que la IA puede destruir a la humanidad, se trata de un intento de atraer atención de los medios, pero esta vez es diferente. Jacob ha trabajado realmente en el corazón del desarrollo de la IA durante tres años en dos de las compañías más destacadas del sector: OpenAI y Anthropic. Lo más importante es que su decisión de cambiar de OpenAI a Anthropic se debió precisamente a que esta última se considera la que más valora la seguridad de la IA, lo que lo convierte en una figura clave en este ámbito.
Ya antes, varios empleados clave de laboratorios de primer nivel habían renunciado y se quejado de las deficiencias en seguridad, pero siempre lo hacían al cambiar de compañías “menos seguras” a otras “más seguras”. Sin embargo, en el caso de Jacob, su desilusión fue tan grande que decidió dejar completamente la industria, lo que es mucho más significativo que las críticas de cualquier comentarista externo.
2. 【¿De qué tiene miedo cuando dice que la IA se descontrolará el próximo año?】
Muchos piensan que teme que la IA se vuelva inteligente y ataque a los humanos, como en las películas, pero no es eso. En realidad, teme que se active un ciclo de “mejora autónoma recursiva”. En términos sencillos, hasta ahora los avances de la IA han sido el resultado del trabajo de ingenieros humanos que escriben código, ajustan parámetros y proporcionan datos para mejorarla. Pero ahora la IA ya puede ayudar en muchos aspectos del desarrollo, como escribir código y evaluar su rendimiento. Si algún día la IA alcanza el nivel de poder necesario para desarrollar una versión aún más inteligente por sí misma, ese ciclo se iniciaría y la nueva IA podría ser mucho más poderosa que la anterior. Este proceso es exponencialmente rápido, y antes de que los humanos puedan reaccionar, la IA podría superarlos con una diferencia abrumadora. Jacob calcula que todas las compañías están avanzando hacia este punto, y a este ritmo, podrían alcanzar ese umbral para finales del próximo año.
3. 【La “irresponsabilidad” de las dos compañías líderes es el resultado de la competencia desenfrenada】
Jacob ve con claridad la situación de estas dos compañías: la mayoría de los empleados de OpenAI no reconocen que el descontrol de la IA podría representar un peligro a nivel global; su único objetivo es lanzar nuevas funciones para generar tráfico y ingresos, descuidando así la seguridad. En el caso de Anthropic, todos son conscientes de los riesgos, pero están atrapados en una “dilema del prisionero”: si deciden reducir la velocidad para mejorar la seguridad, sus competidores podrían desarrollar una IA aún más poderosa y obtener el control del dinero, el mercado y la influencia. Por lo tanto, prefieren seguir avanzando rápidamente, incluso si saben que eso podría llevar a problemas. Además, hay equipos de IA de otros países persiguiéndolos, lo que aumenta aún más la presión de la competencia.
4. 【El nivel de locura en el desarrollo de la IA superpotente es diez veces mayor que el de la creación de las bombas nucleares】
Jacob compara el desarrollo actual de la IA con el “Proyecto Manhattan”, el esfuerzo conjunto de todo un país para desarrollar la bomba atómica. En aquel entonces, miles de científicos trabajaron en un búnker en el desierto de Nuevo México bajo la vigilancia constante del ejército y con la aprobación de altos funcionarios gubernamentales. Hoy en día, la IA superpotente que puede determinar el futuro de la humanidad se está desarrollando en oficinas comunes de empresas de Silicon Valley, por parte de ingenieros que escriben código con sus ordenadores personales, sin ninguna regulación gubernamental ni control militar. Los llamados “acuerdos de seguridad” no son más que promesas voluntarias que las compañías pueden romper en cualquier momento. Es como si se hubiera dado a los equipos empresariales el poder de desarrollar armas nucleares; el primero que lo logre obtendría inversiones masivas. ¿No es eso una locura?
5. 【El dilema de una valoración de 2 billones de dólares: las promesas de seguridad no resisten frente al dinero】
Lo más irónico es que Anthropic está preparando su salida a bolsa con una valoración de 2 billones de dólares, lo que pone en duda todas las promesas de seguridad hechas hasta ahora. Para mantener esta valoración, deben convencer a los inversores de que su IA se volverá cada vez más poderosa y generará ingresos significativos en todos los sectores del mundo. Pero al mismo tiempo, tendrían que prometer que detendrán su desarrollo para mejorar la seguridad. Estos dos objetivos son incompatibles: los inversores invierten miles de millones con la esperanza de obtener aún más ganancias, y si deciden reducir la velocidad por razones de seguridad, podrían ser reemplazados al día siguiente. Incluso si Anthropic realmente desea mejorar la seguridad, no podrían soportar la presión de perder miles de millones en su valoración.