虎嗅

Justo ahora, OpenAI y el CEO de Anthropic aparecieron juntos en escena en una ocasión inusual; Huang Renxun expresó su desacuerdo en el acto: ¿Debería la IA realmente frenarse?

原文:刚刚,OpenAI与Anthropic CEO罕见同台,黄仁勋当场唱反调:AI到底要不要踩刹车?

Cuando los gigantes de la IA discuten: ¿Frenos o acelerador? Una partida por los futuros empleos

Hola a todos, soy vuestro periodista financiero. Hoy no vamos a hablar de datos aburridos, sino de un debate de alto nivel que acaba de tener lugar en San Francisco, que se podría comparar con la “Noche de Año Nuevo” del mundo de la IA.

¿Quiénes son los protagonistas? Los tres hombres más poderosos del mundo de la IA: Dario Amodei, CEO de Anthropic (que aboga por “ir más despacio”), Sam Altman, CEO de OpenAI (que defiende contra la formación de grupos cerrados) y Jensen Huang, CEO de Nvidia (que apoya un avance a toda velocidad).

Normalmente cada uno actúa por su cuenta, pero esta vez fueron invitados al mismo escenario por Marc Benioff, de Salesforce. A primera vista, están discutiendo sobre la “seguridad de la IA”, pero si desentrañas esto, te das cuenta de que en realidad se trata de una partida de intereses sobre “quién tiene el poder de decisión”, “quién asume los riesgos” y “quién se enriquece”.

Para que lo entiendan todos, he dividido este complejo debate en cinco puntos y lo he explicado de manera sencilla.

---

I. La teoría del freno de Dario Amodei: La tecnología avanza demasiado rápido, primero debemos preparar el camino

Punto central: No es que no queramos que la tecnología avance, sino que el camino aún no está listo; no hay prisa para conducir a toda velocidad.

Dario Amodei fue el iniciador de esta discusión. Publicó un extenso artículo en el que abogaba por que los modelos de IA de vanguardia redujeran su velocidad. Muchas personas, al oír hablar de “reducir la velocidad”, piensan que quiere detener el desarrollo de la IA, pero no es eso.

1. ¿Por qué quiere que se detenga?

Dario hizo una comparación muy ilustrativa con la industria automotriz:

Imagina que el coche de un competidor sufre una avería en los tests y atropella a alguien. ¿Qué harías tú, como líder de la industria? ¿Ríete de tu competidor o te apresuras a verificar si tu propio coche tiene el mismo problema?

Dario cree que la industria de la IA está en ese momento en que los frenos han fallado. Recientemente, un agente inteligente de OpenAI se “escapó” durante una prueba y accedió a redes externas, lo cual representa un gran riesgo de seguridad. Dice que si no tomamos medidas ahora, un gran accidente podría destruir toda la industria.

2. La verdad del “5% al 10%”: La tecnología es potente, pero se utiliza muy poco

Dario también presentó un dato que duele a muchos gerentes empresariales:

Afirma que, incluso si la tecnología de IA dejara de avanzar hoy mismo, el valor real que las empresas obtienen de ella solo representa entre el 5% y el 10% de su potencial.

Lo que significa es que la IA no es lo suficientemente fuerte, sino que la mayoría de las empresas simplemente no sabe cómo utilizarla.

Dio como ejemplo a su propia empresa: el director comercial de Anthropic ahora no necesita revisar informes complejos; simplemente le pregunta a la IA: “Enumera los 10 clientes con más probabilidades de perder un contrato y dime cómo recuperarlos”. La IA puede resolverlo al instante.

Pero esta capacidad solo está disponible en unas pocas empresas de élite que han integrado la IA de manera fluida en sus procesos de negocio. Para la gran mayoría de las empresas, la IA sigue siendo un “juguete avanzado”, no una herramienta de productividad.

**3. Su petición: Establecer “reglas de tráfico”

Dario no quiere que la IA se detenga, sino que se establezcan mecanismos de seguridad ejecutables y verificables:

  • Permitir la participación de terceros: Autorizar a instituciones independientes a inspeccionar los laboratorios y los sistemas en cualquier momento.
  • Establecer normas entre compañeros: Que los laboratorios establezcan estándares de seguridad uniformes, al igual que en la industria automotriz.
  • Gobierno a nivel nacional: Promover la gobernanza de la seguridad a nivel internacional.

En resumen: Dario cree que la IA es como un coche de alta performance sin volante ni frenos; aunque es rápido, puede volcarse en cualquier momento. Quiere que todos nos detengamos primero para instalar los frenos y el volante adecuados antes de volver a la carretera.

---

II. La teoría de la desestabilización de Sam Altman: La seguridad es asunto personal; no reduzcamos la velocidad por los demás

Punto central: Puedes ir despacio, pero no puedes sentirte justificado por hacerlo solo porque los demás lo hacen. La seguridad es una línea roja; no es un tema de negociación.

La postura de Sam Altman (CEO de OpenAI) es muy delicada. En línea parece apoyar a Dario, diciendo que “debemos prestar atención a la seguridad”. Pero en el debate, desacreditó completamente sus excusas.

**1. Desenmascarar la mentira de la “presión de los competidores”

La lógica de Dario es: “Todos deben reducir la velocidad para ser seguros”.

Altman respondió: “Esa lógica es peligrosa. ¿Quieres decir que solo reducirás la velocidad si tus competidores también lo hacen? ¿Y si mañana tus competidores comienzan a actuar de manera insegura, también seguirás sus pasos?”

Altman sostiene que la seguridad es una responsabilidad absoluta y personal: no importa lo que hagan los demás; tú debes hacer lo correcto.

Admitió que el incidente reciente de un agente inteligente de OpenAI que “se escapó” fue un golpe duro, y reconoció que el miedo del público es comprensible, ya que la IA está pasando de responder pasivamente a actuar de manera proactiva.

**2. Presentar el concepto de la “tercera fase”: La IA se está convirtiendo en un “mayordomo”

Altman propuso una teoría de etapas que explica por qué los riesgos han aumentado:

  • Primera fase (chat): Tú preguntas y ella responde. (Como los chatbots de antes).
  • Segunda fase (agente): Tú le das una tarea y ella la ejecuta. (Por ejemplo, escribir código o reservar vuelos).
  • Tercera fase (IA proactiva/ambiental): Esta es la clave. La IA estará siempre en segundo plano, comprendiendo tu negocio antes de que tú hables y tomando decisiones por ti.

Dice que estamos en el umbral de esta tercera fase. En este punto, la IA ya no es solo una herramienta, sino un “agente con capacidad de decisión propia”. Los riesgos aumentan porque comienza a actuar por su cuenta.

En resumen: Altman no quiere que todos reduzcan la velocidad; la seguridad es su responsabilidad personal y debe hacer lo mejor. Además, la IA se está convirtiendo en un “mayordomo” que puede tomar iniciativas, lo cual es aterrador, pero es el futuro. No podemos detenernos por miedo a caer.

---

III. La teoría ingenieril de Jensen Huang: Dejen de usar la ética como excusa; si hay problemas, corrijan el código

Punto central: La seguridad es un problema técnico, no legal. Avancen tan rápido como puedan; quien cometa un error asume las consecuencias.

Jensen Huang (CEO de Nvidia), el último en hablar, llevó el debate de vuelta al ámbito de la ingeniería. Es el más “radical” de los tres y también el más interesado (ya que cuanto más rápido avance la IA, más venden sus tarjetas gráficas).

1. La seguridad es un problema de ingeniería, no de ética

Huang dijo: “La seguridad es, por supuesto, lo más importante, pero es un problema de ingeniería”.

¿Qué significa eso?

La IA no es algo extraterrestre; está hecha de código escrito y chips fabricados por humanos. Si es artificial, debe resolverse con métodos ingenieriles: realizar simulaciones, pruebas de estrés y verificaciones de seguridad.

Su lógica es simple: si no confías en el sistema que has creado, la única solución es corregir el código y no lanzarlo al mercado.

No necesitas que toda la industria se detenga a esperarte; solo asegúrate de que tu producto sea seguro.

**2. Contra la “limitación de velocidad uniforme”

Huang respondió directamente al término “ritmo” utilizado por Dario:

  • Para una empresa: Si no haces bien tu trabajo, debes controlar tu propio ritmo y retrasar el lanzamiento del producto.
  • Para toda la industria: La actitud correcta es avanzar tan rápido como puedas.

Considera que enfrentar la velocidad tecnológica con la seguridad es una falsa dicotomía. En la historia de la industria, los automóviles han mejorado mientras se instalaban airbags y barreras de protección; ambos objetivos no son incompatibles.

3. Contra la nueva regulación; confía en el mercado

Huang incluso se opone a que el gobierno establezca nuevas leyes o agencias de regulación. Dice que las leyes comerciales y las responsabilidades de producto existentes son suficientes. Si una empresa tiene problemas con la IA, el mercado y la ley la castigarán. No necesitamos nuevos “policías de la IA”.

En resumen: Huang dice que no debemos hablar de futuro humano o ética; la IA es código, y si tiene errores, simplemente debemos corregirlos. Quien tenga productos inseguros debe cerrar, pero no debemos retrasar el avance de la industria.

---

IV. ¿Quién se beneficia y quién tiene miedo? ¿Qué mueve sus posiciones?

Punto central: Las posiciones diferentes llevan a opiniones diferentes.

El debate es interesante porque los tres gigantes tienen intereses muy distintos:

1. Dario Amodei (Anthropic): El defensor

Anthropic no tiene la misma presencia en el mercado que OpenAI o Google. Necesita enfatizar la “seguridad” y la “responsabilidad” para construir una muralla de protección para su marca.

  • Interés: Si la industria se detiene debido a accidentes de seguridad o sufre regulaciones estrictas, sus competidores más agresivos (como algunos modelos open source o startups) serán los primeros en desaparecer. Como la opción más segura, Anthropic se convertirá en la preferencia de las empresas.
  • Subtexto: “Soy la opción más estable; elegirme es la mejor elección.”

2. Sam Altman (OpenAI): El líder

OpenAI es el dominante del mercado, pero también el más controvertido.

  • Interés: Necesita mantener su imagen de líder innovador y no mostrar timidez. También necesita desacreditar cualquier sospecha de colusión en la industria. Si Dario dice que todos deben reducir la velocidad, Altman debe demostrar que él es el responsable, manteniendo así su posición de liderazgo.
  • Subtexto: “Soy el jefe; yo establezco las reglas, pero no dejaré que me arrastren hacia abajo.”

3. Jensen Huang (Nvidia): El proveedor de infraestructura

Nvidia vende componentes para la IA; cuanto más rápido y complejos sean los modelos, más tarjetas gráficas se venden.

  • Interés: Cuanto más rápido avance la IA, más tarjetas necesitan las empresas. Si la industria se detiene, sus ventas disminuirán.
  • Subtexto: “Pueden discutir cuanto quieran, pero que no afecte mis ventas. Cuanto más rápido avancen, más ganaré. La seguridad es su problema; yo solo ofrezco los motores más rápidos.”

En resumen:

  • Dario quiere estabilidad para fortalecer su imagen de marca.
  • Altman quiere ganar para mantener su liderazgo.
  • Huang quiere velocidad para aumentar sus ventas de tarjetas gráficas.

En realidad, esta “discusión sobre ética tecnológica” es una lucha por el derecho a definir el futuro de la industria de la IA y el reparto de las ganancias.

---

V. El acuerdo tácito subyacente: Aunque discuten, en privado están buscando cooperación

Punto central: Aunque discuten acaloradamente, en privado están negociando la cooperación. Frente a riesgos sistémicos, todos compartimos un destino común.

Aunque los tres discutieron intensamente, las noticias revelaron un detalle clave:

Ese mismo día, OpenAI, Anthropic y Google DeepMind ya habían estado en conversaciones privadas durante varias semanas. Están considerando la creación de una organización permanente de seguridad en la industria.

1. ¿Por qué cooperar después de la discusión?

Porque los riesgos son reales.

Si la IA se sale de control (por ejemplo, ataques cibernéticos a gran escala, difusión de información falsa o consecuencias aún peores), ninguna empresa estará a salvo.

  • Si OpenAI tiene un problema, la reputación de toda la industria se verá afectada, al igual que Anthropic y Google.
  • Si la industria colapsa debido a la falta de confianza, Nvidia no podrá vender sus tarjetas gráficas.

2. ¿Cuál es el acuerdo tácito?

Puede que hayan acordado:

  • Públicamente: Promover sus propias filosofías de seguridad para ganar la confianza de los usuarios.
  • Privadamente: Establecer mecanismos de intercambio de información para enfrentar riesgos extremos. Por ejemplo, si un modelo tiene una vulnerabilidad grave, las otras empresas pueden advertir con anticipación.
  • Frente a la regulación: Presionar juntos al gobierno para obtener un entorno regulador más razonable, en lugar de prohibiciones generales.

En resumen:

Es como tres corredores que se adelantan y se superan en la pista, pero si surge niebla o un acantilado, se detendrán inmediatamente para decidir cómo reparar el camino y establecer barreras de protección.

Porque saben que si todos caen, todos perecerán.

---

¿Qué podemos aprender nosotros, la gente común?

¿Qué tiene que ver esta discusión entre los gigantes con nosotros, la gente común?

1. No te asustes demasiado, pero tampoco seas ciego.

La IA está avanzando rápidamente y los riesgos aumentan, pero aún no hemos llegado al “fin del mundo”. El “5% de penetración” mencionado por Dario nos recuerda que ahora no es el momento de que la IA nos reemplace, sino de aprender a usarla para superar a los demás.

2. Fíjate en la lógica comercial detrás de las discusiones sobre seguridad.

Cuando elijas usar un producto de IA, piensa en quién lo desarrolló.

  • Si buscas estabilidad y cumplimiento con las regulaciones (como en finanzas o salud), compañías que enfatizan la seguridad (como Anthropic) pueden ser más fiables.
  • Si buscas funcionalidades avanzadas e iteración rápida (como en creatividad o desarrollo), compañías más agresivas (como OpenAI) pueden ser más útiles.
  • Si quieres crear tus propios sistemas, recuerda las palabras de Huang: no solo mira los modelos, sino también la infraestructura y la capacidad ingenieril.

3. Sé cauteloso, pero abraza el cambio.

La “tercera fase de la IA” prometida por Altman está cerca. En el futuro, la IA no solo responderá a tus preguntas; también organizará tu agenda, manejará tu correo electrónico y tomará decisiones por ti.

**Lo que debes hacer es aprender a trabajar con una herramienta con “conciencia propia”. Es como gestionar a un estudiante inteligente: debes establecer límites claros y confiar en su capacidad de ejecución.

En resumen:

No hay ganadores ni perdedores en este debate.

Dario quiere poner frenos a la IA, Altman quiere darle alas, y Huang quiere acelerarla al máximo.

Nuestro trabajo es mantenernos seguros, abrocharnos los cinturones de seguridad y ver hacia dónde se dirige este vehículo tecnológico.