虎嗅

Cuando los gigantes de la IA comienzan a pedir una desaceleración: detrás de la seguridad, el poder y la responsabilidad se están reajustando

原文:当 AI 巨头开始要求减速:安全背后,权力与责任正在重新配对

Cuando los gigantes de la IA piden una pausa: un gran reshuffle de poder sobre “quién tiene la última palabra”

Buenos días, soy vuestro reportero financiero. Hoy vamos a hablar sobre un artículo muy profundo, publicado por Havenlon Labs.

El punto central del artículo es muy incisivo: **durante los últimos años, la industria de la IA ha estado compitiendo por ver quién corre más rápido, pero ahora incluso los jefes de las empresas más destacadas de IA (como Dario Amodei, CEO de Anthropic) han comenzado a abogar abiertamente por “desacelerar”.

Pero esto no se debe solo al miedo o a razones de seguridad. Detrás de esto hay una gran repartición del poder y la responsabilidad. Antes, las empresas de IA decidían qué crear, cómo crearlo y cuándo venderlo; las ganancias eran suyas y las consecuencias, en su mayor parte, también. Sin embargo, el impacto de la IA es ahora tan grande que, si algo sale mal, toda la sociedad tiene que pagar las consecuencias. Por lo tanto, la sociedad comienza a preguntarse: si las consecuencias son públicas, ¿no debería también haber alguna forma de que el público y el gobierno participen en la toma de decisiones?

Para que sea más claro, he dividido este largo artículo en cinco aspectos clave y los he explicado en lenguaje sencillo.

---

I. El conflicto central: decisiones privadas, desastres públicos

【Explicación sencilla】: Antes, si se quemaba tu casa, solo tú tenías que pagar por las reparaciones. Ahora, si se quema toda la calle, todavía solo tú pagas por tu casa.

El artículo señala que el mayor problema de la industria de la IA no es la falta de tecnología, sino que el poder y la responsabilidad no están equilibrados.

  • Situación actual: Gigantes como OpenAI y Anthropic tienen un gran “poder privado”. Ellos deciden hasta qué punto deben ser potentes los modelos, cuándo lanzarlos y cuánta autonomía dar a la IA. Estas decisiones se toman en secreto dentro de las empresas, sin que el público sepa nada.
  • Problema: La IA ya no es solo un chatbot; ha entrado en áreas como las finanzas, la salud, la seguridad cibernética e incluso el ejército. Si la IA comete un error o es utilizada por hackers, las consecuencias pueden ser el desempleo masivo, el colapso financiero o el parón de las redes.
  • Conclusión: Esto es lo que se llama “decisiones privadas, consecuencias públicas”. Antes, las empresas asumían sus propios riesgos y ganancias; ahora, sus decisiones afectan a toda la humanidad. Si las consecuencias son compartidas, entonces el público y el gobierno tienen derecho a participar en la toma de decisiones.

---

II. Lecciones de la historia: los científicos tenían el privilegio de definir el peligro

【Explicación sencilla】: Antes, solo los científicos sabían cómo fabricar bombas nucleares, por lo que ellos podían establecer las reglas. Ahora, solo las empresas de IA saben cómo crear los modelos, por lo que son ellas quienes deciden las reglas. ¿Pero es justo?

El artículo menciona dos casos históricos para explicar por qué es tan difícil gestionar la IA:

1. La ingeniería genética de 1975 (Conferencia de Asilomar): Cuando la tecnología de reacción en cadena del ADN acababa de aparecer, era muy peligrosa. El gobierno y el público no lo entendían; solo los científicos sí. Por lo tanto, la sociedad tuvo que confiar en ellos para decidir qué experimentos se podían realizar y cuáles no.

2. Las armas nucleares después de 1945: Después del desarrollo de la energía atómica, Estados Unidos tomó el control de las armas del ejército y lo transfirió a agencias civiles, porque ni los científicos ni el ejército eran adecuados para manejar tal poder destructivo.

**Aplicado a la IA: La situación actual es similar a la de 1975, pero más compleja. Los que conocen los detalles más avanzados de la tecnología no son los profesores universitarios, sino empresas privadas con enormes fondos y responsabilidades estratégicas nacionales.

  • Anthropic propone que equipos externos (como METR) realicen inspecciones para resolver el problema de que solo los internos conocen la tecnología.
  • Pero los oponentes (como David Sacks) cuestionan si estos equipos externos tienen intereses conflitantes con las empresas. Si los reguladores dependen de las empresas para saber qué deben supervisar, ¿es realmente independiente esa supervisión?

---

III. El juego político: seguridad, monopolios y la competencia nacional

【Explicación sencilla】: Algunos quieren desacelerar por seguridad, otros por evitar que China nos supere, y otros aún más para prevenir que las grandes empresas se vuelvan monopólicas. Todos hablan de seguridad, pero sus motivos son diferentes.

El artículo analiza las posiciones de tres figuras clave y descubre que no comparten el mismo enfoque:

1. Dario Amodei (CEO de Anthropic) - “El grupo del riesgo sistémico”:

  • Argumento: Es necesario desacelerar.
  • Razón: El desarrollo de la IA es demasiado rápido y la seguridad no está al día. Si ocurre un gran accidente, nadie asumirá la responsabilidad.
  • Medidas: Introducir evaluaciones externas, coordinación interna en los países democráticos y luego coordinación a nivel mundial.
  • Subtexto: Reconozco que la IA es poderosa, pero temo que se descontrole. Además, quiero que Estados Unidos mantenga la ventaja, así que debemos competir dentro de un marco de seguridad.

2. David Sacks (ex asesor de IA de la Casa Blanca) - “El grupo del mercado y la antimonopolización”:

  • Argumento: Si queréis desacelerar, hacedlo por vosotros mismos, no arrastréis a los demás hacia abajo.
  • Razón: No uséis la “seguridad” como excusa para crear nuevos sistemas de aprobación que aumenten los obstáculos para las empresas.
  • Punto central: Si un producto tiene un problema, que se resuelva según la ley y se pague la responsabilidad del producto; no necesitamos aprobaciones gubernamentales anticipadas. También cuestiona la independencia de las instituciones de evaluación externas.
  • Subtexto: No usad la regulación para crear monopolios. Si las grandes empresas dicen que necesitan desacelerar por seguridad, en realidad quieren impedir la entrada de nuevos competidores.

3. Donald Trump (ex presidente/político) - “El grupo de la competencia nacional”:

  • Argumento: Reducir la regulación para mantener la ventaja de Estados Unidos sobre China.
  • Razón: Temo que una regulación demasiado estricta haga que Estados Unidos pierda terreno tecnológico frente a China.
  • Subtexto: Mi objetivo no es la seguridad de la IA, sino la fortaleza de Estados Unidos. Si desacelerar significa perder terreno frente a China, no estoy de acuerdo.

**Conclusión: No se trata de una simple oposición entre los partidarios de la seguridad y los partidarios de la aceleración, sino de una mezcla de derecho a gobernar la tecnología, reglas de competencia de mercado y estrategias de seguridad nacional.

---

IV. El balance económico: desacelerar es poco costoso para las grandes empresas, pero puede ser fatal para las pequeñas

【Explicación sencilla】: Si todos los vehículos tienen que detenerse para inspeccionar los frenos, un camión grande con dinero puede detenerse durante medio año sin problemas, pero un camión pequeño sin dinero podría quedar en bancarrota. ¿Es esto “justo”?

El artículo utiliza la crisis financiera de 2008 como ejemplo para plantear una profunda cuestión económica: “Too Consequential to Self-Govern” (las consecuencias son demasiado graves para que las empresas puedan gestionarlas por sí solas).

  • Apariencia de justicia: Si todas las empresas de IA tuvieran que realizar pruebas de seguridad durante medio año, parecería justo.
  • Desigualdad real:
  • Gigantes como OpenAI y Anthropic: Tienen miles de millones de dólares en efectivo y una infraestructura sólida. Un parón de medio año no es un problema; incluso podrían usar este tiempo para fortalecer sus posiciones.
  • Empresas emergentes: Todavía no han recaudado suficiente capital y solo tienen fondos para 12 meses. Un parón de medio año significaría la quiebra.

Costos de cumplimiento: Establecer un sistema de seguridad que cumpla con los nuevos estándares podría costar decenas de millones de dólares. Para las grandes empresas es un costo, pero para los nuevos entrantes, podría significar una prohibición de entrada.

**Lógica profunda:

  • Si las empresas de IA son simplemente proveedores de productos como cualquier otra, entonces Sacks tiene razón: cada empresa debe asumir sus propios riesgos y el mercado las castigará.
  • Pero si las empresas de IA son tan importantes como los bancos y no pueden fracasar, entonces Amodei tiene razón: el mercado no funciona adecuadamente y se necesita acción colectiva.
  • Dilema: Si una empresa se detiene por seguridad y sus competidores aprovechan la oportunidad para tomar el mercado, ¿el mercado realmente está recompensando la prudencia o castigándola? Este es un típico dilema de acción colectiva.

---

V. La pregunta final: ¿y si desacelerar es incorrecto? ¿Quién asume la responsabilidad?

【Explicación sencilla: Siempre nos preocupamos de que la aceleración cause accidentes, pero rara vez nos preguntamos si la desaceleración puede hacer que perdamos terapias que salvarían vidas. Si aprietas el freno incorrectamente, ¿quién pagará las consecuencias?**

Este es el punto más interesante y también el más fácil de pasar por alto: el costo de la acción frente al costo de la inacción.

  • Riesgos de la aceleración: Los errores de la IA pueden causar ataques cibernéticos o desempleo; estos incidentes son fáciles de registrar y de aparecer en los medios.
  • Riesgos de la desaceleración: La IA podría haber descubierto terapias contra el cáncer o acelerado el desarrollo de nuevos medicamentos antes. Si, por exceso de prudencia, esto se retrasa cinco años, las personas que mueren sin recibir esas terapias no aparecerán en ninguna estadística. Su sufrimiento es invisible.

**Punto central:

1. Desacelerar no es gratis: La desaceleración compra tiempo, pero el tiempo en sí no garantiza la seguridad. ¿Qué haces si el modelo se vuelve más potente en un año?

2. Lo que necesitamos es una “arquitectura”: El artículo cita al sector aéreo como ejemplo. La seguridad en aviación no se debe a que los aviones se desarrollen lentamente, sino a que existen instituciones independientes de investigación de accidentes (NTSB), certificaciones de aeronavegabilidad claras y diseños redundantes.

  • La NTSB no tiene poder de regulación; su tarea es descubrir la verdad.
  • Lo que la industria de la IA necesita ahora no es “quién debe detenerse”, sino mecanismos de verificación independientes y cadenas de responsabilidad claras.

3. Responsabilidad mutua: Si el gobierno o el público obtiene el poder de “apretar el freno”, también deben asumir la responsabilidad si lo hacen mal. Si la regulación excesiva conduce al retraso tecnológico o al fracaso de tecnologías que podrían salvar vidas, el gobierno también debe ser responsable.

---

Conclusión del reportero: De la “carrera tecnológica” a la “carrera institucional”

Este artículo nos muestra que la industria de la IA ha cruzado un punto crítico.

Antes, la pregunta era: ¿Cuán inteligente puede volverse la IA?

Ahora, la pregunta es: ¿Quién tiene el derecho de decidir cuándo aparece esta capacidad? ¿De qué manera debe integrarse en la sociedad? ¿Y si el camino elegido está equivocado, quién asume la responsabilidad?

  • Poder: Antes estaba en manos de las empresas; ahora debe dividirse entre el gobierno, el público y terceros.
  • Responsabilidad: Antes, las empresas asumían sus propios riesgos y ganancias; ahora, estos deben compartirse socialmente.
  • Riesgo: Antes era un riesgo tecnológico; ahora es un riesgo sistémico.
  • Beneficio: Antes, era sobre las ganancias de las empresas; ahora también debe incluir el bienestar social.

En resumen:

La IA no se ha desacelerado, pero ha pasado de una competencia tecnológica sobre quién corre más rápido a una competencia institucional sobre quién tiene sistemas más sólidos. El objetivo de esta discusión no es quién gana o quién pierde, sino redactar un nuevo contrato social sobre quién tiene el derecho a acelerar, quién tiene el derecho a desacelerar y quién asume la responsabilidad si el camino elegido está equivocado.