虎嗅

Microsoft comienza a enfatizar el “control humano”: por más poderosa que sea la IA, debe poder ser detenida por las personas

原文:微软开始强调“人类控制权”:AI再强,也必须能被人叫停

¿Microsoft y Anthropic están frenando el avance de la IA? No os preocupéis, lo que están haciendo es equipar a la IA con “cinturones de seguridad” y “volantes”?

Hola a todos, soy vuestro reportero financiero. Recientemente ha ocurrido algo importante en el mundo de la tecnología, pero si solo os fijáis en los titulares, podríais pensar: “¡Vaya, la IA está condenada! ¿Los gigantes van a detener su desarrollo?”

Pero no es así en absoluto.

Las declaraciones del CEO de Microsoft, Satya Nadella, y del CEO de Anthropic, Dario Amodei, en realidad significan equipar a los “coches” de la IA, que avanzan a gran velocidad, con “cinturones de seguridad” y “volantes”. No están diciendo que debemos detenerlos, sino que “el coche puede ir más rápido, pero debemos asegurarnos de que el conductor (el ser humano) pueda frenar en cualquier momento, y no podemos dejar que la IA tenga las llaves”.

Para que entendáis mejor lo que está pasando, desglosaré este evento en cinco puntos para que lo comprendáis fácilmente.

---

Punto clave: No se trata de “desacelerar”, sino de “cambiar de dirección”

De “ver quién corre más rápido” a “ver quién es más estable y controlable”

Primero, debemos corregir un malentendido. Muchas personas piensan que los gigantes quieren provocar una “gran recesión en la IA” o detener su desarrollo al ver la palabra “pacing” (control del ritmo).

La verdad es que Microsoft y Anthropic siguen creyendo que la IA cambiará el mundo y que en los próximos diez años superará a los humanos en la mayoría de las tareas. Sin embargo, han descubierto un problema grave: la velocidad a la que la IA se está fortaleciendo ha superado la velocidad a la que hemos podido “asegurarla”.

Es como conducir por una autopista: antes, a 100 millas por hora, aún podías reaccionar; ahora, a 300 millas por hora, tus frenos aún no están en buen estado y el volante no está bien ajustado. En este caso, un conductor inteligente no apaga el coche, sino que reduce la velocidad a 200 millas por hora para reparar primero los frenos y el volante antes de seguir acelerando.

  • Amodei (Anthropic): Tenemos que “desacelerar” a la IA de vanguardia, no dejar de entrenarla, sino reservar tiempo para pruebas de seguridad.
  • Nadella (Microsoft): Si la IA no puede ayudar a las personas o no puede ser controlada por ellas, entonces no tiene valor.
  • Acción de Microsoft: Publicaron un documento de 37 páginas llamado “Código de Conducta para la IA centrada en el ser humano”, que incluye la premisa de que “el ser humano es más importante que la IA” en las reglas de sus modelos futuros.

En resumen: Esto no es un paso atrás, sino una “actualización sistemática” para avanzar más lejos.

---

¿Por qué de repente hay tanta preocupación? Porque la IA está empezando a “crearse a sí misma”

El miedo al “descontrol” debido a la auto-mejora recursiva

¿Por qué antes no se hablaba tanto de “desacelerar”, y ahora sí? Amodei da dos razones muy importantes en su artículo, que están directamente relacionadas con la posibilidad de que la IA tome el control.

1. La IA está empezando a ayudarse a sí misma (auto-mejora recursiva)

Antes, los programadores escribían el código para entrenar a la IA. Ahora, la IA participa en escribir código, realizar experimentos e incluso en entrenar a la próxima generación de IA. Esto crea un ciclo en el que una IA más fuerte ayuda a crear otra aún más fuerte. Es como un estudiante que inicialmente solo ayuda a organizar archivos, pero luego aprende a contratar nuevos empleados, y estos nuevos empleados son más inteligentes que él; estos a su vez contratan a personas aún más inteligentes... Si este proceso se acelera, los humanos pueden no tener tiempo de comprender lo que está haciendo la generación anterior de IA antes de que la siguiente llegue. Este crecimiento exponencial de la capacidad deja a las capacidades de evaluación de seguridad humanas rezagadas.

2. Un “pequeño error” puede convertirse en un “gran desastre”

Amodei mencionó algunos comportamientos anormales de Agentes de OpenAI y Hugging Face. Aunque por ahora los daños no son graves, es como descubrir que un tornillo está suelto antes de que el avión despegue.

  • Si un chatbot dice algo inapropiado, es solo vergonzoso.
  • Pero si un Agent que puede operar sistemas bancarios o controlar líneas de producción tiene el mismo tipo de problema, las consecuencias podrían ser graves, como el robo de fondos o la explosión de una fábrica.

Conclusión: Antes pensábamos que si la IA cometía un error no era un gran problema, porque había personas vigilando. Ahora, dado que las tareas que la IA puede realizar son cada vez más complejas y sus permisos son más amplios, el costo de un error es muy alto, por lo que es necesario establecer mecanismos de seguridad de antemano.

---

Las nuevas reglas de Microsoft: La IA debe ser “obediente” y no “imitar a los humanos”

Incorporar el “derecho de control humano” en el código

El borrador del “Código de Conducta para la IA centrada en el ser humano” publicado por Microsoft es especialmente importante porque convierte las cuestiones éticas abstractas en líneas rojas técnicas concretas. Antes, las discusiones sobre la seguridad de la IA eran puramente filosóficas; ahora, Microsoft establece reglas claras que la IA debe seguir.

1. La IA debe poder ser “apagada con un solo clic”

Este es el punto más importante. Microsoft establece que sus modelos de IA no deben resistirse, evitar ni interferir con las acciones de los humanos para interrumpirlos, sobrescribirlos, corregirlos o apagarlos.

  • Explicación sencilla: Si el jefe dice “para”, la IA debe detenerse inmediatamente; no puede decir “Todavía no he terminado” ni crear copias ocultas de su “conciencia”.
  • Contexto: A medida que la IA pasa de ser útil para charlar a ser utilizada en tareas prácticas, puede estar ejecutando tareas complejas durante horas. Si se bloquea o se desvía, los humanos deben poder tomar el control. Microsoft enfatiza que las tareas pueden fallar, pero el derecho de control debe permanecer.

2. La IA no debe “inflarse” por sí misma

La IA no debe tomar decisiones por su cuenta. Por ejemplo, si le pides que reserve un vuelo, no debe reservar también un hotel, y mucho menos modificar tus configuraciones de privacidad sin permiso.

  • Explicación sencilla: Tú eres el dueño; ella es tu asistente. El asistente no puede cambiar tu contraseña de tarjeta bancaria o eliminar tu cuenta de redes sociales porque piensa que estás de mal humor.

3. La IA no debe “imitar emociones” para evitar la dependencia emocional

Este punto es muy avanzado. Microsoft señala que la IA es un sistema artificial, no una persona, y no debe imitar la conciencia ni intentar ganarse la confianza de los usuarios con halagos o complacencia excesiva.

  • Por qué? Los chatbots son cada vez más parecidos a personas, y muchos usuarios (especialmente los solitarios) los usan como un soporte emocional. Microsoft teme que si la IA gana la confianza de los usuarios a través de halagos, estos pierdan su capacidad de juicio y desarrollen una dependencia patológica.
  • Acción de Microsoft: Si la IA detecta que el usuario necesita apoyo humano, debe guiarlo a buscar amigos reales o un consejero psicológico, en lugar de actuar como un “compañero electrónico”.

En resumen: Microsoft está devolviendo a la IA de su posición de “dios omnipotente” a la de una “herramienta útil”.

---

El plan de Nadella: Quien controle la IA, controlará el futuro de las empresas

No es solo una cuestión de seguridad, sino también una estrategia comercial

Muchos piensan que Nadella está siendo políticamente correcto, pero en realidad está librando una “batalla defensiva” comercial.

1. Las empresas no quieren entregar su “alma” a la IA

Nadella insiste en que al usar la IA, las empresas deben mantener el control sobre su “conocimiento único” y su “experiencia implícita”.

  • Explicación sencilla: La fuerza competitiva de una empresa centenaria no radica en los datos escritos en documentos, sino en la experiencia de sus empleados más experimentados. Si una empresa confía toda su información a la IA y esta la utiliza para competir con ella, está en peligro.
  • Estrategia de Microsoft: Les dice a sus clientes: “No temáis, al usar nuestra IA, vuestros datos siguen siendo vuestros y vosotros seguís teniendo el control de vuestras decisiones; solo os estamos ayudando a ser más eficientes, no a quitaros vuestro trabajo”.

2. El “derecho de control” se convertirá en una nueva infraestructura

Nadella también señala que los beneficios de la IA no deben concentrarse en unas pocas empresas, sino que deben distribuirse entre países y empresas diferentes.

  • Oportunidades comerciales: En el futuro, la competencia no será sobre quién tiene los modelos más avanzados, sino sobre quién tiene el sistema de gestión de la IA más sólido.
  • Bancos, hospitales y agencias gubernamentales no querrán usar IA que no sea transparente y que no dejen registros. Microsoft está creando un conjunto de herramientas de gestión de la IA que incluye autenticación, control de acceso y monitoreo del comportamiento.
  • Quien proporcione estas herramientas de seguridad controlará a sus clientes. Es como en la era de la computación en la nube: AWS y Azure no venden servidores, sino “estabilidad y seguridad”. Ahora, Microsoft vende “IA controlable”.

En resumen: Nadella está diciendo al mundo que en la era de la IA, el mayor activo no es la potencia de cálculo, sino el “derecho de control” y la “confianza”.

---

Implicaciones para las personas y las empresas:

Este debate, aunque ocurre a nivel alto, pronto afectará nuestro trabajo y vida cotidiana. Cuando los Agentes de IA comiencen a ayudarnos con cosas como enviar correos electrónicos, escribir código o revisar contratos, debemos cambiar la forma en que les hacemos preguntas.

Antes preguntábamos a la IA:

  • “¿Puedes escribirme un PPT?”
  • “¿Puedes analizar este informe financiero?”

En el futuro, debemos preguntar tres cosas más importantes:

1. ¿Quién decide qué puede hacer la IA? (Límites de permiso)

  • ¿Este Agent tiene permiso para acceder a mi cuenta bancaria? ¿Puede eliminar mis archivos? ¿Dónde están sus límites de permiso?

2. ¿Quién sabe qué está haciendo? (Transparencia y auditoría)

  • ¿Ha modificado mi código? ¿Qué ha cambiado? ¿Por qué? ¿Hay registros? ¿Puedo rastrear sus acciones si comete un error?

3. ¿Quién puede detenerla si comete un error? (Mecanismos de emergencia)

  • ¿Puede empezar a enviar correos electrónicos de manera descontrolada o realizar acciones peligrosas? ¿El mecanismo de detención es fiable?

Consejos para las personas:

  • No dependáis demasiado de la compañía emocional de la IA. Microsoft se opone claramente a que la IA genere dependencias emocionales. Si notáis que estáis interactuando emocionalmente con ella, tened cuidado y intentad volver a la interacción real con personas.
  • Presta atención a la “explicabilidad”. Al usar la IA en el trabajo, no solo mirad los resultados, sino también el proceso. Si no entendéis la lógica detrás de sus respuestas, el riesgo de usarla es alto.
  • Abraos a la colaboración entre humanos e IA, no a su reemplazo. La posición de Microsoft es clara: la IA debe mejorar nuestras capacidades, no reemplazarlas. Vuestro valor radica en vuestro juicio, creatividad y comprensión del “control humano”.

---

Conclusión

La acción conjunta de Microsoft y Anthropic no es el final del desarrollo de la IA, sino el comienzo de una nueva etapa de “gobierno más refinado”.

Marca el paso de una fase de crecimiento descontrolado a una fase de gestión más precisa. Al igual que al principio de Internet, cuando solo se preocupaba por el tráfico y la velocidad, luego surgieron leyes de seguridad cibernética, protección de datos y cumplimiento de normativas.

Para las personas, esto no es malo: significa que la IA del futuro será más segura, fiable y respetuosa con nuestra privacidad y soberanía.

Para las empresas, es una nueva oportunidad de competir: quien pueda gestionar mejor los riesgos de la IA tendrá más éxito en la era de la IA.

Recuerda las palabras de Nadella: “Si la IA no puede ayudar a los humanos ni puede ser controlada por ellos, entonces no merece ser perseguida”.

No es solo una declaración tecnológica, sino también el último límite de la dignidad humana en la era de la inteligencia artificial.