Hola! Soy tu amigo periodista financiero y economista. El artículo de hoy, proveniente de Havenlon Labs, revela un punto de inflexión en la industria muy profundo e incluso un poco contraintuitivo.
Antes, la gente preguntaba a la IA: “¿Cuán inteligente eres?”
Ahora, la gente pregunta a la IA: “¿Puedes dejar de actuar de manera desordenada? ¿Quién tiene el poder para detenerte?”
Esto no es solo una discusión técnica, sino también una reestructuración de la lógica comercial y los mecanismos de confianza. A continuación, desglosaré este largo artículo en cinco aspectos clave para que entiendas los cambios en la lógica subyacente de la industria de la IA para el año 2026.
1. El enfoque ha cambiado: de “ver quién es más fuerte” a “controlar su comportamiento”
Punto central: En los últimos años, las empresas compraban IA como si compraran coches de carreras, solo preocupándose por su potencia (el límite de sus capacidades); ahora, se preocupan por si los frenos funcionan y si el volante puede ser tomado por alguien (los límites de sus capacidades).
Explicación detallada: Recuerda los últimos dos años: cuando las empresas evaluaban la IA, se fijaban en la “precisión” y la capacidad de manejar tareas complejas. La lógica era simple: cuanto más inteligente fuera la IA, más personal podríamos ahorrar y más dinero ganar. La premisa implícita era: El valor de la IA = su límite de capacidad.
Pero para 2026, el enfoque ha cambiado completamente. El artículo menciona que Microsoft publicó un borrador del “Código de Conducta para la IA Humanista” y que gigantes como Palantir y Nvidia han restringido el uso de modelos de vanguardia. Estos dos hechos, aparentemente dispares, apuntan al mismo problema: Las empresas ya no temen que la IA no sea lo suficientemente inteligente, sino que lo sea tanto que pueda acceder a áreas sensibles y sea difícil de controlar.
La forma en que se plantean las preguntas ahora es:
- ¿Qué puede hacer realmente? (¿Dónde están sus límites?)
- ¿Debería seguir ejecutando si se le da el permiso? (La separación entre permisos y capacidades)
- ¿Puede seguirse utilizando el sistema si el proveedor no es confiable? (El desplazamiento del sujeto de confianza)
Es como si antes contratáramos a un cocinero solo preocupándonos por si su comida está buena; ahora queremos a un “mayordomo todopoderoso” que pueda comprar los ingredientes, cocinar, lavar los platos e incluso decidir si enciende o apaga el fuego. Lo que nos importa ya no es su habilidad culinaria, sino: ¿Podría incendiar la casa cuando no esté mirando? ¿Puedo detenerlo en cualquier momento?
2. Desglose de conceptos: “Inteligencia” y “poder” son dos cosas diferentes
Punto central: Antes confundíamos la inteligencia (capacidad) con el poder (autoridad). Que la IA pueda hacer algo no significa que deba permitírselo.
Explicación detallada: Este es uno de los análisis lógicos más profundos del artículo. En la era de los software tradicionales (SaaS), el código estaba escrito de forma fija. La base de datos ejecutaba órdenes de eliminación, pero solo eliminaba lo que se le pedía, sin afectar otras tablas. Como sus acciones estaban limitadas y definidas, confiábamos en los proveedores, ya que el software en sí no tenía “conciencia propia”.
Pero los agentes inteligentes (Agents) son diferentes. Pueden comprender intenciones, descomponer objetivos, llamar herramientas y ejecutar acciones de manera continua. Son verdaderos “agentes de acción”:
- Inteligencia: Proviene del entrenamiento. Por ejemplo, un agente IA puede tener la capacidad técnica para eliminar una base de datos porque conoce SQL y tiene los permisos para hacerlo.
- Poder: Proviene de la autorización. Por ejemplo, aunque conoce SQL, ¿tiene autorización para eliminar esa base de datos en ese momento específico?
El conflicto radica en que las empresas quieren que la IA sea más autónoma (menor necesidad de confirmación humana, mayor eficiencia), pero al mismo tiempo desean que esté siempre bajo control humano. Si cada acción requiere confirmación, la IA es solo un asistente avanzado y no aporta mucho. Si no se permite confirmación, la IA podría perder el control.
Por lo tanto, la industria debe separar estas dos cosas: “¿Puede hacerlo?” es una cuestión técnica; “¿Tiene el permiso?” es una cuestión de gobernanza. Un agente puede tener las credenciales para acceder a interfaces de pago, pero eso no significa que cada transacción que realice deba ejecutarse. La capacidad se obtiene a través del entrenamiento, pero los permisos deben otorgarse de manera explícita, con límites y plazos específicos.
3. Desplazamiento de la confianza: de “confiar en las personas” a “confiar en las estructuras”
Punto central: Las empresas ya no intentan encontrar un proveedor de IA “absolutamente confiable”, sino diseñar estructuras que puedan garantizar que el sistema funcione incluso si el proveedor comete errores o actúa de manera maliciosa.
Explicación detallada: Antes confiábamos en la IA porque confiábamos en la empresa que la desarrollaba (como OpenAI o Anthropic) para que no abusara de los datos. Esto se llama “confianza en el sujeto”. Pero ahora, los datos a los que tiene acceso la IA son demasiado sensibles: código fuente, estrategias de seguridad, privacidad de clientes, lógica de toma de decisiones… incluso credenciales de operación. Los proveedores de IA ya no son solo vendedores de herramientas, sino proveedores de “infraestructura cognitiva” para las empresas.
Entonces, las empresas se dan cuenta de que no pueden confiar ilimitadamente en un único proveedor. Por eso, acciones como las de Palantir, que exigen a Anthropic que garantice la “no retención de datos”, o las de Nvidia, que restringen el uso de modelos, tienen como objetivo reducir la dependencia de un solo proveedor. Es como en la aviación o la industria nuclear: la seguridad no depende de que el piloto nunca cometa errores, sino de sistemas de redundancia. La industria de la IA está experimentando la misma evolución: De “confiar en el ejecutor” a “confiar en la estructura”.
Las arquitecturas futuras no preguntarán “¿Qué modelo merece confianza para siempre?”, sino:
- ¿Hasta dónde puede llegar con cualquier modelo?
- ¿Qué límites no puede cambiar por sí mismo?
- ¿Si el modelo es hackeado, ¿el sistema tiene una última línea de defensa para decir “no”?
Este es un enfoque de confianza más maduro y工程izado: No asumimos que ningún sujeto sea perfecto, sino que cualquier uno puede fallar, y diseñamos sistemas para manejar esas fallas.
4. La gobernanza debe descentralizarse: de “controlar las palabras” a “controlar las acciones”
Punto central: La IA está pasando de ser un “sistema de información” a un “sistema de ejecución”. El foco de la gobernanza ha cambiado de “qué dice” a “qué hace”, ya que las acciones son a menudo irreversibles.
Explicación detallada: La gobernanza de la IA en el pasado se centraba en qué datos se podían usar, qué instrucciones se podían dar y qué contenido se podía generar. Se asumía que los errores en la salida de la IA se podían corregir fácilmente. Pero ahora, los agentes inteligentes pueden enviar correos electrónicos, modificar código, acceder a API, transferir fondos y controlar dispositivos. Están pasando a ser sistemas de ejecución. Un error en la capa de información puede ser simplemente corregido, pero un error en la capa de ejecución puede tener consecuencias graves (dinero perdido, datos eliminados, sistemas que fallen).
Por lo tanto, la gobernanza debe descentralizarse. No basta con asegurarse de que los modelos no tengan la intención de hacer daño; también es necesario controlar cada acción en tiempo real, en términos de autorizaciones y rutas de ejecución. El “control humano” no debe ser solo una frase, sino una acción técnica verificable:
- Los modelos no deben poder resistirse a ser desactivados.
- Los modelos no deben ocultar sus rutas de acción.
- Las tareas en ejecución constante deben tener condiciones de detención claras.
Si el “control humano” no se traduce en restricciones concretas en el código, es solo una declaración ética sin efecto real.
5. La verdadera clave para usar la IA con seguridad: restringirla
Punto central: Hacer que la IA sea “obediente” no es suficiente, porque una IA obediente podría ejecutar instrucciones erróneas de manera eficiente. La verdadera seguridad radica en establecer límites que permitan decir “no” incluso si los juicios son erróneos.
Explicación detallada: Este es el conclusión más contraintuitiva y profunda del artículo. Todo el sector está trabajando para que la IA sea más alineada con los objetivos, más obediente y menos propensa a generar ilusiones. Esto es importante, pero el autor señala que solo hacer que la IA sea más obediente no resuelve el problema fundamental. ¿Por qué? Porque la obediencia en sí no soluciona los errores de juicio:
- Si una instrucción está mal escrita, una IA obediente la ejecutará sin dudar.
- Si un administrador comete un error, una IA obediente la ejecutará inmediatamente.
- Si un modelo es manipulado por instrucciones maliciosas, una IA obediente podría ejecutar el código dañino.
Si asumimos que algún actor (ya sea humano, modelo o estrategia) siempre tiene razón, ese actor se convertirá en un punto de fallo del sistema.
Por lo tanto, la infraestructura de IA madura debe aceptar la idea incómoda de que ningún sujeto debe tener autoridad absoluta. Lo que necesitamos no es una IA más obediente, sino un sistema que pueda decir “no” incluso si la IA no obedece, si el humano comete un error o si la estrategia tiene fallos.
En resumen: Antes, preguntábamos: “¿La IA merece confianza?”
En el futuro, debemos preguntar: Incluso si la IA no merece ser completamente confiable, ¿podemos usarla de manera segura?
Esto puede parecer como restringir la IA, pero en realidad, solo cuando la IA no pueda actuar cuando sea necesario (es decir, cuando esté efectivamente restringida) podemos confiarle tareas importantes. Esa es la base para la implementación a gran escala de la IA y para que genere valor comercial.
Consejos para el público general: Si estás a cargo de introducir la IA en tu empresa, no te enfoces solo en cuán potente es el modelo. Pregúntale al equipo de TI y de seguridad:
1. ¿Con qué datos puede tener acceso la IA?
2. ¿Quién puede detenerla si intenta eliminar datos?
3. ¿Cada acción tiene registros y mecanismos de reversión?
4. ¿Somos demasiado dependientes de ese proveedor? ¿Hay planes de respaldo?
De “confiar en la IA” a “restringirla” es la regla de supervivencia en la era de la IA de 2026.