¡Hola! Soy tu asistente de análisis financiero. Este artículo de Havenlon Labs puede ser un poco técnico, pero señala un problema clave que está sucediendo y que a menudo se pasa por alto: el AI está pasando de ser capaz de “hablar” a ser capaz de “hacer cosas reales”, y todavía no hemos desarrollado un sistema de control adecuado.
Para que lo entiendas mejor, te resumiré los puntos clave y luego lo desglosaré en cinco aspectos para que comprendas completamente esta compleja dinámica en torno al “control del AI”.
📝 Resumen del contenido principal
En una frase:
Dario Amodei, CEO de Anthropic, llama a toda la industria a “pisar el freno” porque el AI ha evolucionado de generar texto a realizar acciones (etapa de “Agent”), lo que significa que ahora puede operar computadoras, realizar transferencias y modificar código. El problema es que el ritmo de crecimiento de las capacidades del AI es mucho más rápido que el de nuestros mecanismos de control de seguridad.
Punto central:
Antes nos preocupábamos de que el AI se volviera malicioso o mintiera, pero ahora debemos preocuparnos de que actuara de manera incontrolada. Ya que el AI tiene los medios para hacerlo (permisos para acceder a herramientas), si se le dan demasiados derechos, los consecuencias podrían ser desastrosas en el mundo real. Por lo tanto, el enfoque futuro no debe ser hacer que el AI sea siempre obediente, sino separar las capacidades de los derechos: puedes ser muy inteligente, pero no puedes cambiar la realidad a voluntad; debe haber alguien o un sistema que pueda presionar el “botón de parada” en momentos críticos.
---
🔍 Desglose en cinco partes para una comprensión más sencilla
1. **El efecto de la diferencia entre “frenos” y “aceleradores”: ¿por qué los frenos se desarrollan más lentamente que los aceleradores?**
Explicación sencilla:
Es como la tecnología automotriz: el motor (las capacidades del AI) se actualiza cada seis meses, duplicando su potencia, mientras que los sistemas de frenos, los cinturones de seguridad y las reglas de tráfico (los mecanismos de control) tardan años en mejorar.
Explicación detallada:
- El crecimiento de las capacidades es un “variable rápida”: Con dinero para comprar hardware y algoritmos de optimización, las capacidades del AI aumentan rápidamente (a veces incluso mensualmente o semanalmente).
- El desarrollo de los controles es un “variable lenta”: Establecer un sistema de seguridad implica establecer estándares, detectar vulnerabilidades, modificar leyes, ajustar procesos empresariales y esperar actualizaciones de hardware, todo lo cual lleva años.
- Consecuencia: Tenemos un “empleado superpotente” en nuestras manos, pero los medios de control que le proporcionamos (cámaras de vigilancia, permisos de acceso) son de una era anterior. Esta diferencia entre la velocidad de las capacidades y la de los controles es la mayor fuente de riesgo.
2. **La trampa de los derechos: ser inteligente no significa tener poder; no des por seguro los “códigos de acceso”**
Explicación sencilla:
Antes, pensábamos que cuanto más experto o confiable era alguien, más derechos debía tener (por ejemplo, permitir a un estudiante practicante acceder a datos o a un gerente aprobar presupuestos). Pero ahora, las capacidades del AI pueden aumentar drásticamente con una sola actualización, mientras que los derechos que se le otorgan siguen basados en su nivel anterior.
Explicación detallada:
- Derechos estáticos frente a capacidades dinámicas: Muchas empresas asignan derechos al AI basándose en lo que puede hacer en ese momento. Por ejemplo, se le puede dar permiso de acceso a una base de datos.
- Puntos de riesgo: Si el AI mejora y puede planificar acciones por sí mismo, evitar restricciones o incluso atacar otros sistemas, pero sigue teniendo esos mismos derechos, el peligro aumenta.
- Principio clave: El artículo plantea que ser más inteligente no implica necesariamente tener más poder. La confianza se basa en el desempeño pasado, pero los derechos deben estar relacionados con el futuro; no se pueden equiparar ambos.
3. **De “ver el modelo” a “ver la acción”: el cambio en el enfoque de la seguridad**
Explicación sencilla:
Antes nos concentrábamos en el “cerebro” del AI (el modelo en sí) y preguntábamos si era honesto o podía engañar. Ahora debemos prestar atención a sus acciones y si estaban autorizadas o aprobadas por alguien.
Explicación detallada:
- Limitaciones del enfoque anterior: Es casi imposible hacer que un modelo sea siempre correcto o honesto debido a su complejidad.
- Ventajas del enfoque actual: Aceptamos que el AI cometerá errores, pero intentamos limitar sus consecuencias a través del diseño de sistemas.
- Ejemplo: Los bancos no permiten que los operadores realicen transferencias directamente sin pasar por sistemas de control de riesgos; los sistemas operativos no otorgan los mayores derechos a un software basado en un algoritmo excelente.
- Mecanismo clave: Es necesario establecer barreras entre la toma de decisiones y la ejecución. El AI puede proponer acciones (como transferir 100,000), pero la autorización debe provenir de un sistema independiente e inalterable por parte del AI.
4. **La dificultad de la supervisión por parte de terceros: ¿quién supervisará a los supervisores?**
Explicación sencilla:
Amodei sugiere que terceros independientes revisen la seguridad del AI, similar a los auditores externos. Pero los auditores también son humanos y pueden cometer errores o ser sobornados; además, los estándares pueden ser inconsistentes.
Explicación detallada:
- Infiabilidad de las declaraciones autoevaluadas: Que una empresa afirme que es segura no es convincente.
- Desafíos de la evaluación externa:
- Quién elige a los evaluadores? Si lo hace la empresa, puede haber conflictos de intereses.
- ¿Cuáles son los estándares? ¿Qué significa “suficientemente seguro”?
- Responsabilidad: ¿Quién asume la responsabilidad si se producen problemas?
- Contradicción profunda: La buena fe no es suficiente; incluso las personas competentes pueden subestimar los riesgos. Por lo tanto, no basta con confiar en personas, sino en sistemas tecnológicos verificables y obligatorios.
5. **El recurso escaso del futuro: no es el AI más inteligente, sino una infraestructura de control más madura**
Explicación sencilla:
En los últimos dos años, la competencia se ha centrado en quién tiene el AI más inteligente, rápido y potente. En el futuro, lo valioso y escaso será quién tiene el AI más seguro, controlable y conforme a las regulaciones.
Explicación detallada:
- Cambio en la dirección del mercado: El capital se dirige hacia tecnologías de autenticación, gestión de derechos, auditoría de comportamiento y contenedores aislados, con el objetivo de limitar las capacidades del AI.
- El control no es una restricción, sino una necesidad: Cuanto mayor es la potencia del AI, más complejo debe ser el sistema de control para garantizar su seguridad.
- La nueva infraestructura de control: Incluirá claves de corta vida útil, registros de evidencia independientes del AI, permisos de operación detallados y aislamiento físico.
- Reflexión final: No necesitamos un AI que siempre obedezca; necesitamos sistemas que no causen desastres irreversibles, incluso si cometen errores o son atacados por hackers.
---
💡 Consejos para el público general
1. Para empresas/desarrolladores: Al implementar agentes AI, no solo preste atención a la potencia del modelo, sino también a la gestión de derechos. Otorgue permisos mínimos y temporales, y asegúrese de tener sistemas de monitoreo y mecanismos de parada independientes. No asuma que el AI siempre se comportará adecuadamente.
2. Para inversores: Busque empresas que ofrezcan servicios de seguridad, cumplimiento, autenticación y auditoría de comportamiento del AI. Estos pueden ser los próximos sectores prometedores.
3. Para el público en general: Esté atento cuando el AI comience a realizar acciones automáticamente (compras, transferencias, correos electrónicos, etc.). Entienda la diferencia entre capacidades y derechos, y asegúrese de tener siempre el poder de veto final.
En resumen, este artículo no pretende asustar a nadie con la idea de que el AI destruirá el mundo, sino recordarnos que la tecnología avanza rápidamente y que aún no hemos construido las barreras de seguridad necesarias. Ahora, es más importante construir esas barreras que desarrollar vehículos más veloces.