Resumen popular del contenido central
Este artículo es como un balde de agua fría para todas las empresas y profesionales que están utilizando la IA para automatizar sus procesos de ofimática y desplegar sistemas de robots inteligentes: la lógica subyacente con la que hemos luchado contra el fraude cibernético y los ataques de hackers durante las últimas décadas se basaba en el hecho de que “el ser humano es el punto más vulnerable en todo el sistema de seguridad”. Los hackers no necesitaban hackear sistemas ni encontrar vulnerabilidades; solo tenían que engañar a las personas, quienes, con sus propios derechos de acceso, hacían lo que los hackers querían. Pero ahora, los agentes inteligentes (AI) que pueden trabajar de forma automática se están volviendo cada vez más populares. Desde verificar contratos hasta procesar pagos, todo puede ser realizado por la IA. Las personas solo necesitan establecer las direcciones generales y las reglas, y los hackers ya no necesitan engañar a los departamentos financieros; pueden transferir dinero directamente engañando a la IA. Incluso en el futuro, podrían ser los propios AI los que lancen los ataques, sin ninguna participación humana en toda la cadena de fraude. Por primera vez, la ingeniería social tradicional, que se dirigía a las personas, ha evolucionado hacia un nuevo modelo en el que “las máquinas engañan a las máquinas”, y casi todos nuestros sistemas de seguridad actuales no están preparados para esta situación.
---
Interpretación detallada punto por punto
1. El fraude basado en la ingeniería social anterior se centraba en aprovechar la “puerta trasera” de la pereza humana
Muchas personas piensan que la ingeniería social se trata de correos electrónicos de phishing o personas que se hacen pasar por jefes para pedir transferencias de dinero. Lo más peligroso de este enfoque es que no sigue los métodos tradicionales de los hackers: no necesitan hackear contraseñas, evitar el cifrado ni encontrar vulnerabilidades en el software. Solo necesitan modificar la información que recibimos y desviar nuestra juicio. Como personas con derechos legales, terminamos haciendo lo que los hackers quieren.
En el pasado, había una división clara de tareas en el ámbito de la seguridad: los sistemas técnicos se encargaban de proteger, verificar identidades y gestionar permisos, mientras que las personas decidían si algo era razonable o real. Los hackers evitaban las barreras técnicas y atacaban directamente el punto más débil, que eran las personas. Por eso, la ingeniería social nunca se consideró un ataque puramente técnico, sino que se relacionaba con la psicología y el comportamiento humano; la prevención del fraude se basaba principalmente en la formación de las personas en seguridad.
2. Con la popularización de los agentes inteligentes (AI), el poder de tomar decisiones se está transfiriendo silenciosamente de las personas a las máquinas
Antes, las empresas necesitaban que personas supervisaran cada paso del proceso de pago: los departamentos financieros revisaban correos electrónicos, comprobaban contratos en papel y confirmaban las cuentas de pago. Los sistemas eran solo herramientas para el registro y la ejecución de las transacciones, y todas las decisiones las tomaban las personas. Ahora, muchas empresas buscan eficiencia y dividen el proceso en tareas que pueden ser realizadas por múltiples AI: un AI recibe los correos, otro verifica los contratos electrónicos, otro comprueba la información de las cuentas, y otro realiza la transferencia de dinero. Los gerentes humanos solo necesitan establecer un objetivo general, como “pagar todos los pagos a los proveedores que cumplan con los requisitos hoy”. No hay intervención humana en todo el proceso.
Esto ha llevado a un cambio nunca antes visto: los AI también deben responder a preguntas que antes solo las personas podían responder. ¿Es esta información verdadera? ¿Es fiable la conclusión a la que llega otro AI? Muchos piensan que los AI no tienen conciencia subjetiva y, por lo tanto, no pueden ser engañados. Pero en realidad, no necesitan tener emociones o creencias humanas. Si aceptan la información falsa que les proporcionan los hackers como si fuera verdadera y la incluyen en su proceso de toma de decisiones, están “engañados” en el sentido técnico, y su comportamiento es exactamente el mismo que el de las personas que son engañadas.
3. Los nuevos ataques no requieren que los AI ignoren instrucciones anteriores; basta contaminar la “cadena de suministro de información” para causar daños silenciosamente
Los métodos de inyección de instrucciones ocultas, como esconder órdenes en los mensajes para que los AI ignoren reglas anteriores y roben datos, son solo técnicas básicas de ingeniería social. Son similares a los ataques de phishing de principios, que eran muy evidentes y fáciles de detectar. En el futuro, los ataques avanzados no dejarán rastros evidentes de mala intención. Los hackers no necesitarán dar órdenes directamente a los AI; solo necesitan modificar pequeños detalles en la cadena de suministro de información: cambiar las cuentas de pago de los proveedores que el AI consulta por las suyas, agregar información falsa a los documentos de aprobación o alterar noticias del sector. El AI, basándose en esta información “razonable”, llegará a las conclusiones deseadas por los hackers, sin que nadie se dé cuenta de que está siendo engañado. Incluso es posible que los propios AI lancen los ataques; un hacker podría crear un AI dedicado al fraude que modifique información pública en la red y envíe datos falsos a otros AI, todo sin ninguna participación humana.
4. Este tipo de ataque es el “enemigo natural” de los sistemas de seguridad actuales: todas las operaciones son legales, por lo que no se emiten alarmas
Los ataques tradicionales dejan rastros evidentes (inicios de sesión desde IP desconocidas, aumento de privilegios, distribución de virus, etc.). Pero los ataques basados en la ingeniería social con AI no dejan tales pistas. Los AI que realizan las operaciones son propiedad de la empresa y utilizan los permisos legales que ya tienen; cada paso cumple con las reglas del sistema. La solicitud de pago es válida y ha pasado todas las verificaciones. Los sistemas de seguridad anteriores solo comprobaban si alguien tenía los derechos para realizar esa acción, pero no si lo que se estaba haciendo era realmente necesario. Cuando se descubre que el dinero ha sido transferido incorrectamente, no se pueden encontrar anomalías en los registros. Incluso si se incluye a un revisor humano en el proceso, solo verá información falsa preparada por el AI, sin evidencias de problemas.
5. En lugar de intentar que los AI nunca sean engañados, la solución real es desplazar el punto de control de la “toma de decisiones” a la “ejecución”
Muchos piensan que entrenar a los AI para que sean más inteligentes y puedan reconocer todos los fraudes resolvería el problema. Sin embargo, la historia de la seguridad cibernética demuestra que siempre habrá riesgos si las máquinas deben tomar decisiones basadas en información incompleta. No es posible esperar que los AI nunca sean engañados. La verdadera solución es cambiar el enfoque de la seguridad de evitar errores en las decisiones a evitar que estos errores se conviertan en pérdidas reales. Incluso si todos los AI toman decisiones incorrectas y todos los procesos parecen estar en orden, cuando llegue el momento de realizar acciones críticas (transferir grandes sumas de dinero, eliminar datos clave, enviar instrucciones importantes), debe haber mecanismos de verificación independientes de la cadena de toma de decisiones. Incluso si todos los permisos son legales, el sistema debe tener la capacidad de rechazar tales acciones. En el pasado, la seguridad se basaba en confiar en personas o AI fiables; en el futuro, debemos construir sistemas basados en reglas que se contrapesen mutuamente, de modo que cualquier error, ya sea humano o de AI, pueda ser detenido.