Resumen en lenguaje sencillo del contenido central
En los últimos dos años, toda la industria se ha dedicado a la seguridad en el ámbito del AI, y todos se han preguntado: “¿Qué modelo debo elegir para estar seguro?”. Se ha discutido si usar modelos cerrados o abiertos, si los desarrollan grandes empresas o si los modificamos nosotros mismos. Se han realizado innumerables pruebas y verificaciones de calificaciones para asegurarse de que los modelos sean “suficientemente confiables” antes de confiarles las operaciones clave de la empresa. Sin embargo, Goldman Sachs ha adoptado directamente las prácticas de “cero confianza” y “defensa en profundidad” ya probadas en la seguridad informática tradicional y ha propuesto un enfoque contraintuitivo: no asumir que ningún modelo sea 100% confiable. Incluso si se trata de un modelo abierto de origen desconocido, siempre que se establezcan capas independientes de protección, se puede utilizar con seguridad en entornos de alta sensibilidad, como los bancos. Este cambio representa un desplazamiento del enfoque central de la seguridad en el AI de “elegir modelos fiables” a “construir sistemas fiables”. No solo permite que las empresas utilicen el AI con más libertad, sino que también evita el riesgo de estar atadas a un único proveedor de modelos, marcando el paso del AI de ser un “juguete experimental” a una infraestructura esencial para las operaciones comerciales.
---
Interpretación detallada en puntos sencillos
1. El enfoque anterior a la seguridad en el AI se basaba en una verificación inicial y luego en la concesión total de permisos
El proceso de uso del AI en las empresas solía ser similar al de contratar empleados: se realizaba una investigación de antecedentes, pruebas escritas, pruebas de seguridad y se verificaban las calificaciones de los proveedores. Una vez se confirmaba que todo estaba en orden, se emitía un “certificado de acceso”. Con el tiempo, las empresas relajaban su vigilancia y otorgaban permisos gradualmente al AI: primero se le permitía acceder a datos generales, luego a información de clientes clave, después a interfaces de pago y configuraciones de producción, y finalmente se eliminaba la revisión manual. Esto equivalía a confiar completamente en el nuevo empleado, incluso si no tenía experiencia previa.
Pero este enfoque tiene un fallo fatal: los modelos no son estáticos. Puede que hoy sean seguros, pero mañana alguien pueda introducir contenido malicioso, pasado mañana el modelo se actualice sin ser notificado y el día siguiente el sistema al que se accede pueda cambiar sus configuraciones, lo que cambia completamente el riesgo. Una sola prueba solo garantiza que el modelo en ese momento sea seguro; no puede asegurar que nunca presente problemas en el futuro. Es como apostar todo el sistema de seguridad de la empresa a que un evento de baja probabilidad (como un error en el modelo) no ocurra.
2. El corazón del enfoque de “cero confianza” en el AI: no confiar completamente en ningún modelo y verificar cada acción antes de realizar operaciones importantes
Muchos piensan que el “cero confianza” significa tratar al AI como si fuera un intruso, pero en realidad se trata de una práctica establecida en la seguridad informática tradicional. Antes, se asumía que las personas que accedían a la red interna de la empresa eran de confianza y no se necesitaba verificar su identidad repetidamente; sin embargo, después de varios ataques de hackers, se comenzó a implementar el “cero confianza”. Incluso si alguien es un empleado oficial y ya tiene acceso a la red interna, cada vez que intenta acceder a servidores clave, su identidad debe verificarse nuevamente y se debe comprobar si sus acciones son razonables.
Esto es aún más necesario en el contexto del AI, ya que este no se detiene simplemente cuando tiene problemas, como ocurre con el software tradicional. Puede que un modelo infectado por un hacker genere resultados erróneos o realice operaciones incorrectas sin que nadie se dé cuenta. Por lo tanto, el enfoque de “cero confianza” requiere que se verifique si cada acción es razonable, independientemente de si el modelo es de origen cerrado o abierto y ha pasado todas las pruebas de seguridad.
3. El enfoque de Goldman Sachs desplaza la responsabilidad de la seguridad del modelo al sistema
El sistema de “defensa en profundidad” propuesto por Goldman Sachs es más práctico: los modelos ya no tienen permisos totales; son simplemente herramientas que solicitan información. Para acceder a datos clave, realizar transferencias o modificar configuraciones, deben pasar por revisiones adicionales. Esto evita que las empresas queden atadas a un proveedor de modelos específico. Por ejemplo, si hoy usas un modelo cerrado de una gran empresa y mañana pasas a uno abierto para operaciones sensibles, o si más tarde deseas utilizar un modelo personalizado, no es necesario modificar todo el sistema de seguridad. Es como usar un teléfono Android: no importa qué aplicaciones instales, no se puede permitir que accedan a tus datos personales sin verificación.
4. Falta el elemento clave para completar el sistema de seguridad
Aún falta un componente esencial en este sistema: un “juez independiente” que no se someta a influencias externas. Muchos accidentes relacionados con el AI ocurren a pesar de que todos los procedimientos sean legales y los modelos hayan pasado las pruebas de seguridad. Por eso, en el futuro, el sistema de seguridad en el AI deberá incluir un “juez final” independiente que no dependa de los modelos ni de los sistemas de negocio. Este juez verificará si cada acción es razonable, sin importar quién la realice o cuáles sean sus permisos, y bloqueará cualquier operación que sea inapropiada.
5. “No confiar en los modelos” no significa despreciar al AI; significa tratarlo como una infraestructura esencial
Este enfoque no implica que no se confíe en el AI, sino que se lo considera una herramienta crucial. Es similar a equipar un avión con pilotos experimentados y sistemas de alerta automática, o a proporcionar a los empleados de un banco dispositivos de seguridad adicionales. Un sistema de seguridad sólido no depende de que cada componente funcione sin errores; se busca asegurar que, incluso si algún componente falla, el sistema en su conjunto siga funcionando. Del mismo modo, el AI debe ser tratado como una infraestructura esencial que proteja las operaciones comerciales clave.
---
En resumen, el enfoque de Goldman Sachs representa un cambio significativo en la seguridad en el ámbito del AI, pasando de un enfoque basado en la selección de modelos fiables a uno que se centra en la construcción de sistemas seguros y flexibles. Esto permite que las empresas utilicen el AI con mayor libertad y reduce el riesgo de estar atadas a proveedores específicos, marcando el paso del AI de ser un “juguete experimental” a una tecnología esencial para las operaciones comerciales.