Résumé simplifié du contenu principal
Cet article est comme un coup d’eau froide pour toutes les entreprises et les professionnels qui utilisent l’IA pour l’automatisation des tâches de bureau et le déploiement de systèmes de robots intelligents : les logiques de sécurité mises en place au cours des dernières décennies reposaient sur l’idée que « l’humain est la plus faible cible dans tout le système de sécurité ». Les hackers n’avaient pas besoin de pirater les systèmes ou de trouver des failles ; ils suffisait de tromper les gens, qui, disposant de droits légitimes, accomplissaient alors ce que les hackers voulaient. Mais maintenant que les agents intelligents capables de travailler automatiquement deviennent de plus en plus courants, tout peut être géré par l’IA – de la vérification des contrats aux procédures de paiement. Les humains n’ont plus qu’à définir les grandes lignes des règles. Les hackers n’ont plus besoin de tromper les départements financiers ; ils peuvent directement transférer de l’argent en trompant l’IA. À l’avenir, même les attaques pourraient être menées par des IA, sans aucune participation humaine. L’ingénierie sociale traditionnelle, qui visait les humains, évolue ainsi vers un nouveau modèle où « des machines trompent des machines ». Or, la plupart de nos systèmes de sécurité actuels ne sont pas préparés à cette situation.
---
Analyse détaillée
1. **Les escroqueries basées sur l’ingénierie sociale** :
L’ingénierie sociale consiste traditionnellement à exploiter la paresse humaine. Les attaques se manifestent souvent par des e-mails de pêche ou des faux messages signés de patrons exigeant des virements. Leur caractère particulièrement sournois réside dans le fait qu’elles ne suivent pas les méthodes classiques des hackers : ils n’ont pas besoin de craquer des mots de passe, d’éviter les mesures de chiffrement ou de trouver des failles logicielles. Ils suffisent de modifier les informations reçues par la victime pour la faire prendre de mauvaises décisions, et celle-ci, agissant avec des droits légitimes, réalise alors ce que les hackers souhaitent.
2. **Le transfert du pouvoir de jugement vers les machines avec l’avènement des agents intelligents** :
Auparavant, chaque étape du processus de paiement nécessitait une surveillance humaine : les départements financiers vérifiaient les e-mails, les contrats papier et les comptes de réception. Les systèmes n’étaient que des outils d’enregistrement et d’exécution, et toutes les décisions étaient prises par des humains. Aujourd’hui, de plus en plus d’entreprises utilisent des IA pour rationaliser ces processus : une IA reçoit les e-mails, une autre vérifie les contrats électroniques, une troisième contrôle les informations des comptes, et une quatrième effectue les paiements. Les gestionnaires humains n’ont plus qu’à fixer un objectif général. Les hackers n’ont plus besoin de tromper les départements financiers ; ils peuvent directement tromper l’IA pour transférer de l’argent. À l’avenir, même les attaques pourraient être menées par des IA, sans aucune intervention humaine. Cela représente une évolution majeure dans les méthodes d’escroquerie.
3. **Les nouvelles attaques ne nécessitent pas d’ordres explicites** :
Les attaques modernes ne nécessitent pas d’ordres directs aux IA. Elles peuvent se produire en contaminant la « chaîne d’approvisionnement en informations » de ces dernières. Par exemple, en cachant des instructions dans les données fournies aux IA pour qu’elles ignorent des règles préétablies. Cela rappelle les premières tentatives d’escroquerie par e-mail, comme celles où on prétendait être un prince kényan demandant de l’argent. Les attaques avancées ne laisseront pas de traces évidentes. Les hackers n’auront pas besoin de donner d’ordres directs aux IA ; ils suffisent de modifier légèrement les informations qu’elles collectent (par exemple, en changeant les comptes de réception dans la liste des fournisseurs visités par l’IA, en ajoutant de fausses informations dans les documents d’approbation, ou en modifiant des nouvelles industrielles). L’IA, suivant ces informations apparemment crédibles, aboutira aux conclusions souhaitées par les hackers, sans que personne ne se rende compte de rien.
4. **Ces attaques sont le « prédateur naturel » des systèmes de sécurité actuels** :
Toutes les opérations sont légales, et il n’y a aucune alerte possible. Contrairement aux attaques classiques qui laissent des traces (des connexions IP inconnues, des accès non autorisés, des virus), les attaques basées sur l’ingénierie sociale utilisent des IA légitimes qui agissent selon des règles établies par l’entreprise. Les systèmes de sécurité actuels ne peuvent pas détecter ces attaques, car elles ne contiennent aucune erreur apparente. Même si les décisions prises par les IA sont erronées, il n’y a aucune preuve de fraude.
5. **La véritable solution n’est pas de rendre les IA invulnérables** :
Essayer de rendre les IA incapables d’être trompées est une approche vouée à l’échec. La solution réside plutôt dans le transfert du contrôle des décisions de la phase de jugement à celle d’exécution. Il ne suffit pas de rendre les IA plus intelligentes pour qu’elles reconnaissent les escroqueries ; il faut également mettre en place des mécanismes de vérification indépendants des décisions précédentes. Même si toutes les étapes sont légales, il doit exister un moyen de stopper les actions dangereuses. La logique actuelle de sécurité repose sur la confiance en des personnes ou des IA fiables, mais cela ne suffit plus. Il faut plutôt mettre en place des systèmes basés sur des règles qui permettent de contrôler les actions, quel que soit l’auteur des erreurs (humain ou IA).
En résumé, l’avènement des agents intelligents bouleverse les méthodes traditionnelles de sécurité, car les attaques peuvent désormais se dérouler sans aucune intervention humaine, utilisant des techniques sophistiquées et des informations légales. Les systèmes de sécurité actuels ne sont pas adaptés à ces nouveaux scénarios.