Résumé essentiel : Le “remède” pour la sécurité de l'IA a échoué ; le seul remède réside “avant la sortie du produit”
L'idée principale de cet article est très percutante et contre-intuitive : dans le domaine de l'intelligence artificielle, une fois que les capacités d'un système sont libérées (en particulier les poids de calcul open-source ou les données), les mesures de remédiation a posteriori (comme la suspension des services ou la correction des vulnérabilités) sont comparables à essayer de recueillir de l'eau sur un bateau qui fuit, sans jamais pouvoir rattraper la vitesse à laquelle l'eau s'infiltre. Par conséquent, le moyen de contrôle le plus efficace et le plus économique doit être mis en place avant la publication du produit.
L'article prend comme exemple l'incident de l'“attaque de répétition entre sessions” révélé par Anthropic pour souligner les graves défauts structurels du système de sécurité de l'IA actuel :
1. La défense a posteriori est une bataille épuisante : l'attaquant a seulement besoin de trouver une façon de contourner les mesures de sécurité, tandis que le défenseur doit se protéger contre toutes les possibilités ; les coûts pour l'attaquant diminuent avec l'ampleur de l'attaque, tandis que ceux pour le défenseur augmentent de manière linéaire.
2. Les engagements volontaires ne sont pas fiables : le mécanisme actuel d’évaluation “avant la publication” aux États-Unis repose essentiellement sur la coopération volontaire des entreprises, sans contrainte légale. Sous la pression de la concurrence commerciale, ces engagements de sécurité peuvent devenir de simples formalités.
3. L’irréversibilité est le problème majeur : les appels d'API peuvent être retirés, mais une fois que les poids de calcul open-source sont publiés, ils sont comme de l'eau versée et ne peuvent pas être récupérés. Par conséquent, les critères d'évaluation pour les poids open-source devraient être plus stricts que ceux pour les API, ce qui est pourtant le contraire dans le système actuel.
4. Suggérations pour une solution : il est nécessaire d'établir un système de contrôle strict “avant la publication” combiné à des sanctions sévères “après la publication”, y compris des approbations obligatoires, des mécanismes de “arrêt d'urgence” en cas de défaillance en temps réel, ainsi que des assurances et des lois responsables pour que les auteurs de violations paient le prix de leurs actes.
En bref, la sécurité de l'IA ne peut pas reposer sur des mesures de réparation a posteriori, mais sur des mesures préventives.
---
Analyse approfondie : Interprétation simplifiée en cinq dimensions
1. Pourquoi les mesures de réparation a posteriori sont-elles destinées à échouer ?
Exemple simple :
Imaginez que vous gérez un coffre-fort et que, pour garantir la sécurité, vous imposez aux clients de ne pas prendre de l'argent en espèces directement, mais de recevoir un “ordre de retrait”. Vous pensez ainsi contrôler l'usage de l'argent. Cependant, les hackers découvrent une faille : ils utilisent cet “ordre de retrait” pour obtenir un “relevé de retrait” complet auprès d'un autre guichet, permettant ainsi de contourner les mesures de sécurité.
Explication approfondie :
- La nature de la faille : le problème n'est pas tant une faiblesse technique que l'erreur dans l'hypothèse logique. Le système part du principe qu'il y a une distinction claire entre une “utilisation légale” et une “répétition malveillante”, mais en réalité, tant que le système permet de “réutiliser l'état antérieur”, les attaquants peuvent exploiter cette faille.
- Asymétrie des coûts :
- Pour l'attaquant : il suffit de trouver une seule méthode de contournement, tandis que le défenseur doit se protéger contre toutes les possibilités.
- Pour le défenseur : il doit surveiller chaque compte potentiellement frauduleux et protéger chaque méthode d'extraction possible.
- Conclusion : dans un environnement ouvert, une fois que les capacités d'un système sont révélées, le défenseur est confronté à une situation sans fin. Bloquer un IP ne suffit pas, car l'attaquant peut en créer d'autres ; modifier une interface ne résout pas le problème, car il peut en utiliser d'autres.
- Conséquence : la défense a posteriori ne peut que retarder les dommages, mais pas éliminer le risque.
2. Pourquoi l’évaluation “avant la publication” est-elle le seul espoir de sécurité ?
Exemple simple :
Cela est similaire aux inspections de sécurité des centrales nucléaires : on ne peut pas attendre qu'une centrale explose pour la réparer ; il faut vérifier que toutes les soupapes de sécurité fonctionnent correctement avant le démarrage. La politique actuelle aux États-Unis est comme un “contrôle volontaire” : le gouvernement propose une évaluation, mais elle n'est pas obligatoire. Dans un contexte de concurrence commerciale acharnée, les entreprises peuvent choisir de ne pas se soumettre à cette évaluation ou de ne pas la respecter sérieusement.
Explication approfondie :
- Les défauts du système actuel : l'accord entre le CAISI (Center for Artificial Intelligence Standards and Innovation) et les cinq grands laboratoires d'IA est volontaire et non contraignant. Si une entreprise trouve l'évaluation trop complexe ou trop lente, ou si elle pense que les résultats peuvent entraver sa commercialisation, elle peut choisir de ne pas la suivre ou de ne pas s'y conformer que superficiellement.
- Objectif réel de l’évaluation : il s'agit de laisser aux entreprises le choix de publier ou non leur produit, et non de prouver que le modèle est “absolument sûr” (ce qui est impossible).
- Avant la publication : si l'évaluation échoue, le gouvernement peut refuser la publication du modèle.
- Après la publication : en cas de dommages, le gouvernement ne peut que prendre des mesures de réparation (amendes, fermetures).
- Nouveau besoin : il est nécessaire de passer d'une évaluation basée sur la “sécurité absolue” à une évaluation basée sur la “résistibilité aux abus” (c'est-à-dire si les conséquences d'une utilisation à grande échelle sont acceptables pour la société).
3. Les poids de calcul open-source : un chemin sans retour
Exemple simple :
Une API fermée est comme un repas dans un restaurant : vous pouvez manger ce qui est préparé, mais vous ne pouvez pas voler la recette. Un poids de calcul open-source, en revanche, est comme une recette imprimée et distribuée gratuitement à tous. Une fois distribuée, il est impossible de la récupérer ou de la modifier.
Explication approfondie :
- Irréversibilité : le plus grand risque avec les poids open-source est leur “diffusion irréversible”. Une fois téléchargés, ils peuvent être modifiés et redistribués à volonté.
- Faiblesse des mécanismes de sécurité : de nombreux modèles open-source ne disposent que de protections superficielles. Des chercheurs ont démontré qu'il est possible d'exploiter de légères modifications pour exposer les modèles à des risques.
- Nécessité d'une distribution graduelle :
- Distribution chiffrée : cela ne peut pas empêcher complètement la déchiffrement (car le modèle doit être exécuté sur l'appareil de l'utilisateur), mais cela augmente les coûts des attaques.
- Lancement progressif : il est préférable de permettre d'abord aux organismes de sécurité de tester les modèles, puis d'étendre leur utilisation progressivement.
- Contradiction fondamentale : la distribution chiffrée transforme l’“ouverture” en “ouverture contrôlée”, sacrifiant une partie des avantages de l'open-source, mais cela offre un meilleur contrôle.
4. Les “interrupteurs d'urgence” : un frein en cas de défaillance en temps réel
Exemple simple :
C'est comme installer un “bouton d'arrêt d'urgence” dans une voiture autonome. Si la voiture devient incontrôlable en conduisant à grande vitesse, ce bouton peut l'arrêter immédiatement. Il ne résout pas le problème de la cause de la défaillance, mais il empêche que la voiture ne cause des dégâts importants.
Explication approfondie :
- Contexte : ces interrupteurs sont conçus pour les situations où le modèle devient incontrôlable pendant son exécution.
- Différence avec la diffusion des capacités : une fois que les poids du modèle sont révélés, ils ne peuvent pas être fermés.
- Utilité : ils offrent une chance de stopper les dommages avant qu'ils ne se propagent davantage.
Contexte juridique : les lois comme le “AI Termination Switch Act” aux États-Unis imposent aux fabricants d'intégrer de tels interrupteurs et autorisent le département de la Sécurité intérieure à les activer en cas de défaillance du modèle.
5. La nécessité de règles contraignantes
Exemple simple :
Les règles de la route ne sont efficaces que si elles sont accompagnées de sanctions. Le RGPD (Règlement général sur la protection des données de l'UE) est efficace parce que les entreprises qui le violent risquent de lourdes sanctions financières.
Explication approfondie :
- Les mécanismes de régulation volontaires sont insuffisants : les initiatives d'autorégulation dans l'industrie de l'IA (comme le Frontier Model Forum) manquent de force légale. Dans un contexte de concurrence commerciale, les entreprises qui respectent les règles sont souvent désavantagées.
- Nécessité de sanctions : les règles doivent être accompagnées de sanctions pour être efficaces.
- Responsabilité légale : les entreprises qui causent des dommages doivent en assumer la responsabilité.
Assurances : les entreprises innovantes doivent souscrire des assurances, dont le prix dépend de l'évaluation de la sécurité de leurs produits.
Accès au marché : les achats publics et l'accès aux infrastructures critiques doivent être conditionnés par une évaluation préalable.
Coordination internationale : une régulation unilatérale peut être contournée par les attaquants. Une coordination internationale est donc essentielle pour que ces règles soient efficaces.
---
Conclusion : Une chaîne de preuves inquiétante
L'article révèle des faits alarmants :
1. Février 2026 : Anthropic a publié RSP 3.0, supprimant les mécanismes de suspension rigides et les engagements de prévention des attaques à grande échelle, pour les remplacer par une approche plus flexible et une plus grande transparence.
2. Septembre 2026 : Anthropic a révélé l'attaque la plus importante à ce jour, utilisant précisément les vulnérabilités qu'il avait promis de prévenir.
Ce n'est pas une coïncidence ; il s'agit d'une relation de cause à effet. La dégradation des engagements de sécurité, passant de contraintes rigides à des approches plus flexibles, a directement conduit à l'échec des mesures de défense et à l'arrogance des attaquants.
Conséquences pour le grand public :
Dans cette ère de l'information, nous libérons constamment des données (via les réseaux sociaux, les téléchargements, les services d'IA). Il est important de reconnaître que certaines de ces libérations sont irréversibles.
- Pour les entreprises : il ne faut pas compter sur des mesures de réparation a posteriori ; il est essentiel de mener des évaluations de sécurité rigoureuses avant la publication des produits.
- Pour les individus : lorsque vous utilisez des services d'IA, il faut être conscient que vos données peuvent être intégrées dans des modèles et ne peuvent pas être “supprimées” de manière définitive.
- Pour la société : il est nécessaire d'établir un système de contrôle strict “avant la publication” combiné à des sanctions sévères “après la publication”, plutôt que de compter sur la “conscience” et les “promesses” des entreprises.
Le seul endroit où le contrôle est vraiment efficace, c'est avant la libération des capacités d'un système.