Résumé du contenu principal
Cet article propose une nouvelle approche de la sécurité, appelée « intégrité antagoniste », qui rompt avec les limites de la défense passive traditionnelle. La sécurité traditionnelle considère que le danger est une anomalie occasionnelle, et donc on lutte contre lui en construisant des murs, en mettant des verrous et en établissant des lignes de défense. L’approche de l’intégrité antagoniste souligne que la tromperie, les conflits, les erreurs et les divergences d’intérêts font partie de la réalité. La sécurité des systèmes ne doit pas reposer sur des entités parfaites (des êtres humains ou des intelligences artificielles toujours justes), mais plutôt sur la conception de structures fiables qui permettent aux systèmes de rester intacts et fonctionnels même en face d’une opposition constante. En d’autres termes, il s’agit de passer d’une stratégie visant à exclure le danger à une stratégie qui permet au système de survivre même si le danger est présent à l’intérieur.
Analyse détaillée
1. La « maladie d’innocence » de la sécurité traditionnelle : croire que le danger est toujours « à l’extérieur »
La logique fondamentale de la sécurité traditionnelle est que le monde est en principe normal : les bonnes personnes agissent selon les règles, tandis que les mauvaises personnes sont des anomalies extérieures. Par exemple, on construit des murailles pour se protéger des ennemis, des pare-feu pour se défendre contre les hackers et des contrôles comptables pour éviter les vols externes. Mais la réalité est tout autre :
- Les entreprises font souvent faillite non pas à cause d’attaques externes, mais à cause de l’abus de pouvoir par des dirigeants internes (par exemple, le détournement de fonds) ;
- Les crises financières ne sont pas causées par un petit nombre de personnes malveillantes, mais par le fait que tout le monde choisit des actions bénéfiques pour soi-même mais néfastes pour l’ensemble (par exemple, tout le monde emprunte pour acheter des maisons, ce qui conduit à l’éclatement de bulles économiques) ;
- Même votre propre consommation impulsive peut vous coûter plus cher que le vol d’un voleur.
Problème clé : Le danger n’est jamais seulement « à l’extérieur » ; il est déjà présent dans les systèmes (à cause de la cupidité des gens, de leurs erreurs de jugement ou des failles des organisations). La défense passive est comme installer des portes de sécurité dans une maison sans se préoccuper des dégâts causés par les habitants eux-mêmes : elle ne protège pas les risques essentiels.
2. Le secret du progrès civilisationnel : passer de la recherche de « bonnes personnes » à la construction de structures fiables
Dans l’antiquité, la gouvernance reposait sur l’idée de rois sages et de ministres vertueux. Mais l’histoire a montré qu’il n’y a pas de personnes parfaites (les empereurs peuvent être incompétents et les ministres peuvent être corrompus). L’intelligence des systèmes modernes réside dans le fait de renoncer à la recherche de personnes idéales pour concevoir des structures capables de fonctionner même si les personnes ne le sont pas :
- La séparation des pouvoirs (législative, exécutive, judiciaire) permet de limiter les abus ; même si le président veut agir de manière illégale, le parlement peut l’empêcher et les tribunaux peuvent le juger ;
- Les processus de validation financière dans les entreprises empêchent le PDG de dépenser de l’argent sans autorisation ; même s’il commet une erreur, il y a plusieurs niveaux de contrôle ;
- Les systèmes de contrôle interne dans les banques vérifient régulièrement la crédibilité des clients, même s’ils n’ont pas enfreint de règles précédentes.
Logique clé : Les systèmes matures ne reposent pas sur la vertu des individus, mais utilisent des structures pour limiter les conséquences des erreurs ; même les bonnes personnes peuvent commettre des erreurs sans détruire le système.
3. Changement de perspective : passer de la gestion des risques à la participation à des jeux stratégiques
Auparavant, on parlait de risques tels que les tremblements de terre ou les pannes de serveurs, des phénomènes statiques que l’on pouvait prédire. Aujourd’hui, nous devons faire face à des situations dynamiques où l’adversaire ajuste ses actions en fonction de nos mouvements :
- Si vous mettez en place des contrôles de décaissement pour l’entreprise, les employés trouveront des méthodes plus discrètes pour obtenir des remboursements ;
- Si vous imposez des restrictions d’achat, certains utiliseront des stratagèmes (comme des divorces fictifs) pour acheter des biens ;
- Si vous restreignez les pouvoirs des intelligences artificielles, les hackers trouveront de nouvelles méthodes pour attaquer les systèmes.
Différence clé : Les risques sont statiques, tandis que les interactions humaines sont dynamiques. L’objectif de la sécurité n’est plus d’éliminer le danger, mais de garantir que le système ne s’effondre pas même face à ces interactions. Par exemple, une décision nécessite l’approbation de plusieurs départements, ce qui rend difficile pour quiconque de nuire gravement à l’entreprise.
4. L’intégrité antagoniste : permettre l’imperfection, mais empêcher que cela ne détruise tout
L’« intégrité » ne signifie pas que les systèmes ne connaîtront jamais d’incidents, mais qu’ils pourront résister même en cas de problème :
- Une structure de pont est conçue pour résister aux vents forts (elle est résistante aux séismes) ;
- Un avion est équipé de moteurs de rechange en cas de panne ;
- Un système démocratique permet de résoudre les divergences d’opinions selon les règles.
Cœur de l’approche de l’intégrité antagoniste : la résilience. Permettre l’existence d’erreurs, mais empêcher qu’elles ne détruisent le système. Par exemple, un système de paiement en ligne peut gérer les erreurs sans que les fonds des utilisateurs disparaissent (grâce à des journaux de transaction, des mécanismes de remboursement et à plusieurs niveaux de vérification).
5. À l’ère de l’intelligence artificielle, évitons les erreurs du passé : ne cherchez pas un modèle parfait, mais contrôlez les actions des agents intelligents
De plus en plus d’agents intelligents sont utilisés (par exemple, pour rédiger des rapports ou gérer des logiciels). Beaucoup veulent entraîner des intelligences artificielles toujours justes, mais c’est aussi naïf que de chercher un roi sage dans l’antiquité : les intelligences artificielles peuvent faire des erreurs, interpréter mal les instructions ou être attaquées. La bonne approche est de limiter leurs capacités :
- Ne pas exiger qu’elles soient toujours correctes, mais de définir clairement leurs fonctions (par exemple, elles peuvent proposer des conseils d’investissement, mais pas effectuer directement des transferts de fonds) ;
- Séparer la prise de décision de l’exécution (l’intelligence artificielle analyse les données, tandis que les humains prennent les décisions finales) ;
- Conserver le droit de veto (même si l’intelligence artificielle affirme qu’il n’y a pas de problème, les humains peuvent l’arrêter).
Analogie : Vous ne laisseriez pas un enfant utiliser votre carte bancaire directement ; vous lui donneriez plutôt de l’argent de poche pour limiter ses dépenses. Il en va de même pour les intelligences artificielles : il faut encadrer leurs pouvoirs pour qu’elles ne puissent pas agir à leur guise.
Conclusion
L’approche de l’intégrité antagoniste n’est pas plus pessimiste, mais plus réaliste : elle reconnaît que le monde est imparfait, mais nous pouvons concevoir des systèmes capables de gérer ces imperfections et de fonctionner malgré elles. C’est la véritable maturité.