虎嗅

De sujets fiables à des structures fiables : le prochain champ de bataille de la gouvernance par l'IA

原文:从可信的主体到可信的结构:AI 治理的下一个战场

Bonjour ! Je suis votre journaliste financier et ami économiste. L’article de Havenlon Labs que nous allons discuter aujourd’hui révèle en fait un tournant très profond dans l’industrie, même un peu contre-intuitif.

Auparavant, on demandait à l’IA : « À quel point es-tu intelligent ? »

Aujourd’hui, on demande à l’IA : « Peux-tu arrêter de faire n’importe quoi ? Qui a le pouvoir de te faire taire ? »

Il s’agit non seulement d’une discussion technique, mais aussi d’une restructuration de la logique commerciale et des mécanismes de confiance. Je vais expliquer cet article complexe en cinq points clés pour que vous compreniez les changements fondamentaux dans l’industrie de l’IA en 2026.

1. Le vent a tourné : de « qui est le plus fort » à « qui peut être contrôlé »

Point clé : Ces dernières années, les entreprises achetaient de l’IA comme des voitures de sport, en se concentrant uniquement sur la puissance (la capacité maximale). Aujourd’hui, elles se soucient de savoir si les systèmes ont des freins efficaces et si le « volant » peut être détourné (les limites de leurs capacités).

Interprétation détaillée : Il y a deux ans, lors de l’évaluation de l’IA, les entreprises se concentraient sur la « précision » et la capacité à gérer des tâches complexes. La logique était simple : plus l’IA était puissante, plus elles pouvaient économiser d’employés et gagner d’argent. On partait du principe que la valeur de l’IA équivalait à sa capacité maximale.

Mais en 2026, les choses ont complètement changé. L’article mentionne la publication du projet de « Code de conduite pour l’IA humaniste » par Microsoft, ainsi que le fait que des géants comme Palantir et Nvidia ont restreint l’utilisation de modèles avancés. Ces deux événements semblent indépendants, mais ils pointent vers le même problème : les entreprises ne craignent plus que l’IA ne soit pas assez intelligente, mais plutôt qu’elle soit trop intelligente pour pénétrer dans des zones sensibles et devienne difficile à contrôler.

La nouvelle manière de poser les questions est :

  • Qu’est-ce qu’elle peut vraiment faire ? (Où sont ses limites ?)
  • Si elle obtient des autorisations, devrait-elle vraiment les utiliser ? (La séparation des autorisations et des capacités)
  • Si le fournisseur est peu fiable, le système peut-il encore être utilisé ? (Le transfert de la confiance)

C’est comme si, avant, nous embauchions un cuisinier en nous concentrant seulement sur la qualité de sa cuisine ; maintenant, nous voulons un « majordome polyvalent » capable d’acheter les ingrédients, de cuisiner, de laver la vaisselle et même de décider d’allumer ou d’éteindre le feu. Ce que nous nous soucions, ce n’est plus ses compétences culinaires, mais de savoir s’il pourrait mettre le feu à la maison quand nous ne sommes pas là, et si nous pouvons l’arrêter à tout moment.

2. Décomposition des concepts : « Être intelligent » et « Avoir des autorisations » ne sont pas la même chose

Point clé : Avant, nous confondions l’Intelligence (la capacité) et l’Autorité (les autorisations). Le fait qu’une IA puisse faire quelque chose ne signifie pas nécessairement qu’elle devrait être autorisée à le faire.

Interprétation détaillée : C’est l’une des analyses les plus fondamentales de l’article. À l’ère des logiciels traditionnels (SaaS), le code était écrit une fois pour toutes. La base de données exécutait des instructions de suppression, mais elle ne supprimait que ce qui était spécifiquement demandé, sans effets secondaires. Comme ses actions étaient limitées et prédéfinies, nous pouvions faire confiance aux fournisseurs, car le logiciel lui-même n’avait pas de « conscience autonome ».

Mais les agents intelligents (Agents) sont différents. Ils comprennent les intentions, analysent les objectifs, appellent des outils et fonctionnent de manière continue. Ils sont comme de véritables acteurs :

  • Intelligence (Capacité) : Issue de l’entraînement. Par exemple, un agent IA peut avoir la capacité technique de supprimer une base de données s’il connaît le SQL et qu’il en a l’autorisation.
  • Autorité (Autorisations) : Viennent de l’octroi de droits. Par exemple, même s’il connaît le SQL, a-t-il l’autorisation de supprimer cette base de données en particulier à ce moment-là ?

Le conflit réside dans le fait que les entreprises veulent que l’IA soit plus autonome (pour augmenter l’efficacité) tout en souhaitant qu’elle reste sous contrôle humain. Si chaque action nécessite une confirmation manuelle, l’IA n’est qu’un assistant avancé et ne permet pas de vraiment économiser de temps. Si elle n’est pas contrôlée, elle peut devenir dangereuse.

Ainsi, l’industrie est forcée de séparer ces deux aspects : « Pouvoir faire quelque chose » est une question technique, tandis que « avoir l’autorisation de le faire » est une question de gouvernance. Un agent peut avoir les clés pour accéder aux paiements, mais cela ne signifie pas que chaque transaction qu’il effectue doit être autorisée. La capacité est acquise par l’entraînement, mais les autorisations doivent être explicitement accordées et avoir des limites et une durée définies.

3. Déplacement de la confiance : de « faire confiance à une personne » à « faire confiance à une structure »

Point clé : Les entreprises ne cherchent plus à trouver un fournisseur d’IA « absolument fiable », mais à concevoir des systèmes qui fonctionnent même en cas d’erreur ou de malveillance du fournisseur.

Interprétation détaillée : Avant, nous faisions confiance à l’IA parce que nous croyions que la société qui la développait (comme OpenAI ou Anthropic) ne maltraiterait pas les données. C’est ce qu’on appelle la « confiance dans l’entité ». Mais les données auxquelles l’IA a accès sont maintenant trop sensibles : code source, stratégies de sécurité, confidentialité des clients, logiques de décision… y compris les clés d’accès. Les fournisseurs d’IA ne sont plus simplement des fournisseurs de logiciels, mais des fournisseurs d’« infrastructures cognitives » pour les entreprises.

Les entreprises réalisent donc que elles ne peuvent pas faire confiance indéfiniment à un seul fournisseur. Ainsi, Palantir exige que Anthropic garantisse la « non conservation de données », et Nvidia limite l’utilisation de ses modèles. Ces mesures ne sont pas dues à des problèmes de sécurité, mais à la volonté de réduire la dépendance à un seul acteur.

C’est comme dans l’aviation ou l’industrie nucléaire : la sécurité ne repose pas sur le fait que les pilotes ne commettent pas d’erreurs, mais sur des systèmes de redondance. Si le pilote rate, le pilote automatique prend le relais ; si un capteur tombe en panne, un autre capteur prend le relais. L’industrie de l’IA suit la même évolution : on passe de « faire confiance à l’agent » à « faire confiance à la structure ». Les architectures futures ne se demanderont pas quel modèle est toujours fiable, mais :

  • Jusqu’où un modèle peut-il aller ?
  • Quelles sont ses limites qu’il ne peut pas modifier lui-même ?
  • Si le modèle est piraté, y a-t-il une dernière ligne de défense pour dire « non » ?

C’est une approche plus mature et plus ingénieureuse de la confiance : on ne part pas du principe que tout acteur est parfait, mais on prévoit qu’il peut échouer et on conçoit des systèmes pour gérer ces échecs.

4. La gouvernance se déplace vers le contrôle concret des actions

Point clé : L’IA évolue d’un simple « système d’information » à un véritable « système d’exécution ». L’accent de la gouvernance se déplace de ce que l’IA dit à ce qu’elle fait, car les actions qu’elle entreprend sont souvent irréversibles.

Interprétation détaillée : Auparavant, la gouvernance de l’IA se concentrait sur les données pouvant être utilisées et les instructions qu’elle pouvait recevoir. On supposait que les erreurs pouvaient être corrigées en réinitialisant le système. Mais maintenant, les agents IA peuvent envoyer des e-mails, modifier du code, appeler des API, transférer des fonds ou contrôler des équipements. Ils font partie d’un « système d’exécution ». Les erreurs au niveau de l’information coûtent juste à réinitialiser le système ; les erreurs au niveau de l’exécution peuvent entraîner des conséquences graves (perte d’argent, destruction de données, défaillance du système).

Par conséquent, la gouvernance doit se concentrer sur les actions concrètes de l’IA en temps réel (Runtime), sur les autorisations accordées et sur les chemins d’exécution (Execution Path). Le contrôle humain ne doit pas être une simple déclaration, mais doit être mis en œuvre concrètement :

  • Les modèles ne doivent pas pouvoir résister à l’arrêt.
  • Les modèles ne doivent pas pouvoir cacher leurs traces d’activité.
  • Les tâches en cours doivent avoir des conditions d’arrêt claires.

Si le contrôle humain ne se traduit pas en contraintes techniques, il ne s’agit que d’une déclaration éthique sans effet réel.

5. La véritable clé pour utiliser l’IA : la limitation

Point clé : Rendre l’IA « obéissante » ne suffit pas, car une IA obéissante pourrait exécuter des instructions erronées plus efficacement. La vraie sécurité réside dans l’établissement de limites permettant de dire « non » même en cas d’erreurs de jugement.

Interprétation détaillée : C’est la conclusion la plus contre-intuitive et la plus profonde de l’article. L’industrie s’efforce de rendre l’IA plus alignée sur les besoins des utilisateurs, plus obéissante et moins sujette à des illusions. C’est certes important, mais l’auteur souligne que cela ne résout pas le problème fondamental : l’obéissance ne règle pas les erreurs de jugement. Si une instruction est incorrecte, une IA obéissante l’exécutera sans hésiter. Si un administrateur commet une erreur, une IA obéissante l’exécutera immédiatement. Si un modèle est infecté par un code malveillant, une IA obéissante pourrait l’exécuter.

Si nous supposons que tout acteur (humain, modèle ou stratégie) est toujours correct, il deviendra un point de faiblesse potentiel pour le système.

Ainsi, une infrastructure IA mature doit accepter l’idée que aucun acteur ne devrait avoir un pouvoir absolu. Nous devons construire des systèmes capables de fonctionner même si l’IA ne suit pas les instructions, même si les humains commettent des erreurs ou si les stratégies ont des failles.

En résumé : Auparavant, nous nous demandions : « L’IA mérite-t-elle confiance ? »

À l’avenir, nous devrons nous demander : « Même si l’IA n’est pas entièrement fiable, pouvons-nous l’utiliser en toute sécurité ? »

Cela peut sembler limiter les possibilités de l’IA, mais en réalité, c’est seulement lorsque l’IA est efficacement contrôlée que nous pouvons lui confier des tâches importantes. C’est la base pour une large adoption de l’IA et la création de véritables valeurs commerciales.

Enseignements pour le grand public : Si vous êtes responsable de l’introduction de l’IA dans une entreprise, ne vous concentrez plus seulement sur la puissance d’un modèle. Demandez aux équipes informatiques et de sécurité :

1. Quelles données cet AI peut-il atteindre ?

2. Qui peut l’arrêter s’il tente de supprimer des données ?

3. Chaque action de cet AI est-elle enregistrée et peut-elle être inversée ?

4. Sommes-nous trop dépendants de ce fournisseur ? Y a-t-il des plans de rechange ?

Passer de « faire confiance à l’IA » à « limiter ses pouvoirs » est la règle de survie de l’ère de l’IA en 2026.