虎嗅

Lorsque les géants de l’IA commencent à demander une ralentissement : derrière la sécurité, le pouvoir et la responsabilité se rééquilibrent

原文:当 AI 巨头开始要求减速:安全背后,权力与责任正在重新配对

Lorsque les géants de l’IA s’arrêtent : un grand remaniement des pouvoirs sur la question de “qui décide”

Bonjour à tous, je suis votre journaliste financier. Aujourd’hui, nous allons parler d’un article très approfondi, publié par Havenlon Labs.

L’idée principale de cet article est très percutante : pendant les dernières années, l’industrie de l’IA s’est concentrée sur celui qui courait le plus vite, mais maintenant, même les dirigeants des entreprises les plus réputées (comme Dario Amodei, PDG d’Anthropic) commencent à appeler ouvertement à ralentir.

Cependant, ce n’est pas seulement par peur ou pour des raisons de sécurité. Derrière cela se cache une répartition majeure des pouvoirs et des responsabilités. Auparavant, les entreprises d’IA décidaient elles-mêmes de ce qu’elles développaient, comment elles le faisaient, quand elles le lançaient sur le marché, et elles gardaient les bénéfices pour elles, assumant également les conséquences en cas de problème. Mais maintenant, l’impact de l’IA est tellement important que si quelque chose va mal, toute la société en paie les conséquences. Ainsi, la société se demande : si les conséquences sont publiques, pourquoi les décisions ne seraient-elles pas partagées avec le public et le gouvernement ?

Pour que cela soit plus compréhensible pour vous, j’ai décomposé cet article en cinq points clés, expliqués de manière simple.

---

Premier point : Le conflit fondamental : des décisions privées, des catastrophes publiques

[Interprétation simple] : Auparavant, si votre maison brûlait, c’était votre problème ; maintenant, si votre maison brûle et que toute la rue est touchée, vous êtes toujours seulement responsable de payer pour votre propre maison.

L’article souligne que le plus grand problème de l’industrie de l’IA n’est pas la faiblesse de la technologie, mais le décalage entre les pouvoirs et les responsabilités.

  • Situation actuelle : Des géants comme OpenAI et Anthropic possèdent un pouvoir considérable. Ils décident à quel niveau perfectionner les modèles, quand les lancer, et quel degré d’autonomie accorder à l’IA. Ces décisions sont prises en interne, sans que le public en soit informé.
  • Problème : L’IA n’est plus seulement un robot de conversation ; elle est présente dans les domaines financier, médical, de la sécurité informatique, et même dans l’armée. Si elle commet une erreur ou est exploitée par des hackers, les conséquences ne se limitent pas à la faillite d’une seule entreprise ; elles peuvent entraîner des chômage massif, un krach financier ou des perturbations réseau.
  • Conclusion : Il s’agit de ce qu’on appelle des décisions privées ayant des conséquences publiques. Auparavant, les entreprises assumaient seules leurs succès et leurs échecs ; maintenant, leurs décisions peuvent affecter toute l’humanité. Si les conséquences sont partagées, il est juste que le public et le gouvernement participent aux décisions, et non que les entreprises en aient le monopole.

---

Deuxième point : Un exemple historique : les scientifiques avaient le privilège de définir les dangers

[Interprétation simple] : Auparavant, seuls les scientifiques savaient comment fabriquer des bombes nucléaires, donc c’étaient eux qui définissaient les règles. Aujourd’hui, seules les entreprises d’IA connaissent les technologies utilisées ; elles veulent donc définir les règles. Mais est-ce juste ?

L’article cite deux exemples historiques pour expliquer pourquoi il est difficile de gérer la situation actuelle :

1. L’ingénierie génétique de 1975 (Conférence d’Asilomar) : La technologie de la réorganisation du DNA était nouvelle et dangereuse. Les gouvernements et le grand public ne comprenaient pas, seuls les scientifiques en savaient assez. Ainsi, la société a dû écouter les scientifiques pour déterminer quels essais pouvaient être menés et lesquels non. L’essentiel est que celui qui comprend le premier les risques a le pouvoir de les définir.

2. Les armes nucléaires après 1945 : Après l’apparition de l’énergie atomique, les États-Unis ont pris le contrôle des armées et l’ont confié à des agences civiles (comme la Commission de l’énergie atomique), car ni les scientifiques ni les militaires n’étaient aptes à gérer une telle puissance destructrice.

[Application à l’IA] : La situation actuelle est similaire à celle de 1975, mais plus complexe. Ceux qui détiennent les détails des technologies de pointe ne sont plus les professeurs d’université, mais des entreprises privées financées massivement et chargées de missions stratégiques nationales.

  • Anthropic propose d’inclure des équipes externes (comme METR) pour vérifier les systèmes, afin de résoudre le problème des connaissances réservées à l’intérieur de l’entreprise.
  • Cependant, les opposants (comme David Sacks) se demandent si ces équipes externes ont des intérêts croisés avec les entreprises. Si les régulateurs dépendent des entreprises qu’ils surveillent pour savoir quoi réglementer, est-ce que la régulation reste indépendante ?

---

Troisième point : Le jeu politique : sécurité, monopole et compétition nationale

[Interprétation simple] : Certains veulent ralentir pour des raisons de sécurité, d’autres pour empêcher la Chine de dépasser, et d’autres encore pour éviter que les grandes entreprises ne monopolisent le marché. Tout le monde parle de sécurité, mais chacun a ses propres calculs cachés.

L’article analyse les positions de trois personnalités clés et constate qu’elles ne partagent pas le même point de vue :

1. Dario Amodei (PDG d’Anthropic) – Le camp des risques systémiques** :

  • Position : Il est nécessaire de ralentir.
  • Raison : Le développement de l’IA est trop rapide et la sécurité ne suit pas. Si un grave accident se produit, personne n’en sera responsable.
  • Mesure proposée : Introduire des évaluations externes, coordonner d’abord au niveau national, puis mondial.
  • Subtexte : Je reconnais que l’IA est puissante, mais j’ai peur qu’elle ne devienne incontrôlable. Je souhaite également que les États-Unis restent en tête, donc nous devons concourir tout en assurant la sécurité.

2. David Sacks (ancien conseiller en IA à la Maison Blanche) – Le camp du marché et du anti-monopole** :

  • Position : Si vous voulez ralentir, faites-le vous-même, mais ne retardez pas les autres.
  • Raison : Ne usez pas de la “sécurité” comme prétexte pour créer de nouveaux systèmes de régulation qui augmenteraient en réalité les barrières à l’entrée sur le marché et protégeraient les grandes entreprises.
  • Argument : Si un produit cause des problèmes, il suffit de suivre la législation pour les indemniser ; il n’est pas nécessaire de réglementer à l’avance. Il met également en question l’indépendance des organismes d’évaluation externes.
  • Subtexte : Ne laissez pas la régulation servir de moyen de créer des monopoles. Les grandes entreprises prétendent vouloir ralentir pour des raisons de sécurité, mais en réalité, elles veulent empêcher l’arrivée de nouveaux acteurs.

3. Donald Trump (ancien président/politique) – Le camp de la compétition nationale** :

  • Position : Il faut alléger la régulation pour maintenir l’avance des États-Unis sur la Chine.
  • Raison : Il craint que des réglementations trop strictes ne fassent perdre aux États-Unis en termes de technologie par rapport à la Chine.
  • Subtexte : Mon objectif n’est pas la sécurité de l’IA, mais la puissance des États-Unis. Si ralentir signifie perdre face à la Chine, je ne suis pas d’accord.

[Résumé] : Il ne s’agit pas simplement d’un conflit entre les “partisans de la sécurité” et les “partisans de l’accélération”, mais d’un mélange de droits de régulation technologique, de règles de concurrence et de stratégies de sécurité nationale.

---

Quatrième point : Le bilan économique : Ralentir coûte peu aux grandes entreprises, mais peut être fatal aux petites

[Interprétation simple] : Si toutes les voitures s’arrêtent pour vérifier leurs freins, les camions riches peuvent s’arrêter six mois sans problème, mais les petits camions sans argent couleront. Est-ce “juste” ?

L’article utilise la crise financière de 2008 comme exemple pour soulever une question économique profonde : “Too Consequential to Self-Govern” (les conséquences sont trop importantes pour être gérées par les seuls acteurs).

  • Apparence de justice : Si toutes les entreprises d’IA doivent effectuer des tests de sécurité supplémentaires pendant six mois, cela semble équitable.
  • Injustice réelle :
  • Géants comme OpenAI et Anthropic : Ils disposent de milliards de dollars en liquidités et d’infrastructures solides. Un arrêt de six mois ne représente pas un problème ; ils peuvent même en profiter pour renforcer leur position dominante.
  • Start-ups : Leur financement n’est pas encore assuré, et leurs liquidités ne durent que 12 mois. Un arrêt de six mois signifie leur faillite.

Coût de la conformité : Créer un système de sécurité conforme aux nouvelles normes peut coûter des millions de dollars. Pour les géants, c’est un coût ; pour les nouveaux acteurs, cela peut signifier un interdit d’entrée sur le marché.

[Logique sous-jacente] :

  • Si les entreprises d’IA sont considérées comme des fournisseurs de produits ordinaires, Sacks a raison : elles doivent assumer seules les conséquences de leurs actions.
  • Si les entreprises d’IA sont aussi importantes que les banques et ne peuvent pas faire faillite, alors Amodei a raison : le marché ne fonctionne pas correctement et une action collective est nécessaire.
  • Dilemme : Si une entreprise ralentit pour des raisons de sécurité et que ses concurrents en profitent pour prendre sa place sur le marché, le marché récompense-t-il la prudence ou la punit-il ? C’est un exemple typique de dilemme d’action collective.

---

Cinquième point : Si “ralentir” est en soi une erreur, qui en est responsable ?

[Interprétation simple] : Nous nous inquiétons souvent des accidents causés par l’accélération, mais nous nous demandons rarement si le ralentissement pourrait empêcher l’application de solutions vitales. Si on freine mal, qui paie les conséquences ?

C’est le point le plus intéressant et le plus souvent négligé de l’article : le coût de l’action contre le coût de l’inaction.

  • Risques de l’accélération : Des erreurs de l’IA peuvent entraîner des attaques informatiques ou des chômage massif. Ces conséquences sont faciles à mesurer et à faire partie des nouvelles.
  • Risques du ralentissement : L’IA pourrait permettre de découvrir plus tôt des traitements contre le cancer ou d’accélérer le développement de nouveaux médicaments. Si, par excès de prudence, cela retarde de cinq ans la mise en œuvre de ces traitements, les personnes qui en meurent ne seront pas prises en compte dans les statistiques. Leur souffrance est invisible.

[Conclusion] :

1. Ralentir n’est pas gratuit : Ralentir peut gagner du temps, mais le temps en soi n’est pas une garantie de sécurité. Si, un an plus tard, les modèles s’améliorent, que faire ?

2. Ce dont nous avons besoin, c’est d’une architecture solide, pas de simples freins. L’article cite l’industrie aérienne comme exemple : la sécurité dans l’aviation ne vient pas du fait que les avions se développent lentement, mais de l’existence d’organismes indépendants d’enquête (comme la NTSB), de normes claires de certification et de conceptions redondantes.

  • La NTSB n’a pas de pouvoir de régulation ; elle se contente de découvrir la vérité.
  • L’industrie de l’IA manque actuellement d’une telle architecture : des mécanismes d’inspection indépendants et de chaînes de responsabilité claires.

---

Conclusion du journaliste : De la “course technologique” à la “course institutionnelle”

Cet article nous montre que l’industrie de l’IA a franchi un point de basculement.

Auparavant, nous nous demandions : “L’IA deviendra-t-elle encore plus intelligente ?”

Maintenant, nous devons nous demander : **“Qui a le droit de décider quand cette technologie sera utilisée, comment elle entrera dans la société, et qui sera responsable si elle prend une mauvaise direction ?”

  • Pouvoirs : Auparavant entre les entreprises, ils doivent maintenant être partagés avec le gouvernement, le public et des tiers.
  • Responsabilités : Auparavant assumées par les entreprises, elles doivent maintenant être partagées par toute la société.
  • Risques : Auparavant liés à la technologie, ils sont maintenant systémiques et affectent l’ensemble de la société.
  • Bénéfices : Auparavant liés aux profits des entreprises, ils doivent maintenant tenir compte du bien-être de la société.

En résumé :

L’IA n’a pas ralenti, mais elle est passée d’une compétition technologique sur la vitesse à une compétition institutionnelle sur la qualité des systèmes. Le but de ce débat n’est pas de savoir qui gagne ou qui perd, mais de réécrire le contrat social sur qui a le droit de décider, qui est responsable des conséquences, et qui doit assumer les erreurs.

---

Merci de votre attention.