Résumé des principaux points
L’alliance CHAI, composée de 200 institutions médicales de premier plan américaines (telles que le Mayo Clinic et le Massachusetts General Hospital) et d’entreprises technologiques, a publié le manuel de gouvernance de l’intelligence artificielle (IA) médicale le plus complet au monde. Ce manuel décompose la gouvernance de l’IA médicale en quatre éléments clés : les politiques, la structure organisationnelle, les ressources et les processus, en mettant l’accent sur une logique de gestion des risques (contrôle précis des IA à haut risque et approche combinée pour gérer l’utilisation clandestine d’outils d’IA par le personnel). Sa valeur pour les hôpitaux chinois réside dans la complétion des processus de gouvernance de l’IA, la réglementation de la coopération avec les fournisseurs externes et la mise en œuvre du droit des patients à être informés. De plus, le manuel est très pratique (il contient des modèles et des guides adaptés aux différents types d’hôpitaux) et a été élaboré sur la base de cas réels d’échecs de l’IA médicale.
I. Le cadre CHAI : pas seulement des slogans, mais une liste concrète de ce qu’il faut faire et comment le faire
Ce cadre transforme la gouvernance de l’IA médicale d’une idée abstraite en actions réalisables. Il se compose de quatre éléments principaux :
1. Politiques : il s’agit non pas simplement de déclarer que l’IA doit être utilisée de manière responsable, mais de clarifier ce qu’on entend par IA (comprendre-t-on ChatGPT ou les fonctionnalités d’IA dans les dossiers médicaux électroniques ?), de définir la procédure d’approbation des projets d’IA et de désigner ceux qui supervisent la mise à jour des politiques ;
2. Structure organisationnelle : il est nécessaire de créer un comité de gouvernance de l’IA (pas seulement formel) et de définir clairement les rôles de chacun (ce qu’on appelle une matrice RACI, ce qui signifie une répartition des tâches bien définie) ;
3. Ressources : il faut disposer de personnel, de financements et de soutien technologique spécifiques pour la gouvernance de l’IA ;
4. Processus : ces processus couvrent l’intégralité du cycle de vie de l’IA (de son sélection à son déploiement, en passant par les tests et l’élimination), ainsi que l’évaluation des risques, la gestion des données et la coopération avec des tiers et la formation du personnel.
En bref, la gouvernance de l’IA n’est pas une question technique, mais plutôt une question de management concernant l’organisation des personnes et l’établissement de règles.
II. La gestion des risques : pas de solution unique, mais un approche ciblée
L’aspect le plus intéressant est la logique de gestion précise des risques :
- Premier étape : classification des risques : tous les systèmes d’IA sont classés en faible, moyen ou haut risque. Par exemple, l’utilisation de l’IA par les médecins pour rédiger les dossiers médicaux est considérée comme un risque faible, tandis que son utilisation pour le diagnostic du cancer est un risque élevé ;
- Deuxième étape : évaluation complémentaire des risques élevés : pour les systèmes d’IA à haut risque, il faut calculer en détail la probabilité d’erreur et l’impact potentiellement négatif ;
- Troisième étape : évaluation de l’impact sur le système : il ne suffit pas de considérer les risques techniques ; il faut également vérifier si l’IA peut perturber le travail des médecins, affecter l’expérience des patients ou créer des inégalités (par exemple, si l’IA est préjudiciable aux personnes âgées ou aux minorités).
Concernant l’utilisation clandestine d’outils d’IA par le personnel (comme ChatGPT), le cadre recommande de privilégier la facilitation de l’utilisation légale plutôt que la répression : si un médecin souhaite utiliser l’IA pour rédiger un dossier médical, il peut suivre une procédure rapide et obtenir l’autorisation en 5 minutes ; qui aurait alors envie d’utiliser l’IA de manière clandestine ?
III. Les trois principaux domaines où les hôpitaux chinois doivent se perfectionner
1. Manque de gouvernance sur l’intégralité du cycle de vie des systèmes d’IA : de nombreux hôpitaux ont acheté plusieurs systèmes d’IA, mais personne ne vérifie régulièrement si ces systèmes fonctionnent correctement pour leurs patients. Le cadre préconise de définir des étapes claires pour chaque phase du cycle de vie de l’IA (sélection, tests, déploiement, élimination) ;
2. Gestion trop laxiste des fournisseurs externes : lors de la signature des contrats avec les entreprises d’IA, il est essentiel de préciser les inconvénients de ces systèmes, de réglementer l’utilisation des données et de prévoir la possibilité pour l’hôpital de récupérer ces données en cas de non-utilisation ;
3. Manque de respect du droit des patients à être informés : le cadre exige que les hôpitaux informent les patients dès leur première consultation qu’utilisées leurs données par l’IA et leur proposent la possibilité de se retirer de ces utilisations – ce n’est pas seulement une exigence américaine, mais un principe fondamental d’éthique médicale.
IV. Pourquoi ce cadre est-il fiable ?
1. Direction des institutions cliniques : il a été élaboré par 200 hôpitaux et entreprises technologiques qui connaissent bien les besoins cliniques réels ;
2. Pratiquabilité : chaque étape du processus est accompagnée de guides pas à pas et de modèles (comme des formulaires d’évaluation des risques), ce qui en fait un outil facilement applicable, que ce soit dans de petits hôpitaux ou dans des institutions de premier plan comme le Mayo Clinic ;
3. Base sur des enseignements concrets : le manuel cite de nombreux exemples d’échecs de l’IA médicale (diagnostics erronés, perturbations du travail des médecins), ce qui montre que la gouvernance de l’IA n’est pas une question décorative, mais un élément essentiel pour prévenir de graves problèmes.
En conclusion, la gouvernance de l’IA ne vise pas à ralentir son développement, mais à permettre aux systèmes utiles d’être déployés plus rapidement et aux systèmes dangereux d’être éliminés plus tôt. Les hôpitaux chinois bénéficieront rapidement en s’apprenant de ces bonnes pratiques.