Zusammenfassung der Kerninhalte
Die CHAI-Allianz, bestehend aus 200 führenden medizinischen Einrichtungen in den USA (wie dem Mayo Clinic und dem Massachusetts General Hospital) sowie Technologieunternehmen, hat das weltweit umfassendste Handbuch für die Governance von medizinischem AI veröffentlicht. Dieses Handbuch unterteilt die Governance von medizinischem AI in vier Hauptbereiche: „Politik“, „Organisationsstruktur“, „Ressourcen“ und „Prozesse“ und legt besonderen Wert auf das Konzept der „riskbasierten Steuerung“ (präzise Kontrolle hochrisikanter AI-Systeme sowie Kombination aus Förderung und Eindämmung des heimlichen Einsatzes von „Schatten-AI“ durch Mitarbeiter). Für chinesische Krankenhäuser ist das Handbuch besonders wertvoll, da es die Prozesse der AI-Governance ergänzt, die Zusammenarbeit mit Drittanbietern regelt und das Recht der Patienten auf Informationen stärkt. Zudem ist das Handbuch sehr praktikabel (es enthält Vorlagen und Anleitungen für Krankenhäuser unterschiedlicher Größe) und basiert auf tatsächlichen Fällen von Fehlern bei der Anwendung von medizinischem AI.
I. Das CHAI-Modell: Nicht nur leere Versprechen, sondern konkrete Vorgaben
Das CHAI-Modell verwandelt die Governance von medizinischem AI aus abstrakten Konzepten in umsetzbare Maßnahmen. Die vier Hauptbereiche sind:
1. Politik: Es geht nicht nur darum, „verantwortungsvoll mit AI umzugehen“, sondern es werden klare Definitionen gegeben, was als AI gilt (z. B. ChatGPT oder AI-Funktionen in elektronischen Krankenakten), wie die Genehmigungsprozesse für AI-Projekte ablaufen und wer für die Aktualisierung der Richtlinien verantwortlich ist.
2. Organisationsstruktur: Es muss ein Ausschuss für die Governance von AI eingerichtet werden, bei dem die Aufgaben klar verteilt sind (sogenannte RACI-Matrix).
3. Ressourcen: Es müssen spezielle Personen, finanzielle Mittel und technische Unterstützung bereitgestellt werden, um die Governance von AI zu gewährleisten.
4. Prozesse: Die Prozesse sollten den gesamten Lebenszyklus von AI-Systemen abdecken – von der Auswahl über die Tests bis zur Abschaffung – einschließlich Risikobewertung, Datenverwaltung und Zusammenarbeit mit Drittanbietern sowie Mitarbeiterausbildung.
Kurz gesagt: Die Governance von AI ist kein technisches Problem, sondern ein Managementproblem, das darauf abzielt, die richtigen Menschen einzusetzen und Regeln festzulegen.
II. Riskbasierte Steuerung: Kein Einheitsmaß – Konzentration auf die wesentlichen Aspekte
Besonders wertvoll ist das Konzept der präzisen Risikobewertung:
- Erster Schritt: Alle AI-Systeme werden in niedriges, mittleres und hohes Risiko eingeteilt. Beispielsweise gilt die Nutzung von AI zur Erstellung von Krankenakten als niedriges Risiko, während die Unterstützung der Krebsdiagnose durch AI als hohes Risiko eingestuft wird.
- Zweiter Schritt: Für hochriskante AI-Systeme werden detaillierte Berechnungen zur Wahrscheinlichkeit von Fehlern und zum potenziellen Schaden durchgeführt.
- Dritter Schritt: Es wird bewertet, wie AI die Arbeitsabläufe der Ärzte stört, den Patientenverlauf beeinflusst und ob es zu Ungerechtigkeiten kommt (z. B. Diskriminierung älterer Menschen oder Minderheiten durch AI).
Beim Umgang mit „Schatten-AI“ (heimlich eingesetzten Tools wie ChatGPT) empfiehlt das Modell, eher auf Förderung als auf Eindämmung zu setzen: Durch die Einrichtung von schnellen Genehmigungsverfahren wird der legale Einsatz attraktiver – wenn Ärzte beispielsweise AI zur Erstellung von Krankenakten nutzen möchten, kann die Genehmigung innerhalb von 5 Minuten erfolgen; wer würde dann noch heimlich weitermachen?
Drei Schwachstellen, die chinesische Krankenhäuser verbessern sollten
1. Fehlende umfassende Governance über den gesamten Lebenszyklus: Viele Krankenhäuser haben mehrere AI-Systeme eingeführt, aber es gibt keine regelmäßigen Überprüfungen, ob diese Systeme bei ihren Patienten geeignet sind. Das CHAI-Modell fordert, dass für jeden Schritt des Prozesses Entscheidungsmechanismen vorhanden sind – beispielsweise Tests vor der Einführung und kontinuierliche Überwachung nach der Inbetriebnahme; bei Ineffizienzen sollten die Systeme abgeschafft werden.
2. Laxe Verwaltung von Drittanbietern: Bei Verträgen mit AI-Unternehmen müssen klare Bedingungen festgelegt werden, z. B. die Offenlegung von Schwachstellen des Systems, das Verbot der freien Nutzung von Daten und die Berechtigung des Krankenhauses, die Daten zurückzufordern, wenn sie nicht mehr benötigt werden.
3. Fehlendes Recht der Patienten auf Informationen: Das CHAI-Modell verlangt, dass Patienten bei ihrem ersten Besuch im Krankenhaus darüber informiert werden, dass ihre Daten möglicherweise von AI genutzt werden, und ihnen die Möglichkeit gegeben wird, dieser Nutzung zu widersprechen. Dies ist nicht nur ein fortschrittliches US-amerikanisches Standard, sondern auch eine grundlegende ethische Vorgabe in der Medizin.
Warum das CHAI-Modell glaubwürdig ist?
1. Führung durch medizinische Einrichtungen: Das Modell wurde nicht von der Regierung oder einem Verband entwickelt, sondern gemeinsam von 200 Krankenhäusern und Technologieunternehmen unter Berücksichtigung tatsächlicher Anforderungen aus der Praxis.
2. Praktikabilität: Jeder Schritt des Prozesses wird durch detaillierte Anleitungen und Vorlagen unterstützt – sowohl kleine Gemeindekliniken als auch das Mayo Clinic können es nutzen, wobei die Umsetzungshöhe je nach Bedarf variieren kann.
3. Basiert auf realen Erfahrungen: Das Handbuch enthält viele Beispiele für Fehlschläge bei der Anwendung von medizinischem AI (z. B. Falsdiagnosen oder Störungen der Arbeitsabläufe), was zeigt, dass die Governance keine zusätzliche Maßnahme ist, sondern eine notwendige Grundlage zur Vermeidung größerer Probleme.
Zusammenfassend: Die Governance von AI dient nicht dazu, den Einsatz von AI zu verlangsamen, sondern sicherzustellen, dass nützliche Systeme schneller eingeführt und gefährliche Systeme frühzeitig gestoppt werden. Chinesische Krankenhäuser profitieren früher, je eher sie dieses Wissen anwenden.