Resumen del contenido principal
La alianza CHAI, formada por 200 de las principales instituciones médicas de Estados Unidos (como el Mayo Clinic y el Massachusetts General Hospital) y empresas tecnológicas, ha publicado el manual más completo a nivel mundial para la gobernanza del AI en el ámbito médico. Este manual divide la gobernanza del AI médico en cuatro componentes clave: políticas, estructura organizativa, recursos y procesos, centrándose especialmente en la lógica de gestión por niveles de riesgo (control preciso del AI de alto riesgo y una combinación de medidas para abordar el uso clandestino de herramientas como ChatGPT por parte del personal). Su valor para los hospitales chinos radica en complementar los procesos de gobernanza del AI, regular la cooperación con proveedores externos y garantizar el derecho de los pacientes a estar informados. Además, el manual es extremadamente práctico, incluyendo plantillas y guías adaptadas a diferentes tipos de hospitales, y ha sido elaborado basándose en casos reales de fracaso del AI médico.
I. El marco CHAI: no se trata de slogans, sino de una lista concreta de acciones a tomar
Este marco convierte la gobernanza del AI médico de una idea abstracta en medidas prácticas. Sus componentes clave son los siguientes:
1. Políticas: No se trata simplemente de declarar que es necesario utilizar el AI de manera responsable, sino de definir con claridad qué se considera AI (¿incluye cosas como ChatGPT o las funciones de AI en los registros médicos electrónicos?), cómo se deben aprobar los proyectos relacionados con el AI y quién supervisa la actualización de estas políticas.
2. Estructura organizativa: Es esencial establecer comités de gobernanza del AI (no solo de nombre); se debe definir claramente quién está a cargo de las tareas, quién toma decisiones, quién aporta sugerencias y quién debe estar informado sobre estas cuestiones (esto se denomina matriz RACI; en lenguaje sencillo, significa una división clara de responsabilidades).
3. Recursos: Se necesita personal especializado, financiación y soporte técnico para la gobernanza del AI.
4. Procesos: Estos abarcan todo el ciclo de vida del AI (desde la selección hasta la eliminación), incluyendo la evaluación de riesgos, la gestión de datos, la cooperación con terceros y la formación del personal.
En resumen, la gobernanza del AI no es un problema técnico, sino una cuestión de organización y establecimiento de normas.
II. Gestión por niveles de riesgo: no adoptar un enfoque generalista, sino concentrarse en los aspectos más críticos
Lo que realmente merece aprenderse es la lógica de gestión del AI de alto riesgo:
- Primera etapa: Clasificar los riesgos en bajos, medianos y altos. Por ejemplo, que un médico utilice el AI para redactar un informe médico se considera un riesgo bajo, mientras que que el AI ayude al diagnóstico del cáncer es de alto riesgo.
- Segunda etapa: Realizar una evaluación detallada de los riesgos asociados con los sistemas de AI de alto riesgo, incluyendo la probabilidad de errores y el grado de daño potencial.
- Tercera etapa: Evaluar el impacto del sistema en su conjunto: no solo los aspectos técnicos, sino también si puede perturbar el flujo de trabajo del personal médico o afectar la experiencia del paciente, así como si existe algún problema de equidad (por ejemplo, si el AI discrimina contra ancianos u minorías).
En cuanto al uso clandestino de herramientas como ChatGPT por parte del personal, el marco recomienda adoptar un enfoque más flexible que restrictivo: establecer canales de aprobación rápidos para que el uso conforme a las normativas sea más conveniente que el uso ilegal. Por ejemplo, si un médico desea utilizar el AI para redactar un informe médico, podría obtener la aprobación en solo 5 minutos; ¿quién seguiría utilizando herramientas de forma no autorizada?
III. Tres áreas en las que los hospitales chinos necesitan mejorar urgentemente
1. Falta de una gobernanza integral para todo el ciclo de vida del AI: Muchos hospitales han adquirido varios sistemas de AI, pero no hay nadie que verifique regularmente si estos funcionan adecuadamente con los pacientes del hospital. El marco proporciona guías detalladas para cada etapa del proceso (desde la selección hasta la eliminación del sistema).
2. Gestión deficiente de proveedores externos: Al firmar contratos con empresas tecnológicas, es necesario incluir cláusulas que especifiquen las desventajas del AI, que los datos no se puedan utilizar de manera arbitraria y que el hospital tenga derecho a auditarlos; además, debe existir la posibilidad de retirar los datos si ya no son necesarios.
3. Deficiencia en el respeto al derecho de los pacientes a estar informados: El marco exige que los hospitales informen a los pacientes sobre el uso de sus datos por parte del AI y les ofrezcan la opción de retirar su consentimiento. Esto no es solo una práctica avanzada típica de Estados Unidos, sino un principio básico de ética médica.
IV. ¿Por qué este marco es fiable?
1. Liderazgo de instituciones clínicas: No ha sido elaborado por el gobierno o asociaciones, sino por la colaboración de 200 hospitales y empresas tecnológicas que comprenden las necesidades reales del ámbito médico.
2. Gran practicidad: Cada aspecto del proceso está acompañado de guías paso a paso y plantillas útiles; tanto los pequeños hospitales como el Mayo Clinic pueden utilizarlo, aunque con diferentes niveles de implementación.
3. Basado en lecciones reales: El manual incluye numerosos ejemplos de fracasos del AI médico (como diagnósticos erróneos o perturbaciones en el flujo de trabajo), lo que demuestra que la gobernanza del AI no es algo opcional, sino una medida esencial para evitar problemas graves.
En resumen, la gobernanza del AI no tiene como objetivo ralentizar su uso, sino asegurar que solo los sistemas útiles se pongan en práctica cuanto antes y que aquellos potencialmente peligrosos sean desactivados rápidamente. Los hospitales chinos se beneficiarán mucho si adoptan estas prácticas lo antes posible.