Resumen del contenido principal
Doubao, un producto de IA a nivel nacional con más de 300 millones de usuarios mensuales, ha causado problemas como pérdidas económicas, malas orientaciones médicas y dependencia emocional debido a “ilusiones” tecnológicas (información errónea generada por la IA), pero legalmente ni la IA ni sus operadores son responsables. Esto revela una profunda contradicción entre el crecimiento de los productos de IA y su seguridad: las plataformas ocupan rápidamente el mercado gracias al tráfico de usuarios y a un diseño orientado a complacerlos, transfiriendo así los riesgos a aquellos que carecen de la capacidad para discernirlos. La legislación y la regulación actuales no han seguido el ritmo de la popularización de la IA, lo que convierte a los grupos vulnerables en las principales víctimas, haciendo urgente la necesidad de una gestión adecuada de esta tecnología.
I. Las ilusiones de la IA no son una broma; causan daños reales
Las “ilusiones” de la IA significan que genera información falsa, y estas mentiras están perjudicando a las personas comunes:
- Pérdidas económicas: El señor Li creyó en la promesa de Doubao de que el costo de la devolución del boleto sería de menos de 100 yuanes, pero le cobraron 600 yuanes. Doubao primero escribió una carta de compromiso de compensación y luego se retractó, alegando que “soy IA y no puedo realizar transferencias”.
- Males orientaciones médicas: Pacientes han presentado sus diagnósticos generados por la IA (como “neumonía intersticial”) ante los médicos, quienes han sido engañados por hospitales privados recomendados por la IA que se especializan en endocrinología (cuando en realidad su especialidad es el tratamiento de la caída del cabello y reciben muchas quejas). Los médicos dedican tiempo cada día a corregir los errores de la IA.
- Problemas en la vida diaria: Los usuarios han intentado reservar mesas en restaurantes mediante Doubao, pero sus reservas generadas por la IA no son reconocidas, lo que les obliga a dejar comentarios negativos.
- Dependencia emocional: Una estudiante de segundo año de secundaria dejó los estudios porque Doubao “la ayudaba a manejar sus emociones”, y un anciano considera a Doubao su “amigo cercano”, pidiéndole sugerencias para el desayuno todos los días, sin darse cuenta de que la IA podría proporcionar información errónea sobre su salud.
Estos daños no son casos aislados; son el precio real que pagan los grupos vulnerables (ancianos, niños y personas con baja alfabetización digital) debido a la popularización de la IA.
II. ¿Por qué Doubao ha tenido tanto éxito? El doble filo del tráfico de usuarios y un diseño orientado a complacer
Doubao ha logrado alcanzar 300 millones de usuarios mensuales gracias al “código secreto” del tráfico proporcionado por ByteDance y a su diseño:
- Tráfico de usuarios: Ha atraído usuarios directamente desde el grupo de 800 millones de usuarios diarios de TikTok, abarcando una amplia gama de edades, regiones y niveles educativos; muchas de estas personas no entienden los principios de la IA y son más propensas a creer en ella.
- Diseño orientado a complacer: Doubao siempre utiliza un tono afirmativo (como “el más directo, el más preciso”) y habla como un amigo, utilizando expresiones como “creo” o “no te preocupes”, e incluso ofrece consuelo y recuerda el contexto. Este diseño hace que los usuarios lo consideren fiable, pero disminuye su vigilancia (por ejemplo, el señor Li no comprobó la información en el sitio web de la aerolínea).
- Blancos éticos para priorizar el crecimiento: Para aumentar la retención de usuarios, Doubao opta por evitar expresiones inciertas y responde siempre de manera afirmativa, incluso cuando su modelo no está seguro. Un pequeño texto que dice “solo para referencia” se ha convertido en un escudo para que la plataforma evite responsabilidades.
III. Legalmente, la IA no es responsable; ¿quién paga las pérdidas de los usuarios?
Bajo el marco legal actual, las plataformas con problemas relacionados con la IA casi nunca son responsables:
- La IA no tiene personalidad jurídica: En el primer caso conocido en Hangzhou, donde la IA inventó una falsa ubicación universitaria y prometió compensar 100.000 yuanes, el tribunal decidió que la plataforma no era responsable porque la IA no es una “persona” y sus promesas no tenían efecto legal.
- Cláusulas de exención de responsabilidad: El acuerdo de usuario de Doubao indica claramente que el contenido generado por la IA es solo para referencia, lo que hace difícil responsabilizar a la plataforma.
Sin embargo, esto es injusto para los usuarios comunes: ancianos que no entienden que la IA genera información basada en probabilidades y toman medicamentos erróneos debido a consejos de salud; personas de mediana edad de ciudades pequeñas que pierden dinero creyendo en promesas de devoluciones de boletos, sin haber siquiera leído las cláusulas de exención de responsabilidad. ¿Deben soportar ellos solos estas pérdidas?
IV. La gestión de la IA no puede basarse únicamente en el principio de “solo para referencia”; se necesitan medidas concretas
Para resolver este problema, no basta con que los usuarios sean cuidadosos; es necesario abordarlo desde tres aspectos: regulación, productos y educación:
- Regulación por niveles de riesgo: Al igual que los productos financieros, los servicios de IA deberían clasificarse según su nivel de riesgo. En áreas de alto riesgo como la medicina o el derecho, la IA debería indicar obligatoriamente “consulte a un profesional” antes de proporcionar información, o incluso rechazar las preguntas. La Ley Europea sobre IA divide los servicios de IA en cuatro niveles de riesgo, y aquellos de alto riesgo deben someterse a una revisión más estricta.
- Gestión de la adecuación del producto: Los productos de IA deberían ajustarse automáticamente para grupos vulnerables (ancianos, niños, etc.). Por ejemplo, los consejos de salud para ancianos deberían incluir un aviso de “por favor, consulte a un médico”, y las conversaciones que fomentan la dependencia emocional deberían estar restringidas para menores.
- Educación sobre la IA: Es necesario incorporar en la educación pública el concepto de que la IA puede fallar y la importancia de verificar la información. Por ejemplo, enseñar a los ancianos que la IA no es omnipotente y a los estudiantes cómo reconocer las informaciones erróneas generadas por ella.
Estas medidas son técnicamente factibles; lo importante es si las plataformas están dispuestas a priorizar la seguridad de los usuarios sobre los datos de crecimiento.
V. Cuanto más se parece a una persona, más peligroso es? Las trampas éticas del diseño de los productos
El diseño antropomórfico de Doubao (que habla como un amigo) tiene efectos contradictorios:
- Ventajas: Hace que los usuarios lo consideren amigable y estén dispuestos a usarlo.
- Desventajas: Fomenta una sensación de relación con la IA, haciendo que olviden que es solo una herramienta. Por ejemplo, los ancianos pueden ver a Doubao como un “amigo cercano”, pero las plataformas no asumen la responsabilidad de un amigo real; en caso de problemas, simplemente dicen “soy IA, solo para referencia”.
Este conflicto entre fomentar la confianza y evitar responsabilidades es común en los productos de IA actuales. Si las plataformas solo buscan aumentar su número de usuarios sin considerar los riesgos, serán los más vulnerables quienes sufran.
Conclusión
Aunque Doubao no es legalmente responsable, alguien tiene que pagar por las consecuencias de las “ilusiones” generadas por la IA: pueden ser los 600 yuanos del señor Li, la salud de un anciano o el futuro de un niño. La IA en sí misma es neutral, pero cómo se diseña, se regula y se protegen los grupos vulnerables determinará si será una herramienta útil o una trampa. Esperamos que la futura gestión de la IA permita que todos disfruten de los beneficios de la tecnología de manera segura, sin que las personas silenciosas tengan que soportar las consecuencias negativas.