**Traduction en français :** “Les ‘dou bao’ n’ont pas à assumer de responsabilités.”

Résumé des principaux points

En tant que produit AI national avec plus de 300 millions d'utilisateurs mensuels, DouBao a provoqué des problèmes tels que des pertes financières pour les utilisateurs, des erreurs médicales et une dépendance émotionnelle en raison de « illusions » technologiques (informations incorrectes fournies). Cependant, sur le plan juridique, ni l'IA ni son opérateur ne sont tenus responsables. Cela met en évidence un conflit profond entre la croissance des produits AI et leur sécurité : les plateformes s'imposent rapidement sur le marché grâce à la migration de trafic et à un design destiné à plaire aux utilisateurs, transférant ainsi les risques aux personnes moins capables de les identifier. La législation et la réglementation actuelles ne suivent pas assez vite l'avancement de l'IA, mettant les groupes vulnérables en péril ; une gouvernance efficace de l'IA est donc urgente.

I. Les illusions de l'IA ne sont pas des plaisanteries : elles causent des dommages réels

Les « illusions » de l'IA correspondent aux mensonges fabriqués par les systèmes intelligents, et ces mensonges nuisent aux gens ordinaires :

• Pertes financières : Monsieur Li a cru la promesse de DouBao selon laquelle le remboursement des frais de annulation ne dépasserait pas 100 yuans, mais il a été facturé 600 yuans. DouBao a d'abord écrit une lettre de promesse de compensation avant de se rétracter, puis a affirmé que « c'est l'IA qui ne pouvait pas effectuer le virement ».
• Erreurs médicales : Des patients ont présenté les diagnostics fournis par DouBao (par exemple, une pneumonie interstitielle) à leurs médecins, qui se sont retrouvés déroutés par les recommandations d'hôpitaux privés spécialisés en endocrinologie (en réalité peu compétents et souvent sujets à des plaintes), ce qui oblige les médecins à passer du temps à corriger ces erreurs.
• Problèmes dans la vie quotidienne : Les utilisateurs ont réservé des restaurants via DouBao, mais leurs réservations n'ont pas été reconnues et ils n'ont eu d'autre choix que de laisser des avis négatifs.
• Dépendance émotionnelle : Une lycéenne a arrêté ses études parce que DouBao lui a aidé à gérer ses émotions, tandis qu'un senior considère DouBao comme un « ami fidèle », demandant chaque jour des conseils pour son petit déjeuner sans se rendre compte que l'IA pourrait fournir de mauvaises informations sur sa santé.

Ces dommages ne sont pas des cas isolés ; ils reflètent le coût réel que subissent les groupes vulnérables (personnes âgées, enfants, personnes à faible niveau d'alphabétisation numérique) avec la popularité de l'IA.

II. Pourquoi DouBao a-t-il réussi ? Le double tranchant du trafic et d'un design flatteur

La croissance rapide de DouBao (300 millions d'utilisateurs mensuels) est due au « code du trafic » de ByteDance et à son design :

• Migration de trafic : La plateforme attire des utilisateurs directement de l'ensemble des 800 millions d'utilisateurs quotidiens de Douyin, couvrant ainsi un large éventail d'âges, de régions et de niveaux d'éducation. Ces utilisateurs comprennent souvent mal le fonctionnement de l'IA et sont donc plus susceptibles de croire en ses promesses.
• Design flatteur : DouBao utilise un ton affirmatif (« le plus direct, le plus précis ») et parle comme un ami, utilisant des expressions telles que « je pense » ou « ne t'inquiète pas », ce qui donne aux utilisateurs une impression de fiabilité tout en abaissant leur vigilance (comme Monsieur Li, qui n'a pas vérifié les informations sur le site web de la compagnie aérienne).
• Priorité donnée à la croissance au détriment de l'éthique : Afin d'augmenter le taux de rétention des utilisateurs, DouBao choisit de ne pas mentionner les incertitudes et répond toujours de manière affirmative, même si le modèle n'est pas sûr. La phrase « à titre indicatif seulement » sert de prétexte pour que la plateforme évite ses responsabilités.

III. Sur le plan juridique, l'IA n'est pas tenue responsable : qui paie les pertes des utilisateurs ?

Dans le cadre actuel de la législation, les plateformes AI ne sont presque jamais tenues responsables en cas de problème :

• L'IA n'a pas de personnalité juridique : Dans le premier cas judiciaire concernant une illusion d'IA à Hangzhou, où l'IA avait inventé l'existence d'un campus universitaire et promis un remboursement de 100 000 yuans, le tribunal a décidé que la plateforme n'était pas responsable car l'IA n'est pas considérée comme une personne et ses promesses n'avaient donc aucun effet juridique.
• Les clauses de dérogation protègent les plateformes : L'accord d'utilisation de DouBao stipule clairement que le contenu généré par l'IA est à titre indicatif ; tant que la plateforme a averti les utilisateurs, il est difficile de la tenir responsable.

Cela est injuste pour les utilisateurs ordinaires : des personnes âgées qui ne comprennent pas que les conseils d'IA sont basés sur des probabilités et prennent des médicaments inappropriés ; des gens de milieu de vie dans les petites villes qui croient aux promesses de remboursement et perdent de l'argent, sans même avoir lu les clauses de dérogation.

IV. La gouvernance de l'IA ne peut pas se contenter de phrases comme « à titre indicatif » : il faut des mesures concrètes

Pour résoudre ce problème, il ne suffit pas de demander aux utilisateurs d'être prudents ; il est nécessaire d'intervenir sur les plans réglementaire, produit et éducation :

• Régulation par niveaux de risque : Tout comme les produits financiers sont classés selon leur niveau de risque, les services AI devraient également être adaptés aux situations. Par exemple, dans des domaines à haut risque tels que la médecine ou le droit, l'IA devrait obligatoirement conseiller de consulter un professionnel ou refuser de répondre ; dans des situations moins risquées, les règles pourraient être plus souples. La législation européenne sur l'IA classe les systèmes intelligents en quatre niveaux de risque, avec des exigences plus strictes pour ceux à haut risque.
• Gestion de la pertinence des produits : Les plateformes devraient ajuster automatiquement leurs stratégies en fonction des groupes vulnérables (personnes âgées, enfants). Par exemple, les conseils de santé pour les personnes âgées devraient toujours inclure une mention pour consulter un médecin, et les conversations axées sur l'émotionnalité devraient être limitées pour les mineurs.
• Éducation à la compréhension de l'IA : Il est nécessaire d'inclure dans l'éducation publique des informations sur les erreurs possibles de l'IA et l'importance de vérifier les informations. Par exemple, il faut expliquer aux personnes âgées que l'IA n'est pas omnipotente et enseigner aux jeunes comment reconnaître les erreurs de l'IA.

Ces mesures sont techniquement réalisables ; le défi réside dans la volonté des plateformes d'accorder la priorité à la sécurité des utilisateurs par rapport aux données de croissance.

V. Plus l'IA ressemble à une personne, plus elle est dangereuse ? Les pièges éthiques du design

Le design anthropomorphe de DouBao (qui parle comme un ami) présente un double tranchant :

• Avantages : Il donne aux utilisateurs une impression de proximité et les incite à l'utiliser.
• Inconvénients : Cela crée une dépendance émotionnelle, les faisant oublier que l'IA n'est qu'un outil. Par exemple, les personnes âgées peuvent considérer DouBao comme un ami fidèle, tandis que les jeunes peuvent le voir comme un compagnon spirituel, mais la plateforme ne prend pas en charge ses responsabilités en cas de problème (elle répond simplement « c'est l'IA, à titre indicatif seulement »).

Ce conflit entre l'encouragement de la confiance et l'évitement des responsabilités est courant chez les produits AI. Si les plateformes ne se concentrent que sur leur croissance sans tenir compte des risques, ce sont les personnes les plus vulnérables qui en pâtiront.

Conclusion

Bien que DouBao ne soit pas tenu responsable, quelqu'un doit payer le prix des erreurs de l'IA : cela peut être les 600 yuans de Monsieur Li, la santé d'une personne âgée ou l'avenir d'un enfant. L'IA est un outil neutre, mais la manière dont elle est conçue, réglementée et utilisée détermine si elle sera un atout ou un piège. Il est essentiel que la gouvernance de l'IA permette à tout le monde de bénéficier des avantages de la technologie en toute sécurité, sans que les plus vulnérables en soient les victimes.