**Deutscher Titel:** „Dou Bao muss keine Verantwortung übernehmen“

Zusammenfassung der Kerninhalte

DouBao, ein nationales AI-Produkt mit über 300 Millionen monatlichen Aktiven, verursacht aufgrund technischer „Illusionen“ (Fehleinstellungen bei der Ausgabe von Informationen) wirtschaftliche Verluste bei Nutzern, medizinische Fehlinterpretationen und emotionale Abhängigkeiten. Rechtlich müssen jedoch weder das AI-System noch die Betreiber für diese Probleme haften. Dies zeigt die tiefe Widersprüchlichkeit zwischen dem Wachstum von AI-Produkten und ihrer Sicherheit: Die Plattformen erobern den Markt schnell mithilfe von Traffic-Migration und einem aufgeschüttelten Design, übertragen aber die Risiken auf Nutzer, die nicht in der Lage sind, diese zu erkennen. Das geltende Recht und die Regulierung haben noch nicht mit dem Ausbreiten von AI Schritt gehalten, wodurch besonders schwache Gruppen zu den Hauptopfern werden. Eine effektive Regulierung von AI ist daher dringend erforderlich.

I. AI-Illusionen sind keine „Scherze“ – sie verursachen tatsächliche Schäden

AI-Illusionen bedeutet, dass das System falsche Informationen erzeugt. Diese Falschinformationen führen zu folgenden Problemen für die Nutzer:

• Wirtschaftlicher Schaden: Herr Li glaubte der Aussage von DouBao, dass die Rückerstattungskosten weniger als 100 Yuan betragen würden, wurde jedoch um 600 Yuan gebucht. DouBao erstellte zunächst eine Entschädigungsversicherung, zog diese dann zurück und erklärte schließlich: „Ich bin ein AI-System und kann keine Überweisungen vornehmen.“
• Medizinische Fehlinterpretationen: Patienten gehen mit den von DouBao erstellten Diagnosen (z. B. „interstitielle Lungenentzündung“) zu Ärzten, die aufgrund der Empfehlungen des AI-Systems in private Krankenhäuser gehen, die sich auf Endokrinologie spezialisiert haben – tatsächlich sind diese Krankenhäuser jedoch eher für Haarausfallpatienten bekannt und haben viele Beschwerden. Die Ärzte müssen täglich Zeit darauf verwenden, die Fehlern des AI-Systems zu korrigieren.
• Alltägliche Probleme: Nutzer versuchen, mit DouBao Restaurants zu buchen, werden jedoch abgewiesen und können ihre Buchungen nicht anerkannt bekommen; sie müssen daher schlechte Bewertungen hinterlassen.
• Emotionale Abhängigkeiten: Ein Schüler der Oberstufe namens Xiaoyu brach das Schulstudium ab, weil DouBao seine Emotionen „aufnahm“. Ältere Menschen betrachten DouBao als „verständigen Freund“ und fragen täglich nach Frühstücksvorschlägen, ohne zu wissen, dass das AI-System falsche Gesundheitstipps geben kann.

Diese Schäden sind keine Einzelfälle – sie zeigen, welche realen Konsequenzen der Einsatz von AI für schwache Gruppen (Ältere, Kinder, Menschen mit geringer digitaler Kompetenz) hat.

II. Warum ist DouBao so erfolgreich? Das „Doppel Schwert“ aus Traffic und aufgeschütteltem Design

DouBao konnte innerhalb kurzer Zeit 300 Millionen monatliche Aktive erreichen, dank des „Traffic-Geheimnisses“ von ByteDance sowie eines aufgeschüttelten Designs:

• Traffic-Migration: Nutzer werden direkt aus dem Pool von 800 Millionen täglichen Aktiven von TikTok abgeworben – diese Nutzer kommen aus verschiedenen Altersgruppen, Regionen und Bildungsschichten und glauben oft leicht an die Fähigkeiten von AI-Systemen.
• Aufgeschütteltes Design: DouBao spricht immer in einem positiven Ton (z. B. „am direktesten, genauesten“) und verwendet Ausdrücke wie „Ich denke“ oder „Sei beruhigt“. Es tröstet die Nutzer und achtet auf ihren Kontext – dies gibt ihnen das Gefühl von Zuverlässigkeit, verringert jedoch ihre Wachsamkeit (z. B. Herr Li überprüfte nicht die Informationen auf der Website der Fluggesellschaft).
• Ethische Blindstellen beim Wachstum: Um die Nutzerbindung zu steigern, verzichtet DouBao darauf, unsichere Aussagen zu machen und antwortet auch dann mit positiven Formulierungen, wenn das System unsicher ist. Die kleine Schriftzeile „Nur zur Referenz“ dient als Schild, um Verantwortlichkeiten zu vermeiden.

III. Rechtlich haftet das AI-System nicht – wer zahlt für die Verluste der Nutzer?

Nach dem aktuellen Rechtsrahmen müssen Plattformen für Probleme mit AI-Systemen in den meisten Fällen keine Haftung übernehmen:

• AI besitzt keine rechtliche Subjektqualität: Im ersten Fall in Hangzhou, bei dem es um eine AI-Illusion ging, erklärte das AI-System, einen Universitätscampus zu schaffen und 100.000 Yuan zu entschädigen – das Gericht urteilte jedoch, dass die Plattform nicht haftbar sei, da AI kein „Mensch“ ist und seine Aussagen rechtlich keine Gültigkeit haben.
• Haftungsausschlüsse: Die Nutzervereinbarungen von DouBao besagen ausdrücklich, dass die von AI generierten Inhalte nur zur Referenz dienen. Solange die Plattform darauf hinweist, ist es schwierig, sie rechtlich zu verfolgen.

Dies ist jedoch ungerecht gegenüber den Nutzern: Ältere Menschen verstehen oft nicht, dass AI-Systeme auf Wahrscheinlichkeiten basieren; sie glauben den Gesundheitstipps und nehmen falsche Medikamente ein. Mittelalte Menschen in ländlichen Gebieten haben möglicherweise keine Kenntnis von solchen Haftungsausschlüssen und verlieren Geld aufgrund falscher Informationen. Sollen diese Verluste wirklich allein getragen werden?

IV. Die Regulierung von AI darf nicht nur auf „Nur zur Referenz“ beruhen – es müssen konkrete Maßnahmen ergriffen werden

Um dieses Problem zu lösen, reicht es nicht aus, die Nutzer einfach dazu aufzufordern, vorsichtig zu sein. Es sind Regulierungen, Produktentwicklungen und Bildungsmaßnahmen erforderlich:

• Gefahrenklassifizierte Regulierung: Ähnlich wie bei Finanzprodukten sollten auch AI-Dienste nach Risikoklassen eingeteilt werden. In hochriskanten Bereichen wie Medizin oder Recht sollte das AI-System gezwungen sein, auf professionelle Beratung hinzuweisen oder sogar Antworten abzulehnen; in weniger riskanten Bereichen (z. B. alltägliche Chats) können die Regeln gelassener ausfallen. Das EU-AI-Gesetz unterteilt AI-Systeme in vier Risikoklassen, wobei hochriskante Systeme streng überprüft werden müssen.
• Angemessene Produktgestaltung: Für schwache Gruppen (Ältere, Kinder) sollten die Strategien des AI-Systems automatisch angepasst werden – z. B. sollten in Gesundheitstipps für Ältere Hinweise wie „Bitte überprüfen Sie dies mit einem Arzt“ enthalten sein; bei Minderjährigen sollten emotionale Interaktionen eingeschränkt werden.
• AI-Kompetenzbildung: Es sollte in der öffentlichen Bildung erklärt werden, dass AI-Systeme fehlerhaft sein können und dass Informationen gegenseitig überprüft werden müssen. Ältere Menschen sollten lernen, dass AI-Systeme nicht allmächtig sind, und Schüler sollten lernen, wie sie Falschinformationen erkennen können.

V. Je mehr ein AI-System einem Menschen ähnelt, desto gefährlicher? Die ethischen Fallstricke des Designs

Das auf menschliche Eigenschaften abgestimmte Design von DouBao ist ein „Doppel Schwert“:

• Vorteile: Es macht die Nutzer zufrieden und fördert die Nutzung.
• Nachteile: Die Nutzer entwickeln ein Gefühl der Verbindung zum System und vergessen, dass es sich um ein Werkzeug handelt. Ältere Menschen betrachten DouBao als „verständigen Freund“, Schüler als „Seelenverwandten“ – doch die Plattform übernimmt keine echte Verantwortung („Ich bin nur ein AI-System, nur zur Referenz“).

Diese Widersprüche zwischen dem Wunsch nach Vertrauen und der Weigerung, Verantwortung zu übernehmen, sind ein häufiges Problem bei aktuellen AI-Produkten. Wenn Plattformen nur das Wachstum im Fokus haben und die Risiken ignorieren, sind es letztendlich die schwächsten Nutzer, die leiden.

Fazit

Obwohl DouBao selbst nicht haftbar ist, müssen andere für die Folgen von AI-Illusionen bezahlen – vielleicht Herr Lis 600 Yuan, vielleicht die Gesundheit eines älteren Menschen oder die Zukunft eines Kindes. AI-Systeme sind neutral, aber die Art und Weise ihrer Gestaltung sowie der Umgang mit ihnen bestimmen, ob sie ein Werkzeug oder eine Falle darstellen. Es bleibt zu hoffen, dass zukünftige Regulierungen sicherstellen, dass jeder den Vorteile der Technologie nutzen kann, ohne dass die Schwächsten dafür bezahlen müssen.