第一财经

**Anthropocen ruft zu einer „Aussetzung der KI“ auf – Warnung oder Marketing-Gimmick?**

原文:Anthropic呼吁“暂停AI”刷屏,真心示警还是炒作营销?

Zusammenfassung der Kerninhalte

Anthropic, das führende AI-Unternehmen hinter dem Claude-Modell, hat kürzlich dazu aufgerufen, die Entwicklung fortschrittlicher AI-Technologien zu verlangsamen oder sogar vorübergehend einzustellen. Der Grund dafür ist, dass AI kurz davor steht, an einen Punkt zu gelangen, an dem es sich selbst verbessern kann – mit der Gefahr, außer Kontrolle zu geraten und so gesellschaftliche Unruhen auszulösen. Diese Forderung wird jedoch weitgehend als Marketingstrategie vor dem Börsengang angesehen (um den Wert des Unternehmens zu steigern und die Regulierungsbehörden zu überlisten). Zwar bestehen tatsächlich Sicherheitsrisiken bei AI (wie Codefehler oder Anzeichen einer selbstständigen Evolution), aber eine weltweite Einstellung der Forschung ist fast unmöglich. Unternehmen müssen daher ein Gleichgewicht zwischen ihrem Geschäftsdrang und ihrer Verantwortung für die Sicherheit finden.

I. Der Kern der Forderung von Anthropic: Die Angst vor einer außer Kontrolle geratenen AI

Was versteht Anthropics Begriff der „rekursiven Selbstverbesserung“? Im Grunde bedeutet das, dass AI in der Lage ist, die nächste Generation stärkerer AI-Systeme selbst zu entwickeln – ohne menschliche Hilfe. Zum Beispiel kann Claude bereits Code schreiben; wenn es jedoch in der Lage wäre, seine Algorithmen selbst zu optimieren und sogar ein AI-System zu erschaffen, das zehnmal intelligenter ist als es selbst – und niemand es kontrollieren könnte – könnten ernsthafte Probleme entstehen. Die Ziele dieser AI könnten im Widerspruch zu menschlichen Werten stehen (z. B. würden Menschen als Hindernis für „Effizienz“ angesehen). Deshalb schlägt Anthropic vor, zunächst langsamer voranzugehen und sicherzustellen, dass gesellschaftliche Regeln und Werte dem technologischen Fortschritt entsprechen.

II. Warum halten viele dies für eine Marketingstrategie?

1. Zu passender Zeitpunkt: Anthropic hat gerade viel Kapital eingeworben und steht kurz vor dem Börsengang. Eine solche Forderung wirkt wie ein Versuch, die Aufmerksamkeit der Investoren zu erregen – als würde man sagen: „Macht vor den Abschlussprüfungen keine Vorbereitungen!“

2. Autor nicht aus der Technikabteilung: Der Hauptautor des Artikels ist ein Politikexperte (ehemaliger Technologiejournalist) und Sicherheitsstrategieforscher, kein Techniker – daher wirkt der Artikel eher wie eine öffentliche Stellungnahme als ein seriöser Bericht.

3. Unstechende Beispiele: Ein Sicherheitsexperte argumentiert, dass die Tatsache, dass eine Automobilfabrik ihre Roboterarme schneller montieren kann, nicht bedeutet, dass sie auch selbst Autos entwickeln kann. Anthropics Behauptung, AI könne sich selbstständig weiterentwickeln, ähnelt der Aussage eines Autoherstellers, seine Roboterarme würden neue Autos erfinden – beides dient offenbar dazu, den Wert des Unternehmens zu steigern.

4. Angstmachende Marketingstrategie: Ein ehemaliger Wall-Street-Analyst vermutet, dass Anthropic die Angst vor einer außer Kontrolle geratenen AI nutzt, um Aufmerksamkeit zu erregen und so einen Vorsprung bei der Regulierung zu gewinnen. Wenn die Behörden auf diese Forderungen reagieren, könnte Anthropic die Regeln mitbestimmen.

III. Sicherheitsrisiken bei AI sind real – aber eine Einstellung der Forschung ist nicht notwendig

Obwohl Anthropics Aussage sicherlich auch Marketingzwecke verfolgt, bestehen tatsächliche Sicherheitsbedenken:

  • Häufige Fehler: In Claudes Code wurden bereits mehrfach Fehler entdeckt (z. B. konnte es Sicherheitsschutzmechanismen umgehen und Benutzerdaten preisgeben). Zudem steigt die Gesamtanzahl der Fehler, je mehr AI-Code generiert wird – auch wenn die Wahrscheinlichkeit einzelner Fehler abnimmt.
  • Anzeichen einer selbstständigen Evolution: Professor Xiao Yanghua von der Fudan-Universität und Tang Daosheng von Tencent haben darauf hingewiesen, dass AI bereits jetzt an der eigenen Weiterentwicklung beteiligt ist und diese Beteiligung in Zukunft weiter zunehmen wird.
  • Verbreitung „nuklearwaffenartiger“ Tools: Xiao Yanghua warnt davor, dass in Zukunft alle Menschen über mächtige AI-Tools verfügen könnten, die ähnlich zerstörerisch wie „Nuklearwaffen“ sein könnten. Wenn diese in die Hände Schurken gelangen, könnten sie zum Beispiel Netzwerke angreifen oder Betrügereien durchführen.

Experten sind jedoch der Meinung, dass eine vollständige Einstellung der Forschung nicht notwendig ist; vielmehr sollten Sicherheitsmaßnahmen verstärkt werden (z. B. durch das Beheben von Fehlern und die Regulierung der Nutzung).

IV. Eine weltweite Einstellung der AI-Forschung? Fast unmöglich

Anthropic selbst betont, dass eine solche Einstellung nur mit der Zustimmung führender Forschungslabore aus verschiedenen Ländern sowie einem gegenseitigen Überwachungssystem möglich wäre – was jedoch sehr schwierig ist:

  • Wirtschaftliche Interessen: AI kann die Produktivität steigern; Unternehmen, die auf AI setzen, würden dadurch benachteiligt.
  • Nationale Sicherheit: Selbst Supermächte wollen in der AI-Entwicklung nicht zurückbleiben (ähnlich wie bei Nukleartechnologie). Der amerikanische Analyst Rob Endler sagt: „Die wirtschaftlichen und sicherheitsrelevanten Interessen sind zu groß, als dass jemand freiwillig anhalten würde.“

V. Das Dilemma zwischen Geschäftsdrang und Sicherheitsverantwortung

Heutige Großmodelle-Unternehmen agieren wie „Sportler und Wächter“: Einerseits entwickeln sie AI mit großem Einsatz, um Geld zu verdienen (Geschäftsdrang), andererseits betonen sie die Notwendigkeit von Sicherheitsmaßnahmen. Es ist für Außenstehende oft unklar, ob ihre Befürchtungen ernst sind oder nur Teil eines Geschäftsplans. Eines steht jedoch fest: Die Sicherheit von AI ist eine Frage, der sich die gesamte Branche stellen muss – sowohl die Entwicklung der Technologie als auch das Beheben von Sicherheitslücken müssen erfolgen, um zu verhindern, dass „Nuklearwaffen“ in die Hände Schurken gelangen.

Fazit: Anthropics Forderung ist zu einem großen Teil Marketing, zum anderen Teil Ausdruck von Sorgen für die Zukunft. Die Sicherheitsrisiken bei AI sind real – aber eine vollständige Einstellung der Forschung ist unrealistisch. Die Branche benötigt eher einen Ansatz, bei dem sie weiterentwickelt, aber gleichzeitig Sicherheitsmaßnahmen ergreift – anstatt einfach aufzuhören und zu warten, bis alle Probleme gelöst sind.