„Die sicherste KI-Firma kann ihre Sicherheitsversprechen nicht einhalten“

Wenn das „sicherste“ AI-Unternehmen anfängt, „nackt“ zu laufen: Ein Spiel um Vertrauen, Geld und Überleben

Hallo zusammen, ich bin euer Finanzjournalist. Heute sprechen wir nicht über einen trockenen Technikbericht, sondern über eine „Vertrauenskrise“ an der Spitze des Silicon Valley.

Die Hauptfigur dieser Geschichte ist Anthropic – ein Unternehmen, das als das „am strengsten regelkonforme“ und „sicherheitsorientierteste“ in der AI-Branche gilt. Der Schlüsselperson dieser Geschichte ist Jacob Coxon, ein Forscher, der erst vor vier Monaten bei Anthropic angefangen hat. Am 8. September 2026 kündigte er plötzlich und erklärte öffentlich: Sowohl Anthropic als auch OpenAI setzen das Leben der Menschen aufs Spiel und verzichten aufgrund ihres Strebs nach Superintelligenz auf grundlegende Sicherheitsstandards.

Der Grund, warum diese Nachricht so viel Aufsehen erregte, war nicht die Kündigung an sich, sondern die Wahrheit, die Coxon sagte: „Ich bin gegangen, bevor die Anteile verteilt wurden – ich habe kein Interesse mehr daran, durch eine höhere Bewertung von Anthropic zu profitieren.“

Stellen Sie sich vor, Sie hätten einen riesigen Lottoschein in der Hand, der bald eingelöst werden könnte (Anthropic plant einen Börsengang im Oktober mit einer Bewertung von 2 Billionen US-Dollar), und Sie entscheiden sich, ihn zu zerreißen. Warum? Weil Sie glauben, dass das Unternehmen etwas Falsches tut – und zwar etwas extrem Falsches.

Heute werden wir die Hintergründe dieser Situation in einfachen Worten erklären und verstehen, was wirklich vor sich geht.

---

1. Vom „Bremspedal“ zur „Zierleiste“: Die heimliche Änderung der Sicherheitsversprechen

Zunächst müssen wir klarstellen, was genau bei Anthropic geändert wurde.

Im Jahr 2023 veröffentlichte Anthropic eine sogenannte „Responsible Expansion Policy“ (RSP). Darin enthielt sich ein sehr strenges Versprechen, das man als das „Notbremsystem“ eines Autos betrachten kann:

> „Wenn unsere Sicherheitsmaßnahmen nicht ausreichen, müssen wir das Training leistungsfähigerer Modelle sofort stoppen.“

Dies war eine klare, unverhandelbare Auflage. Damals war dies das Aushängeschild von Anthropic und der Hauptunterschied zu OpenAI, das eher auf Geschwindigkeit setzte.

Im Februar 2026 veröffentlichte Anthropic jedoch die RSP 3.0. In dieser Version fehlte dieses „Notbremsystem“. Stattdessen wurde ein komplexeres „Instrumentenpanel“ eingeführt: Roadmaps, Risikoberichte, externe Überwachung.

Einfacher ausgedrückt:

Früher hieß es: „Wenn die Bremsen versagen, halte ich an.“

Jetzt heißt es: „Wenn mit den Bremsen etwas nicht stimmt, schreibe ich einen Bericht, um zu erklären, warum ich weiterfahre – und ich achte dabei auf das Instrumentenpanel.“

Anthropic argumentierte, dass die Grenzen der AI-Fähigkeiten zu unklar seien, um genau zu bestimmen, wann man anhalten müsse. Das klingt nachvollziehbar – aber warum wurde dieses Versprechen vor zwei Jahren zum Aushängeschild? Und warum genau kurz vor dem Börsengang geändert?

Noch beunruhigender ist, dass Anthropic in derselben Zeit Verträge über Rechenleistung im Wert von 517 Milliarden US-Dollar für die nächsten zehn Jahre unterzeichnete. Ein Unternehmen, das seine zukünftigen Kosten bereits im Voraus festlegt, hat es schwer, aktiv die Bremse zu betätigen. Die Sicherheitsversprechen wandelten sich von „Was wir nicht tun“ (starre Auflage) in „Wie wir erklären, was wir getan haben“ (weiche Erklärung).

2. Zwei verschwundene Wörter: Auch OpenAI „entkleidet“ sich

Glauben Sie, nur Anthropic habe seine Dokumente geändert? Nein, auch OpenAI hat etwas unternommen.

In der Jahressteuererklärung (Formular 990) von 2025 änderte OpenAI seine Missionserklärung heimlich:

• Früher: „Wir entwickeln allgemeine KI, die sicherlich allen Menschen zugutekommt – unabhängig von finanziellen Ertragsanforderungen.“
• Jetzt: „Wir stellen sicher, dass allgemeine KI allen Menschen zugutekommt.“

Beide Wörter sind verschwunden:

1. „Sicherlich“ (sicherlich): Die Verpflichtung zur Sicherheit wurde abgeschwächt.

2. „unabhängig von finanziellen Ertragsanforderungen“: Die Verpflichtung gegenüber finanziellen Interessen wurde aufgegeben.

Das bedeutet, dass OpenAI nicht mehr betont, dass es ausschließlich zum Wohle der Menschen existiert, und auch nicht mehr unabhängig von Kapitalinteressen handelt. Es wird zunehmend zu einem reinen Technologiegiganten, der nach maximalen Gewinnen strebt.

Gleichzeitig löste OpenAI innerhalb von zwei Jahren drei seiner Kernsicherheitsteams auf, darunter das berühmte „Super Alignment Team“. Selbst Ilya Sutskever verließ das Unternehmen, um ein eigenes Unternehmen für Sicherheitsfragen zu gründen.

Interpretation:

Beide Unternehmen, die besonders viel Wert auf Sicherheit legen, definieren in derselben Zeit neu, was „Sicherheit“ bedeutet. Das zeigt nicht nur einen moralischen Verfall eines einzelnen Unternehmens, sondern einen kollektiven „Entkleidungsprozess“ der gesamten Branche unter dem Druck von Kapital und Wettbewerb. Wenn „Sicherheit“ nicht mehr eine unverhandelbare Grundlage ist, sondern zu einer verhandelbaren Variablen wird, beginnt die Gefahr.

3. Ein unlösbares Paradoxon: Um sicherer zu sein, muss man schneller sein?

Coxon sagte in einem Interview zwei sehr treffende Dinge, die das Dilemma der AI-Branche aufzeigen:

1. „Wenn man unter Wettbewerbsdruck steht, muss man Abkürzungen machen oder bestimmte Überwachungsprozesse auslassen.“

2. „Die übermäßige Paranoia gegenüber OpenAI und China wird manchmal als Rechtfertigung für beschleunigte Entwicklungen genutzt.“

Dies führt zu einem schrecklichen „Sicherheitsparadoxon“:

• Logik A: Wenn Anthropic langsamer wird, um Sicherheitsprüfungen durchzuführen, könnte OpenAI oder chinesische Konkurrenten zuerst Superintelligenz entwickeln.
• Logik B: Wenn die Konkurrenten zuerst fertig sind und deren Sicherheitsmaßnahmen nicht so gut sind wie die von Anthropic, könnte die globale Sicherheit in Gefahr geraten.
• Folgerung: Um „sicherer“ zu sein (um zu verhindern, dass unsichere Akteure zuerst Superintelligenz entwickeln), muss Anthropic schneller Superintelligenz erreichen.
• Konsequenz: Doch „schneller“ bedeutet, die Zeit für das Training, die Bewertung und die Veröffentlichung der Modelle zu verkürzen – und damit auch die Zeit, die Forscher benötigen, um die inneren Mechanismen der Modelle zu verstehen und potenzielle Gefahren zu überprüfen.

Einfacher Zusammenfassung:

„Um sicherer zu sein, muss ich schneller laufen. Aber je schneller ich laufe, desto unsicherer werde ich.“

Coxons Kündigung erfolgte nicht, weil er Anthropic hasste, sondern weil er erkannte, dass in diesem Wettbewerbsszenario kein Unternehmen allein sicher bleiben kann. Es ist ein systemisches Dilemma. Wechseln zu einem anderen Unternehmen hilft nicht, denn der gesamte Wettbewerb beschleunigt – niemand wagt es, die Bremse zu betätigen, denn derjenige, der es tut, wird entweder ausgeschaltet oder von den Konkurrenten überholt.

4. Drei Tage offline: Sicherheit basiert auf „Nachsorge“, nicht auf „Prävention“

Der Artikel erwähnt ein entscheidendes Ereignis: Das „Fable 5“-Incident im Juni 2026.

Anthropic veröffentlichte das neue Modell Fable 5. Zwei Tage später rief der CEO von Amazon das Weiße Haus an und wies auf Sicherheitslücken hin; Fable 5 wurde weltweit sofort aus dem Verkehr gezogen.

Vom Veröffentlichen bis zum Aussetzen des Modells vergingen nur drei Tage.

Hier ist eine grausame Tatsache: Was das Modell zum Stehen brachte, war nicht die geänderte „Sicherheitslinie“ innerhalb von Anthropics, sondern die Intervention der Regierung, nachdem das Risiko bereits entstanden war.

Das zeigt, dass Anthropics Sicherheitsversprechen in entscheidenden Momenten keine „präventive“ Wirkung hatten. Es handelte sich eher um eine „Nachrichtenpolitik“ oder eine „Nachsorgemaßnahme“. Wenn das Risiko groß genug ist, greifen externe Kräfte (die Regierung) ein – aber das Risiko war bereits entstanden.

Die in der RSP 3.0 geänderte Sicherheitslinie sollte eigentlich vor dem Risiko wirken. Jetzt ist sie wirkungslos. Was wir sehen, ist keine „Prävention“, sondern „Nachsorge“.

5. Der Albtraum der Investoren: Wie viel wert sind Sicherheitsversprechen?

Schließlich wenden wir uns dem Kapitalmarkt zu.

Anthropics Bewertung beträgt 2 Billionen US-Dollar; seine Markenbotschaft lautet: „Wir sind das sicherste AI-Unternehmen.“ Investoren kaufen nicht nur die Fähigkeiten der Modelle, sondern auch dieses Versprechen an Sicherheitsmanagement.

Wenn jedoch Sicherheitsversprechen unter Wettbewerbsdruck geändert werden können, sollten sie in der Bewertung der Unternehmen berücksichtigt werden.

• Ein Bericht von Morningstar weist darauf hin, dass das Fable-5-Event die Sicherheitsversprechen zu einem finanziellen Risiko gemacht hat.
• David Sacks (US-Technologieberater) fordert, dass der Börsengang von Anthropic vor einer klaren Untersuchung ausgesetzt werden sollte.

Was bedeutet das für die Allgemeinbevölkerung?

1. Zerstörung des Markenpreises: Wenn „Sicherheit“ nur Marketinggespräch ist und keine echte Verpflichtung, dann ist die Bewertung von Anthropic nicht solide.

2. Rechtskrise: Wenn Regulierungsbehörden feststellen, dass die Sicherheitsversprechen nicht mit der tatsächlichen Handlung übereinstimmen, handelt es sich nicht nur um eine PR-Krise, sondern auch um eine Rechtskrise.

3. Vertrauensabstimmung: Coxons Entscheidung, seine Anteile abzugeben, ist ein „Stimmen gegen“ diese Problematik. Mit seinem eigenen Geld sagt er der Markt: „Ich glaube nicht, dass dieses System in der Lage ist, sich selbst zu korrigieren.“

Fazit:

Coxons abgegebene Anteile sind im Vergleich zu einer Bewertung von 2 Billionen US-Dollar vielleicht nur ein Staubkorn – aber seine Worte sind wie eine Nadel, die den prächtigsten Ballon der AI-Branche durchsticht: „Wir glauben, wir bauen eine sicherere Zukunft auf – in Wirklichkeit bauen wir jedoch Maschinen, die teurer, unkontrollierbarer sind und auf die die Regierung letztendlich angewiesen sind.“

Wenn „Sicherheit“ von „Was wir nicht tun“ zu „Wie wir erklären, was wir getan haben“ wird, verlieren wir nicht nur die technischen Sicherheitsvorkehrungen, sondern auch unsere moralischen Grundlagen.

Für die Allgemeinbevölkerung bedeutet das:

• Vertrauen Sie nicht blind in die „Sicherheitsversprechen“ von Technologiegiganten – schauen Sie sich deren Handlungen und die Reaktionen der Regulierungsbehörden an.
• Achten Sie auf die Entwicklungen in der AI-Branche – die Sicherheit hängt in hohem Maße von der nachträglichen Intervention der Regierung ab, nicht von der Selbstdisziplin der Unternehmen.
• **Seien Sie wachsam gegenüber einer Kultur, die „Geschwindigkeit an erster Stelle stellt“ – in der AI-Branche bedeutet Geschwindigkeit oft den Verzicht auf Sicherheit, und dieser Preis könnte letztendlich von der ganzen Menschheit getragen werden.

In diesem Spiel gibt es keinen Gewinner. Anthropic hat einen seiner wichtigsten Forscher verloren, OpenAI hat seinen moralischen Vorsprung verloren – und die Investoren stehen am Rande eines Abgrunds und beobachten das Auto ohne Bremsen, wie es vorbeirast.