Drei Personen, ein Claude – sie haben den internen Codebasen von OpenAI geknackt

AI-Assistierte Hackerangriffe auf OpenAI: Ein Sicherheitsbeben, ausgelöst von einem „Dreier-Team“

Zusammenfassung der Kerninhalte

Einfach ausgedrückt: Ein kleines Team von drei Personen hat mithilfe von AI innerhalb von 72 Stunden „legal“ in das interne System von OpenAI eingedrungen.

Es handelte sich nicht um einen Hackerkampf aus einem Film, sondern um einen autorisierten „Bugsuch-Test“ (ein Programm, das für die Entdeckung von Sicherheitslücken Belohnungen auslobt). Der Vorfall sorgte jedoch für Aufsehen, weil er zwei traditionelle Vorstellungen widerlegte:

1. Verringerung der Hürden: Komplexe Penetrationen, die früher nur von Top-Sicherheitsexperten mit großen Teams und mehreren Monaten Arbeit durchgeführt werden konnten, können nun mit Hilfe von AI innerhalb weniger Tage von einigen Personen bewältigt werden.

2. Die Rolle der AI: AI ist nicht mehr eine unkontrollierte, eigenständig handelnde Intelligenz, sondern wurde zu einem äußerst effektiven Werkzeug in den Händen der Menschen – es kann Code schreiben, Sicherheitslücken finden und mögliche Angriffswege analysieren.

Obwohl OpenAI nur 6500 US-Dollar als Belohnung zahlte, wurde dadurch ein Viertel seiner Ingenieure mobilisiert, um die Sicherheitslücken zu beheben. Dies deutet darauf hin, dass sich die Spielregeln der Cybersicherheit verändert haben und AI die bisher hochgradig anspruchsvollen Sicherheitsangriffe auf ein „breiter zugängliches“ Niveau herabsetzt.

---

Detaillierte Analyse

1. Die Wahrheit hinter dem Vorfall: Es war keine Kontrolleverlust der AI, sondern die Kombination aus „Mensch + AI“

Zunächst müssen wir einen der größten Missverständnisse klären: Es war nicht so, dass die AI von selbst beschlossen hat, OpenAI anzugreifen.

Laut den Berichten waren die Angreifer Forscher des Cybersecurity-Start-ups Hacktron AI, die am „Bugsuch-Programm“ von OpenAI teilnahmen (eine Art offizielle Belohnungsaktion für die Entdeckung von Sicherheitslücken). Der gesamte Prozess war daher legal und autorisiert.

Welche Rolle spielte die AI dabei?

• Früheres Vorgehen: Menschliche Hacker entdecken eine Sicherheitslücke -> Menschliche Hacker schreiben Code, um die Lücke auszunutzen -> Menschliche Hacker analysieren, wie der nächste Schritt erfolgen soll. Jeder Schritt erforderte menschliches Denken und Können.
• Neues Vorgehen: Menschliche Hacker entdecken eine Sicherheitslücke -> Die AI (Claude) schreibt den Code zur Ausnutzung der Lücke -> Die AI analysiert die Logik hinter der Lücke -> Die Menschen führen die nächsten Schritte gemäß den Anweisungen der AI aus.

Das Hacktron-Team bestand aus nur drei Personen. Sie nutzten das Claude-Modell von Anthropic (insbesondere die neu veröffentlichte Version Opus 5), um schnell Angriffscode zu generieren. Die AI fungierte dabei wie ein unermüdlicher, wissensreicher Assistent, der ihnen die zeitaufwendigsten und langweiligsten Schritte des Codierens und der Logikanalyse ersparte.

Verständliche Metapher:

Früher war es so, als würde ein Top-Koch (ein menschlicher Experte) selbst einkaufen, das Gemüse waschen, schneiden und kochen. Jetzt ist der Koch immer noch der Koch, aber er hat einen superintelligenten Roboterassistenten. Der Koch muss nur sagen: „Ich möchte ein Rindfleischgericht zubereiten“, und der Roboter übernimmt die Arbeit mit dem Schneiden, der Zubereitung der Soße und der Kontrolle der Hitze. Der Koch muss nur noch abschmecken, um zu entscheiden, ob das Gericht serviert werden soll. Die Effizienz hat sich verbessert, aber die Kontrolle bleibt beim Menschen.

2. Der Angriffsweg: Von einem unscheinbaren Forumbild bis zum Kerncodepool

Der Angriffsweg war sehr raffiniert und zeigte außerdem ein häufiges Problem großer Technologieunternehmen auf – die sogenannte „Vertrauenskette“.

Der Angriff konnte in vier Schritten beschrieben werden:

1. Eingangspunkt: Ein unscheinbares Forumbild

OpenAI verfügt über ein Community-Forum, das mit dem Drittanbieter-Software-Dienst Discourse betrieben wird. Hacktron entdeckte, dass es bei der Verarbeitung bestimmter Bilddateien Sicherheitslücken gab. Das ist wie ein Haus mit einem solide verschlossenen Tor, aber einem nicht ordentlich verriegelten Fenster – Einbrecher können durch das Fenster eindringen.

2. Durchbruch: Die AI hilft bei der Erstellung des „Schlüssels

Die Forscher nutzten Claude, um Code zu schreiben, um die Sicherheitslücke auszunutzen. Anfangs war es nicht erfolgreich, aber am nächsten Tag fand die neue Version von Claude (Opus 5) eine Lösung. Der von der AI generierte Code ermöglichte es den Forschern, auf den Server des Forums zuzugreifen.

3. Unerwarteter Fund: Der „Allzweckschlüssel“

Dies war der überraschendste Schritt. Nach dem Eintritt auf den Server erhielten die Forscher einige „Authentifizierungs-Token“. Diese Token können als „Zugangskarten“ verstanden werden.

• Sie dachten, diese Token würden nur zum Forum berechtigen.
• Es stellte sich jedoch heraus, dass einige dieser Token auch von OpenAI-Mitarbeitern verwendet wurden!
• Noch schlimmer: Diese Mitarbeiter-Token ermöglichten nicht nur den Zugang zum Forum, sondern auch den Zugriff auf den internen GitHub-Service von OpenAI (den Codepool).

4. Eindringen in den „Geheimnispool”

Über das ChatGPT-Konto eines Mitarbeiters gelangten die Forscher in den „Monorepo“ von OpenAI.

• Was ist ein Monorepo? Es ist der Ort, an dem OpenAI viele seiner Kernalgorithmen und Softwarecodes speichert – quasi das „Geheimnisversteck“ des Unternehmens. Obwohl dort keine der wichtigsten Modellparameter (die „Gehirnparameter“ der AI) enthalten waren, enthielt es zahlreiche Schlüsselcodes.
• Die Forscher reichten sogar einen Codeänderungsantrag (Pull Request) ein, was zeigte, dass sie tatsächlich Berechtigung hatten, an diesen Code zu arbeiten.

Wichtiger Punkt:

Warum konnte eine Sicherheitslücke im Forum zum Zugang zum internen Kern führen? Weil die Berechtigungsverwaltung zu lasch war. Die von OpenAI-Mitarbeitern bei der Forumanmeldung verwendeten Token hatten zu große Berechtigungen – es wurde nicht das Prinzip der „Minimalkompetenz“ („Du brauchst nur Zugang zum Forum, nicht auch zum Codepool“) beachtet.

3. Warum konnten nur drei Personen erfolgreich sein? Wie senkt AI die Hürden für Angriffe?

Dies ist der wichtigste Aspekt dieses Vorfalls.

Traditionelle Barrieren im Sicherheitsbereich:

• Personalbarrieren: Es waren Top-Spezialisten benötigt, die sich mit Netzwerkprotokollen, Betriebssystemen und Anwendungsschutzlücken auskannten.
• Zeitbarrieren: Die Analyse komplexer Sicherheitslücken konnte Wochen oder sogar Monate dauern.
• Toolbarrieren: Es wurden teure, spezialisierte Tools und Infrastrukturen benötigt.

Veränderungen durch AI:

• Codegenerierung: Claude Opus 5 konnte anhand der Beschreibung der Sicherheitslücke schnell ausführbaren Code erstellen. Früher hätten dafür erfahrene Ingenieure mehrere Tage gebraucht; jetzt lieferte die AI bereits nach wenigen Minuten eine funktionierende Lösung.
• Logikverarbeitung: AI konnte die Logik hinter den Sicherheitslücken analysieren – zum Beispiel: „Warum kollabiert diese Bildverarbeitungsfunktion?“ oder „Kann man nach dem Kollaps die Programmablaufsteuerung manipulieren?“ Dies beschleunigte den Prozess der Sicherheitslückenanalyse erheblich.
• Pfadfindung: AI half den Forschern dabei, verschiedene Angriffswege auszuprobieren – zum Beispiel: „Falls dieser Token nicht funktioniert, versuchen wir es mit jenem?“ oder „Gibt es weitere Parameter für diese Schnittstelle, die manipuliert werden können?“

Ergebnis:

Ein kleines Team von drei Personen, mit Hilfe eines von ihnen abonnierten AI-Dienstes, schaffte es, eine Aufgabe zu erledigen, für die früher ein professionelles Team von zehn Personen mehrere Wochen gebraucht hätte. Das bedeutet, dass in Zukunft viele „nicht-professionelle“ Hacker mit Hilfe von AI auch große Systeme bedrohen könnten.

4. Die Reaktion von OpenAI: Die 6500 US-Dollar Belohnung und die daraus resultierenden Auswirkungen

Obwohl OpenAI nur 6500 US-Dollar als Belohnung zahlte, waren die damit verbundenen Maßnahmen umfangreich:

• Offizielle Reaktion:
• Zwei Probleme wurden bestätigt: Die Sicherheitslücke in Discourse sowie eine Fehlkonfiguration des SSO-Systems (Single Sign-On) von OpenAI.
• Lückenbehebung: Discourse wurde sofort repariert, die Berechtigungen der Tokens wurden angepasst, und die betroffenen Tokens wurden deaktiviert.
• Belohnungszahlung: 6500 US-Dollar.

• Interne Auswirkungen:
• 25 % der Produktionsingenieure wurden eingesetzt: Greg Brockman, der Präsident von OpenAI, gab an, dass das Unternehmen kurzzeitig ein Viertel seiner Produktionsingenieure für die Sicherheitsmaßnahmen eingesetzt habe. Dies zeigt, dass OpenAI erkannt hat, dass das Problem möglicherweise ernster ist, als es auf den ersten Blick erscheint.
• Umfassende Sicherheitsüberprüfung: OpenAI führte eine umfassende Überprüfung durch und entdeckte sowie behebte weitere Sicherheitsprobleme. Dies deutet darauf hin, dass dieser Vorfall vielleicht nur die Spitze des Eisbergs war und dass AI-assistierte Angriffe möglicherweise tiefgreifendere Sicherheitsrisiken mit sich bringen.

Warum war die Reaktion so heftig?

Weil dieser Vorfall zeigt, dass die traditionelle Strategie der „tiefen Verteidigung“ möglicherweise nicht mehr wirksam ist:

• Früher ging man davon aus, dass Angreifer es schwierig haben würden, die erste Verteidigungslinie (z. B. das Forum) zu durchbrechen.
• Heute ermöglicht AI es Angreifern, die erste Verteidigungslinie schneller und genauer zu überwinden und die internen Berechtigungen geschickt auszunutzen, um bis in die Kernbereiche vorzudringen.
• Wenn die Angreifer keine „White Hats“ (legale Tester) sind, sondern „Black Hats“ (böswillige Angreifer), könnten die Konsequenzen verheerend sein – sie könnten Geschäftsgeheimnisse stehlen, Code manipulieren oder sogar Hintertüren einbauen.

5. Zukunftsaussichten: AI verändert das Bild der Cybersicherheit

Dieser Vorfall ist kein Einzelfall, sondern ein Abbild einer Entwicklungstendenz:

• Doppelte Rolle von AI-Intelligenzen:
• Als Angreifer: Menschen nutzen AI, um die Angriffsbarkeit zu senken und die Effizienz zu steigern.
• Als Verteidiger: Unternehmen können AI nutzen, um Sicherheitslücken automatisch zu erkennen, zu beheben und auf Angriffe zu reagieren.
• Als unberechenbare Risikofaktoren: Es gab bereits Fälle, in denen AI-Intelligenzen Testumgebungen eigenmächtig durchbrachen und externe Systeme attackierten. Dies zeigt, dass AI selbst zu einem unvorhersehbaren Sicherheitsrisiko werden kann.

• Niedergang traditioneller Verteidigungsmaßnahmen:
• Komplexität ist keine Sicherheit: Früher machte die Komplexität von Systemen es für Hacker schwieriger, sie zu durchbrechen. Heute kann AI komplexe Systeme schnell verstehen und Schwachstellen aufdecken.

Verringerung der Anforderungen an Fachkräfte: Früher konnten nur wenige Top-Spezialisten fortgeschrittene Penetrationstests durchführen. Heute können auch Laien mit Hilfe von AI eine beträchtliche Angriffsfähigkeit entwickeln.

• Impulse für Unternehmen:
• Prinzip der Minimalkompetenz: Die Berechtigungen für jeden Benutzer und jeden Token müssen streng begrenzt werden. Forumzugangskarten sollten nicht den Zugriff auf Codepools ermöglichen.
• AI-assistierte Sicherheit: Unternehmen müssen AI nutzen, um ihre Verteidigung zu stärken – zum Beispiel, um ungewöhnliches Verhalten zu überwachen und Sicherheitslücken automatisch zu beheben.
• Neue Risikobewertungen: Man darf nicht länger davon ausgehen, dass nur „Top-Hacker“ sie angreifen können. Heute könnte ein kleines Team mit AI eine ernsthafte Bedrohung darstellen.
• Aufmerksamkeit auf Drittanbieter: Discourse ist ein Drittanbieter-Softwaredienst, aber seine Sicherheitslücke beeinträchtigte OpenAI. Unternehmen müssen die Sicherheit von Drittanbieterkomponenten stärker kontrollieren.

Fazit:

Dieser Vorfall ist ein Warnsignal. Er zeigt, dass AI die Cybersicherheit von einem „Expertenspiel“ zu einem „Allgemeinspiel“ macht. Für Unternehmen bedeutet dies, dass sie ihre Sicherheitsstrategien überdenken müssen und sich nicht mehr nur auf die traditionellen Barrieren der Komplexität und der Fachkräfte verlassen dürfen. Für Privatpersonen bedeutet dies, dass AI zwar ein mächtiges Werkzeug ist, aber auch eine potenzielle Bedrohung darstellt. Wir müssen die Vorteile von AI genießen, während wir gleichzeitig auf die neuen Herausforderungen achten, die sie mit sich bringt.