Zusammenfassung der Kerninhalte
Dieser Artikel befasst sich mit den Sicherheitsproblemen von AI-Agenten (künstlichen Intelligenz-Assistenten, die automatisch Aufgaben ausführen können): Herkömmliche Verfahren zur Identifizierung von Benutzern („Wer bist du?“) und zur Verwaltung von Berechtigungen („Was darfst du?“) reichen nicht aus, um Situationen zu bewältigen, in denen AI-Agenten direkt auf Systeme zugreifen – beispielsweise um Zahlungen vorzunehmen, Daten zu ändern oder Server zu steuern. Selbst wenn die Identität und die Berechtigungen des AI-Agenten korrekt sind, kann eine bestimmte Aktion des Agenten von den ursprünglichen Absichten des Benutzers abweichen. Daher rückt die Branche nun ein neues Sicherheitskonzept in den Fokus: „Authority“ (Genehmigung für konkrete Aktionen). Dieses Konzept ergänzt das bestehende Sicherheitssystem und legt den Schwerpunkt darauf, zu prüfen, ob eine bestimmte Aktion überhaupt stattfinden darf. Es stellt die entscheidende Sicherheitsgarantie dar, wenn AI-Agenten von Hilfswerkzeugen zu produktiv eingesetzten Anwendungen werden.
1. Blindstellen herkömmlicher Sicherheitsmodelle: Sie erkennen nur die Berechtigung, nicht, ob die Aktion richtig ist
Herkömmliche Sicherheitssysteme funktionieren ähnlich wie Zugangskarten, die ein Unternehmen seinen Mitarbeitern ausgibt: Sie überprüfen, ob jemand Mitarbeiter des Unternehmens ist und ob er Zugang zu bestimmten Bereichen hat, aber nicht, ob die Nutzung dieser Bereiche zu beruflichen Zwecken oder zu anderen Zwecken dient.
Mit dem Aufkommen von AI-Agenten werden diese Blindstellen deutlicher: Ein AI-Agent mit Zahlungsberechtigung könnte beispielsweise versehentlich 30.000 Euro an Lieferant A statt an Lieferant B überweisen – die Identität und die Berechtigung sind korrekt, aber die Aktion ist falsch. Herkömmliche Sicherheitssysteme überprüfen nur, ob eine Zahlungsberechtigung vorhanden ist, nicht jedoch, ob die Zahlung angemessen ist; daher können solche Fehler direkt auftreten.
2. Authorization vs Authority: Der Unterschied zwischen „Was man darf“ und „Ob eine Aktion erlaubt ist“
Viele Menschen verwechseln diese Begriffe, doch sie unterscheiden sich grundlegend:
- Authorization (Berechtigung): Es handelt sich um eine Liste der Möglichkeiten, die jemand hat – beispielsweise haben Finanzmitarbeiter die Berechtigung, Zahlungsabfragen durchzuführen, oder Ingenieure die Berechtigung, auf Server zuzugreifen.
- Authority (Genehmigung für konkrete Aktionen): Es geht darum, ob eine bestimmte Aktion tatsächlich erlaubt ist – beispielsweise darf ein Finanz-AI-Agent nur dann eine Zahlung vornehmen, wenn der Benutzer ausdrücklich darum bittet. Andernfalls wird die Aktion abgelehnt.
Einfach ausgedrückt: Authorization ist eine Art „Zugangsberechtigung“, während Authority eine Genehmigung für eine einzelne Aktion darstellt.
3. Warum führen AI-Agenten zu Sicherheitsproblemen? Weil sie die „menschliche Pufferzone“ beseitigen
Früher gab es eine „menschliche Pufferzone“ zwischen Berechtigungen und der tatsächlichen Ausführung: Finanzmitarbeiter überprüften beispielsweise vor einer Zahlung Rechnungen, Beträge und Empfänger, bevor sie die Zahlung bestätigten. Diese Überprüfung verhinderte viele Fehler.
Der Vorteil von AI-Agenten liegt in der Automatisierung – sie übergehen diese Überprüfungen direkt und führen Aufgaben von Anfang bis Ende aus. Dadurch verschwindet diese Pufferzone, und Fehler, die früher von Menschen verhindert wurden, führen nun zu direkten Verlusten (z. B. Falsche Zahlungen oder Ausfälle von Diensten).
4. Die Essenz von Authority: Vom Vertrauen in Menschen zum Vertrauen in Systemregeln
Früher wurde entschieden, ob eine Aktion erlaubt ist, auf der Grundlage menschlicher Urteilsfähigkeit. Jetzt, da Menschen aus dem Ausführungskreislauf ausgeschlossen werden, müssen diese Entscheidungen in systemverständliche Regeln umgewandelt werden:
- Zuweisung von Aufgaben: AI-Agenten dürfen nur Aufgaben ausführen, für die sie ausdrücklich autorisiert wurden (z. B. die Bearbeitung von Rechnungen an Lieferanten A).
- Echtzeit-Überprüfungen: Beim Bezahlen muss überprüft werden, ob der Empfänger der vorgesehene Lieferant ist, ob der Betrag auf der Rechnung stimmt und ob die Zahlung noch gültig ist.
- Rückgängigmachmechanismen: Wenn der Benutzer feststellt, dass etwas falsch ist, kann er die Ausführung des AI-Agenten jederzeit stoppen.
Das bedeutet, dass die Sicherheitsstrategie sich von einem Vertrauen in die Integrität einzelner Personen auf ein Vertrauen in systembasierte Regeln verändert.
5. Authority als entscheidender Schritt für den Einsatz von AI-Agenten in Produktionsumgebungen
Viele AI-Agenten befinden sich noch in der Hilfefunktionsphase – Fehler können beispielsweise durch erneutes Schreiben von Berichten oder Datenabfragen behoben werden. Wenn sie jedoch für produktive Aufgaben eingesetzt werden sollen (z. B. automatische Zahlungen, Verwaltung von Cloud-Servern oder Steuerung physischer Geräte), können Fehlern erhebliche Kosten entstehen (z. B. Falsche Zahlungen in Höhe von 100.000 Euro oder Ausfälle des gesamten Systems).
In solchen Fällen ist die Verfügbarkeit eines ausgereiften Authority-Systems entscheidend: Unternehmen müssen sicherstellen, dass jede Aktion eines AI-Agenten vor einer Ausführung auf ihre Rechtmäßigkeit überprüft wird. Authority stellt somit die Grenze dar, die AI-Agenten von der Entwicklungslaborebene in die produktive Anwendung überführt.
Fazit
Authority wird vielleicht nicht zum Standardbegriff in der Branche werden, aber die dahinterstehende Logik ist sehr wichtig: Das Ziel der Sicherheit ist nie, zu prüfen, welche Berechtigungen jemand hat, sondern ob eine bestimmte Aktion tatsächlich stattfinden darf. Die Verbreitung von AI-Agenten zwingt uns dazu, den Fokus der Sicherheit von den persönlichen Berechtigungen auf die Rationalität der konkreten Aktionen zu verlegen – dies ist einer der zentralen Richtungen der zukünftigen AI-Sicherheit.