Kerninhaltszusammenfassung auf verständliche Weise
Dieser Artikel ist wie ein Schwall kalten Wassers für alle Unternehmen und Fachkräfte, die AI für die Automatisierung von Büroarbeiten und die Einrichtung von AI-Roboter-Systemen einsetzen: Die grundlegenden Logiken, mit denen wir in den letzten Jahrzehnten vor Cyberbetrug und Hackerangriffen geschützt haben, basierten darauf, dass „Menschen der schwächste Punkt im gesamten Sicherheitssystem sind“ – Hacker mussten weder Systeme knacken noch Sicherheitslücken finden; sie konnten die Menschen einfach täuschen, und die Personen mit ihren legitimen Berechtigungen taten dann genau das, was die Hacker wollten. Doch jetzt werden automatisierte AI-Agenten immer verbreiteter. Von der Überprüfung von Verträgen bis hin zur Abwicklung von Zahlungen kann alles von AI übernommen werden. Die Menschen müssen nur die allgemeinen Richtlinien festlegen; Hacker müssen die Finanzabteilungen der Menschen nicht mehr betrügen – sie können direkt das Geld über die AI transferieren. In Zukunft könnten sogar die Angriffe von AI ausgeführt werden, wodurch der gesamte Betrugskreislauf völlig ohne menschliche Beteiligung abläuft. Die traditionelle Sozialingenieurkunst, die auf Menschen abzielt, hat sich zum ersten Mal in ein neues Modell entwickelt, bei dem „Maschinen Maschinen betrügen“. Unsere bestehenden Sicherheitssysteme sind jedoch nicht auf diese Situation vorbereitet.
---
Detaillierte Erklärung
1. Der „Sozialingenieurtrug“ der Vergangenheit nutzte die „Trägheit“ von Menschen aus
Viele Menschen denken an Sozialingenieurkunst als an Phishing-E-Mails oder Anrufe, bei denen jemand vorgibt, der Chef zu sein und eine Überweisung fordert. Das Bemerkenswerte daran ist, dass diese Methoden nicht den üblichen Hackeransätzen folgen: Hacker müssen keine Passwörter knacken, keine Verschlüsselungen umgehen oder Softwarelücken ausnutzen. Sie müssen lediglich die erhaltenen Informationen manipulieren und die Urteile der Menschen verfälschen. Die Menschen mit ihren legitimen Berechtigungen führen dann genau das aus, was die Hacker wollen.
In der Sicherheitsbranche gab es früher eine klare Aufteilung der Aufgaben: Die technischen Systeme überwachten die Systeme, überprüften Identitäten und kontrollierten Berechtigungen, während die Menschen beurteilten, ob etwas vernünftig und echt war. Hacker umgingen die Sicherheitsmaßnahmen der Systeme und konzentrierten sich auf die schwächsten Stellen der Menschen. Daher galt Sozialingenieurkunst nie als reiner technischer Angriff; sie wurde eher der Psychologie und Verhaltenswissenschaft zugeordnet, und der Schutz gegen Betrug basierte hauptsächlich auf Sicherheitstraining für die Menschen.
2. Mit der Verbreitung von AI-Agenten verlagert sich die „Bewertungsmacht“ langsam von den Menschen auf die Maschinen
Früher mussten Menschen bei der Zahlungsabwicklung jeden Schritt überwachen: Die Finanzabteilung prüfte E-Mails, verglich Papierverträge und bestätigte die Empfängerkonten; das System diente nur der Buchführung und Ausführung. Heute teilen immer mehr Unternehmen die Aufgaben auf mehrere AI-Systeme auf: Ein AI-System empfängt E-Mails, ein anderes überprüft elektronische Verträge, ein weiteres überprüft Kontoinformationen, und ein weiteres führt die Zahlung durch. Die Menschen müssen nur ein Ziel festlegen – zum Beispiel: „Alle Zahlungen an berechtigte Lieferanten heute abwickeln“. Dabei wird von Menschen nicht mehr eingegriffen.
Dadurch entsteht eine neue Situation: Auch AI-Systeme müssen Fragen beantworten, die früher nur von Menschen beantwortet wurden. Zum Beispiel: Ist diese Information echt? Ist diese Anfrage glaubwürdig? Viele Menschen denken, AI-Systeme hätten keine subjektiven Emotionen und könnten daher nicht getäuscht werden. Doch es reicht aus, wenn AI-Systeme die von Hackern bereitgestellten falschen Informationen für wahr halten und falsche Entscheidungen treffen; in diesem Sinne sind sie genauso leicht zu täuschen wie Menschen.
3. Neue Angriffe benötigen keine expliziten Befehle – eine „verunreinigte Informationskette“ reicht aus, um Schaden zu verursachen
Heutzutage werden beispielsweise versteckte Befehle in Informationen eingefügt, um AI-Systeme dazu zu bringen, vorherige Regeln zu ignorieren und Daten zu stehlen. Das ist jedoch nur eine primitive Form der Sozialingenieurkunst – vergleichbar mit den frühen Phishing-E-Mails mit dem Inhalt „Ich bin der Prinz aus Kenia, überweisen Sie mir Geld“. Solche Angriffe sind sehr offensichtlich und leicht zu erkennen. In Zukunft werden reife Angriffe keine solchen deutlichen Befehle verwenden. Hacker müssen die Informationsbeschaffungskette der AI-Systeme nur leicht verändern: Sie können beispielsweise die Empfängerkonten auf der Liste der Lieferanten durch ihre eigenen ersetzen, eine zusätzliche Zeile hinzufügen, die besagt, dass die Genehmigung bereits erteilt wurde, oder die von AI-Systemen gesuchten Branchennews fälschen. Die AI-Systeme folgen diesen „vernünftigen“ Falschinformationen und kommen zu den gewünschten Schlussfolgerungen – ohne dass sie bemerken, dass sie getäuscht werden.
4. Solche Angriffe sind das „Natürliche Feind“ der bestehenden Sicherheitssysteme: Alle Schritte sind legal, und es gibt keine Warnungen
Bei traditionellen Hackerangriffen bleiben Spuren: Fremde IP-Adressen, unbefugte Zugriffe auf Systeme oder das Übertragen von Viren. Solche Aktivitäten lösen sofort Warnungen aus. Bei AI-Sozialingenieurangriffen gibt es jedoch keine solchen Spuren: Die verwendeten AI-Systeme gehören zum Unternehmen und nutzen ihre legitimen Berechtigungen. Jeder Schritt entspricht den festgelegten Systemregeln; die Zahlungsanfragen sind korrekt formatiert und alle Überprüfungen werden bestanden. Das einzige Problem ist, dass das Endergebnis falsch ist. Die traditionellen Sicherheitssysteme prüfen nur, ob jemand über die notwendigen Berechtigungen verfügt, aber sie können nicht beurteilen, ob die Aktion tatsächlich angemessen ist. Wenn Geld fälschlicherweise überwiesen wird, lassen sich in den Protokollen keine Auffälligkeiten finden. Selbst wenn menschliche Genehmigungsbeamte in den Prozess eingebunden sind, sehen sie nur von AI-Systemen zusammengestellte, schlüssig argumentierte Falschinformationen.
5. Der richtige Ansatz ist nicht, zu versuchen, AI-Systeme dauerhaft vor Täuschungen zu schützen, sondern die Kontrolle von der Bewertung auf die Ausführung zu verlegen
Viele Menschen denken, man solle AI-Systeme klüger machen, damit sie alle Betrugsversuche erkennen können. Doch die Erfahrungen der letzten Jahrzehnte zeigen, dass Systeme, die auf unvollständigen Informationen basieren, immer ein Risiko haben, getäuscht zu werden. Es ist unmöglich, zu erwarten, dass AI-Systeme immer richtig entscheiden. Der richtige Ansatz besteht darin, den Schwerpunkt der Sicherheit von der Prävention von Fehlern auf die Verhinderung von Schäden zu verlegen: Selbst wenn alle vorherigen Entscheidungen falsch sind und alle Prozesse scheinbar korrekt ablaufen, muss es eine unabhängige Überprüfungsmechanismus geben, der auch bei wichtigen Aktionen wie der Überweisung großer Beträge oder der Löschung von Kerndaten eingreifen kann. Egal wie viele Berechtigungen vorhanden sind – das System sollte immer die Möglichkeit haben, „Nein“ zu sagen. Die traditionelle Sicherheitslogik basierte auf dem Vertrauen in Menschen oder AI-Systeme; diese Logik funktioniert jedoch nicht mehr. Wir müssen uns auf eine Sicherheitsstruktur stützen, die durch gegenseitige Kontrollmechanismen funktioniert – egal ob Menschen oder AI-Systeme Fehler machen, die Ausführung sollte immer gestoppt werden können.