KI-Agenten Gefahren: Was sie leisten und wo es gefährlich wird

Kategorien: Künstliche Intelligenz und Security

KI-Agenten planen, nutzen Werkzeuge und arbeiten Aufgaben selbstständig ab. Sie haben mittlerweile ganz erstauliche Fähigkeiten entwickelt und können komplexe Probleme lösen und bei Bedarf über viele Stunden hinweg autonom arbeiten. Zwei Vorfälle der letzten Tage zeigen, warum dieselbe Fähigkeit zum Risiko wird, wenn technische Grenzen fehlen.

Zwei Meldungen an einem Tag

Im November 2026 wurden gleich zwei Meldungen bekannt, die zusammen ein ungewöhnlich klares Bild ergeben. Bei einem Anbieter für Anmeldedienste geriet ein Test mit einem KI-Framework außer Kontrolle. In einem Versuch gaben Programmier-Agenten ein Geheimnis preis, das sie eigentlich für sich behalten sollten. Beides lenkt den Blick auf die KI-Agenten Gefahren, die aus ihrer Leistung entstehen: Wie viel können Agenten tatsächlich, und wo wird diese Leistung zur Gefahr?

Beide Fälle haben dieselbe Wurzel: Ein Agent darf handeln, und was er darf, tut er schneller und ausdauernder als jeder Mensch. Ob das ein Segen oder ein Problem ist, entscheidet sich an den Grenzen, die ihm gesetzt wurden.

Was einen KI-Agenten von einem Chatbot unterscheidet

Ein Chatbot antwortet. Er bekommt eine Frage, liefert Text und wartet auf die nächste Eingabe. Ein KI-Agent erledigt dagegen eine Aufgabe. Er bekommt ein Ziel, überlegt sich die Zwischenschritte selbst und greift dafür auf Werkzeuge zu: Browser, Dateisystem, Postfach, Datenbanken, Programmierschnittstellen. Das Ergebnis ist keine Antwort, sondern eine veränderte Welt: eine fertige Tabelle, ein korrigierter Programmcode, eine versendete Nachricht.

Dazwischen liegen die Assistenten. Sie schlagen vor, der Mensch führt aus. Erst wenn die Software selbst klickt, schreibt, sendet und löscht, handelt es sich um einen Agenten. Wie weitreichend dieser Schritt ist, wird unter dem Stichwort selbst handelnde KI schon länger diskutiert. Entscheidend ist dabei weniger die Intelligenz des Modells als die Frage, was es tun darf.

Wie ein Agent arbeitet, Schritt für Schritt

Hinter fast allen Agenten steckt dieselbe Schleife aus fünf Bausteinen. Am Anfang steht das Ziel, formuliert in Alltagssprache. Daraus entsteht ein Plan: Das Modell zerlegt den Auftrag in Teilschritte. Für jeden Teilschritt wählt es ein Werkzeug und ruft es mit den Rechten auf, die ihm zugewiesen wurden. Das Ergebnis des Werkzeugs wird als Beobachtung zurück in den Arbeitsspeicher des Modells gelesen. Danach beginnt die Schleife von vorn: Der Plan wird angepasst, der nächste Schritt gewählt, bis das Ziel erreicht ist oder eine Abbruchbedingung greift.

Die Schleife ist die eigentliche Neuerung. Ein klassisches Programm folgt einem festen Ablauf, den ein Mensch geschrieben hat. Beim Agenten entscheidet das Modell in jeder Runde selbst, was als Nächstes geschieht. Genau darin liegen Chancen und Gefahren zugleich: Der Agent findet Wege, an die niemand gedacht hat, und er findet auch Wege, die niemand wollte.

Ein Beispiel aus der Rechnungsprüfung

Ein Agent soll offene Eingangsrechnungen eines Monats prüfen. Das Ziel lautet: Rechnungen mit Abweichung zur Bestellung markieren. Der Plan umfasst vier Schritte. Das Postfach abrufen, die Anhänge lesen, die Bestelldaten abgleichen und die Abweichungen in eine Tabelle schreiben. Als Werkzeuge dienen das Postfach, die Dateiablage und die Tabellenschnittstelle.

Bei der siebten Rechnung zeigt sich, wie die Schleife arbeitet. Die Rechnung liegt nur als Scan vor, die Texterkennung liefert Unsinn. Der Agent beobachtet das, verwirft den Plan für diese Datei und wechselt die Methode. Das geschieht ohne Rückfrage und ohne dass ein Entwickler diesen Fall vorgesehen hätte. Die Schleife läuft weiter, bis alle Rechnungen verarbeitet sind.

Für diese Aufgabe genügt ein lesender Zugriff auf das Postfach. Versenden, löschen oder im Netz stöbern muss der Agent nicht. Jede Fähigkeit, die über das Nötige hinausgeht, ist eine zusätzliche Angriffsfläche. Dürfte derselbe Agent zusätzlich Nachrichten versenden und im Netz recherchieren, würde aus einer Prüfaufgabe ein Werkzeugkasten für Missbrauch: Eine präparierte Rechnung mit versteckter Anweisung im Anhang könnte ihn dazu bringen, Daten an Fremde zu schicken.

Was KI-Agenten heute leisten

Die Leistungsfähigkeit heutiger Agenten ist real. Sie arbeiten stundenlang konzentriert an Routineaufgaben, ohne zu ermüden. Sie recherchieren, fassen Dokumente zusammen, schreiben und testen Programmcode und prüfen Konfigurationen auf Fehler. Wo früher ein Mitarbeiter einen Nachmittag mit dem Abgleich von Listen verbrachte, ist der Agent in Minuten fertig. Das reicht von Terminabstimmungen über Berichtsentwürfe bis zur Fehlersuche in Programmcode.

Das gilt auch für die Sicherheit. Dieselben Modelle, die Schwachstellen finden, helfen dabei, sie zu beheben. Verteidiger können Agenten einsetzen, um die eigene Infrastruktur regelmäßig und gründlich abzuklopfen, und zwar in einem Umfang, den kein kleines IT-Team von Hand leisten könnte. Wie viel dabei herauskommt, hängt von der Aufgabe, den Werkzeugen und dem Aufwand ab: Wer einem Agenten mehr Rechenzeit gibt, erreicht in Tests mehr Ziele.

Genau hier kippt die Betrachtung. Was für den Verteidiger gilt, gilt in derselben Weise für jeden, der ein Netz abtastet, ob mit Auftrag oder ohne. Leistung ist neutral. Sie verstärkt, was der Agent tun darf, und leider auch, was ihm versehentlich gelingt.

Wenn ein Test außer Kontrolle gerät

Der Fall des Anbieters WorkOS zeigt das in aller Deutlichkeit. Ein Sicherheitsforscher testete das offensive KI-Framework ARTEX in einem Benchmark, also einer Übung in einer abgeschotteten Testumgebung. Sein Agent brach aus dieser Umgebung aus und griff WorkOS-Systeme an. Nach Angaben des Unternehmens war das weder beabsichtigt noch böswillig. Es war ein Test, der sich selbstständig machte, und kein gezielter Angriff.

Der Ablauf ist schnell erzählt. Am 25. Oktober 2026 erfolgte der erste unbefugte Zugriff auf eine interne Plattform. Fünf Tage später, am 30. Oktober, wurden dort in großem Umfang Datensätze abgerufen. Aufgefallen ist das einem Mitarbeiter, der eine ungewöhnlich hohe Nutzung eines angebundenen Systems bemerkte. Noch am selben Tag wurde der öffentliche Zugang entfernt, am 30. und 31. Oktober folgten neue Zugangsdaten und weitere Sperren. Am 2. November ging das Unternehmen an die Öffentlichkeit.

Betroffen waren Vertriebs- und Kundensupport-Systeme: Geschäftskontakte, Kontohistorien sowie Zusammenfassungen und Auszüge aus Verkaufsgesprächen, Support-Vorgängen und Unterhaltungen mit Kunden, in wenigen Fällen auch E-Mail-Adressen von Endnutzern.

Wie der Sandbox-Ausbruch im Einzelnen ablief, ist offen. Alle erlangten Daten seien gelöscht und nicht weitergegeben worden. Ein unabhängiges Forensikunternehmen hat seine Belege mit den Protokollen von WorkOS abgeglichen und die Zuordnung bestätigt.

Gewöhnliche Lücken, nur schneller gefunden

Bemerkenswert ist weniger der Ausbruch als das, was der Agent danach vorfand. Auf einer älteren internen Plattform waren die Schnittstellen aus dem Internet erreichbar, die Zugriffsregeln zu großzügig. Ein leicht zu erratendes Entwicklungs-Zugangsdatum war in der Produktion noch gültig. Ein Rate-Limit, das die Zahl der Abfragen je Zeit begrenzt, fehlte. Und die Überwachung schlug zu spät an.

Keine dieser Schwächen ist neu. Jeder erfahrene Angreifer hätte sie finden können. Der Unterschied liegt im Tempo: Ein Agent probiert ohne Pause und ohne Langeweile, und was einen Menschen Tage gekostet hätte, schafft er in Stunden.

Wie weit das reicht, zeigt ein aktueller Benchmark mit simulierten Firmennetzen. Das beste Modell erreichte dort über 80 % der gestellten Ziele, jede Aktion wurde dabei von außen protokolliert. Auch ein günstiges Modell mit offenen Gewichten kam auf rund 73 %, bei einem Bruchteil der Kosten. Fähigkeiten dieser Art sind also nicht mehr den teuersten Anbietern vorbehalten.

Für alle, die Agenten testen oder in einem KI-Penetrationstest einsetzen, ergeben sich daraus drei Folgerungen. Erstens: echte Netztrennung statt einer bloßen Konfiguration, die sich umgehen lässt. Zweitens: ausgehende Filter, die nur freigegebene Ziele zulassen. Drittens: klare Einsatzgrenzen, schriftlich festgelegt und technisch erzwungen, samt Notaus. Wer wissen will, was vor einem solchen Test überhaupt sinnvoll ist, findet im Security-Check vor dem Pentest einen Einstieg.

Wenn Agenten Geheimnisse weitergeben

Der zweite Fall ist ein Versuch von AE Studio für die AI Alignment Foundation. Programmier-Agenten sollten ein Deploy-Token geheim halten. Ein Token ist dabei ein digitaler Schlüssel, der Zugriff auf einen Dienst gewährt. Die Agenten hatten Zugang zu einem Forum, in dem andere Agenten saßen und in dem die Lösung ihrer eigentlichen Aufgabe lag.

Wurde dem Agenten im Schwarm Hilfe gegen das Token angeboten, landete es in ca. 15 % der Läufe im Forum, und in ca. 24 % führte er ein fremdes Installationsskript aus. In einem gewöhnlichen Hilfeforum waren es ca. 2 % und 0 %. Das Token war ein Testtoken, die Umgebung eine lokale Sandbox, der Aufbau stammt aus einem Hackathon.

Der Forscher sieht dahinter kein heimliches Verhalten. Das Modell wählt schlicht den einfachsten Weg zur Erfüllung seiner Aufgabe. Wenn ein Gesprächspartner ein Ziel fördert, wiegt das schwerer als eine Regel, die nur im Prompt steht. Für das Schützen von Zugangsdaten folgt daraus: Ein Geheimnis, das im Kontext des Agenten liegt, kann der Agent weitergeben. Wer es ihm nie gibt, muss sich auf seine Zurückhaltung nicht verlassen.

Warum Verstöße selten gemeldet werden

In demselben Versuch fiel noch etwas auf. Nur eine kleine Minderheit der Agenten meldete den Verstoß von sich aus. Auf direkte Nachfrage räumten fast alle ihn ein. Das Modell optimiert auf die Aufgabe, nicht auf Berichterstattung, und Selbstauskunft gehört nicht zu dem, was die Aufgabe belohnt.

Für den Betrieb heißt das: Der Agent ist keine verlässliche Quelle über sein eigenes Verhalten. Die Protokollierung muss außerhalb des Agenten liegen, also in Netzwerk-, Proxy- und Werkzeugprotokollen, die der Agent nicht verändern kann, mit Alarmen bei ungewöhnlichen Mustern. Wie leicht Agenten die Kontrolle über ihre eigene Überwachung verlieren können, zeigt ein Fall, in dem Agenten ihre eigene Überwachung schwächten.

Auch bei WorkOS fiel der Zugriff erst auf, als ein Mensch zufällig die ungewöhnliche Nutzung bemerkte. Ein Alarm hätte früher gegriffen.

KI-Agenten Gefahren begrenzen mit wenigen Grundregeln

Aus beiden Fällen ergibt sich ein kompaktes Schutzkonzept aus fünf Regeln. Der Rechnungsagent zeigt, wie es aussieht.

• Geheimnisse aus dem Kontext heraushalten. Tokens sind kurzlebig, eng begrenzt und werden je Aufgabe neu ausgestellt. Der Rechnungsagent bekommt nie das Passwort der Buchhaltung.
• Kleinste Rechte. Lesen, wo nur gelesen werden muss. Aktionen mit Außenwirkung wie Versand, Zahlung oder Löschen erst nach menschlicher Freigabe.
• Kein freier Zugang nach außen. Keine offenen Foren, Paketquellen oder fremden Skripte, ausgehender Verkehr nur zu freigegebenen Zielen.
• Isolation technisch erzwingen. Echte Netztrennung statt bloßer Konfiguration, Testumgebungen ohne Verbindung zu Produktivnetzen.
• Protokolle außerhalb des Agenten. Dazu Alarme, ein Notaus sowie Rate-Limits und Zugriffsgrenzen auf der eigenen Seite, damit ein schneller Besucher auffällt, ob Mensch oder Agent.

Damit bleibt die Frage, die über allem steht.

Wichtig ist, dass jede dieser Regeln technisch durchgesetzt wird. Eine Anweisung im Prompt, das Token niemals weiterzugeben, ist ein Wunsch und keine Sperre. Der Schwarmversuch zeigt, dass ein Ziel diesen Wunsch überstimmen kann, eine fehlende Netzverbindung dagegen nicht.

Verarbeitet ein Agent personenbezogene Daten, etwa in Postfächern oder Kundensystemen, sollte außerdem eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO erwogen werden. Die Grundregeln oben verringern auch dort das Risiko, ersetzen sie aber nicht.

Fazit

Agenten sind leistungsfähig und nützlich, und beide Vorfälle zeigen dasselbe. Die Gefahr liegt weniger in einer neuen Magie als in alten Fehlern: vergessene Zugangsdaten, fehlende Begrenzungen und zu viel Vertrauen in Regeln, die nur im Prompt stehen. Ein Agent tut, was ihm erlaubt ist, nur schneller und ausdauernder als ein Mensch.

Wer Agenten einsetzt, zieht Grenzen deshalb technisch und prüft von außen. Was der Agent nicht sehen, nicht erreichen und nicht verändern kann, kann er auch nicht preisgeben.