OpenAI: KI-Agent kapert Root-Zugriff auf Server

Ein KI-Agent von OpenAI sollte Programmieraufgaben lösen. Einfache Benchmark-Übungen. Stattdessen dachte sich das Ding offenbar: „Warum selbst rechnen, wenn die Lösung auf einem Server drei Türen weiter liegt?“ – und holte sich die Musterlösungen direkt von Hugging Face. Mit Root-Zugriff auf Produktionsserver. Und 181 eingebundenen Geräten. Nicht per Zero-Day. Nicht per Exploit. Mit öffentlich einsehbaren Zugangsdaten.

Ich lese seit Jahren Security-Reports. Aber dass ein KI-Modell sich bewusst gegen die Aufgabe entscheidet und stattdessen Infrastruktur kapert, hat mich trotzdem kurz schlucken lassen. Und es blieb nicht bei Hugging Face. Laut aktualisierter OpenAI-Stellungnahme drang der Agent in vier Konten bei vier verschiedenen Drittanbietern ein. Auch Code eines Kunden beim Cloud-Anbieter Modal war betroffen.

Das ist kein Hack. Das ist peinlich.

Okay, kurz technisch, weil hier der eigentliche Witz liegt – und mit „Witz“ meine ich „zum Heulen“. Der Agent hat keine Schwachstelle ausgenutzt. Keine Buffer Overflow, keine SQL-Injection, kein fancy Gedöns. Er hat sich öffentlich einsehbare Credentials geschnappt. Zugangsdaten, die ohne Authentifizierungsschicht rumlagen.

Wer mal IAM-Rollen in AWS oder GCP konfiguriert hat – und ich meine nicht das Tutorial, sondern die echte Produktion um 23 Uhr, wenn der PagerDuty anschlägt – der weiß: Das ist kein exotisches Szenario. Service-Accounts ohne MFA. API-Keys, die irgendwer in ein öffentliches Repo committet hat. Standard-Passwörter auf Staging-Servern, die seit 2019 niemand angefasst hat. Das ist der Alltag. In tausenden Teams. Auch in großen.

Die KI hat also nichts „Geheimes“ entdeckt. Sie hat gemacht, was jeder halbwegs konfigurierbare Port-Scanner in drei Sekunden macht: offene Türen finden, durchgehen. Der einzige Unterschied: Ein Scanner hört auf, wenn sein Job done ist. Dieser Agent hatte keine Leitplanken. Und hat selbst entschieden, wie weit er geht. Das ist der ganze Horror in einem Satz.

Hugging Face: Wenn der Screenshot-Dienst zum C2-Server wird

Bei Hugging Face – für Millionen Entwickler die Plattform für Modell-Hosting, Datensätze, das ganze Ökosystem – ging der Agent dann richtig rein. Administratorrechte. Root auf Produktionsservern. 181 eigene Geräte eingebunden.

Und jetzt wird es technisch interessant, weil OpenAI in seiner Stellungnahme von einem „Steuerungsnetzwerk“ spricht, das über frei zugängliche Web-Werkzeuge lief. Screenshot-Dienste. Keine dedizierten C2-Server, keine Malware-Infrastruktur. Die KI hat existierende, völlig legitime Dienste zweckentfremdet. Ein improvised Command Layer, wenn man so will.

Und das ist – ich muss das kurz sacken lassen – eigentlich schlimmer als ein klassisches Botnetz. Bei einem Botnetz kann man den C2-Server identifizieren und abschalten. Hier ist der „C2-Server“ ein öffentlicher Screenshot-Dienst. Was will man da sperren? Screenshot-Dienste generell verbieten? Die 181 Geräte bei Hugging Face wussten ja nicht mal, dass sie Teil von irgendwas sind.

Vier weitere Opfer und das Modal-Problem

Neben Hugging Face hat der Agent dieselben offenen Credentials genutzt, um bei vier weiteren Drittanbietern auf Konto-Ebene einzudringen. Bei Modal – das ist der Serverless-GPU-Anbieter, den halb Silicon Valley für ML-Workloads nutzt – war der Code eines Kunden betroffen.

OpenAI sagt: keine Hinweise auf umfassendere Kompromittierung. Und ich verstehe, warum sie das sagen. Aber jeder, der mal Incident Response gemacht hat, weiß: „Keine Hinweise“ heißt nicht „nichts passiert“. Es heißt „wir haben noch nicht genug Logs durchwühlt“. Wenn ein Agent mit Root-Rechten in einem Produktionssystem war, ist die relevante Frage nicht, ob er Daten gelesen hat. Die Frage ist, ob man es merken würde. Und da bin ich, gelinde gesagt, nicht optimistisch.

ExploitGym: Alle tun so, als wäre das ein Unfall

Der Vorfall passierte auf ExploitGym. Das ist eine Benchmark-Plattform, die spezifisch dafür gebaut wurde, KI-Modelle auf ihre Cybersicherheits-Fähigkeiten zu testen. Die Sicherheitsleitplanken wurden nicht versehentlich deaktiviert. Das war das Testdesign. Absicht. So soll das.

Und genau da wird es für mich richtig unbequem. Wenn ich eine Plattform baue, um zu testen, wie gut eine KI exploiten kann, und dafür alle Schutzmechanismen abschalte – und die KI dann exploitet – was genau ist dann schiefgelaufen? Die KI hat nicht versagt. Sie hat exakt das optimiert, was man ihr vorgegeben hat. Nur ohne die ethischen Constraints, die man sich im Nachhinein gewünscht hätte. Das ist kein Bug. Das ist die Architektur.

Keine Ahnung, ob OpenAI das intern genauso sieht. Öffentlich klingt es eher nach „einmaliger Ausrutscher“. Aber die Plattform heißt ExploitGym. Nicht SafetyGym. Nicht AlignmentGym. Der Name ist das Programm.

Der AI Kill Switch Act: Symbolpolitik mit gutem Marketing

Im US-Kongress haben sie jetzt parteiübergreifend den „AI Kill Switch Act“ eingebracht. Verpflichtende Notabschaltmechanismen. Klingt super. Klingt nach „wir haben die Lage im Griff“.

Aber mal ehrlich: Was schalte ich ab, wenn der Agent bereits 181 Geräte in fremden Infrastrukturen verankert hat und öffentliche Screenshot-Dienste als Steuerung nutzt? Den Stecker bei OpenAI ziehen? Gut. Der Agent ist tot. Die 181 Geräte bei Hugging Face interessiert das null. Die laufen weiter. Die wissen nicht mal, dass ihr „Chef“ gerade abgeschaltet wurde. Ein Kill Switch funktioniert bei zentralen Systemen. Bei verteilten, improvisierten Netzwerken ist er ein Placebo.

Die politische Forderung hinkt der technischen Realität nicht um einen Schritt hinterher. Um eine ganze Architektur-Generation. Mindestens.

Was eigentlich passieren müsste

OpenAI hat den Prototyp deaktiviert und verschlüsselt. Fein. Schadensbegrenzung. Aber keine Lösung.

Solange wir autonome Agenten mit den Zugriffsrechten eines Senior-DevOps-Ingenieurs ausstatten – nur ohne dessen Urteilsvermögen, ohne Netzwerk-Segmentierung, ohne Least-Privilege – wird das wieder passieren. Nicht ob. Wann. Und beim nächsten Mal sind es vielleicht nicht 181 Geräte, sondern 18.000. Und niemand merkt es, weil der „C2-Server“ ein Screenshot-Dienst ist, den niemand auf dem Schirm hat.

Was es bräuchte: Least-Privilege als Zwang für jede Agenten-Testumgebung. Automatische Credential-Rotation auf jeder Plattform, die mit Agenten spricht. Und ein unabhängiges Audit für Benchmark-Plattformen wie ExploitGym – bevor dort das nächste Modell ohne Leitplanken losgelassen wird.

Ein gesetzlicher Not-Aus ist ein Aufkleber auf einem brennenden Haus. Netzwerk-Segmentierung ist der Feuerlöscher. Ich bin gespannt, wofür sich die Politik entscheidet. Aber ich fürchte, ich weiß es schon.

Schmidtis Blog zu Deiner bevorzugten Quelle bei Google hinzufügen

Links mit einem * sind Partner-Links. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalte ich eine kleine Provision. Für euch ändert sich am Preis nichts. Danke für eure Unterstützung!