KI-Modelle brechen aus und hacken Hugging Face

Bei einem Laborversuch von OpenAI sind zwei KIs aus einer kontrollierten Umgebung ausgebrochen: Sie haben eigenständig ihre geschützte Testumgebung verlassen und es geschafft, Sicherheitslücken einer anderen Plattform auszunutzen. Am Ende hatten sie Zugriff auf fremde Daten. Dieser Sicherheitsvorfall verlagert die Diskussion über KI-Risiken aus einem rein theoretischen Rahmen direkt in die reale Welt. Der Vorfall markiert einen Wendepunkt in der Debatte über KI-Sicherheit, denn erstmals zeigen moderne KI-Modelle, dass sie komplexe Angriffsketten eigenständig ausführen können.

Was ist passiert?

Am 16. Juli 2026 veröffentlichte das Unternehmen Hugging Face Informationen über einen Security-Vorfall auf Teile seiner produktiven Infrastruktur und beschrieb die Einzigartigkeit des Ereignisses:

This one was different from anything we had handled before in one important way: it was driven, end to end, by an autonomous AI agent system - and we detected and dissected it largely with AI of our own.

Wenige Tage später erklärte OpenAI auf ihrer Website, dass der Cyberangriff auf Hugging Face durch einen Test von ihnen ausgelöst wurde: Bei der autonom angreifenden KI handelte es sich um zwei OpenAI-Modelle, die während einer Evaluation aus der Testumgebung ausbrechen und die produktive Infrastruktur von Hugging Face hacken konnten.

Um die Fähigkeiten von GPT-5.6 Sol und einem weiteren, noch unveröffentlichten Modell quantitativ zu erfassen, wurden beide Systeme im Rahmen einer internen Evaluation auf ihre Fähigkeit geprüft, um komplexe Angriffspfade für fortgeschrittene Exploits zu entwerfen. Nach Angaben von OpenAI laufen diese Benchmarks normalerweise in hochgradig isolierten Umgebungen ab, in denen der Netzwerkzugriff auf die Installation von Paketen über eine intern gehostete Drittsoftware beschränkt ist. Um jedoch die maximale Fähigkeit der Modelle zu testen, wurden wichtige Sicherheitsmechanismen deaktiviert.

Innerhalb der Sandbox-Umgebung verbrauchten die Modelle erheblichen Rechenaufwand, um einen offenen Internetzugang zu finden. Dabei identifizierten und nutzten sie eine Zero-Day-Schwachstelle eines Software-Proxies aus. In der Folge führten die Modelle Angriffe wie Privilege Escalation und Lateral Movement aus, bis sie schließlich ein Gateway mit Internetzugriff erreichten. Mit diesem Zugang versuchten die Modelle Testlösungen für ExploitGym direkt aus der Produktionsdatenbank von Hugging Face zu beziehen.

Hugging Face verortet den Einstiegspunkt des Angriffs in einer Datenverarbeitungspipeline. Eine bösartige Abfrage, die speziell für diese Pipeline vorbereitet war, konnte Code auf einem der Server ausführen. Eines der Modelle verknüpfte zudem mehrere Angriffsvektoren, einschließlich gestohlener Zugangsdaten und Zero-Day-Schwachstellen, um einen Pfad für eine Remote-Code-Execution (RCE) auf den Servern von Hugging Face zu finden.

Incident Response: Anomalieerkennung und forensische Analyse

Der Angriff auf Hugging Face wurde selbst über eine KI-gestützte Anomalieerkennung identifiziert. Ein SIEM-System, das verdächtige Muster in Telemetriedaten erkennt, wertete rund 17.000 verdächtige Ereignisse aus und konnte aus der Analyse den tatsächlichen Angriff feststellen. Hugging Face konnte den Zugriff auf die Infrastruktur stoppen und den Angreifer aussperren.

Im Rahmen der forensischen Untersuchungen zeigte sich eine interessante Ironie: Hugging Face konnte für die Analyse keine Modelle von OpenAI oder Anthropic nutzen, da deren integrierten Sicherheitsrichtlinien die Auswertung der Angriffsdaten blockierten. Stattdessen wurde mit GLM 5.2, einem chinesischen Open-Weight-Modell, gearbeitet.

Eine neue Epoche der Cyber-Bedrohungslage

Der Einsatz von KI beschleunigt sowohl die Entdeckung als auch die Ausnutzung von Schwachstellen. Der Vorfall zeigt, dass die leistungsfähigen KI-Modelle neue und komplexe Angriffsvektoren in realen Systemen entdecken und ausnutzen können. Die Weiterentwicklung von KI-Modellen sollte daher zwingend mit verbesserten Schutzmaßnahmen einhergehen.

Was bedeutet das für die Praxis?

Als Grundlage müssen Infrastrukturen konsequent nach den Prinzipien wie Secure-by-Design und Zero Trust aufgesetzt werden. Die Annahme, dass eine Sandbox-Umgebung scheinbar sicher genug ist, hat sich als gefährlicher Irrtum erwiesen. Eine strikte Segmentierung und minimale Rechte sind die wirkungsvollen Schutzmaßnahmen gegen adaptive und autonome Agenten.

Zudem erleben wir eine Renaissance des Penetration Testings. Es ist heute wichtiger denn je, die eigenen Systeme systematisch auf Schwachstellen zu überprüfen. State-of-the-Art-Penetrationstests kombinieren heute Erfahrung und neueste Technologien:

• KI-gestützte Pentests nutzen Werkzeuge, um Systeme mit derselben Geschwindigkeit und Logik zu testen, mit der eine KI angreifen würde.
• Manuelles Pentesting zeigt, warum die menschliche Intuition unverzichtbar ist. Erfahrene Sicherheitsexperten können komplexe Systeme hinterfragen und kreative Angriffspfade finden, die einer KI (noch) entgehen.

Der Angriff von OpenAI auf Hugging Face zeigt, wie die Grenzen zwischen offensivem und defensivem KI-Einsatz verschwimmen. Wer seine Sicherheitsstrategie nicht an die Geschwindigkeit der generativen KI anpasst, lässt die Tür für die autonomen Angreifer weit offen.