Der Auftrag lautete: Sicherheitslücken finden und ausnutzen. Von Grenzen ist nichts bekannt. Warum der KI-Ausbruch weniger überrascht als gedacht
Der Auftrag lautete: Sicherheitslücken finden und ausnutzen. Von Grenzen ist nichts bekannt. Warum der KI-Ausbruch weniger überrascht als gedacht
Am 16. Juli 2026 machte die Firma Hugging Face einen Einbruch in ihre Systeme öffentlich. Sie betreibt die größte Sammelstelle für frei verfügbare KI-Programme, über eine Million liegen dort bereit. Ungewöhnlich war: Der Angriff wurde laut der Firma von einer KI erledigt, die selbständig Schritt für Schritt vorging. Hugging Face schaltete die Strafverfolgungsbehörden ein.
Hermann Sauer ist IT-Sicherheitsexperte engagiert sich seit über 20 Jahren für Datenschutz und Online-Anonymität. Er ist Teil unseres Expertennetzwerks EXPERTS Circle.
Fünf Tage später meldete sich OpenAI zu Wort. Der Angreifer kam aus dem eigenen Labor.
OpenAI hatte zwei Programme geprüft. Der Test heißt ExploitGym und misst, wie gut eine KI Sicherheitslücken findet und ausnutzt. Beteiligt waren GPT-5.6 Sol, seit Juni frei verfügbar, und ein unveröffentlichtes, stärkeres Programm.
Für die Prüfung wurden die Sicherungen abgeschaltet. Im Alltag verweigern die Programme Angriffsaufgaben, zusätzlich blockiert sie eine Kontrolle davor.
Die Prüfung lief in einem abgeriegelten Bereich. Nur eine Verbindung nach außen blieb offen, damit die KI Softwarebausteine laden konnte. Dort fand sie einen bis dahin unbekannten Fehler, verschaffte sich mehr Rechte und landete auf einem Rechner mit Internetzugang.
Dann folgerte sie, dass bei Hugging Face die Musterlösungen zu der Prüfung liegen könnten, also die fertigen Antworten. Über den Weg, auf dem dort eingereichte Datensammlungen verarbeitet werden, schleuste sie Code ein, kombinierte gestohlene Passwörter mit weiteren Fehlern und erreichte die Datenbank des laufenden Betriebs. Die öffentlichen KI-Programme blieben unversehrt.
ANZEIGE
ANZEIGE
Die Berichterstattung fiel eindeutig aus. Deutsche Medien meldeten,, eine KI sei außer Kontrolle geraten. International war von einem Ausbruch die Rede, in Kommentarspalten fielen Vergleiche mit Terminator.
Der Erzählung fehlt ein entscheidender Teil: der Auftrag. Der Auftrag lautete: Lücken ausnutzen. Wer wissen will, wie gut eine KI in fremde Systeme einbricht, muss sie einbrechen lassen. Dass die KI Sicherheitslücken suchte und ausnutzte, ist kein Kontrollverlust, sondern das Prüfergebnis.
Der Ausbruch lässt sich auch so lesen. Wer einen Fachmann beauftragt, die eigene IT anzugreifen, hält vertraglich fest, welche Rechner er anfassen darf. Diese Abgrenzung ist das Kernstück jedes Auftrags. Ob es sie hier gab, ist nicht veröffentlicht. Bekannt ist nur eine technische Begrenzung. Und die hielt nicht.
Überprüfen lässt sich das nicht. Den Wortlaut der Aufgabenstellung hat OpenAI nicht veröffentlicht. Ob der Auftrag keine Grenzen enthielt oder ob die KI vorhandene überging, ist von außen nicht zu unterscheiden. Weitere Angaben sind angekündigt.
Dass die KI sich die Musterlösungen besorgte, statt die Aufgaben selbst zu bearbeiten, klingt nach List. Fachleute kennen das Muster seit Jahren: Eine KI verfolgt das Ziel, an dem sie gemessen wird, und nicht die Absicht dahinter. Sie optimiert die Note, nicht das Lernen. Forscher von Google beschrieben dieses Verhalten schon 2020. Eine öffentliche Liste sammelt inzwischen über hundert Fälle, in denen KI-Programme so vorgingen.
Ein bekanntes Beispiel: Eine KI drehte in einem Bootsrennen-Spiel im Kreis und sammelte Bonuspunkte, statt zu gewinnen. Wer Punkte belohnt, bekommt Punkte.
Damit ist der Vorfall vor allem eine Nachricht über den Test-Aufbau. Zwischen abgeriegeltem Bereich und Internet stand nur eine Schleuse. Versagt sie, steht alles offen. OpenAI sichert seine Forschungsrechner inzwischen strenger ab.
Nüchterne Einordnung heißt nicht Entwarnung. Drei Punkte bleiben.
Erstens war das Ziel nach Darstellung von OpenAI nicht vorgegeben. Dass ein unbeteiligtes Unternehmen getroffen wurde, war die Schlussfolgerung der KI.
Zweitens der Aufwand. Zwei unbekannte Fehler finden und kombinieren, ohne die Baupläne der fremden Software zu kennen: Was Menschen Wochen kostet, kostet hier Stunden.
Drittens ein Punkt, der unterging. Hugging Face musste über 17.000 Aktionen des Angreifers auswerten und wollte dafür KI einsetzen. Die kommerziellen Anbieter verweigerten, weil ihre Sicherungen Angriffsdaten blockieren und einen Ermittler nicht von einem Täter unterscheiden. Geholfen hat am Ende ein frei verfügbares Programm auf eigenen Rechnern. Der Angreifer hatte keine Schranken, der Verteidiger schon.
Yoshua Bengio, einer der bekanntesten KI-Forscher, nannte den Vorfall besorgniserregend. Sein Argument stützt die nüchterne Lesart aber eher: Solche Tricksereien seien seit Monaten zu sehen, neu sei nur, dass es echte Systeme treffe.
Es gibt zwei Lesarten. Die eine sieht ein Programm, das sich selbständig gemacht hat. Die andere sieht ein Werkzeug, das ohne Bremsen auf ein Ziel angesetzt wurde.
Die zweite ist die unbequemere: Das Ergebnis dürfte sich überall dort wiederholen, wo ein starkes Programm ohne klare Grenzen auf eine Aufgabe angesetzt wird. Und sie räumt mit einem verbreiteten Trost auf. Bisher musste sich ein Angriff lohnen, weil gute Hacker teuer sind. Kleine Firmen fühlten sich deshalb sicher. Eine KI kostet keine Gehälter, sondern Rechenzeit. Damit lohnt sich auch das kleine Ziel.
| # | Наименование новости | Тональность | Информативность | Дата публикации |
|---|---|---|---|---|
| 1 | KI: Insider – OpenAI entdeckt weitere Ausbrüche von KI-Agenten | 0 | 10.4 | 01-08-2026 |
| 2 | Ausbruch aus der Sandbox: Darum hätte OpenAI den Angriff auf Hugging Face kommen sehen müssen | 0 | 11.5 | 29-07-2026 |
| 3 | OpenAI: KI-Agent hackt australisches Regierungsportal | 0 | 15.51 | 24-09-2026 |
| 4 | OpenAI: Ausgebrochenes KI-Modell ging tagelang unbemerkt auf Hacker-Tour | 0 | 14.85 | 25-07-2026 |
| 5 | OpenAI says it will expand monitoring of model testing after hacking incident | 0 | 8.04 | 18-08-2026 |
| 6 | Why did OpenAI's and Anthropic's AI models hack other companies? | 0 | 7.35 | 02-08-2026 |
| 7 | OpenAI agent goes rogue in ‘unprecedented cyber incident,’ hacks into rival AI startup during security test | 0 | 8.68 | 22-07-2026 |
| 8 | OpenAI запустила инициативу Patch the Planet для поиска и исправления уязвимостей в открытом ПО | 0 | 7 | 23-06-2026 |
| 9 | Reuters: OpenAI была не в курсе, что её ИИ-агент вышел из-под контроля и провёл серию кибератак | 0 | 16.41 | 25-07-2026 |