Anthropic schätzt das Risiko schwerer Schäden durch eine mögliche Fehlsteuerung seiner Modelle etwas höher ein als noch vor einem halben Jahr. Die Gefahr von schwerwiegenden Folgen in Hochrisiko-Situationen sei demzufolge nun immerhin als »niedrig« einzuschätzen. Im Februar war die Bewertung noch bei »sehr niedrig« gewesen.

Das steht im zweiten sogenannten Risikobericht  des Unternehmens. Anthropic hat ihn am Freitag veröffentlicht. Der vorangegangene Bericht stammt vom Februar. Mit Hochrisiko-Situationen meint das Unternehmen Fälle, in denen seine KI nicht für banale Standardaufgaben eingesetzt wird. Sondern zum Beispiel mit weitreichenden Zugriffsrechten eigenständig in sicherheitsrelevante Forschungs- und Entwicklungsprozesse eingreifen könnten.

Ein KI-Agent ist eine Software, die weitgehend autonom agieren kann. Er erledigt Arbeitsaufträge, ohne für jeden einzelnen Schritt nachzufragen, ähnlich wie ein menschlicher Assistent.

Der Risikobericht betont nun, dass es keine neuen Hinweise auf gravierende Vorfälle gebe. Man bewerte aber nun vorsichtiger, weil sich die Fähigkeiten und Risiken der Systeme schwerer zuverlässig messen ließen.

Das Prinzip Vorsicht betont Anthropic auch in einem anderen Fall, den der Bericht aufgreift: Sein neues, noch leistungsfähigeres Modell mit dem Namen Model 2 will das Unternehmen nämlich bis auf Weiteres lediglich firmenintern einsetzen – und nicht veröffentlichen.

Laut Anthropic sei Model 2 merklich besser als das aktuelle Modell Mythos 5, etwa beim Programmieren oder Erzeugen von Trainingsdaten. Offenbar will man das Modell aber weiter intensiv testen, bevor es auf den Markt kommt.

Empfohlener externer Inhalt

An dieser Stelle finden Sie einen externen Inhalt, der den Artikel ergänzt und von der Redaktion empfohlen wird. Sie können ihn sich mit einem Klick anzeigen lassen und wieder ausblenden.

Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.

Die Ankündigung ist erstaunlich, weil die Entwicklung von fortschrittlicher KI durch führende US-Unternehmen wie Anthropic oder OpenAI lange immer wieder als Wettrennen beschrieben wurde: Wer bremst, verliert.

Nach den schwerwiegenden Sicherheitsfällen und einer globalen Debatte über KI-Sicherheit und mehr Regulierung scheint Tempo zumindest aktuell aber nicht mehr der bestimmende Faktor zu sein.

Die Branche betont auf unterschiedlichen Wegen, Sicherheit zu priorisieren. Wohl auch, um neue, strengere Gesetze abzuwenden. Freiwillig veröffentlichte Berichte wie der von Anthropic sind dabei nicht zuletzt ein gutes Marketingwerkzeug.