Führende KI-Forscher schlagen Alarm: Die Automatisierung der KI-Entwicklung könnte zu einer "Intelligenzexplosion" führen.

Mehrere Wissenschaftler von OpenAI, Anthropic, Meta und Microsoft haben am Montag einen Weckruf veröffentlicht. In einem

warnen sie vor den Risiken automatisierter KI-Forschung. Zu den Unterzeichnern gehören OpenAI-Chefwissenschaftler Jakub Pachocki, Anthropic-Mitgründer Jack Clark, Microsofts Chief Scientific Officer Eric Horvitz, KI-Pionier Geoffrey Hinton und der Leiter des UN-KI-Expertenteams Yoshua Bengio.

Die Forscher warnen vor einer "Intelligenzexplosion", also einem rapiden Fortschritt in der KI-Entwicklung. Fortschritte, die bisher Jahre dauerten, könnten künftig innerhalb von Monaten oder noch schneller erfolgen. Das Problem: KI-Systeme entwickeln sich bereits ganz von allein weiter.

generieren KI-Systeme mittlerweile rund achtzig Prozent des Codes für neue Modelle. Der Anteil von Forschungs- und Entwicklungsarbeit, der nur geringer menschlicher Aufsicht unterliegt, stieg dieses Jahr von einem auf ganze 26 Prozent.

Eine solche Entwicklung könnte schneller ablaufen, als die Gesellschaft sich anpassen kann. Die Wissenschaftler warnen, dass Menschen die Kontrolle über KI-Systeme verlieren könnten. Im Extremfall könnte dies zu KI-unterstützten Pandemien,

auf kritische Infrastruktur und massiven Arbeitsplatzverlusten führen. Die Experten befürchten zudem, dass eine "Intelligenzexplosion" internationale Konflikte auslösen und staatliche Kontrollmechanismen aushebeln könnte.

Die Unterzeichner appellieren an Entscheidungsträger in den USA und anderen Ländern, sich dringend einen Überblick über die

der KI-Forschung in Unternehmen zu verschaffen. Sie schlagen vor, Firmen zur Berichterstattung über Forschungsumfang, Fortschrittsgeschwindigkeit und Budgets zu verpflichten. Unabhängige Prüfer sollten in KI-Unternehmen eingebunden werden. Die Forscher fordern zudem Geschwindigkeitsbegrenzungen für das Wachstum der KI-Fähigkeiten, die Überwachung von Hochrisiko-Experimenten und Mechanismen, um diese bei Bedarf zu stoppen. Auch Notfallpläne für schwere KI-getriebene Cybersicherheits- oder Biosicherheitsvorfälle seien dringend nötig.

Der Appell kommt zu einem Zeitpunkt, an dem Berichte über unerwünschte Verhaltensweisen von KI-Systemen sich häufen. Kürzlich wurde bekannt, dass ein

in der Entwicklung unbefugt auf Systeme des KI-Unternehmens Hugging Face zugriff. Nach weiteren ähnlich gelagerten Vorfällen stoppte OpenAI am Wochenende das Training seines neuesten Modells. Für die Forscher sind genau solche Vorfälle ein Hinweis darauf, dass die Entwicklung der Technologie inzwischen schneller voranschreitet als die passenden Sicherheitsvorkehrungen.