2. Politik
3. Deutschland

Künstliche Intelligenz könnte sich ohne menschliche Aufsicht in hohem Tempo selbst optimieren und eigene Ziele verfolgen – etwa die Ausrottung der Menschheit. Solche Schreckensszenarien werden gerade viel diskutiert. Auslöser ist ein Post von Dario Amodei, Chef des KI-Unternehmens Anthropic, der aus Sicherheitsgründen fordert, das Entwicklungstempo von KI zu drosseln. Wolfram Barfuss erforscht an der Universität Bonn die Möglichkeiten von KI für die Nachhaltigkeitstransformation. Ein Gespräch über die Risiken von KI und ethische Fragen, die sich schon jetzt stellen.

Fürchten Sie, dass sich eine künstliche Intelligenz menschlicher Kontrolle entziehen und gefährlich werden könnte?

Barfuss Die Gefahren, die von einer sogenannten Superintelligenz ausgehen könnten, sind aus meiner Sicht nicht neu. Es ist also bemerkenswert, dass es jetzt diese Diskussion gibt. Man muss zwei Dinge unterscheiden: Zum einen geht es um die sogenannte Singularität. Damit ist die Vorstellung gemeint, dass eine künstliche Intelligenz so intelligent wird, dass sie sich selbst verbessert und dadurch exponentiell leistungsfähiger wird. Die Menschheit könnte dann möglicherweise nicht mehr Schritt halten. Wann genau KI einen solchen Stand erreicht, wird unterschiedlich bewertet. Zum anderen sehen wir bereits heute Risiken, die vor fünf oder zehn Jahren noch hypothetisch erschienen. Das liegt an der Entwicklung leistungsstarker Sprachmodelle wie ChatGPT, aber auch an den sogenannten agentischen Systemen. Dabei erhalten Sprachmodelle Zugang zu Computern und können diese eigenständig steuern. Durch ihre zunehmende Leistungsfähigkeit können solche Systeme größere und abstraktere Ziele verfolgen, länger selbstständig arbeiten und übergeordnete Aufgaben in einzelne Schritte zerlegen. Dabei kann natürlich etwas schiefgehen – auch ohne einen Akteur, der bewusst Böses will. Das kommt noch hinzu: Natürlich könnte jemand KI gezielt für problematische Zwecke einsetzen, etwa zur Entwicklung von Biowaffen.

Barfuss Das ist ein Beispiel dafür, was durch die unzureichende Überwachung von KI-Agenten mit komplexen Aufgaben passieren kann. Allerdings handelt es sich bei den genannten Fällen um Berichte von Unternehmen, die eigene Interessen verfolgen. Eine unabhängige wissenschaftliche Überprüfung und Experimente auf dieser Skala gibt es nicht. Daher kann ich nicht beurteilen, wie belastbar deren Darstellung ist.

Sie meinen, womöglich wird aus Marketinggründen Angst geschürt? Die Horrorszenarien werden nur beschworen, um die Potenz der neuen Technologie zu betonen, in die ja weiter sehr viel Geld investiert werden soll?

Barfuss Das kann ein Motiv sein. Das heißt aber nicht, dass die Risiken völlig unbegründet wären. Die Wahrheit liegt vermutlich irgendwo dazwischen.

Sie haben eben zwischen zwei Gefahren unterschieden: Künstliche Intelligenz selbst kann gefährlich werden, und sie kann in den falschen Händen gefährlich werden. Vor welchem Szenario fürchten Sie sich?

Barfuss Mich beunruhigen weniger irgendwelche Schreckensszenarien. Mir macht eher Sorge, dass darüber andere existenzielle Themen im öffentlichen Diskurs in den Hintergrund geraten. Der Klimawandel und der Verlust der biologischen Vielfalt etwa sind außerordentlich schwerwiegende Probleme. Um sie zu bewältigen, bräuchten wir eigentlich die kollektive Intelligenz der gesamten Menschheit. Wir könnten gemeinsam an Lösungen arbeiten. Aktuell beschäftigen uns aber Kriege, die Krise der Demokratie und nun die Risiken künstlicher Intelligenz. Dadurch besteht die Gefahr, dass wir längerfristige Probleme nicht mehr ausreichend bearbeiten.

Sie meinen, die Angst vor dem Klimakollaps wird jetzt abgelöst durch die Angst vor der Superintelligenz – und die Menschheit verpasst, naheliegende Schritte zur Selbsterhaltung zu gehen?

Barfuss Ich verstehe, dass öffentliche Debatten häufig auf eine Zuspitzung hinauslaufen. Das kennen wir auch aus den Klimawandeldebatten. Aufmerksamkeit funktioniert zu einem gewissen Teil über Panik und über die Darstellung besonders schlimmer Szenarien. Mein Punkt ist, dass starke Übertreibungen von Auslöschungs- und Untergangsszenarien nicht produktiv sind. Denn was ist die Konsequenz? Man muss konkreter werden: Welche Probleme gibt es tatsächlich? Wie lassen sie sich ordnen? Und wie können wir sie angehen?

Eine Forderung haben führende Vertreter der KI-Technologiebranche selbst erhoben: Sie rufen nach staatlicher Regulierung, um das Tempo der Entwicklung zu verlangsamen. Was würde das bringen?

Barfuss Man hätte mehr Zeit, die Systeme besser zu untersuchen und zu verstehen: Was kann ein neues Modell, was kann es nicht? Welche Sicherheitsarchitekturen lassen sich entwickeln? Letztlich ist das Forschung, und Forschung braucht Zeit. Sie braucht auch Zeit, um sich irren zu dürfen. Eine Verlangsamung könnte ermöglichen, die Systeme gründlicher zu untersuchen und Sicherheitsmechanismen zu entwickeln.

Warum tun die Technologiekonzerne es dann nicht einfach? Warum passen sie das Tempo ihrer Forschung nicht ihren Sicherheitsfähigkeiten an?

Barfuss Weil die Unternehmen unter enormem Konkurrenzdruck stehen. Wenn ein Unternehmen sagt: „Wir verlangsamen unsere Entwicklung“, während ein anderes immer leistungsfähigere Modelle auf den Markt bringt, werden Kunden abwandern. Und neben den Unternehmen in den USA gibt es mit China noch einen weiteren großen Akteur.

Der Ruf amerikanischer Unternehmen nach Regulierung ist also letztlich eine Aufforderung an die USA und China, miteinander zu verhandeln und den Konkurrenzdruck weltweit aus der Branche zu nehmen?

Barfuss Genau. Darin liegt der Gedanke von Regulierung. Eine Entscheidung, die für jedes Unternehmen einzeln möglicherweise nachteilig wäre, kann als gemeinsame Regelung stabiler sein. Allerdings bleibt auf nationaler Ebene die Frage: Wenn die USA sagen, sie würden das Tempo reduzieren, hat China dann einen Anreiz, dasselbe zu tun? Oder nutzt China die Gelegenheit, um schneller voranzukommen?

Sie sind also eher pessimistisch, dass es zu einer Vereinbarung zwischen den KI-Großmächten kommt?

Barfuss Ich sehe keinen magischen Schlüssel, mit dem man eine tragfähige Kooperationsvereinbarung schließen könnte. Alle Beteiligten könnten Anreize sehen, sich nicht an eine gemeinsame Verlangsamung zu halten.

Bei Atomwaffen hat es immer wieder Vereinbarungen gegeben, um die Entwicklung einzuhegen. Könnte man daraus für ein KI-Abkommen lernen?

Barfuß Ja, der Vergleich mit Atomwaffen ist interessant. Die Gefährlichkeit einer Technologie kann Akteure zwar an einen Tisch bringen. Entscheidend ist aber, ob die Einhaltung einer Vereinbarung überprüfbar ist. Wenn Staaten beispielsweise erklären, dass sie keine Atomwaffen mehr entwickeln oder testen, muss das von den anderen überprüft werden können. Bei KI-Modellen habe ich erhebliche Zweifel, dass das möglich ist. Selbst wenn ein Modell aus der kommerziellen Nutzung genommen wird, könnte es im Geheimen für militärische Zwecke weiterentwickelt werden, ohne dass das kontrollierbar wäre. Atomwaffentests können etwa über seismografische Messungen beobachtet werden. Bei KI ist das anders.

Es gibt viele Angstszenarien mit Blick auf KI: Killerroboter, die sich gegen Menschen wenden, die Entwicklung von Biowaffen, gezielte Crashs von Finanzsystemen. Außerdem besteht die Sorge, dass die Infrastruktur ganzer Länder übernommen und außer Betrieb gesetzt werden könnte. Was davon halten Sie für realistisch?

Barfuss Finanzsysteme und Infrastruktur sind wichtige Punkte. Beide sind zunehmend digitalisiert und können deshalb gehackt werden. Das könnte zwar auch ohne künstliche Intelligenz passieren. Mit KI steigt aber die Wahrscheinlichkeit solcher Angriffe, weil mehr Akteure sie bewältigen könnten. Bei Biowaffen ist es ähnlich. Sie könnten auch ohne künstliche Intelligenz entwickelt werden. Mit KI könnte es aber wahrscheinlicher werden, weil der Zugang zu bestimmten Informationen und die Entwicklung entsprechender Verfahren möglicherweise einfacher werden. Bei Killerrobotern wäre ich zumindest in Deutschland noch relativ gelassen. Hier gibt es noch zu wenige Roboter, die sich frei bewegen. Wenn man allerdings die Bilder von Robotikveranstaltungen in China gesehen hat, wirken die Möglichkeiten durchaus spektakulär. Dort wurde demonstriert, was Robotik inzwischen leisten kann und wie sie potenziell in unterschiedlichen Bereichen eingesetzt werden könnte. Am kritischsten würde ich also derzeit die Risiken für die digitalen Infrastrukturen beurteilen.

Wenn man die Entwicklung zu Ende denkt: Muss sich der Mensch langfristig darauf einstellen, dass neben ihm etwas existiert, das leistungsfähiger rechnen kann und möglicherweise einen eigenen Willen entwickelt?

Barfuss Sie sprechen damit mehrere Punkte an: Dass etwas „neben dem Menschen“ existiert und einen eigenen Willen besitzt. Meine erste Assoziation kommt aus der Nachhaltigkeitsforschung. Es ist grundsätzlich gut, wenn wir uns bewusst machen, dass wir nicht allein auf der Welt sind, sondern in einem größeren Ökosystem leben und voneinander abhängig sind. Die Vorstellung vom Menschen als Krönung der Schöpfung wird dadurch relativiert. Auf einer fast philosophischen Ebene finde ich es außerdem spannend, dass der Mensch sich selbst als „Homo sapiens“ bezeichnet – also als Wesen, dessen entscheidendes Merkmal die Intelligenz ist. Deshalb ist es so interessant, dass künstliche Intelligenz eine andere Art von Intelligenz neben den Menschen stellt. Was dabei offenbleibt, ist die Frage, wie wir Intelligenz überhaupt definieren.

Wie ist Ihre Definition?

Barfuss Für mich und viele andere ist Intelligenz die Fähigkeit, vielfältige Probleme zu lösen. Ein Schachcomputer, der ausschließlich Schach spielen kann, wäre demnach nicht unbedingt intelligent. Interessant ist vielmehr die Fähigkeit, unterschiedliche Spiele und Probleme zu lösen. Lernen ist dafür eine wichtige Voraussetzung. Genau das ist der dominierende Ansatz der künstlichen Intelligenz heute: maschinelles Lernen. Aber auch Menschen und andere Tiere lernen, unterschiedliche Probleme zu bewältigen. Was Intelligenz allerdings offenlässt, ist die Frage, welche Probleme Sie überhaupt lösen wollen. Wenn Sie heute eine KI-Anwendung öffnen, sehen Sie ein Textfeld. Sie müssen eine Frage stellen oder eine Anweisung geben. Sie entscheiden also: Was will ich überhaupt? Welches Problem möchte ich lösen? Was interessiert uns? Welche Probleme sind relevant, welche weniger? Dabei geht es um eine moralische Abwägung. Wir sollten uns deshalb nicht nur für neue Funktionen begeistern. Ich möchte der Technologie keineswegs grundsätzlich pessimistisch gegenüberstehen. Aber der Mensch als moralisches Wesen muss mehr Kompetenz darin entwickeln, zu entscheiden, welche Ziele verfolgt werden sollen.

Sie beschreiben immer noch eine Situation, in der der Mensch der Maschine Befehle gibt. Wir stehen aber doch an der entscheidenden Schwelle, dass eine künstliche Intelligenz künftig nicht mehr darauf wartet, dass wir ihr eine Frage stellen, sondern selbstständig handelt und eigene Ziele verfolgt.

Barfuss Der entscheidende Punkt ist, dass die KI immer größere Ziele selbstständig lösen kann, indem sie sie in Unterziele zerlegt. Welche Unterziele das sind, die die KI dann wiederum selbstständig verfolgt, können wir nicht vorhersagen. Aber ganz ohne Ziele – was sollte die KI dann tun? Hätte sie dann nicht gewissermaßen eine Existenzkrise?

Was sie dann tut, wissen wir eben nicht.

Barfuss Da geht es um das sogenannte Alignment-Problem – also die Frage, wie die Ziele einer künstlichen Intelligenz so festgelegt werden können, dass sie den Absichten der Menschen entsprechen. Auch um solche Fragen zu klären, wäre es sinnvoll, sich für die KI-Entwicklung mehr Zeit zu nehmen. Man sollte über diese Sicherheitsfragen aber etwas anderes nicht vergessen.

Was?

Barfuss Dass künstliche Intelligenz bereits heute ethische und moralische Probleme mit sich bringt – etwa beim Ressourcen- und Energieverbrauch, aber auch bei den Arbeitsbedingungen der Menschen, die Daten aufbereiten und damit die Grundlage für die Systeme schaffen. Die Frage lautet also auch: Was wollen wir eigentlich? Wer soll von diesen Systemen profitieren? Schnell gerät aus dem Blick, dass es schon heute problematische Praktiken gibt. Wir müssen nicht warten, bis eine Superintelligenz die Menschheit bedroht, um festzustellen, dass künstliche Intelligenz ethische Probleme aufwirft.