Hermann Sauer ist IT-Sicherheitsexperte engagiert sich seit über 20 Jahren für Datenschutz und Online-Anonymität. Er ist Teil unseres Expertennetzwerks EXPERTS Circle.

Was steckte hinter dem Projekt?

Das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI) in Kaiserslautern entwickelte gemeinsam mit seinem Ausgründungsunternehmen Gretchen AI und der Landeszentrale für politische Bildung Rheinland-Pfalz (LpB) das Projekt „Check First. Vote Smart“. Die Idee dahinter war simpel: Wer ein verdächtiges Bild oder Video auf Instagram entdeckte, konnte es in zwei Klicks an eine KI schicken – und bekam innerhalb kurzer Zeit eine Einschätzung zurück, ob das Material manipuliert sein könnte.

So funktionierte der Check – Schritt für Schritt

Der gesamte Ablauf dauerte nur wenige Sekunden und lief vollständig innerhalb von Instagram ab:

1. Verdächtigen Beitrag entdecken: Wer auf Instagram ein Foto oder Video sah, das merkwürdig wirkte – etwa ein Politiker in einem ungewöhnlichen Zusammenhang oder ein Zitat, das nicht zu dessen bekannter Haltung passte –, tippte auf den Beitrag.
2. Beitrag an @gretchen_ai_berlin weiterleiten: Über die Teilen- oder Weiterleitungsfunktion, die Instagram bereits hat, wurde der Beitrag an den Account „gretchen_ai_berlin“ geschickt. Daraufhin meldete sich automatisch der KI-Detektor.
3. Die KI prüfte im Hintergrund: Das System analysierte das Material – zum Beispiel, ob Lippenbewegungen zur Tonspur passten, ob das Bild an bestimmten Stellen unnatürlich wirkte oder ob der gezeigte Inhalt mit bekannten Fakten übereinstimmte. Bei unklaren Fällen schauten zusätzlich menschliche Faktencheck-Fachleute hin.
4. Antwort erhalten und selbst urteilen: Der Bot schickte eine verständliche Rückmeldung zurück: Wie wahrscheinlich war eine Fälschung? Worauf stützte sich diese Einschätzung? Die endgültige Entscheidung lag dabei immer beim Menschen selbst.

Was konnte die KI erkennen – und was nicht?

Das System konnte laut DFKI mehr als 80 verschiedene Arten von Manipulationen aufspüren. Dazu gehörten Fälle, in denen das Gesicht einer Person in einem Video ausgetauscht wurde, in denen Lippenbewegungen nachträglich an einen anderen Ton angepasst wurden oder in denen eine Stimme vollständig am Computer erzeugt worden war. Auch gefälschte Screenshots, erfundene Zitate und Kampagnen, bei denen viele automatische Computerkonten gezielt eine bestimmte Stimmung erzeugten, sollte das System erkennen.

Warum war das gerade bei dieser Wahl wichtig?

Wahlen sind besonders anfällig für Desinformation, weil in kurzer Zeit viele Menschen erreicht werden sollen und emotionale Reaktionen schnell entstehen. Bernhard Kukatzki, Direktor der Landeszentrale für politische Bildung in Mainz, fasste es so zusammen: „Wer weiß, wie Desinformation funktioniert und Inhalte im Zweifel überprüfen kann, lässt sich weniger verunsichern und trifft politische Entscheidungen auf informierter Grundlage.“

Was kommt als Nächstes?

Für die Entwickler war die Landtagswahl in Rheinland-Pfalz erst der Anfang. Geplant sind die Ausweitung auf weitere Wahlen in Deutschland, die Einbindung anderer Plattformen wie TikTok sowie Angebote für Schulen und Volkshochschulen, die eigenständig Workshops zum Thema Deepfakes anbieten möchten. Die LpB plant für 2027 einen Fachtag speziell zu KI und Wahlen.