Deepfakes und digitale Gewalt: Wie das KIT Betroffene schützt

Der Fall um Collien Fernandes zeigt, wie konkret die Gefahr ist: Deepfakes sind längst kein Randphänomen mehr, sondern Teil digitaler Gewalt mit realen Folgen. Während manipulierte Bilder und Videos im Netz im Minutentakt zirkulieren, geraten zunehmend auch Jugendliche in den Fokus.

Am Institut für Technikfolgenabschätzung und Systemanalyse (ITAS) des Karlsruher Institutes für Technologie (KIT) setzt genau hier das Forschungsprojekt DEEP-PRISMA an. Es entwickelt Aufklärungsangebote, konkrete Handlungsempfehlungen und Werkzeuge für den Ernstfall. Wir haben mit Dana Mahr, Wissenschaftsforscherin und Technikfolgenabschätzerin, über die Dynamik von Deepfakes, ihre Risiken und mögliche Gegenstrategien gesprochen.

Wenn digitale Gewalt real wird

Recherchen des SPIEGEL haben öffentlich gemacht, dass die Moderatorin Collien Fernandes ihren Ex-Partner Christian Ulmen angezeigt hat. Er soll über Jahre hinweg unter falschen Profilen in ihrem Namen agiert und dabei auch sexualisierte Inhalte verbreitet haben – teils unter Einsatz KI-generierter Bilder.

Die Vorwürfe reichen weit über einen Einzelfall hinaus. Fernandes spricht selbst von „virtueller Vergewaltigung“ und macht damit eine Erfahrung sichtbar, die bislang oft im Verborgenen bleibt. Auch die taz ordnet den Fall als Beispiel für digitale Gewalt ein, bei der gefälschte Profile und manipulierte Inhalte gezielt eingesetzt werden, um eine Person öffentlich zu beschädigen.

Seit der Veröffentlichung wird der Fall breit diskutiert. In Berlin demonstrierten am vergangenen Wochenende laut Organisator*innen rund 13.000 Menschen für besseren Schutz vor sexualisierter (digitaler) Gewalt und strengere Gesetze. Auch politisch wächst der Druck: Die Debatte um rechtliche Schutzlücken hat deutlich an Fahrt aufgenommen.

Der Fall markiert damit einen Wendepunkt. Deepfakes sind nicht länger nur ein technisches oder medienethisches Problem. Sie sind Teil einer Realität geworden, in der sich Gewalt ins Digitale verlagert – während das Recht noch hinterherkommt. Aber wie können sich Betroffene jetzt schon schützen?

Was sind eigentlich Deepfakes?

„Deepfakes sind durch künstliche Intelligenz erzeugte oder manipulierte Bild-, Audio- oder Videoinhalte, die echte Personen täuschend real darstellen“, erklärt Dana Mahr vom ITAS.

Das Problem ist nicht nur die technische Raffinesse, sondern vor allem die Wirkung: „Das Ziel ist, dass Inhalte authentisch wirken, obwohl sie gefälscht oder verändert sind.“

Deepfakes haben auch legitime Einsatzmöglichkeiten, etwa in der Übersetzung von Medieninhalten oder in künstlerischen Kontexten. Gleichzeitig sind sie niedrigschwellig verfügbar und können gezielt eingesetzt werden, um Menschen zu schaden.

Die Mehrheit ist pornografisch

Es braucht heute nur wenige Klicks, um eine Person digital zu diffamieren oder zu belästigen. Ein Foto genügt, und plötzlich taucht jemand in einem pornografischen Video auf, das nie existiert hat.

„Das ist eine spezialisierte Form von Deepfakes, bei der Personen ohne Einwilligung in sexualisierte Inhalte eingefügt werden“, sagt Mahr. Betroffen seien überwiegend Frauen und Minderjährige, deren Privatsphäre und sexuelle Selbstbestimmung verletzt werden.

Studien zufolge fallen bis zu 98 Prozent aller Deepfakes in diese Kategorie.

Die Gewalt liegt dabei nicht nur im Bild selbst, sondern auch in seiner Verbreitung. „Die breiten sich wie Wasser aus“, sagt Mahr, „und sind teilweise kaum mehr aus dem Netz zu entfernen.“

Was im Privaten beginnt – etwa als vermeintlicher „Scherz“ – kann schnell globale Reichweite entfalten.

Rechtlich ein Graubereich

Juristisch hinkt die Entwicklung der Technologie hinterher. Deepfakes sind in Deutschland bislang nicht per se illegal – entscheidend ist ihr konkreter Inhalt und Kontext.

„Deepfakes an sich sind nicht illegal“, sagt Mahr. Erst wenn bestimmte Rechtsgüter verletzt werden, greifen bestehende Gesetze, etwa im Persönlichkeitsrecht, Datenschutz oder Strafrecht.

Je nach Fall kommen unterschiedliche Straftatbestände infrage: Beleidigung, Verleumdung, Identitätsmissbrauch, Betrug oder sexualisierte Gewalt. Eine klare Zuordnung ist oft schwierig.

Auch auf europäischer Ebene bleibt die Regulierung fragmentiert. Plattformen unterliegen dem Digital Services Act, für KI-Systeme gilt perspektivisch der AI Act. Gleichzeitig erschweren anonyme Accounts und internationale Plattformstrukturen die Durchsetzung von Ansprüchen erheblich.

Hilfe als Werkzeugkasten

Genau hier setzt das Karlsruher Forschungsprojekt DEEP-PRISMA an. Statt ausschließlich auf Regulierung zu setzen, entwickelt es konkrete Hilfsangebote – gemeinsam mit Jugendlichen.

Zentral ist das sogenannte Action Kit: eine Art Werkzeugkasten für den Ernstfall. Es zeigt, was zu tun ist, wenn ein Deepfake auftaucht, wer unterstützt und welche Schritte sinnvoll sind.

• Inhalte bei Plattformen melden
• rechtliche Schritte prüfen
• Unterstützung einholen

Auch wenn sich einmal verbreitete Deepfakes selten vollständig entfernen lassen, gibt es Möglichkeiten, ihre Verbreitung einzudämmen.

Überschätzte Medienkompetenz

Oft wird angenommen, junge Menschen seien besonders sicher im Umgang mit digitalen Medien. Doch das greift zu kurz.

„Ja, sie wissen, dass Inhalte manipuliert sein können“, sagt Mahr. „Aber die persönlichen Risiken werden oft unterschätzt.“

Deepfakes verschieben die Grenzen dessen, was als real gilt. Sie untergraben Vertrauen in Bilder, Stimmen und digitale Beweise – und schaffen neue Formen von Gewalt.

Die entscheidende Frage ist deshalb nicht nur, wie man Deepfakes erkennt, sondern wie wir als Gesellschaft darauf reagieren – und wie gut wir Betroffene schützen.

Deepfakes: Möglichkeiten und Risiken

Titelbild: Bild: KI-generiert (DALL·E), nachbearbeitet mit Canva