Deepfakes sind realistisch wirkende Medieninhalte, die mithilfe von KI erzeugt, abgeändert oder verfälscht wurden. Es werden beispielsweise Gesichter in Videos und auf Bildern ausgetauscht. jugendschutz.net hat in einer Recherche Angebote gesichtet, mit denen es möglich ist, Deepfakes aber auch andere erotische oder pornografische Inhalte zu erstellen. Auch wenn der volle Funktionsumfang nur kostenpflichtig angeboten wird, bieten zahlreiche Angebote ein freies Kontingent oder einige Funktionen gratis an. Eine E-Mail-Adresse reicht für die Registrierung und Verwendung solcher KI-Generatoren meist aus. Auf den gesichteten Angeboten konnten drei Hauptfunktionen identifiziert werden, die einzeln oder in Kombination verfügbar sind:
- Nudifier: Upload eines Ganzkörperbildes, um Person vermeintlich zu entkleiden > eine Nacktdarstellung wird generiert
- Face-Swap: Austausch des Gesichts in Bildern oder Videos
- Porn-Bildgenerator: Aus Schlagworten wird ein eigenes Bild erzeugt
Angebote, mit denen sich aus einem beliebigen Foto einer Person Nacktbilder oder gar pornografische Darstellungen erstellen lassen, sind inzwischen zuhauf im Internet verfügbar. Diese Darstellungen entstehen meist ohne das Wissen der abgebildeten Person. Viele der Programme sind mobil nutzbar und so nicht nur für Kunden von klassischen Sex-Angeboten interessant, sondern sind damit auch attraktiv für andere Zielgruppen, darunter Jugendliche. Waren zunächst vor allem Prominente Ziel der Manipulationen, ist mit dem jetzigen Stand der Technik im Grunde niemand mehr davor gefeit. Die Betroffenen solcher Deepfakes sind fast immer weiblich.
Frauen werden zu Sexobjekten
Bei den Angeboten im Test wurde deutlich, dass sie darauf trainiert sind, Frauen abzubilden. Bei der Verarbeitung von Bildern männlicher Personen wurden diese häufig auch mit weiblichen Geschlechtsmerkmalen oder femininen Dessous ausgespielt. Das Angebot eines deutschen Anbieters gibt z.B. explizit zu verstehen, dass es dort um die sexualisierte Darstellung weiblicher Körper geht. Direkt auf der Startseite heißt es auffordernd: “Und so sieht sie darunter aus. Nur ein Schritt! Mach Sie nackig!“ Frauen werden dadurch gezielt zu Objekten sexueller Interessen degradiert.
Verbreitung unterstützt digitale Gewalt wie Cybermobbing, Revenge Porn und Sextortion
Mit der Verbreitung einfach zu handhabender Tools, die den Ersteller:innen von Deepfakes kaum Grenzen setzen, dürfte es auch in Zukunft vermehrt Fälle von digitaler Gewalt geben.
Deepfakes, Deepnudes und andere manipulierte Bilder werden für Cybermobbing genutzt. Das zeigt nicht nur das Phänomen der sogenannten „Rachepornos“, das durch die Möglichkeiten intelligenter Systeme massiv an Dimension gewinnt. Auch lassen es die niedrigschwelligen Generatoren unter Umständen zu, dass minderjährige Nutzer:innen Darstellungen anderer Minderjähriger erstellen, um sie zu erpressen oder bloßzustellen. Diese Art der Gewalt kann langwierige körperliche, psychische und soziale Folgen haben.
Anbieter entziehen sich der Verantwortung
Kaum ein Anbieter trifft Vorsorgemaßnahmen, um Minderjährige ausreichend zu schützen. Viele Dienste kontrollieren weder das Alter noch die hochgeladenen Bilder in ausreichendem Maße. Technische Vorkehrungen müssen z.B. sicherstellen, dass Minderjährige auf den Abbildungen zuverlässiger erkannt werden und in Folge die Bearbeitung verhindert wird. Zudem müssen die Anbieter sicherstellen, dass Kinder und Jugendliche keinen Zugriff auf pornografische Inhalte sowie auf Software zur Erstellung eben solcher Inhalte erhalten.
Wo eine Nutzung häufig mit Persönlichkeitsrechtsverletzungen einhergeht und Cybermobbing und sexualisierte Gewalt die Folge sein können, darf die Verantwortung nicht allein bei den Nutzenden liegen.
