Sebastian Meineck - netzpolitikWie künstliche Videos Social Media fluten
Studie zu “AI Slop”
Eine neue Studie zeigt: TikTok und Instagram kennzeichnen KI-generierte Inhalte nur unzureichend – und gerade TikTok wird von bizarren synthetischen Videos dominiert. Die Plattformen verstoßen damit gegen EU-Vorgaben und sorgen für eine Flut von automatisierter Desinformation.
TikTok und Instagram kommen ihren Pflichten zur Kennzeichnung von KI-generierten Videos nicht ausreichend nach. Auf TikTok dominieren zudem synthetische KI-Videos die Suchergebnisse zu populären Hashtags. Zu diesem Schluss kommt die europäische gemeinnützige Organisation AI Forensics in einer neuen Studie zur Verbreitung von KI-generierten Inhalten auf den beiden Plattformen.
Die Studie untersucht sogenannten AI Slop. Gemeint sind damit massenproduzierte, KI-generierte Inhalte, die „bizarr und sinnlos“ wirken durch ihre Kombination aus fotorealistischem Stil und unrealistischem Inhalt. AI Forensics hat analysiert, wie viele der Suchergebnissen zu den 13 populärsten Hashtags auf TikTok und Instagram AI Slop sind. Dazu betrachteten die Forscher*innen Suchergebnisse zu #Trump, #History oder #Pope mit einem geografischen Fokus auf Deutschland, Spanien und Polen.
Das Ergebnis: Sucht man nach diesen Hashtags auf TikTok, so seien von den obersten 30 Suchergebnissen 25 Prozent AI Slop. Auf Instagram ist die Anzahl deutlich geringer mit nur zwei Prozent. Von den KI-generierten Videos sind rund 80 Prozent fotorealistisch, das heißt sie sehen aus wie echte Videos. Dadurch würden sie noch trügerischer wirken.
Nicht nur Unterhaltung
Als Beispiel für AI Slop führt AI Forensics Shrimp Jesus an, eine Mischung aus Meerestieren und Jesus, die vergangenes Jahr in den Feeds von Facebook-Nutzer*innen für Irritation sorgte. Zugleich habe AI Slop auch desinformative Elemente. So identifizieren die Forscher*innen eine Kategorie von AI Slop, die sie „synthetischen Bürger-Journalismus“ nennen. Gemeint sind etwa Videos von Explosionen, die wie Amateur-Clips aussehen, aber ebenfalls generiert sind.
Ähnlich irreführend würden KI-generierte Straßeninterviews wirken, die einen vermeintlichen Regierungssturz in Iran kommentieren. Auch Videos von Politiker*innen mit falschen Aussagen hat AI Forensics laut der Studie gefunden.
Kennzeichnung reicht nicht aus
Um diesem trügerischen Effekt entgegenzuwirken, schreibt die KI-Verordnung (AI Act) der Europäischen Union Plattformen in solchen Fällen eigentlich Transparenz vor: Sie müssen KI-generierte Inhalte kennzeichnen. Dabei stützt sich die KI-Verordnung auf das Gesetz über Digitale Dienste (Digital Services Act), das vorschreibt, dass große Plattformen gegen gesellschaftliche Risiken vorgehen müssen. AI Forensics weist darauf hin, dass auch die Kennzeichnung von KI-generierten Videos dazu zähle.
Sowohl TikTok als auch Instagram kämen der Kennzeichnungspflicht nicht nach, so die Studie. TikTok gibt die Verantwortung zur Kennzeichnung von KI-generierten Inhalten an Nutzer*innen weiter und verpflichtet dazu in ihren Guidelines. Das sei nicht verlässlich genug und auch die automatisierte KI-Erkennung funktioniere nicht lückenlos, so AI Forensics.
Von den als AI Slop identifizierten Videos auf TikTok war demnach nur rund die Hälfte als KI-generiert gekennzeichnet. Auf Instagram war es noch weniger mit 23 Prozent, obwohl auch Instagram Nutzer*innen zur Kennzeichnung verpflichtet und eine automatisierte KI-Erkennung einsetzt.
Zudem seien die Kennzeichnungen schlecht sichtbar gewesen: Auf TikTok wurden sie in einer langen Liste aus Hashtags versteckt und in der Instagram-Desktop-Version wurden sie gar nicht angezeigt. netzpolitik.org hat die Kennzeichnungen überprüft und kommt zum gleichen Ergebnis.
Verbreitung läuft automatisiert
Hinter der Verbreitung des AI Slops würden fast vollständig automatisierte Accounts stecken, so AI Forensics. 80 Prozent des AI Slops auf TikTok wurde demnach von Profilen hochgeladen, die generative KI-Werkzeuge einsetzten „für automatisierte Inhaltserstellung und schnelles, repetitives Testen von Plattformalgorithmen und Publikumsinteressen“. Diese Massenproduktion von Inhalten ziele darauf ab, Algorithmen auszuspielen und die Chancen für Videos mit einer hohen Reichweite zu erhöhen. AI Forensics sagt voraus, dass dieser Prozess mit der Hilfe von KI-Agenten vollständig automatisiert werden könne.
Die Studie fordert Plattformen auf, diese Art von automatisierten Accounts zu regulieren, um eine weitere Eskalationen und „Manipulationskampagnen“ zu verhindern. Auch sollen Plattformen sich an ihre Verpflichtungen zur Kennzeichnung von KI-generierten Inhalten halten und eigene Regelungen stärker durchsetzen.
Karoline Tanck ist von Juli bis September 2025 Praktikantin bei netzpolitik.org. Sie hat Digital Media und Soziale Medien und Informationssysteme an der Leuphana Universität Lüneburg studiert. Karoline interessiert sich besonders für digitale Gewalt, den Rechtsruck und die sogenannte Künstliche Intelligenz. Kontakt: E-Mail (OpenPGP). Dieser Beitrag ist eine Übernahme von netzpolitik, gemäss Lizenz Creative Commons BY-NC-SA 4.0.
Tech Chilli
ResearchBuzz: Firehose
☮ ♥ ♬ 🧑💻
PrivacyDigest
NGI Outreach Office
Jan Penfrat
Tabea Rößner
Klaus Müller