#Hamburg bleibt mein Lieblingstreffen der Datenschutz-Community: 60 Teilnehmende, starke Impulse und intensive Diskussionen, viele Antworten.. Zudem, die kommenden Informationspflichten aus der #kiverordnung. Die #Aufsichtsbehörde nimmt sich Zeit, liefert fundierte Antworten und zeigt zugleich Perspektiven. Wertvolle Erkenntnisse für meine Beratungspraxis. Danke auch an @ambrock
#Datenschutz #KI #AIAct #Compliance #Informationspflichten #DSGVO
#Datenschutzbeauftragter #HmbBfDI
Gestern hatten wir die Anhörung zur Umsetzung der KI-Verordnung. (Danke an @algorithmwatch für ihre gute Stellungnahme)
An der #kiverordnung lassen sich noch viele Sachen verbessern, aber für die Umsetzung sind jetzt folgende Punkte wichtig ⬇️
Rechtlich fragwürdig: Bundesregierung will biometrische Fotofahndung im Netz
Die Polizei soll künftig Fahndungsfotos mit allen im Internet verfügbaren Bildern abgleichen dürfen. In der EU sind die technischen Grundlagen für diese Fotofahndung eigentlich verboten. Dennoch will die Bundesregierung Ermittlungsbehörden genau das nun erlauben.
Die Bundesregierung will der Polizei erlauben, für die Strafverfolgung und Terrorismusbekämpfung künftig das Internet nach Gesichtern zu durchsuchen. Ein Fahndungsfoto soll dafür mit allen im öffentlichen Internet auffindbaren Gesichtern biometrisch abgeglichen werden können. Bundesjustizministerin Stefanie Hubig (SPD) und Bundesinnenminister Alexander Dobrindt (CSU) haben sich dazu vergangenen Donnerstag auf drei Gesetzentwürfe geeinigt.
Biometrische Gesichtserkennung beruht darauf, dass jedes Gesicht einzigartige Merkmale hat, etwa den Abstand von Augen, Nasenspitze und Kinn. Diese Merkmale lassen ich vermessen und als Daten darstellen, das sogenannte Template. Diese Templates werden dann automatisiert miteinander verglichen.
Sicherheitspolitiker*innen fordern den Einsatz dieser Fahndungsmethode spätestens seitdem Journalist*innen Ende 2023 das untergetauchte mutmaßliche ehemalige RAF-Mitglied Daniela Klette aufspürten. Sie verwendeten dafür die kommerzielle Gesichtersuchmaschine PimEyes und fanden Bilder von Klette, die unter neuer Identität in Berlin lebte.
Allerdings verbietet die KI-Verordnung der Europäischen Union, Gesichtsbilder aus dem Internet wahllos einzusammeln und daraus biometrische Datenbanken zu erstellen. Die Ministerien wollen dieses Verbot offenbar gezielt umgehen. Sie betonen, dass für das Auslesen der Daten keine KI-Systeme genutzt würden. Außerdem würden beim geplanten „Ad-hoc-Vergleich“ keine Daten dauerhaft gespeichert. Wie dies technisch umgesetzt werden soll, geht aus den Gesetzentwürfen nicht hervor.
Das Vorhaben knüpft an die Debatte um das sogenannte Sicherheitspaket im Herbst 2024 an. Damals scheiterte die Ampel-Regierung mit ihren Plänen, weil den Ländern einige der geplanten Überwachungsbefugnisse nicht weit genug gingen.
Insgesamt bringt die Bundesregierung jetzt drei Gesetzentwürfe auf den Weg. Bundesjustizministerin Hubig stellte die geplanten Änderungen in der Strafprozessordnung (StPO) vor. Parallel kommen aus dem Bundesinnenministerium zwei Entwürfe mit vergleichbaren Befugnissen für die Polizeibehörden des Bundes.
Wie der biometrische Abgleich funktionieren soll
Laut den Plänen aus dem Justizministerium soll die Polizei die biometrische Fahndung einsetzen dürfen, um die Identität oder den Aufenthaltsort von Beschuldigten oder Zeug*innen festzustellen. Erlaubt sein soll das beim Verdacht einer Straftat von erheblicher Bedeutung – das sind etwa Mord und Vergewaltigung, aber auch Steuerhinterziehung, Geldwäsche oder Drogendelikte.
Einen Abgleich mit „öffentlich zugänglichen Echtzeitbildern“ schließt das Gesetz explizit aus. Außerdem darf der Abgleich nur auf Anordnung einer Staatsanwaltschaft erfolgen. Sollte der Einsatz keine Ermittlungsansätze, also Treffer, ergeben, müssen die Daten nach dem Abgleich wieder gelöscht werden.
Keine Datenbank mit Milliarden von Gesichtern
Um im öffentlichen Internet nach Personen suchen zu können, müssen Ermittlungsbehörden die öffentlich im Netz verfügbaren Fotos von Gesichtern zunächst durchsuchen, sammeln und in Templates umrechnen. Dabei entsteht eine Datenbank mit den biometrischen Entsprechungen von möglicherweise Milliarden von Gesichtern.
Das Ministerium betont, dass diese Vergleichsdatenbank bei dem geplanten „Ad-hoc-Abgleich“ nicht dauerhaft gespeichert würde. Die Templates müssten stattdessen für jeden Abgleich neu erstellt werden. Damit sei die „Erstellung einer dauerhaften Datenbank, die aus dem Internet erhobene Lichtbilder und/oder zugehörige Templates vorhält, […] ausgeschlossen“.
Allerdings steht das so nicht explizit im Gesetzentwurf. Dieser legt nur fest, dass die „beim Abgleich erhobenen und verarbeiteten Daten“ im Anschluss „unverzüglich“ zu löschen sind, wenn sie für die weiteren Ermittlungen nicht relevant sind. Die Referenzdatenbank selbst erwähnt der Text nicht explizit.
EU-KI-Verordnung: Warum das Vorhaben problematisch ist
Hinzu kommt: Artikel 5 der KI-Verordnung verbietet „das Inverkehrbringen, die Inbetriebnahme […] oder die Verwendung von KI-Systemen, die Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungsaufnahmen erstellen oder erweitern“.
Aus Sicht von Dirk Lewandowski ist die Sache damit eindeutig. Der Professor für Information Research & Information Retrieval an der Hochschule für Angewandte Wissenschaften Hamburg hat für die Organisation AlgorithmWatch ein Gutachten erstellt. Darin kommt er zu dem Schluss, dass die KI-Verordnung es „ausnahmslos“ verbiete, „durch ein anlassloses Scraping von Gesichter-Aufnahmen Datenbanken zur Gesichtserkennung aufzubauen“.
Ohne eine solche Referenzdatenbank könne der Abgleich nicht sinnvoll duchgeführt werden. Laut Lewandowski scheitere ein solches Vorhaben damit rechtlich wie praktisch.
Bundestagsgutachten: Wie das Verbot umgangen werden könnte
Ein Gutachten der Wissenschaftlichen Dienste des Deutschen Bundestages kommt allerdings zu einem leicht anderen Schluss. Demnach verbiete die KI-Verordnung nicht den Aufbau einer Datenbank, sondern nur das „ungezielte Auslesen von Gesichtsbildern mittels KI […], da es die Privatsphäre und den Datenschutz der Betroffenen erheblich beeinträchtigt und das Gefühl ständiger Überwachung erzeugt“.
Das in der KI-Verordnung festgelegte Verbot gelte demnach nur dann, wenn die Strafverfolgungsbehörden die Datenbanken mit Hilfe von KI-Systemen erstellen. Werden dafür keine solchen Systeme verwendet, greife die Verordnung nicht. Die Kernfrage sei also, „ob – und wenn ja, wann – bei dem biometrischen Abgleich mit Bildern aus dem Internet KI ins Spiel kommt“.
Datenbanken von Bildern aus dem Internet könnten auch ohne Künstliche Intelligenz erstellt werden, schreiben die Wissenschaftlichen Dienste weiter. So können beispielsweise Bilder mit herkömmlichen Methoden aus dem Netz heruntergeladen und dann in einer Datenbank gespeichert werden.
„Der Einsatz von KI ist also nicht zwingend erforderlich, um einen biometrischen Abgleich mit Bildern aus dem Internet durchzuführen“, so das Fazit der Wissenschaftlichen Dienste, sondern es komme „auf die konkrete Ausgestaltung und technische Umsetzung des in den Gesetzesentwürfen vorgesehenen biometrischen Abgleichs an“.
Ministerium geht durch die Hintertür
Das Justizministerium argumentiert in die gleiche Richtung. In der Gesetzesbegründung schreibt das Ministerium, ein Verbot durch die KI-Verordnung gelte nicht, „sofern für das Auslesen der Daten keine KI-Systeme eingesetzt werden“.
Diese Auslegung vertritt auch die EU-Kommission in ihren Leitlinien zur Einhaltung der Verbote aus der KI-Verordnung. Die Sichtweise würde allerdings bedeuten, dass auch andere Datenbanken zur Gesichtersuche, etwa von kommerziellen Anbietern wie PimEyes und Clearview, in der EU nicht verboten wären.
Damit würde die Kommission explizit die erklärte Absicht des EU-Parlaments umgehen. Dieses hatte bei den Verhandlungen um die KI-Verordnung auf das Verbot bestanden, weil mit der Gesichtersuche die Anonymität im öffentlichen Raum bedroht wird und es die gesellschaftlichen Auswirkungen einer solchen Überwachungsmöglichkeit fürchtete.
Fachleute für den Schutz von Grundrechten weisen bereits seit Jahren auf die Gefahren hin, die mit der biometrischen Gesichtersuche einhergehen: Die biometrischen Merkmale eines Gesichtes sind unveränderlich. Mit Hilfe der Suche lassen sich Fotos einer Person im Internet finden – und darüber indirekt wahrscheinlich auch ihr Name, der Arbeitgeber oder der Wohnort. Ein Schnappschuss reicht dafür aus.
Das erhöht nicht nur das Risiko für Stalking, sondern kann dazu führen, dass man sich auch auf einer Demonstration, bei einem Arztbesuch oder in anderen Situationen ständig beobachtet fühlt und sein Verhalten entsprechend anpasst. Der Chaos Computer Club spricht in einer Stellungnahme von der „Idee einer allgegenwärtigen Überwachung und Datenrasterung, der niemand mehr ausweichen kann“.
Die Ministerien haben die Gesetzentwürfe jetzt an die Länder geschickt. Auch Verbände können jetzt bis Anfang April ihre Kritik und Verbesserungsvorschläge zu den Vorhaben einreichen – einiges davon könnte in die Entwürfe einfließen. Eines des Gesetze benötigt zudem die Zustimmung des Bundesrates.
Daniel Leisegang ist Politikwissenschaftler und Co-Chefredakteur bei netzpolitik.org. Zu seinen Schwerpunkten zählen die Gesundheitsdigitalisierung, Digital Public Infrastructure und die sogenannte Künstliche Intelligenz. Daniel war einst Redakteur bei den “Blättern”. 2014 erschien von ihm das Buch »Amazon – Das Buch als Beute«; 2016 erhielt er den Alternativen Medienpreis in der Rubrik “Medienkritik”. Er gehört dem Board of Trustees von Eurozine und dem Kuratorium der Stiftung Warentest an. Kontakt: E-Mail (OpenPGP), Mastodon, Bluesky, Threema ENU3SC7K, Telefon: +49-30-5771482-28 (Montag bis Freitag, jeweils 8 bis 18 Uhr). Chris Köver recherchiert und schreibt über Migration, biometrische Überwachung, digitale Gewalt und Jugendschutz. Recherche-Anregungen und -Hinweise gerne per Mail oder via Signal (ckoever.24). Seit 2018 bei netzpolitik.org. Hat Kulturwissenschaften studiert und bei Zeit Online mit dem Schreiben begonnen, später das Missy Magazine mitgegründet und geleitet. Ihre Arbeit wurde ausgezeichnet mit dem Journalistenpreis Informatik, dem Grimme-Online-Award und dem Rainer-Reichert-Preis zum Tag der Pressefreiheit. Kontakt: E-Mail (OpenPGP), BlueSky, Mastodon, Signal: ckoever.24. Dieser Beitrag ist eine Übernahme von netzpolitik, gemäss Lizenz Creative Commons BY-NC-SA 4.0.
Direkt von Big Techs Wunschliste
Digitaler Omnibus: Um Europas Wirtschaft zu stärken, will die EU ihre Regeln für die digitale Welt teilweise aufweichen.
Das Gesetzespaket bedient allerdings vor allem die Interessen US-amerikanischer Tech-Unternehmen, wie jetzt eine Analyse des Corporate Europe Observatory und von LobbyControl zeigt.
Die EU-Kommission soll sich bei ihren Deregulierungsplänen in den Bereichen Datenschutz und KI maßgeblich von Big Tech inspiriert haben lassen. Das geht aus einer Analyse der NGOs Corporate Europe Observatory (CEO) und LobbyControl zum sogenannten „Digitalen Omnibus“ hervor. Demnach entsprechen viele Pläne der Kommission für das Gesetzespaket den Wünschen der IT-Branche, die mit immer mehr Geld in Brüssel für möglichst wenig Regulierung lobbyiert.
Den digitalen Omnibus hatte die Kommission im Spätherbst vorgestellt. Mit dem Gesetzespaket will sie laut eigener Aussage Bürokratie abbauen, Regeln entschlacken und überlappende Gesetze harmonisieren. Im Blick hat sie dabei den Datenschutz, Regeln für die Datennutzung, Cyber-Sicherheit sowie die KI-Verordnung. Vereinfachte Regeln sollen die Wettbewerbsfähigkeit Europas und vor allem europäischer Unternehmen verbessern, so die EU-Kommission.
Doch vieles im Kommissionsentwurf lese sich wie eine Wunschliste ausgerechnet US-amerikanischer Tech-Konzerne, schreiben CEO und LobbyControl: „Ironischerweise wird diese Deregulierungsagenda von der Kommission als Mittel zur Steigerung der Wettbewerbsfähigkeit der EU verkauft – obwohl sie damit in Wirklichkeit die US-amerikanischen Big-Tech-Unternehmen aktiv stärkt, die den Markt dominieren.“
Zugleich baut dieser „beispiellose Angriff auf digitale Rechte“ den beiden Nichtregierungsorganisationen zufolge wichtige Schutzmechanismen für EU-Bürger:innen ab. Diese sorgten dafür, dass die Daten aller sicher sind, Regierungen und Unternehmen zur Rechenschaft gezogen werden können, und Menschen davor bewahrt werden, dass unkontrollierte KI-Systeme über ihre Lebenschancen entscheiden.
Akribische Detailanalyse
Diese Schlussfolgerungen untermauern die NGOs mit einem detaillierten Vergleich des Gesetzentwurfs mit öffentlich bekannten Lobby-Forderungen der Tech-Branche, darunter Konzernen wie Google, Microsoft und Meta. So will die Kommission beispielsweise pseudonymisierte Daten überwiegend nicht mehr als personenbezogene Daten behandelt wissen. Setzt sie sich im laufenden Gesetzgebungsprozess durch, würden solche Daten aus dem Geltungsbereich der Datenschutz-Grundverordnung (DSGVO) herausfallen.
Was wie ein unscheinbares Detail klingt, hätte weitreichende Folgen. Damit hätten es unter anderem Tracking-Firmen und Datenhändler einfacher, die digitalen Spuren von Internet-Nutzer:innen zusammenzuführen, auszuwerten und zu monetarisieren. Zudem lassen sich aus pseudonymisierten Daten relativ einfach Einzelpersonen re-identifizieren, wie nicht zuletzt unsere Databroker-Files-Recherche gezeigt hat.
Für eine derartige Änderung setzt sich die Digitalbranche schon seit langem ein. So forderte der Lobby-Verband Digital Europe in einem Empfehlungspapier, das Schutzniveau für pseudonymisierte Daten abzusenken. Von Google bis Meta sind praktisch alle führenden Tech-Unternehmen in der Organisation vertreten. In die gleiche Richtung argumentiert an anderer Stelle auch Microsoft Deutschland: Die Änderung „wäre besonders wichtig, um die Entwicklung neuer Technologien, einschließlich (generativer) KI, zu unterstützen“, heißt es in einer Stellungnahme des US-Unternehmens zum EU Data Act.
Auf Anfrage des Online-Mediums Euractiv (€) wies ein Sprecher der EU-Kommission die Vorwürfe zurück. „Der Digitale Omnibus ist das Ergebnis eines umfassenden und transparenten Prozesses, in dem Zivilgesellschaft, kleine und mittlere Betriebe sowie akademische Einrichtungen gleichermaßen die Möglichkeit hatten, sich einzubringen.“ Der Digitale Omnibus verfolge ein klares Ziel, so der Sprecher weiter: „Die Förderung eines sicheren und wettbewerbsfähigen digitalen Binnenmarktes, der allen europäischen Bürgerinnen und Bürgern sowie allen europäischen Unternehmen unabhängig von ihrer Größe dient“.
Warnungen bewahrheiten sich
Doch das von den NGOs dokumentierte Muster wiederholt sich an zahlreichen Stellen. Mit Industrieforderungen praktisch deckungsgleiche Vorschläge finden sich zum Beispiel in Abschnitten zur Beschneidung des Auskunftsrechts über bei Unternehmen gespeicherte Daten oder beim geplanten Wegfall von Schutzvorkehrungen bei automatisiert getroffenen Entscheidungen. Auch eine Klarstellung zur Nutzbarkeit personenbezogener Daten für das Training von KI-Systemen hatte sich die Industrie gewünscht.
Bereits im Vorfeld der Omnibus-Veröffentlichung warnten zivilgesellschaftliche NGOs, Gewerkschaften und Verbraucherschutzorganisationen vor einem „der größten Rückschritte für digitale Grundrechte in der Geschichte der EU“. Der als „technische Straffung“ der EU-Digitalgesetze verkaufte Vorstoß sei „in Wirklichkeit ein Versuch, heimlich Europas stärkste Schutzmaßnahmen gegen digitale Bedrohungen abzubauen“, hieß es in einem Brief, den über 120 Organisationen unterzeichnet haben, darunter European Digital Rights (EDRi), Amnesty International und Wikimedia Deutschland.
Die Befürchtungen haben sich bewahrheitet, wie schon erste Analysen nach der Vorstellung des Omnibusses offengelegt haben. Überraschend ist dies gleichwohl nicht: Die Verbesserung der Wettbewerbsfähigkeit der EU zählt zu einem der erklärten Ziele der Ende 2024 wiedergewählten EU-Kommission unter der konservativen Präsidentin Ursula von der Leyen. Zuvor schlugen zwei wegweisende, von der EU in Auftrag gegebene Berichte europäischer Spitzenpolitiker, der sogenannte Draghi– sowie der Letta-Bericht, einen teils drastischen Abbau von Regulierung vor.
Lobbyist:innen umgarnen Rechtsaußen-Parteien
Bei eher linksstehenden Parteien ist dieser Ruf nach Deregulierung auf ein überwiegend negatives Echo gestoßen. Ganz anders die Reaktion rechter und rechtsradikaler Parteien, die bei der letzten EU-Parlamentswahl zugelegt hatten und ihren Einfluss deutlich steigern konnten. Traditionell zeigen sich solche Parteien zum einen wirtschaftsliberalen Ansätzen gegenüber aufgeschlossen. Zum anderen lassen sie kaum eine Gelegenheit ungenutzt, Gesetzgebung aus Brüssel kurz und klein zu schlagen.
Dass sich die Berührungsängste der Europäischen Volkpartei (EVP), der auch von der Leyen angehört, zu Rechtsaußen-Fraktionen in Grenzen halten, hatte die Kommissionpräsidentin wiederholt ausgesprochen. Inzwischen ist daraus gelebte Praxis geworden: Bereits mehrfach machten moderate Konservative im EU-Parlament gemeinsame Sache mit der extremen Rechten, um beispielsweise das Lieferkettengesetz entscheidend zu schwächen. Eine Zusammenarbeit beim digitalen Omnibus zeichnet sich jetzt schon ab.
Die verschobenen Machtverhältnisse machen sich auch beim Lobbying bemerkbar, wie Corporate Europe Observatory und LobbyControl aufzeigen. Vor allem das Trump-freundliche Meta, das unter anderem Facebook, Instagram und WhatsApp betreibt, sucht offenbar gezielt die Nähe zu Rechtsaußen-Politiker:innen.
So hatten sich Meta-Lobbyist:innen laut der Analyse in der gesamten vorangegangenen Legislaturperiode nur ein einziges Mal mit einem Abgeordneten einer einschlägigen Fraktion getroffen. Seit im Sommer 2024 das Parlament neu bestellt wurde, lassen sich inzwischen 38 Treffen zwischen Meta und Abgeordneten der „Patrioten für Europa“ oder „Europäische Konservative und Reformer“ dokumentieren. Bei den Treffen sei der Digitale Omnibus eine „Schlüsselpriorität“ gewesen, so die NGOs.
„Die Lobbying-Strategie der großen Technologiekonzerne in den USA, wo sie sich mit der Trump-Administration verbündet haben, scheint nun auch auf das Europäische Parlament ausgeweitet worden zu sein“, schreiben die NGOs.
Tomas Rudl ist in Wien aufgewachsen, hat dort für diverse Provider gearbeitet und daneben Politikwissenschaft studiert. Seine journalistische Ausbildung erhielt er im Heise-Verlag, wo er für die Mac & i, c’t und Heise Online schrieb. Kontakt: E-Mail (OpenPGP), Bluesky. Dieser Beitrag ist eine Übernahme von netzpolitik, gemäss Lizenz Creative Commons BY-NC-SA 4.0.
Digitaler Omnibus: Das EU-Parlament steuert auf den nächsten Konflikt zu
In Brüssel nimmt die Debatte um den „digitalen Omnibus“ an Fahrt auf. Während vier Fraktionen im EU-Parlament die Aufweichung von KI- und Datenschutzregeln kritisieren, begrüßen Konservative das Vorhaben grundsätzlich. Werden sie wieder mit Rechtsaußen-Fraktionen stimmen, um das Vorhaben durchzusetzen?
Vergangene Woche hat die EU-Kommission den „Digitalen Omnibus“ vorgestellt. Mit dem Sammelgesetz will sie Teile ihrer Digitalregulierung vereinfachen, Kritiker:innen sprechen von einem Angriff auf Grundrechte. Ihre Änderungsvorschläge an zahlreichen Gesetzen kann die Kommission allerdings nicht im Alleingang beschließen. Auch das Europäische Parlament und der Rat der Mitgliedstaaten müssen dem Vorhaben zustimmen und diskutieren jetzt ihre Positionen.
Einige Fraktionen im Parlament haben bereits Widerstand angekündigt. Schon in Reaktion auf geleakte Entwürfe hatten die Fraktionen der Sozialdemokraten (S&D), Liberalen (Renew) und Grünen mit Kritik reagiert.
Grundsätzlich scheinen die Konfliktlinien entlang erwarteter parteipolitischer Präferenzen zu verlaufen. Während Sozialdemokraten, Grüne und Linke deutlich gegen das Vorhaben positioniert sind und auch Liberale Bedenken äußern, sehen Konservative einen Schritt in die richtige Richtung. Rechtsradikale und europakritische Parteien fordern einen noch weitergehenden Regulierungsabbau.
S&D: Digitalgesetze stärken statt untergraben
Die Sozialdemokraten (S&D) halten den Kommissionsvorschlag für problematische Deregulierung. Der Vizepräsident der Fraktion, Alex Agius Saliba, argumentiert, dass die Europäischen Digitalgesetze im demokratischen Prozess entstanden seien und jetzt nicht untergraben werden sollten. Stattdessen sollte der Digitale Omnibus dazu dienen, die unterschiedlichen Gesetze kohärenter und transparenter zu machen. Ziel sei eine „auf Rechten basierende digitale Wirtschaft“.
Dazu erklärt Birgit Sippel, die innenpolitische Sprecherin der S&D-Fraktion: „Statt sich von globalen Konzernen auf der Nase herumtanzen zu lassen oder sie sogar zu hofieren, sollte die Kommission dafür einstehen, dass wir Technologien nach unseren europäischen Grundrechten ausrichten.“ Ende-zu-Ende-Verschlüsselung, digitale Grundrechte und europäische Datenschutzstandards seien nicht nur technische Details, die man nach Belieben aufweichen könne, sondern „unsere Anker gegen Überwachung, Manipulation und Machtmissbrauch“.
Die Vizepräsidentin des EU-Parlaments, Katarina Barley (SPD), warnt unterdessen davor, im Zuge des Omnibusses den Schutz vor KI zu senken. Tatsächlich hat die Kommission in ihrem Vorschlag eine Verschiebung von Vorgaben für Hochrisiko-Systeme aus dem AI Act vorgesehen. Barley glaubt: „Jegliche Aussetzung der Regeln, auch vorübergehend, würde Bürger:innen erheblichen Risiken aussetzen – das wäre fatal.“
Grüne skeptisch, Liberale noch nicht entschieden
Ähnlich sieht das auch die Grünen-Abgeordnete Kim van Sparrentak. Durch die Verschiebung der Frist werde es Hochrisiko-Systeme auf dem Markt geben, die nicht reguliert werden. Das würde das Vertrauen der Menschen in KI noch weiter schwächen. Schon jetzt sei die Skepsis hoch. Auch die Änderungen an der DSGVO kritisieren die Grünen stark. Digitalpolitikerin Alexandra Geese etwa glaubt nicht, dass Innovation durch Regulierung verhindert wird und im Umkehrschluss auch nicht, dass Deregulierung Europas Innovationskraft stärken werde.
Die liberale Renew-Fraktion sieht deutliche Verbesserungen des offiziellen Vorschlages im Vergleich zum geleakten Entwurf. Die Fraktion hatte vorab gefordert, dass die Definition von sensiblen Daten in Artikel 9 der DSGVO nicht geändert wird. Tatsächlich wurde dieser Teil aus dem offiziellen Vorschlag gestrichen. Renew betont einerseits viele positive Aspekte im Omnibus, etwa die Bündelung der Meldewege für IT-Sicherheitsvorfälle und die Zusammenfassung von Datennutzungsgesetzen im Data Act.
Andererseits dürfe die Vereinfachung nicht auf Kosten von Datenschutzstandards gehen, so die liberale Abgeordnete Fabienne Keller in einer Pressemitteilung. Einige der Vorschläge seien „besorgniserregend“, würden den Schutz sensibelster Daten schwächen und zu einer diskriminierenden Verarbeitung beitragen. Über das Abstimmungsverhalten der Abgeordneten sei noch nicht gesprochen worden, teilt ein Sprecher der Fraktion auf Anfrage von netzpolitik.org mit.
EVP fordert schnelles Verfahren
Klar gegen den digitalen Omnibus positioniert sich die Fraktion der Linken. „Wir brauchen keine Deregulierung im Eiltempo, sondern starke, durchsetzbare Regeln für eine digitale Welt, die den Menschen dient und nicht Konzerninteressen oder geopolitischem Kalkül“, so der Fraktionsvorsitzende Martin Schirdewan in einem Pressestatement.
Doch nicht alle im Europäischen Parlament sind mit dem Omnibus unzufrieden. Die Europäische Volkspartei (EVP), zu der unter anderem CDU und CSU gehören, sieht die Änderungen grundsätzlich positiv und fordert eine schnelle Annahme durch das Parlament und den Rat. Das bedeute zwar nicht, dass sie überhaupt keine Vorbehalte hätten, sagt ein Fraktionssprecher auf Nachfrage. Zu konkreten Inhalten wolle man sich aber noch nicht ausführlich äußern, da die Debatte erst beginne.
Am Dienstagnachmittag wird der Vorschlag zum ersten Mal im Parlament diskutiert. Jetzt müssen die Fraktionen ihre Verhandler:innen festlegen. Außerdem wird bestimmt, welche Ausschüsse sich um welche Teile des Omnibusses kümmern werden. Zentral wird dabei der Binnenmarkt- und Verbraucherausschuss (IMCO) sein. In den Ausschüssen erarbeiten die Abgeordneten dann ihre Änderungsanträge.
Beobachter:innen befürchten, dass einige Fraktionen hier sogar noch über den Vorschlag der Kommission hinausgehen könnten, um zum Beispiel weitere Teile des AI Acts zu verändern. Die nationalkonservative und europaskeptische Fraktion der Europäischen Konservativen und Reformer (EKR) hat sich schon so positioniert. Sie glaubt, dass weniger Regeln die Wettbewerbsfähigkeit Europas stärken würden.
Konservative schließen Zusammenarbeit mit Rechtsradikalen nicht aus
Sowohl unter den Sozialdemokraten als auch den Grünen geht man davon aus, dass die EVP erneut eine Mehrheit mit den Rechtsaußen und Rechtsextremen im Parlament bilden würde, um den Omnibus nach ihrer Vorstellung durchzubringen. Das ist erst kürzlich in der Abstimmung über ein erstes Omnibus-Paket passiert, mit dem unter anderem die EU-Lieferkettenrichtlinie weitgehend entkernt wird. Die EKR sowie die rechtsextremen „Patrioten für Europa“ hatten anschließend den Fall der Brandmauer gefeiert.
So betont etwa Sergey Lagodinsky von den Grünen, dass das Omnibus-Verfahren anders ablaufen müsse als das erste. Fertige Gesetze gemeinsam mit Rechtsextremen aufzubrechen, sei keine Lösung. „Ich fordere Manfred Weber auf, diesen Weg kein zweites Mal zu beschreiten“, sagt der deutsche Abgeordnete in Richtung des Fraktionsvorsitzenden der EVP.
Dazu erklärt ein EVP-Fraktionssprecher gegenüber netzpolitik.org: „Wir suchen zuallererst eine Mehrheit in der Mitte des Parlaments.“ Gemeint sind damit Sozialdemokraten und Liberale. Dafür wolle die Fraktion konstruktiv in die Debatte gehen. Eine Zusammenarbeit mit Kräften am rechten Rand schließt die EVP jedoch nicht explizit aus.
Anna Ströbele Romero berichtet als freie EU-Korrespondentin aus Brüssel. Sie interessiert sich für die Regulierung von Plattformen, digitale Souveränität und Cybersicherheit. Mit großer Neugier verfolgt sie, wie die Digitalisierung in anderen Ländern angegangen wird. Kontakt: E-Mail (OpenPGP). Dieser Beitrag ist eine Übernahme von netzpolitik, gemäss Lizenz Creative Commons BY-NC-SA 4.0.
Reizwort AI Act!
Gilt die EU-KI-Verordnung für Ihr Unternehmen, Ihr Produkt oder Ihre Dienstleistung?
Die Bundesnetzagentur stellt einen kostenlosen KI-Compliance-Kompass bereit, der eine erste Einschätzung ermöglicht.
Probiert ihn aus und berichtet gern von euren Erfahrungen: https://www.bundesnetzagentur.de/DE/Fachthemen/Digitales/KI/2_Risiko/kompass/start.html
Zeige mir, wie du gehst, und ich sage dir, wer du bist
Biometrische Gangerkennung soll Menschen aus der Ferne identifizieren können, selbst wenn sie ihr Gesicht verhüllen. Unser Überblick zeigt, wie die Technologie funktioniert und wo sie bereits eingesetzt wird. Menschenrechtler*innen fordern ein Verbot.
Unser Gang ist besonders. Wir unterscheiden uns zum Beispiel darin, wie wir unsere Füße aufsetzen, unsere Arme beim Gehen schlenkern lassen oder wie lange unsere Schritte dauern. Solche Merkmale sind individuell und potenziell auch verräterisch, denn sie werden wie beiläufig bei der Videoüberwachung mit aufgezeichnet. Und anders als bei der biometrischen Gesichtserkennung kann man nicht einfach eine Maske aufsetzen, um den eigenen Gang zu verschleiern.
Wenn man Menschen auch von Weitem anhand ihrer Körpermerkmale erkennt, nennt man das biometrische Fernidentifizierung. In der öffentlichen Debatte darüber geht es meist um Gesichtserkennung. Dabei gibt es noch weitere Möglichkeiten, Menschen biometrisch zu erkennen. Eine solche Methode ist die biometrische Gangerkennung.
Verboten ist der Einsatz der Technologie in der EU nicht, im Gegenteil. Dort, wo die KI-Verordnung (AI Act) den Staaten Spielraum für biometrische Gesichtserkennung lässt, können Behörden auch andere biometrische Technologien einsetzen – auch wenn darüber selten diskutiert wird.
Dieser Artikel erklärt, was Gangerkennung bereits kann, und wo sie schon angewandt wird. Die Organisationen Amnesty International und AlgorithmWatch warnen vor der Technologie – die beispielsweise die Polizei bereits auf dem Schirm hat. Und im Auftrag der Europäischen Union erkunden Forscher*innen in Österreich ihren Einsatz an der EU-Grenze.
Wie funktioniert Gangerkennung?
Auch Menschen können andere Personen anhand ihres Gang identifizieren. Unter anderem in Großbritannien werden dafür Sachverständige vor Gerichte geladen, um etwa die Identität eines Tatverdächtigen festzumachen. Einer Studie über diese forensische Gangerkennung aus dem Jahr 2018 zufolge würden solche Gang-Expert*innen allerdings noch wenig mit Software arbeiten.
Inzwischen gibt es zunehmend technisch gestützte Methoden für Gangerkennung, die gemeinhin als „KI“ bezeichnet werden. Einer der Menschen, der dazu forscht, ist Simon Hanisch. „Gangerkennung funktioniert mittlerweile sehr gut mithilfe von Deep Learning und Objekterkennung“, erklärt der Forscher, der am Karlsruher Institut für Technologie zur Anonymisierung biometrischer Datenarbeitet.
Im Gespräch mit netzpolitik.org beschreibt er eine Art, wie Gangerkennung per Software heutzutage funktionieren kann: Zuerst zerlegt die Software das Video einer laufenden Person in einzelne Frames, also Momentaufnahmen. So lassen sich etwa die Phasen eines Schritts nachvollziehen, die Bewegungen von Armen und Beinen. Danach stellt die Software die Umrisse der Person frei. Sie sieht dann so ähnlich aus wie ein Ampelmännchen. Schließlich legt die Software die Umrisse aus mehreren Frames in Graustufen übereinander. Das sieht dann aus wie ein Ampelmännchen mit vielen Armen und Beinen.
Auf diese Weise sollen möglichst einzigartige Profile entstehen, anhand derer sich Menschen voneinander unterscheiden lassen – und wiedererkennen.
Wie korrekt ist Gangerkennung?
Zu Gangerkennung sind in den vergangenen Jahren viele Studien erschienen. Sie beschreiben mehrere Verfahren, die verschieden genau sind. Manche Forschende verweisen auf äußere Faktoren, die Einfluss auf unseren Gang haben und deshalb die Wiedererkennung erschweren würden. Zum Beispiel könnten Schuhe, die Beschaffenheit des Bodens oder Taschen das Gangprofil verändern.
So stellten auch die Autor*innen der oben erwähnten Studie zur forensischen Gangerkennung fest: Der Beweiswert eines menschlichen Gang-Gutachtens vor Gericht sei relativ niedrig. Das war jedoch im Jahr 2018. Mittlerweile sind die technischen Mittel ausgereift genug, um Personen auch trotz sich ändernder Bedingungen zu identifizieren, wie Simon Hanisch erklärt. Die Software könnte auch Veränderungen des Gangs einbeziehen.
Eine KI ist jedoch nur so gut wie die Daten, mit denen sie trainiert wurde. „Für das Training benötigt man viele Daten“, sagt Hanisch, „die entsprechenden Datensätze gibt es aber heute schon“. Um nur eine einzelne Person anhand ihres Gangs über mehrere Überwachungskameras hinweg zu verfolgen, brauche es nicht sehr viele Daten, so der Forscher. Zur Identifikation würden bereits einige Beispiele genügen, die zeigen, wie diese Person geht.
Anders sehe es aus, wenn eine beliebige Person in einem Video eindeutig identifiziert werden soll, erklärt Hanisch. Dafür „wäre eine große Datenbank erforderlich, in der Gangbeispiele aller Personen vorhanden sind – analog zu einer Datenbank mit Gesichtsbildern oder Fingerabdrücken.“ Im Moment gibt es allerdings keine Anzeichen dafür, dass in Deutschland größere Datenbanken mit biometrischen Gangprofilen existieren.
Eine wichtige Komponente könne auch die Zeitspanne sein. Wie verändert sich der Gang eines Menschen über Jahrzehnte? Es gibt „noch nicht genug Forschung, um sagen zu können, wie gut die Gangerkennung über die Zeit funktioniert“, sagt Hanisch. „Wahrscheinlich wird es einen großen Einfluss haben; allerdings sind mir keine Studien bekannt, die das wirklich gut untersucht haben.“
Für eine realistische Anwendung von Gangerkennung brauche es noch mehr Forschung. „Meiner allgemeinen Vermutung nach würde die Gangerkennung in einem realistischen Setting außerhalb des Labors wahrscheinlich eher mäßig gut funktionieren.“
Trotzdem warnt Hanisch vor der Technologie: „Man sollte nicht vergessen, dass sich biometrische Merkmale kombinieren lassen, um bessere Ergebnisse zu erzielen, beispielsweise Gangerkennung mit Gesichtserkennung.“ Das Potenzial für staatliche Überwachung sieht Hanisch durchaus. Besonders sei es für Behörden vorteilhaft, Gangerkennung einzusetzen, weil „man seinen Gang nur schwer verstecken kann“.
Deutschland: Polizei bildet sich zu Gangerkennung weiter
Wir haben bei deutschen Polizeibehörden nachgefragt, ob sie biometrische Gangerkennung einsetzen oder sich zumindest damit beschäftigen. Die Landeskriminalämter (LKAs) aus 16 Bundesländern sowie das Bundeskriminalamt (BKA) haben den Einsatz computergestützter biometrischer Gangerkennung verneint.
Laut der Pressestelle des LKA Hessen „fehlt es an einer Datenbank, gegen die ein solches System Daten abgleichen könnte“. Gangerkennung hätten die Beamt*innen in Hessen allerdings auf dem Schirm. „Denkbar wären 1:1 Vergleiche, beispielsweise den Gang einer unbekannten Person mit dem Gang einer bekannten Person abzugleichen“, schreibt die Pressestelle. Dies könne „als Sachbeweis in einem laufenden Ermittlungsverfahren herangezogen werden“.
Das LKA Berlin hat sich ebenso mit Gangerkennung beschäftigt, allerdings nicht computerbasiert. Stattdessen würden Gutachten des kriminaltechnischen Instituts (KTI) des LKA Berlin „nach der Methode der beobachtenden Gangbildanalyse erstellt, wie sie auch in der Medizin und der Sportwissenschaft angewandt wird“. Auch das LKA Rheinland-Pfalz wende sich für solche Gutachten an das LKA Berlin.
Das LKA Saarland hat sich nach eigenen Angaben bereits mit biometrischer Gangerkennung beschäftigt, und zwar im Rahmen einer Fortbildung durch das BKA. Das BKA wiederum teilt mit, die angesprochene Fortbildung sei eine Online-Vortragsreihe der Deutschen Hochschule der Polizei gewesen. Dort habe man Vertreter*innen der Polizeien von Bund und Ländern über aktuelle Entwicklungen in der Kriminaltechnik informiert.
Deutschland: Erkennung gehender Personen im Supermarkt
Gangerkennung findet wohl auch Verwendung in der freien Wirtschaft. Bereits 2024 berichtete netzpolitik.org von einem Rewe-Supermarkt in Berlin, der seine Besucher*innen mit hunderten Überwachungskameras durch den Laden verfolgt, die mitgenommenen Waren erkennt und dann an der Kasse abrechnet. Dabei arbeitet Rewe mit der israelischen Firma Trigo zusammen, die es sich zur Mission gemacht hat, den Einzelhandel mit sogenannter KI zu optimieren.
Im Rewe-Supermarkt soll es allerdings keine Gesichtserkennung geben, wie Rewe und Trigo betonten. Stattdessen würden Kameras die schematische Darstellung des Knochenbaus der Besucher*innen erfassen, um sie voneinander zu unterscheiden. Auch das kann eine Form biometrischer Gangerkennung sein, wie sie etwa in einer Studie der TU München beschrieben wird. Demnach könne Gangerkennung per Skelettmodell sogar besser funktionieren als über die Silhouette. Die Strichmännchen mit Knotenpunkten an den Gelenken aus der Münchner Studie ähneln optisch dem Pressematerial von Trigo.
Auf Anfrage von netzpolitik.org verneint Trigo allerdings den Einsatz von Gangerkennung: „Unser System unterscheidet zwischen Käufer*innen mittels computerbasiertem Sehen (‚computer vision‘)“, schreibt die Pressestelle. „Aus wettbewerbstechnischen Gründen können wir nicht tiefer auf technologische Details eingehen, aber wir nutzen keine Gangerkennung oder biometrische Identifikation.“
Ohne die technologischen Details, die Trigo vorenthält, lässt sich die Technologie nicht abschließend bewerten. Bereits 2024 hatten wir den Biometrie-Experten Jan Krissler (alias starbug) um eine Einschätzung gebeten. Er sagte mit Blick auf Trigo: „Körpermerkmale erfassen ist der Inbegriff von Biometrie – und das passiert hier.“
Die Technologie, deren Details das Unternehmen geheimhalten will, wird nach Angaben von Trigo schon in mehreren europäischen Länder eingesetzt. Wo genau? Auch hierzu verweigert die Pressestelle eine Antwort, wieder mit Verweis auf Wettbewerber*innen.
EU: Forschung an Gangerkennung für die Grenze
Die EU erforscht den Einsatz von Gangerkennung an der Grenze, Projektname: PopEye. Das Projekt läuft von Oktober 2024 bis September 2027. Auf der Projektwebsite gibt es beim Klick auf „Ergebnisse“ noch nichts zu sehen. In der dazugehörigen Beschreibung heißt es auf Englisch: „Das von der EU geförderte Projekt PopEye zielt darauf ab, die Sicherheit an den EU-Grenzen durch den Einsatz fortschrittlicher biometrischer Technologien zur Identitätsüberprüfung in Bewegung zu erhöhen“. Eine dieser Technologien ist Gangerkennung.
Die Grenzagentur Frontex listet PopEye als eines von mehreren Forschungsprojekten auf der eigenen Website auf. Bereits 2022 hatte Frontex Gangerkennung in einer Studie über biometrische Technologien beschrieben. Demnach benötige Gangerkennung „keine Kooperation der betreffenden Person und kann aus mittlerer Entfernung zum Subjekt funktionieren“. In der Studie schätzt Frontex: Bis biometrische Gangerkennung im Alltag ankommt, würden noch mindestens zehn Jahre vergehen.
Frontex ist auch an illegalen Pushbacks beteiligt. Das heißt, Beamt*innen verhindern, dass schutzsuchende Menschen an der EU-Grenze Hilfe bekommen. Auf Anfrage von netzpolitik.org will sich Frontex nicht zu PopEye äußern und verweist auf das AIT, das Austrian Institute of Technology. Das Institut aus Österreich koordiniert das Projekt im Auftrag der EU.
Das AIT wiederum erklärt auf Anfrage, selbst nicht im Bereich Gangerkennung zu arbeiten. Allerdings sei Gangerkennung eines von mehreren biometrischen Verfahren, die im Rahmen von PopEye erforscht würden. In dem Projekt würden biometrische Methoden entwickelt, die auch dann funktionieren, wenn sich eine Person bewegt und etwas entfernt ist. Kurzum: Man will Menschen identifizieren können, auch wenn sie gerade nicht aktiv ihr Gesicht vor eine Kamera halten oder ihren Finger auf einen Sensor legen. Das könne etwa die Wartezeit von Reisenden verkürzen, so das AIT.
Weiter erklärt das AIT, man wolle die Technologie verstehen, ihre Einschränkungen und Risiken. Ohne, dass wir ausdrücklich danach gefragt hätten, betont das AIT mehrfach, nichts Verbotenes zu tun. „Wir verpflichten uns, alle geltenden Vorschriften einzuhalten und die Werte der EU sowie die Grundrechte zu fördern und zu wahren.“ Sollte das nicht selbstverständlich sein?
Die gemeinnützige Organisation AlgorithmWatch kritisiert Gangerkennung an der Grenze, gerade mit Blick auf einen möglichen Einsatz bei Geflüchteten. „Wie so häufig wird also die Entwicklung digitaler Überwachungstools an Menschen auf der Flucht getestet, die sich kaum dagegen wehren können“, schreibt Referentin Pia Sombetzki auf Anfrage.
China und Russland: Gangerkennung über 50 Meter Entfernung
Die chinesische Regierung treibt Forschung zu Gangerkennung voran. Einer der größeren Datensätze mit Gangprofilen ist Gait3D, der auf Videodaten aus einem Supermarkt basiert. Das im Jahr 2022 veröffentliche Projekt hat China mit staatlichen Mitteln gefördert.
Nach Berichten der Agentur AP News soll China bereits 2018 Überwachung per Gangerkennung eingeführt haben, und zwar durch Polizeibehörden in Beijing und Shanghai. Die Technologie komme von der chinesischen Überwachungsfirma Watrix. Nach Angaben des CEOs gegenüber AP News könne das System Personen aus bis zu 50 Metern Entfernung identifizieren. Das System lasse sich angeblich nicht täuschen, etwa durch Humpeln.
In einer Spiegel-Reportage aus dem Jahr 2019 erklärte eine Pressesprecherin von Watrix, das System würde weitere Informationen nutzen, um Menschen zu identifizieren, etwa Körpergröße und Statur. Angeblich erkenne die Software Menschen in einer Sekunde. „Zwei Schritte reichen.“ Auch in Gruppen von bis zu 100 Leuten könne die Software Menschen erkennen, deren Gangprofil dem System bekannt sei. Es ist üblich, dass Überwachungsfirmen die Fähigkeiten ihrer Produkte überhöhen. Auf unsere Fragen hat Watrix nicht reagiert.
Auch das russische Regime soll biometrische Gangerkennung einsetzen. Im Jahr 2020 berichtete das russische Exilmedium Meduza von entsprechenden Plänen für das Folgejahr. Die Technologie sollte demnach Teil der staatlichen Kameraüberwachung in Moskau werden. Im Jahr 2021 schreib das staatliche Propaganda-Medium Rossiyskaya Gazeta von einem solchen Überwachungssystem im Auftrag des Innenministeriums. Angeblich könne die Gangerkennung eine Person aus einer Entfernung von bis zu 50 Metern identifizieren. Es fehlt allerdings eine unabhängige Prüfung, um festzustellen, viel davon Einschüchterung ist und wie viel korrekt.
Grundrechte in Gefahr: Menschenrechtler*innen fordern Verbot
Menschenrechtsorganisationen betrachten Gangerkennung schon länger kritisch. Privacy International warnte bereits 2021 vor den Gefahren von Gangerkennung bei Protesten. Auch Amnesty International beschäftigt sich damit. Gangerkennung funktioniere aus der Ferne und bleibe dadurch unbemerkt, schreibt Lena Rohrbach auf Anfrage von netzpolitik.org. Sie ist Referentin für Menschenrechte im digitalen Zeitalter bei Amnesty International in Deutschland.
Behörden könnten Gangerkennung etwa ergänzend zu Gesichtserkennung einsetzen, um Menschen auch auf Distanz zu identifizieren. „Überwachung durch Gangerkennung ist ein tiefgreifender Eingriff in Menschenrechte und geht mit umfassenden Risiken einher“, warnt Rohrbach. „Jede Form biometrischer Fernidentifizierung ist potenziell geeignet, zur Repression genutzt zu werden und die freie und unbeobachtete Bewegung im öffentlichen Raum vollständig zu beenden.“
Amnesty International setze sich deshalb für ein umfassendes Verbot biometrischer Fernidentifizierung zur Überwachung des öffentlichen Raums ein – inklusive Gangerkennung. Die EU hat die Gelegenheit verpasst, ein solches Verbot im Rahmen der KI-Verordnung zu beschließen.
In Deutschland befasst sich die Organisation AlgorithmWatch mit den Auswirkungen sogenannter KI auf Menschenrechte. Auf Anfrage vergleicht Referentin Pia Sombetzki Gangerkennung mit Gesichtserkennung. „Die Anonymität im öffentlichen Raum wird effektiv aufgehoben, und Menschen dürften es sich tendenziell eher zweimal überlegen, an welcher Versammlung sie noch teilnehmen“, schreibt sie. Neben Demonstrierenden könnten zum Beispiel auch Obdachlose oder Suchtkranke beobachtet werden.
Das Problem betreffe grundsätzlich alle, die sich in der Öffentlichkeit frei bewegen wollten. Rufe nach mehr KI in der Polizeiarbeit könnten in eine Sackgasse führen, warnt Sombetzki. „Denn je mehr die Freiheitsrechte auch hierzulande eingeschränkt werden, desto weniger bleibt von der demokratischen Gesellschaft übrig, die es eigentlich zu schützen gilt.“
Karoline Tanck ist von Juli bis September 2025 Praktikantin bei netzpolitik.org. Sie hat Digital Media und Soziale Medien und Informationssysteme an der Leuphana Universität Lüneburg studiert. Karoline interessiert sich besonders für digitale Gewalt, den Rechtsruck und die sogenannte Künstliche Intelligenz. Kontakt: E-Mail (OpenPGP). Dieser Beitrag ist eine Übernahme von netzpolitik, gemäss Lizenz Creative Commons BY-NC-SA 4.0.
Wie künstliche Videos Social Media fluten
Studie zu “AI Slop”
Eine neue Studie zeigt: TikTok und Instagram kennzeichnen KI-generierte Inhalte nur unzureichend – und gerade TikTok wird von bizarren synthetischen Videos dominiert. Die Plattformen verstoßen damit gegen EU-Vorgaben und sorgen für eine Flut von automatisierter Desinformation.
TikTok und Instagram kommen ihren Pflichten zur Kennzeichnung von KI-generierten Videos nicht ausreichend nach. Auf TikTok dominieren zudem synthetische KI-Videos die Suchergebnisse zu populären Hashtags. Zu diesem Schluss kommt die europäische gemeinnützige Organisation AI Forensics in einer neuen Studie zur Verbreitung von KI-generierten Inhalten auf den beiden Plattformen.
Die Studie untersucht sogenannten AI Slop. Gemeint sind damit massenproduzierte, KI-generierte Inhalte, die „bizarr und sinnlos“ wirken durch ihre Kombination aus fotorealistischem Stil und unrealistischem Inhalt. AI Forensics hat analysiert, wie viele der Suchergebnissen zu den 13 populärsten Hashtags auf TikTok und Instagram AI Slop sind. Dazu betrachteten die Forscher*innen Suchergebnisse zu #Trump, #History oder #Pope mit einem geografischen Fokus auf Deutschland, Spanien und Polen.
Das Ergebnis: Sucht man nach diesen Hashtags auf TikTok, so seien von den obersten 30 Suchergebnissen 25 Prozent AI Slop. Auf Instagram ist die Anzahl deutlich geringer mit nur zwei Prozent. Von den KI-generierten Videos sind rund 80 Prozent fotorealistisch, das heißt sie sehen aus wie echte Videos. Dadurch würden sie noch trügerischer wirken.
Nicht nur Unterhaltung
Als Beispiel für AI Slop führt AI Forensics Shrimp Jesus an, eine Mischung aus Meerestieren und Jesus, die vergangenes Jahr in den Feeds von Facebook-Nutzer*innen für Irritation sorgte. Zugleich habe AI Slop auch desinformative Elemente. So identifizieren die Forscher*innen eine Kategorie von AI Slop, die sie „synthetischen Bürger-Journalismus“ nennen. Gemeint sind etwa Videos von Explosionen, die wie Amateur-Clips aussehen, aber ebenfalls generiert sind.
Ähnlich irreführend würden KI-generierte Straßeninterviews wirken, die einen vermeintlichen Regierungssturz in Iran kommentieren. Auch Videos von Politiker*innen mit falschen Aussagen hat AI Forensics laut der Studie gefunden.
Kennzeichnung reicht nicht aus
Um diesem trügerischen Effekt entgegenzuwirken, schreibt die KI-Verordnung (AI Act) der Europäischen Union Plattformen in solchen Fällen eigentlich Transparenz vor: Sie müssen KI-generierte Inhalte kennzeichnen. Dabei stützt sich die KI-Verordnung auf das Gesetz über Digitale Dienste (Digital Services Act), das vorschreibt, dass große Plattformen gegen gesellschaftliche Risiken vorgehen müssen. AI Forensics weist darauf hin, dass auch die Kennzeichnung von KI-generierten Videos dazu zähle.
Sowohl TikTok als auch Instagram kämen der Kennzeichnungspflicht nicht nach, so die Studie. TikTok gibt die Verantwortung zur Kennzeichnung von KI-generierten Inhalten an Nutzer*innen weiter und verpflichtet dazu in ihren Guidelines. Das sei nicht verlässlich genug und auch die automatisierte KI-Erkennung funktioniere nicht lückenlos, so AI Forensics.
Von den als AI Slop identifizierten Videos auf TikTok war demnach nur rund die Hälfte als KI-generiert gekennzeichnet. Auf Instagram war es noch weniger mit 23 Prozent, obwohl auch Instagram Nutzer*innen zur Kennzeichnung verpflichtet und eine automatisierte KI-Erkennung einsetzt.
Zudem seien die Kennzeichnungen schlecht sichtbar gewesen: Auf TikTok wurden sie in einer langen Liste aus Hashtags versteckt und in der Instagram-Desktop-Version wurden sie gar nicht angezeigt. netzpolitik.org hat die Kennzeichnungen überprüft und kommt zum gleichen Ergebnis.
Verbreitung läuft automatisiert
Hinter der Verbreitung des AI Slops würden fast vollständig automatisierte Accounts stecken, so AI Forensics. 80 Prozent des AI Slops auf TikTok wurde demnach von Profilen hochgeladen, die generative KI-Werkzeuge einsetzten „für automatisierte Inhaltserstellung und schnelles, repetitives Testen von Plattformalgorithmen und Publikumsinteressen“. Diese Massenproduktion von Inhalten ziele darauf ab, Algorithmen auszuspielen und die Chancen für Videos mit einer hohen Reichweite zu erhöhen. AI Forensics sagt voraus, dass dieser Prozess mit der Hilfe von KI-Agenten vollständig automatisiert werden könne.
Die Studie fordert Plattformen auf, diese Art von automatisierten Accounts zu regulieren, um eine weitere Eskalationen und „Manipulationskampagnen“ zu verhindern. Auch sollen Plattformen sich an ihre Verpflichtungen zur Kennzeichnung von KI-generierten Inhalten halten und eigene Regelungen stärker durchsetzen.
Karoline Tanck ist von Juli bis September 2025 Praktikantin bei netzpolitik.org. Sie hat Digital Media und Soziale Medien und Informationssysteme an der Leuphana Universität Lüneburg studiert. Karoline interessiert sich besonders für digitale Gewalt, den Rechtsruck und die sogenannte Künstliche Intelligenz. Kontakt: E-Mail (OpenPGP). Dieser Beitrag ist eine Übernahme von netzpolitik, gemäss Lizenz Creative Commons BY-NC-SA 4.0.
DaTeNSCHuTZ
Sonja Lemke
Hubu.de
Hidir Çelik
PCQ consulting
Falk Steiner