DigitalcourageIm Europäischen Parlament werden gerade Änderungsanträge zum KI-Gesetz (#AIAct) verhandelt. Aktuell geht es insbesondere um das Thema #Emotionserkennung. Das ist eine Technologie, deren wissenschaftliche Basis höchst umstritten ist, die aber gefährliche Anwendungsfälle hat. Dazu gehört z.B. die Anwendung von „KI“ für eine neue Generation an „Lügendetektoren“ (sogenannte „KI-Polygraphen“). Der Einsatz von Lügendetektoren ist in Deutschland bislang als rechtsstaatlich nicht vertretbar anerkannt, könnte auf diesem Umweg aber erneut zugelassen werden. Nachfolgend wollen wir das Thema und unsere Position dazu genauer erklären (längerer Thread) …
Unabhängig von der Frage, ob KI-Systeme tatsächlich auf unseren emotionalen Zustand schließen können, ist deren Einsatz ein inakzeptablen Eingriff in unser privates Geistesleben und untergräbt unser Rechte auf Privatsphäre. Wenn Sicherheitskräfte Emotionserkennung nutzen, um potenziell „aggressive“ Personen in Menschenmengen oder bei Protesten zu erkennen und diese Personen proaktiv festzunehmen, bevor sie eine aggressive Handlung begangen haben, spielt es keine Rolle, ob die Schlussfolgerung fehlerhaft war oder nicht; die Folgen sind real und untergraben unsere Rechte auf Meinungs- und Versammlungsfreiheit.
Inakzeptable Emotionserkennungssysteme werden leider bereits eingesetzt, auch in der EU:
- gegen Geflüchtete an europäischen Außengrenzen: https://www.accessnow.org/eu-ai-act-migration/
- In China, zur Überprüfung der Loyalität von Parteimitgliedern: https://www.biometricupdate.com/202207/china-develops-face-biometrics-ai-tool-to-test-party-member-loyalty
- … oder gegen die Gruppe der Uiguren: https://www.bbc.com/news/technology-57101248
- … oder zur Emotionserkennung bei Schulkindern in Hongkong: https://edition.cnn.com/2021/02/16/tech/emotion-recognition-ai-education-spc-intl-hnk/index.html
- Oder als „intelligente Videoüberwachung“ von Siemens in Zügen um Sitzplätze zu überwachen und „aggressives Verhalten“ in Zugwagons automatisiert zu erkennen und zu melden. Das wurde laut Siemens bereits in Deutschland und Österreich eingesetzt, z.B. durch „‘Versteckte’ Kameras in den Anzeigen des Fahrgastinformationssystems“: https://www.mobility.siemens.com/global/de/portfolio/schiene/fahrzeuge/digitaler-zugbetrieb/intelligente-videoueberwachung.html
Wir empfehlen nachdrücklich, ein Verbot von Emotionserkennungssystemen, einschließlich „KI-Lügendetektoren“, in Artikel 5 des KI-Gesetzes aufzunehmen. Insbesondere auch bei folgenden Anwendungsfällen:
- Bei der Erbringung von staatlichen Leistungen, wie z.B. Anträgen auf Wohngeld;
- Arbeitgeber.innen, die damit am Arbeitsplatz Arbeitnehmer.innen überwachen um sie damit zu beurteilen, einzustufen oder zu kontrollieren;
- in Bildungseinrichtungen um damit Schüler.innen und Lehrer.innen zu überwachen und sie damit automatisiert zu beurteilen und zu kontrollieren.
In Fällen, bei denen Emotionserkennung zur medizinischen Anwendung ausnahmsweise erlaubt werden kann, muss dies unter Kriterien erfolgen, die eine sinnvolle und verhältnismäßige Anwendung gewährleisten. Dazu gehört:
- alle betroffenen Gruppen und relevanten Expert.innen bei der Entwicklung einbinden, einschließlich Patient.innenverbänden und Datenschutzexpert.innen;
- Systeme müssen wissenschaftliche und klinische Validität nachweisen;
- klare Hinweise auf die Grenzen solcher Technologien und ihre potenziellen Risiken, die aus der Fehleranfälligkeit der Systeme resultieren;
- in einer Weise entwickelt und eingesetzt werden, die die Rechte aller Personen, die davon betroffen sein könnten, respektiert.
Wenn ein System nicht so entwickelt werden kann, dass es alle Kriterien erfüllt, dann sind die Risiken inakzeptabel, und es muss durch das KI-Gesetz verboten werden.
Die Hohe Kommissarin der Vereinten Nationen für Menschenrechte, Michelle Bachelet, hat in ihrem Jahresbericht 2021 davor gewarnt, dass Emotionserkennung, z. B. um Personen für Polizeikontrollen oder Verhaftungen auszusondern oder den Wahrheitsgehalt von Aussagen bei Verhören zu bewerten, unsere Menschenrechte verletzen kann.
Auch der europäische Datenschutzbeauftragte und der Ausschuss der Datenschutzbeauftragten der Mitgliedsstaaten der EU haben vor der Verwendung von „KI“ zur Ableitung von Rückschlüssen auf Emotionen von Menschen gewarnt und ein Verbot im KI-Gesetz gefordert. Die Abgeordneten im Europäischen Parlament sollten diese Warnungen aus Zivilgesellschaft und Fachbehörden ernst nehmen und die Menschen in der EU vor der gefährlichen Emotionserkennung schützen.
Außerdem wollen wir noch an die anderen Stellen erinnern, an denen der Gesetzesentwurf nachgeschärft werden muss. Wir fordern Lücken im geplanten Verbot biometrischer Massenüberwachung zu schließen: bisher soll nur die Identifizierung anhand biometrischer Daten zur Echtzeit-Überwachung an öffentlichen Plätzen verboten werden. Retrograde (zeitlich nachgelagerte) Überwachung ist aber genauso gefährlich. Außerdem sind bisher zu viele Ausnahmen vorgesehen und das Verbot soll sich nur auf Strafverfolgungsbehörden beziehen. Dabei haben Unternehmen wie Clearview AI in der Vergangenheit gezeigt, dass wir uns auch vor dem Missbrauch biometrischer Daten durch private Überwachungsakteur.innen schützen müssen. Die Bundesregierung hat sich im Rat der EU dafür engagiert die vorgesehenen Ausnahmeregelungen beizubehalten – entgegen dem konsequenten Verbot, dass sie im Koalitionsvertrag der Ampel versprochen hat. Hier ist die Position des Europäischen Parlaments daher umso wichtiger.
mdarge@digitalcourage wie schon bei der Überwachung durch Menschen schätze ich die Echtzeitüberwachung sogar als weniger bedrohlich ein als die retrograde, der ja viel mehr Rechenleistung zur Verfügung steht. Noch bedrohlicher sind private Betreiber, denn deren Datensätze sind nur schwer zu kontrollieren. Es gab ja bereits einen Anbieter, der Google-Bilder auswertete.
Kevin Karhan 
@digitalcourage ich sehe keinen Grund entsprechende "#Emotionserkennung" nicht zu verbieten.
Vorallem weil es eine non-consensual Technologie ist deren Nutzung mehr Missbrauchspotenzial denn gutes hat.
@digitalcourage #Frontex gehört als Terrororganisation verboten!
skellig@digitalcourage Hat nicht Microsoft so ein Patent vor ein paar Monaten gekauft um es in MS-Teams zu integrieren?
@skellig Interessanterweise hat Microsoft selbst in der Vergangenheit (teilweise) einen Rückzieher gemacht und auf die Risken verwiesen und darauf, wie wissenschaftlich fragwürdig Emotionserkennung ist. /K
Siehe: https://netzpolitik.org/2022/ethik-der-biometrie-microsoft-gesteht-missbrauchsgefahr-von-gesichtserkennung-ein/
Siehe: https://netzpolitik.org/2022/ethik-der-biometrie-microsoft-gesteht-missbrauchsgefahr-von-gesichtserkennung-ein/
@digitalcourage #Microsoft #Datenschutz Ich glaube es war Mitte des letzten Jahres, als sie ein Patent zur Erkennung und Analyse von Mimik und Gestik in Videochats eingereicht haben, mit dem Ziel es in Teams zu integrieren. Das ist doch letztendlich nichts anderes als die Analyse von Emotionen. Was macht das mit Menschen wenn sie befürchten müssen eine KI analysiert permanent im Hintergrund das Aussehen, Auftreten und Verhalten. In so eine Welt möchte ich nicht leben.
transform-social@digitalcourage und ableistisch ist das auch. Nicht alle drücken Emotionen gleich aus.