Sabrina 🌻Aug 28, 2025
Martin Schwarzbeck
Menschen vertrauen ChatGPT intimste Informationen an. Dessen Hersteller scannt die Chats, lässt sie von Moderator*innen lesen und gibt sie teils sogar an die Polizei weiter. Das hat Open AI als Sicherheitsmaßnahme nach einem Suizid eines Nutzers verkündet. https://netzpolitik.org/2025/datenweitergabe-an-die-polizei-eure-chats-mit-chatgpt-sind-nicht-privat/
Datenweitergabe an die Polizei: Eure Chats mit ChatGPT sind nicht privat

Menschen vertrauen ChatGPT intimste Informationen an. Der Hersteller scannt die Chats, lässt sie von Moderator*innen lesen und gibt sie in bestimmten Fällen sogar an die Polizei weiter. Das hat das KI-Unternehmen Open AI als Sicherheitsmaßnahme nach einem Suizid eines Nutzers verkündet.

netzpolitik.org
Aug 28, 2025 at 10:25amWeb
Show threadmaexchen1Aug 28, 2025

@yoshiXYZ

Überraschung!

Show threadEskalator  Aug 28, 2025

@yoshiXYZ

Ihr glaubt mir gar nicht wie sehr ich nicht überrascht bin...

Show threadSepia FanAug 28, 2025

@yoshiXYZ

"Der #Chatbot habe dem Jugendlichen Methoden zur Selbsttötung empfohlen und angeboten, einen Abschiedsbrief für ihn zu verfassen."
via Spiegel: "Konkret soll #ChatGPT dazu geraten haben, eine Schlinge zu verstecken. Adam hatte zuvor gefragt, ob er sie nicht in seinem Zimmer liegen lassen solle, damit sie jemand findet, um ihn aufzuhalten."

Daß ChatGPT das nicht "merkt", ist schon übel. Eine Instanz, die Antworten auf fatale Inhalte prüft, sollte doch nicht schwer zu realisieren sein.

Show threadEveAustriaAug 28, 2025

@yoshiXYZ
Hm, was ist dran verwerflich, wenn (offenbar menschliche) Moderator*innen Gespräche über Attentate, Bombenbau, Giftmischerei etc. prüfen und bei ausreichendem Verdacht an die Polizei melden?

Warum sollte man solche Daten schützen?

Und sollte man psychisch Kranke (vor allem mit Psychosen oder Schizophrenize) wirklich mit künstlicher Dummheit allein lassen, die ihnen Selbstmordmethoden empfiehlt?

Gerade bei Chatbots und (a)sozialen Medien finde ich Moderation gut und wichtig...

Show threadFelix BeirauAug 28, 2025

@eveaustria @yoshiXYZ 1. Weil diese individuelle Einstufung nicht durch Privatunternehmen getroffen werden sollte und viel wichtiger 2., weil die technische Machbarkeit dieser Methode auch Missbrauch Tür und Tor öffnet.

Gerade bei Unternehmen wie OpenAI, die auf persönliche Rechte nicht viel geben und ungefragt Daten abgreifen (siehe Training von GPT), sollten die Alarmglocken hier unüberhörbar läuten.

Show threadEveAustriaAug 28, 2025
@fbeirau @yoshiXYZ
Was du, Felix Beirau, dann eigentlich fordern müsstest, wäre, dass Privatunternehmen gar keine "KI"-Chatbots mehr anbieten dürften (eigentlich eh die beste Lösung), weil Large Language Models an und für sich - mit oder ohne Moderation, Prüf-Bots, Polizeimeldung etc. - extrem viel Missbrauch ermöglichen und auch von Grund auf ungeniert zum Datenabgreifen konzipiert wurden...
Show threadFelix BeirauAug 28, 2025

@eveaustria @yoshiXYZ dem stimme ich zum Teil zu.

Hier hinkt meiner Betrachtung nach sozial- und umweltverträgliche Regulation leider weit hinter Milliardeninvestitionen und Hype hinterher. Zugleich wird sowohl von einigen wenigen und reichen agierenden Personen als auch politisch (siehe bspw. Gesetze bzw. Nachrichten bzgl. KI, „kritischen Rohstoffen“ oder Copyright in den USA) viel für diese Machtverschiebung getan.

Show threadderZeitreiser 🇪🇺🇩🇪🇯🇵🇬🇧Aug 28, 2025

@eveaustria @yoshiXYZ

"Warum sollte man solche Daten schützen?"
Weil sie dafür auch alles andere, womöglich Schützenswerte, lesen.

Und ich dafür die Polizei vor der Türe stehen habe, nur weil ich ein modernes Werkzeug benutze um als Autor zu erfahren, wie man realistisch eine Bombe baut oder wie ein behördlicher Einsatz ablaufen würde, sollte mal ein Attentäter eine solche unter dem Reichstag zünden.

Du siehst selbst: Das false Positiv kann extrem hoch sein.

1/x

Show threadderZeitreiser 🇪🇺🇩🇪🇯🇵🇬🇧Aug 28, 2025

@eveaustria @yoshiXYZ Und je nachdem, wo Du sitzt, kann das auch ganz andere Auswirkungen haben: In den USA zum Beispiel würde es in diesem Szenario die Polizei auf den Plan rufen, wenn ich mir ein Meme generiere, das sich über Trump lustig macht.

Da wird durch ein Privatunternehmen ein extrem hohes Mißbrauchspotential geschaffen.

2/2

Show threadEveAustriaAug 29, 2025

@derZeitreiser Das wirft psychologische und rechtliche Fragen auf...

Wenn es um mögliche Falschbeschuldigungen geht (trotz menschlicher Moderation und Übergabe zur Überprüfung an die Polizei?!), wer würde Gesetze, Gerichte, etc. ablehnen, weil dasselbe Risiko ins ganze Rechtssystem eingebaut ist?

Einige Verbrechen sind netz-spezifisch, können nur am Internet bestehen. Sollen die Daten von Kinderporno-Erstellern geschützt werden, damit diese unbehelligt noch mehr hilflose Kinder missbrauchen?

Show threadEveAustriaAug 29, 2025

@derZeitreiser

Oder geht's nur darum, dass das "Privatunternehmen" die Vorab-Prüfung der Daten übernimmt?

Sollten solche Plattformen also nicht mehr verpflichtet werden, selbst auch Mit-Verantwortung dafür zu übernehmen, dass/wenn sich auf ihren Angeboten Verbrechergruppen bequem weltweit vernetzen können und dort auch z.B. junge Leute rekrutieren und zu Mord, Selbstmord und so weiter überreden können?

Die Daten werden zudem der Polizei übergeben, und keiner Privatarmee von Tech Bros. ...

Show threadderZeitreiser 🇪🇺🇩🇪🇯🇵🇬🇧Aug 29, 2025

@eveaustria Sei so gut: Bleib beim Thema. Dein wortreiches Derailing ist mir echt zu plump.

Solltest Du das nicht schaffen oder auch nur ansatzweise die beschriebene Problematik erkennen, mangelt es Dir schlicht an thematischer Kompetenz.

Show threadEveAustriaAug 30, 2025
@derZeitreiser
Das einzige, was hier so richtig "plump" ist, ist dein knappes hingeworfenes "wer nicht meiner Meinung ist, kennt sich nicht aus"-Einschnappen mit persönlichen Unterstellungen, ohne ein einziges sachliches Argument...
Mit einem derlei abwertendem angriffigen Tonfall wirst du aber halt niemals jemanden von deinen Ansichten überzeugen können.
Show threadUwe CaspariAug 28, 2025
@yoshiXYZ Und die Inhalte fließen nochmal ins Training, sind also potentiell auslesbar durch andere Nutzer*innen.