🔥 Story:
Forschende der Universität Zürich haben im Reddit-Forum "ChangeMyView" KI-Bots für ein unethisches Experiment eingeschleust. Darunter fiktive Personas, wie

1.) ein männliches Vergewaltigungsopfer.
2.) eine PoC-Person die gegen die #Blacklivesmatter-Bewerung ist.

Das Experiment fand von Nov 2024 bis März 2025 statt, ohne Moderatoren und Community vorab zu informieren.

Reddit-User wurden damit massiv getäuscht.

Internationale Forschungscommunity ist entsetzt

https://dnip.ch/2025/04/28/reddit-user-mit-ki-bots-getaeuscht-das-fragwuerdige-experiment-der-universitaet-zuerich/

Reddit-User mit KI-Bots getäuscht- das fragwürdige Experiment der Universität Zürich - Das Netz ist politisch

Dank Hinweisen von mehreren aufmerksamen DNIP-Lesern haben wir am Wochenende von einem spannenden Fall erfahren:

Das Netz ist politisch
@adfichter Ich habs schon übers Wochenende geschrieben, aber als Forscher an der UZH war ich ziemlich bestürzt. Auf der anderen Seite leider aber auch nicht überrascht.
Wir bewegen uns in einem Umfeld, wo Forschenden (und Studierenden, leider) nun seit geraumer Zeit konstant eingebläut wird, dass es nichts wichtigeres gäbe, als Chatbots und Text-Generation zu erforschen.
Wenn ich Forschungspraktiken im Strudel dieses #aihype sehe (nicht nur an der UZH natürlich), sind diese aus meiner Perspektive negativ von der Ausrichtung der Forschungsgelder nach dem Hype und den apokalyptischen Narrativen der Tech-Unternehmen beeinflusst. Zugespitzt, die Gott-Maschine kommt, also ist fast alles zu ihrer Erforschung gerechtfertigt.
Dass es da Leute dann übertreiben, scheint mir die logische Konsequenz. Und aus meiner Erfahrung mit Einschätzungen zu digitalen Experimenten an unwissenden Teilnehmenden, wo das Forschungsteam argumentiert hatte, dass der potentielle Schaden ja minim sei, ist auch die Praxis im vorliegenden Fall durchaus konsistent dazu, was momentan als nicht bedenklich empfunden wird.

@mario_angst_sci @adfichter
Danke!
Ein Punkt der mir in deiner Auflistung fehlt: Der Druck aus dem Forschungsapparat, möglichst spektakuläre Resultate erzielen zu können oder in Hype-Themen aktiv zu sein. Das ebnet meiner Erfahrung nach den Weg zu Professuren oder Forschungsgeldern.

Die Preregistrations sind eigentlich ein gutes Mittel, um das zumindest einen Teil dieses Drucks aus dem Publikationszyklus herauszunehmen. Aber die Kräfte weiter hinten zeigen scheinbar weiterhin ihre Wirkung.

@marcel @adfichter Ich gehe mit dir da völlig einig. Wo ich vielleicht etwas einen Unterschied machen würde ist, dass das von dir erwähnte Problem aus meiner Sicht ein generelles Problem in der Forschung ist.
Bei AI-Themen kommt meiner Meinung nach noch stärker als in anderen Feldern spezifisch noch der Hype dazu, der zu einer übertriebenen Einschätzung der Wichtigkeit solcher Forschung führt, was wohl ein Grund dafür war, dass das Forschungsteam im vorliegenden Fall mit dem Nutzen ihrer Forschung zur Rechtfertigung ihres Vorgehens überhaupt argumentieren konnte.

@mario_angst_sci @adfichter
Laut Aussage der Medienstelle #UZH von heute morgen hat die #Ethikkommission der Philosophischen Fakultät Vorgaben gemacht. Die dann aber von den Forscher:innen in den Wind geschlagen wurden.

https://waldvogel.family/@marcel/114420970002870206

Marcel Waldvogel (@[email protected])

«In ihrer Stellungnahme zum Projekt wies die Ethikkommission der Philosophischen Fakultät die Forschenden darauf hin, dass die besagte Studie für die Kommission die grösste Herausforderung darstelle und daher a) der gewählte Ansatz stärker begründet werden sollte, b) die Teilnehmer so weit wie möglich informiert werden sollten und c) die Regeln der Plattform vollständig befolgt werden sollten.» Die Verantwortung zur Umsetzung liege bei den Forschenden. #UZH #Reddit #DNIP https://dnip.ch/2025/04/28/reddit-user-mit-ki-bots-getaeuscht-das-fragwuerdige-experiment-der-universitaet-zuerich/#Update-2942025-um-10-42-Stellungnahme-der-Universitaet-Zuerich

Das Federversum
@marcel @adfichter Ja, das Problem ist hier ja genau, dass die Ethikkommission nur Empfehlungen (ich würde da nicht von Vorgaben sprechen) machen kann (wenn das Vorhaben ausserhalb des Humanforschungsgesetzes fällt). Und wo ich schon glaube, dass der AI Hype hier eine Rolle spielte wäre meine Vermutung, dass es in einem Feld, wo dir konstant erzählt wird, wie wichtig deine Forschung sei, dann doch eben leichter fällt, die Empfehlungen zu ignorieren.
Schlussendlich ist die Kommission daher etwas, was ich nicht missen wollen würde, aber sie hat keine Zähne. Meine Vermutung wäre, dass man dies schon durch Uni-interne Regeln ändern könnte, wenn man wollte, bin aber da in den rechtlichen Möglichkeiten für solche Regeln zu wenig bewandert.
Was ich einfach nicht begreife: Ich habe nun kaum eine Person bis jetzt getroffen, die intuitiv nicht sofort dieses Studiendesign für fragwürdig hielt, ob in oder ausserhalb der Wissenschaft. Wie kam es dazu, dass die involvierten Forschenden da so völlig anders tickten? Und da muss man wahrscheinlich wieder auf deinen Punkt mit dem Druck in der Wissenschaft zurück denke ich.