Googles "Übersicht mit KI" ist fehlerhaft, intransparent und bald Standard. Was das für unsere Demokratie bedeutet, zeigt die Abstimmung zur 10-Millionen-Schweiz.
Meine neue Freitagskolumne für #dnip über die Untersuchungen von @algorithmwatch_ch & der Agentur Feinheit.
Ohne die Resultate in Frage stellen zu wollen, zwei Fragen, da ihr ja an der Quelle sitzt:
1. Im Kontext von Suchanfragen zu Abstimmungen ist seit längerem bekannt, dass es auch einen User-Input-Bias gibt (Befürworter fragen nach Vorteilen und umgekehrt, z.B. „Vorteile CO2-Gesetz“, valenzhaltige Anfragen). Wurde das berücksichtigt?
2. Bereits zur Abstimmung über das Klimaschutzgesetz 2023 wurde herausgefunden, dass identische Suchanfragen auf Deutsch, Französisch und Italienisch teilweise unterschiedliche Quellen und unterschiedliche politische Akteure sichtbar machten (Makhortykh et al. 2024). Das scheint mir also kein spezifisches KI-Problem zu sein, sondern betrifft Suchresultate allgemein. Habt ihr nur die KI-Antworten ausgewertet, oder auch die organischen Resultate?
Danke für deine guten Fragen und die Geduld!
1. Ja, das wurde insofern berücksichtigt, als dass wir verschiedene Framings für unsere Suchanfragen verwendet haben, die auch Framings von Gegner*innen bzw. Befürworter*innen widerspiegeln sollen (etwa "chaos initiative" ggü. "nachhaltigkeitsinitiative"). Dabei haben wir auch Suffixe angehängt, die eher von Befürworter*innen bzw. eher Gegner*innen verwendet werden würden, z. B. "pro" oder "kontra".
1/3
In unserem Dashboard (https://restricted-overview.algorithmwatch.ch/) kannst du die Resultate nach genau diesen Kriterien filtern und siehst damit auch wie sich beispielsweise die in den KI-Übersichten zitierten Links verändern, wenn das Pro- oder Kontra-Framing verwendet wird.
2/3
2. Viele Herausforderungen, die wir bei KI-Übersichten sehen, bestehen in der Tat schon länger. Allerdings wird dies durch die KI-Übersichten häufig noch verstärkt.
Die organischen Resultate haben wir bisher nicht ausgewertet, evtl. werden wir dies in der weiteren Analyse noch machen.
Weiterführende methodische Erläuterungen findest du übrigens hier: https://algorithmwatch.ch/en/ai-summaries-on-the-10-million-initiative/
3/3
As part of the “RAISD” research project, AlgorithmWatch CH and the Department of Informatics at the University of Zurich examined how the AI-generated responses from Google and Bing portrayed the debate surrounding the 10-million initiative and which sources they used for this purpose. In this article, we explain our methodological approach.
Reto Vogt
Michael Gisiger 
AlgorithmWatch CH