@johartig Ergibt es nicht Sinn, beides zu untersuchen? Die Marktführer und den Stand der offenen Modelle? Technisch hinken die wirklich offenen und selbst die "open weight" (ohne offengelegte Trainingsdaten) soweit ich weiß eher hinterher (2-3 Jahre?). Finanzielle Ressourcen aber auch das verfügbare Trainingsmaterial spielen dabei eine Rolle.
Speziell aus Bildungssicht könnte man sich vielleicht wünschen, dass die Lehrenden selbst offene Modelle nutzen und dies den Schülern auch beibringen. Allerdings sollten sie vielleicht dennoch wissen, wie raffiniert die Antworten sind, die die schummelnden Schüler*innen bzw. Student*innen so einreichen...
@katsimir Wenn ich eine kommerzielle Software, deren Funktion völlig intransparent ist, "untersuche", mache ich IMHO Produkttestung und keine wissenschaftliche Forschung. Ein Software-Produkt ist kein Forschungsgegenstand der Bildungsforschung. Und unabhängig davon gibt es ethische / politische Gründe, spezifische Produkte nicht zu verwenden, auch wenn es gerade das billigste / bekannteste / "beste" auf dem Markt ist. Ich hatte v. a. auf den zweiten Punkt abgezielt.
@johartig Das Benchmarking/seriöse Vergleichen von KI-Modellen ist wohl leider so komplex, dass die üblichen Produkttester wie Zeitschriften oder Stiftung Warentest daran scheitern. Und natürlich haben die kommerziellen Anbieter selbst auch ein Interesse dran, selbst immer als die Führenden dazustehen, beschönigen also in eigenen Tests.
Deshalb fände ich es grundsätzlich nicht schlecht, wenn neutrale Wissenschaftler Testmethoden entwickeln und Ergebnisse veröffentlichen.
Entscheider in der Politik, Militär, aber auch Forschung und Unternehmen sind ja schon dabei, diesen Modellen alles mögliche - bis zur Entscheidung über Leben und Tod - anzuvertrauen.
Ich sehe aber ein, dass dies vielleicht nicht in den Bereich Bildungsforschung gehört. Beim Punkt Ethik usw. sind wir einer Meinung.
Wir probieren gerade Qwen 3 auf ChatAI für Bilddaten aus
https://academiccloud.de/de/services/chatai/
Dort finden sich auch jede Menge anderer Modelle. Hope this helps to find alternatives...
Longwei Cong hat auf der GEBF auch einen Modellvergleich vorgestellt, aber dann wird's schnell technik-lastig.
Johannes Hartig
katsimir
Sonja Hahn