Ich glaube, das ist ein neuer Rekord in #AIslop:
Von sieben Quellen in einem studentischen Bericht sind sechs fragwürdig, haben falsche Autor*innen, etwas andere Titel, falsche Jahresangaben oder sind einfach komplett erfunden.
Abschlussarbeiten und Projekte an Universitäten zu betreuen, heißt aktuell leider, alle Zitate und jede Literaturreferenz ständig und immer in Frage zu stellen.
Ja, das stimmt. Solche Grenzfälle sind immer schwierig und erfordern viel Abwägen. Dann muss man sich auch den Rest der Arbeit anschauen und dort ebenso nach Ungereimheiten, potentiellen Fehlern sowie AI Slop suchen, was zeitaufwendig ist.
Bei uns ist es nach der Studien- und Prüfungsordnung leider vorgesehen, ein*e Student*in nur dann zur mündlichen Verteidigung zuzulassen, wenn die Arbeit vorher mindestens mit "ausreichend" bewertet wurde.
Man kann die Leute in solchen Grenzfällen also nicht einfach so zu einer Verteidigung einladen, um sie sich dann dort um Kopf und Kragen reden zu lassen, weil die schriftliche Arbeit dafür ja schon bestanden sein muss und die Kandidat*innen in diesem Fall nur das Kolloquium nicht bestehen und einmalig wiederholen dürfen.
Dann müssen die Leute danach schon extrem unreflektiert sein, um ein zweites Mal durch das Kolloquium zu fallen, obwohl die Arbeit immer noch potentiell murksig ist.
Typischerweise suche ich bei Verdacht erst mal ein bisschen "von Hand" in den fachspezifischen Literaturdatenbanken.
Zur Automatisierung haben wir im WIki der Arbeitsgruppe E-Learning der @uni-magdeburg.de auch einige Werkzeuge zur Prüfung gesammelt:
https://wikis.ovgu.de/elearning/doku.php?id=ki#ki-erkennung_mittel_zerogpt
Real or Fake - Help you check if the provided references are real or fake: https://chatgpt.com/g/g-69b5afe0d8e88191a54b34cc002df62a-realorfake
CiteTrue: https://citetrue.com/de
BibSafe: https://www.bibsafe.com/
@MMagdowski
Uff. Klausuren/Arbeiten korrigieren macht ja eh schon nur selten Spaß, aber das ist echt heftig.
Habt Ihr bei Euch Software im Einsatz, die sowas automatisiert findet?
Ja, siehe: https://bildung.social/@MMagdowski/116307228805783679
Außerdem nutzen wir Turnitin Similarity Check für die klassische Plagiatskontrolle und die Erstellung eines "KI-Schreibberichts", der aus meiner Sicht aber relativ wenig Aussagekraft besitzt.
Das ist aus meiner Sicht auch ohne Erklärung zur LLM-Nutzung ein eindeutiger Täuschungsversuche bzw. ein Fall von wissenschaftlichem Fehlverhalten und ein Verstoß gegen die akademische Integrität.
In einem solchen Fall machen wir auch gar keine Verteidigung. Was soll dort sinnvolles passieren?
Es ist eben nicht immer eindeutig, manchmal sind nur sehr wenige Quellen zu beanstanden. Wo zieht man da die Grenze? Kaputte Quellenangaben gab es auch schon ohne KI.
Daher dient das Kolloquium dazu festzustellen, wie viel von der Arbeit eine eigenständige Leistung ist und das dann entsprechend zu bewerten (oder abzuwerten). So machen wir das zumindest momentan bei Bachelorarbeiten.
Naja, der vorliegende Fall mit 6 fragwürdigen von 7 Quellen ist aus meiner Sicht schon sehr eindeutig durchgefallen.
Ich habe aber auch gerade einen Fall, wo nur eine Quelle von 21 Referenzen etwas "fishy" ist (Titel nicht korrekt, Journal falsch und erfunden, Jahr stimmt nicht).
Was macht man dann? Trotzdem durchfallen lassen? Bis zur Bestehensgrenze abwerten? Den Titel einer wissenschaftlichen Zeitschrift zu erfinden ist aber trotzdem kein Versehen und kein Kavaliersdelikt.
Hier ist das besprochene Beispiel einer halluzinierten Literaturquelle:
[5] B. Taylor, P. Eastwood, and B. L. Jones, “Low-cost embedded systems for control and automation education,” European Journal of Control and Automation Education, 2015. [Online]. Available: https://www.scilab.org/https://www.sciencedirect.com/science/article/pii/S1474667015341021
korrekter Link: https://www.sciencedirect.com/science/article/pii/S1474667015341021
Titel falsch, Jahr falsch, Zeitschritenname falsch und erfunden
Ein Fall zum Durchfallen oder ein Beispiel zum Bestehen?
Ja, aber in diesem Fall existieren die Quellen ja wirklich, nur eben hinter einer Bezahlschranke.
Man könnte diese dann als Lehrperson selbst über Umwege (Sci, hüstel, Hub, hüstel) herunterladen oder die/den Student*in selbst danach fragen, wie sie/er sich diese Literatur besorgt hat.
Wenn man als Student*in seine Prüfer*innen in die Bredouille bringen möchte, sollte man dann im MINT-Bereich einfach irgendwelche DIN-, IEC- oder ISO-Normen zitieren. Da kommt man nämlich ohne weiteres nicht so einfach heran. 😉
Bei mir war es "Pädagogische Psychologie" und einige Arbeiten der etwa 18 Studis im Seminar waren geradezu unheimlich ähnlich ( ich habe schon gedacht, dass die einfach dieselben Prompts genommen haben?) und bei einer Arbeit, und die habe ich dann auch durchfallen lassen, waren von 31 Quellen die Hälfte nicht existent und die andere Hälfte hatte nicht den Inhalt, der durch die Zitation gestützt werden sollte 🤦
Das Phänomen ist natürlich nicht neu, aber es tritt in den letzten etwa zwei Jahren schon deutlich häufiger auf als davor.
Das Internet ist ja auch voll von Werbung für entsprechende Dienstleistungen, zumindest für die Zielgruppe: https://bildung.social/@MMagdowski/115065318132359221
Ja, natürlich. Trotzdem ist es halt schade, um die ganze Arbeit, die man vorher mit den Studierenden hatte, z.B. allein in Bezug auf die Administration (Themensuche, Aufgabenblatt erstellen, Termine für Besprechungen vereinbaren, Gliederungen, Zwischenversionen und Entwürfe begutachten, Feedback geben, ...).
Am Ende ist der ganze Aufwand (zumindest gefühlt) für die Tonne, nur weil ein*e Student*in beratungsresistent ist.
Mathias Magdowski
warumms
JayJay 🦄🦆 #Terraner
Toni
Christian Lins
David Lohner
Claus Wilcke
Marcus Rohrmoser 🌻
hannes99
scotty86 🇺🇦🕊️