Adrian Salamon 🇪🇺
Anatol StefanowitschIch bin froh über die Entscheidung meines Instituts, die Verwendung sogenannter KI-Tools in Studien- und Prüfungsleistungen vollständig zu verbieten. Keine „Prompt-Kompetenz“, kein „Man muss die KI nur *richtig* einsetzen“, kein „Wir können uns dem nicht verschließen“, sondern die einfache Erkenntnis, dass „KI“ das Gegenteil von dem ist, was unsere Studierenden lernen sollen. https://www.geisteswissenschaften.fu-berlin.de/we06/lehre_und_studium/Studium/Hinweise-zu-Hausarbeiten-und-Pruefungsleistungen/index.html
Ich bin auch stolz auf meine Kolleg_innen, die sich von dem Hype, der auch die Universitäten (inklusive unserer) erfasst hat, zu Nichts hinreißen lassen haben. Stattdessen haben wir das lange und gründlich diskutiert, und die Grundsatzentscheidung gegen KI ist dann institutsweit (Professor_innen und Mittelbau) mit nur einer einzigen Gegenstimme gefallen.
Tatsächlich sind wir uns im Zuge der Diskussion einig geworden, dass „generative KI“ das Gegenteil von allem ist, wofür die Geisteswissenschaften stehen — und mit „wir“ meine ich tatsächlich Literatur-, Kultur- und Sprachwissenschaftler*innen. Wer eine Philologie studiert hat, weiß, wie selten eine solche Einigkeit ist... ChatGPT hat uns geholfen, uns auf unsere Gemeinsamkeiten zu besinnen — und da sagen alle, KI hätte keine positiven Auswirkungen!
Weil im Thread mehrfach nach Möglichkeiten der Überprüfung gefragt wird (seht auch meine Antworten dort), hier ein wichtiger Gedanke: Es geht nicht vorrangig darum, Studierende im Nachhinein zu überführen, sondern darum, sie von vornherein davon abzuhalten, überhaupt „KI“ zu verwenden. Das geht manchmal mit sehr einfachen Mitteln:
Zum Beispiel, indem man sprachliche Korrektheit nicht in die Note einbezieht. Die Studierenden bekommen Feedback zu ihren Fehlern, aber keinen Punktabzug — schon gibt es keine Motivation mehr, den Text vor der Abgabe durch eine „KI“ korrigieren zu lassen. Oder, indem man weniger die Ergebnisse und mehr den Weg dahin zum Prüfungskriterium macht — schon ist es weniger attraktiv, ein KI-generiertes „Endprodukt“ abzugeben, weil man den Weg dahin sehr aufwändig fälschen müsste.
Ingo Stützle@astefanowitsch Schöne Überlegungen! Zumal sie auch zum Ausdruck bringen, wie Lernprozesse vonstatten gehen (hoffentlich habe ich alles richtig geschrieben)
@ingo _vonstattengehen_ wird seit 2004 als ein Wort geschrieben, aber dafür ziehe ich keine Punkte ab!
Björn Gohla@astefanowitsch @ingo says who?
Enno Park@astefanowitsch Applaus. In der Informatik gibt es durchaus ähnliche Stimmen, auch wenn die einen schweren Stand haben. Wie halten es andere philologische Institute? Seid ihr da eher Regel oder Ausnahme? Und wie denkst du über KI-Einsatz bei großen Datenmengen, etwa in der Korpuslinguistik?
@ennopark Als Institut sind wir in unserer Geschlossenheit die Ausnahme, aber viele Kolleg_innen sehen es natürlich wie wir. Über den Einsatz in der Forschung haben wir im Institut nicht diskutiert und wollen das zunächst auch nicht tun. Mir ist bisher aber kein sinnvoller (oder auch nur am Rande plausibler) Einsatz von generativer KI in der Forschung begegnet — höchstens mal, dass man eine Datei von csv in json konvertiert, aber das konnten wir ja vorher auch ohne KI...
Giliell@astefanowitsch In der Schule erstellen meine Kids gerade Präsentationen. Sie müssen ihre Quellen auch durch Screenshots belegen.
Keine Punktabzüge in der Fremdsprache ist allerdings etwas unrealistisch
Keine Punktabzüge in der Fremdsprache ist allerdings etwas unrealistisch
@Giliell Das ist nur deshalb unrealistisch, weil die Schulen an einer überholten Vorstellung von Sprachverwendung und Sprachenlernen festhalten, und weil sie nicht berücksichtigen, dass Fremdsprachenunterricht etwas qualitativ völlig anderes ist als andere Schulfächer. In einem modernen Fremdsprachunterricht, der sich an kommunikativen Kompetenzen orientiert, sollten sprachliche Fehler tatsächlich nicht zu (nennenswerten) Punktabzügen führen!
@astefanowitsch Sehe ich anders. Sprachliche Fehler sind auch kommunikative Kompetenz. Ich rede nicht von dem Rechtschreibfehler, der hier und da mal passiert oder typische Inkongruenz bei gesprochener Sprache. Wenn Rechtschreibung und Grammatik völlig egal sind, warum gibst du selbst dir denn offensichtlich Mühe damit?
@Giliell Ich sage nicht, dass sie egal sind, sondern, dass sie als Bewertungskriterium im Fremdsprachenunterreicht ungeeignet sind. (Ich glaube, man lernt sie auch besser durch positives Feedback und positive Vorbilder als durch Angst vor schlechten Noten, aber das wäre noch mal ein anderes Thema).
@astefanowitsch Ich habe gerade keine Ahnung, worauf du hinaus willst. Schulsystem niederbrennen, bin ich dafür. Noten sind doof, auch gut. Aber ich kann die Sprachrichtigkeit nicht von der kommunikativen Kompetenz entkoppeln.
warumms@Giliell @astefanowitsch Super Idee mit den Screenshots!
@JHedtke @astefanowitsch Hat trotzdem einer diskutiert, dass "Übersicht mit KI erstellt " keine KI Nutzung wäre, weil er nicht in KI Modus war...
Cerstin Mahlow@astefanowitsch Das setzt alles voraus, dass „die KI“ eine eigenständige zusätzliche Anwendung ist, die man explizit starten und benutzen muss. Oder dann eben nicht benutzen darf
Je mehr integriert wird, und nicht als Feature, sondern ständig im Hintergrund laufend, desto schwieriger. Mini-Beispiel: was machen mit der Literaturrechrche, wenn das Suchsystem der Hochschulbibliothek ein angepasstes LLM in die Keyword-Suche integriert? Wenn das Repositorium generierte Zusammenfassungen anbietet?
@CerstinMahlow In dem Beispiel geht es ja eher schon darum, die Studierenden vor diesen Technologien zu warnen und ihnen beizubringen, sie zu umgehen. Bei der Literaturrecherche muss man wieder stärker auf traditionelle Methoden der Erschließung setzen, oder sich eben durch den KI-generierten Ergebnis-Müll wühlen. Bei den Zusammenfassungen kann man den Studierenden wenigstens recht leicht zeigen, wie schlecht die sind und wie wenig Sinn es hat, sich auf sie zu verlassen.
@CerstinMahlow Wie unser Statement zeigt, ist die Recherche ja explizit einer der Bereiche, in denen wir die KI nicht erlauben, aber da kämpfen wir auch durchaus gegen die eigene Uni-Bibliothek, die eine KI in den Bibliothekskatalog integriert hat. Im Moment muss die wenigstens noch explizit aktiviert werden...
@astefanowitsch Ja, genau das meine ich: es ist einfach irgendwo drin, man kann dem nicht ausweichen
@CerstinMahlow Ich würde eher sagen: Es ist immer mehr Reflexion und Aufwand nötig, um dem auszuweichen, aber noch kann man es. Und man kann es um so besser, je mehr man an eigenen Fertigkeiten erwirbt — wer eine gute Zusammenfassung schreiben kann, erkennt, wie schlecht die KI-Zusammenfassungen sind, wer selbst in der Lage ist, relevante Literatur zu erschließen, erkennt, was für eine beliebige Zusammenstellung einem eine KI-gestützte Suche liefert, usw.
@frueheneuzeit@astefanowitsch wie soll das überprüft werden?
@stefan_hessbrueggen Durch andere Prüfungsformen (mündl. Prüfungen, Fachgespräche, Klausuren), durch Dokumentation von Zwischenschritten bei schriftlichen Arbeiten und durch sorgfältiges Lesen (ist ja nicht so, als ob wir den LLM-Output nicht von dem unterscheiden könnten, was Studierende selbst produzieren). Diese Probleme betreffen aber nicht speziell uns, sondern auch Institute, auch die, die den Einsatz von KI für bestimmte Zwecke zulassen.
Claus Wilcke@astefanowitsch
Wenn schriftliche Arbeiten, daheim verfasst, wegen KI- Gebrauch/Missbrauch nicht mehr eingesetzt werden sollen, wie wird dann geprüft? Rigorosum everybody?
Wenn schriftliche Arbeiten, daheim verfasst, wegen KI- Gebrauch/Missbrauch nicht mehr eingesetzt werden sollen, wie wird dann geprüft? Rigorosum everybody?
@cwilcke Wir haben tatsächlich eine Grundsatzdebatte über ein radikales Umdenken bei Prüfungsformen begonnen — wir werden die Rolle von Hausarbeiten in Zukunft mindestens stark einschränken und mehr Prüfungsformen mit Präsenz und/oder Dokumentation von Zwischenergebnissen einführen. Da hier Prüfungsordnungen geändert werden müssen, wird das aber etwas länger dauern; in der Zwischenzeit justieren wir schon einmal die Bewertungskriterien so, dass der Einsatz von KI unattraktiver wird.
Yves Jeanrenaud
Cifer@astefanowitsch @cwilcke Klingt soweit gut und sinnvoll. Das Problem mit den Studierenden, die mit Prüfungssituationen in Präsenz schlechter zurechtkommen, habt ihr sicher auch im Blick?
@Teskariel Die haben wir ja auch jetzt bei Präsenzprüfungen im Blick. Die Betroffenen haben normalerweise einen Nachteilsausgleich, der solche Situationen regelt (zum Beispiel durch zusätzliche Zeit bei der Vorbereitung und/oder der Prüfung selbst, durch die Bereitstellung von Räumen, in denen sie alleine sitzen können, durch vorherigen Aufbau von Vertrauen zwischen Prüfling und Prüfer_in usw.). @cwilcke
@astefanowitsch @cwilcke Ach, cool, was es da alles gibt!
wortezimmer@astefanowitsch
Schön zu lesen, dass es so etwas auch gibt. Man bekommt ja den Eindruck, dass alle sich, wenn nicht auf sogenannte KI stürzen, doch zumindest damit arrangieren.
Schön zu lesen, dass es so etwas auch gibt. Man bekommt ja den Eindruck, dass alle sich, wenn nicht auf sogenannte KI stürzen, doch zumindest damit arrangieren.
@wortezimmer Ja, ich bin völlig glückselig — in meinem Arbeitsbereich machen wir das schon länger so, aber dass ein ganzes Institut (das in vielen anderen Bereichen intern sehr unterschiedliche Meinungen hat) sich darauf einigen kann, hätte ich nie gedacht! Wir sind am Fachbereich das erste und bisher einzige Institut mit einer so klaren Position (wir bekommen auch schon Gegenwind, aber da wir uns einig sind, kann der ruhig kommen)!
Lappenjammer@astefanowitsch Ich freue mich sehr über Eure klare Haltung!
Bindestrich@astefanowitsch ich vermisse eine Definition von KI Tools. Ist die Word Rechtschreib Prüfung mit gemeint? Nutzen von modernen OCR tools die alle mit neuronalen Netzen arbeiten?
@Bindestriche Eine reine Rechtschreibprüfung auf Wortebene wäre wohl geduldet, eine weitergehende sprachliche Prüfung (mit Grammatikprüfung, Paraphrasierungsvorschlägen usw.) auf jeden Fall nicht (bei OCR bin ich mir nicht sicher, inwiefern das Scannen eines Dokuments Teil einer Studien- oder Prüfungsleistung sein könnte). Das Verbot ist absichtlich sehr breit gefasst, damit Studierende sich im Zweifelsfall eine explizite Erlaubnis bei uns einholen.
@Bindestriche Ich würde nicht ausschließen, dass wir in Zukunft stärker differenzieren — im Kern geht es uns als Philologie natürlich um LLMs und ähnliche Anwendungen, die Aufgaben wie die in unserem Statement aufgeführten übernehmen (bzw. vorspiegeln, das zu tun), allgemeiner um alles, was man als „generativ“ bezeichnen könnte, also um alles, was Leistungen des menschlichen Geistes simuliert.
@astefanowitsch Unsicherheiten bei Prüfungsmodalitäten sollten klein gehalten werden. Aber sicherlich wird sich schnell eine Liste üblicher Tools finden die dann bewertet werden. Zur Frage: Geschichte insb. Mittelalterwissenschaften kann das entziffern und auswerten alter Handschriften zum Inhalt haben. Sehbehinderte könnten verunsichert sein welche Hilfsmittel noch erlaubt sind. Aber das wird sich finden. Grundsätzlich finde ich das gut.Läufer dürfen auch keine Fahrräder beim Sporttest nutzen
@Bindestriche Was das Beispiel mit dem Entziffern von Handschriften betrifft, das ist für unser Fach nicht sehr relevant, aber ein gutes Beispiel dafür, warum wir den KI-Einsatz verbieten: Studierende müssen ja lernen, Handschriften zu entziffern, also ist es sinnlos, ihnen dafür die Benutzung einer KI zu erlauben. Wenn sie es erst einmal können, können sie später auch die Ergebnisse solcher KIs kritisch überprüfen (so steht es ja allgemein in unserem Statement).
@Bindestriche Das Beispiel mit Sehbehinderungen (oder anderen Einschränkungen) ist ein eigenes Thema — die betroffenen Studierenden beantragen Nachteilsausgleiche, in denen steht, wo sie welche zusätzlichen Hilfsmittel verwenden dürfen. Das ist schon jetzt so, und das wird auch bei KI-Tools der Fall sein. Über diese Ausgleiche entscheiden aber (aus guten Gründen) nicht die Institute und die Lehrenden, sondern Leute, die sich mit so etwas auskennen!
@astefanowitsch so sollte es im Idealfall wohl sein, ich kenne leider einen fall aus Karlsruhe wo im wesentlichen die dozis die Form des Nachteilsausgleiches entschieden haben. Ob das so korrekt war weiß ich nicht. Der Studie wollte dann nicht klagen
@astefanowitsch genauer lesen hätte geholfen es steht ja "Daher werden KI-Tools auch für die Literaturrecherche, die Strukturierung der Arbeit und ihre sprachlich-stilistische Überarbeitung ausgeschlossen."
@astefanowitsch Grammarly und Antidote, als „reine“ Korrekturprogramme bekommt man ja gar nicht mehr ohne GenKI, Zeug in MS-Word muss man explizit deaktivieren, wenn man es denn überhaupt kann und nicht Rückmeldungen einfach nur ignorieren muss. Wie realistisch ist so ein Verbot gegeben das generelle Vorhandensein überall? @Bindestriche
fedithom@astefanowitsch super!
Michael Giesler@astefanowitsch rein interessehalber: welches Problem löst man denn durch das Verbot dieses Werkzeuges?
Ich mein, gerade im geisteswissenschaftlichen Umfeld ist in allen beruflichen Bereichen doch die Benutzung von KI gang und gäbe. Das sollte in der Ausbildung doch auch zumindest thematisiert werden.
Goblin@michaelgiesler @astefanowitsch
Eine große Stärke der Geisteswissenschaften ist, dass im Studium Soft Skills wie Recherche, Diskussionsfähigkeit, Textverständnis, Strukturverständnis, ... vermittelt werden.
Diese Soft Skills entwickelt man aber vor allem durch mühsame Recherche, Auseinandersetzung mit Quellen, Formulierung von Argumenten und Texten und der Strukturierung von Ergebnissen.
Das Schreiben von Hausarbeiten ist nicht der Zweck, sondern nur Mittel zum Zweck im Studium.
Wenn eine KI das alles per Knopfdruck übernimmt, geht jeglicher Lerneffekt verloren.
Damit Kinder ein Verständnis für Zahlen entwickeln, gibt man ihnen auch nicht ab Klasse 1 ein Taschenrechner in die Hand, sondern lässt sie zuerst für mehrere Jahre auf dem Papier/ im Kopf rechnen.
@goblin
Nichtsdestotrotz wird in der Schule IMMER auch das Werkzeug "Taschenrechner" verwendet und den Schüler*innen der Umgang damit beigebracht.
Der Thread hier sprach aber von einem vollständigen Verbot.
Etwas sarkastisch drängt es mich zu fragen, ob auch ein Verbot von Computern erwogen wurde, damit man manuelle Recherche in den Büchereien und Registerkästen lernt.
@michaelgiesler @astefanowitsch
Das Durchwühlen eines Archivregisters ist kein Soft Skill, der heute noch relevant ist (bis auf wenige Ausnahmen).
All das, was mit dem Recherchieren, Auseinandersetzen und Schreiben von Texten einhergeht, allerdings schon.
Dass ein LLM nur als Werkzeug eingesetzt wird, ist im best case möglich, aber in der Praxis unwahrscheinlich, weil die Anreize für Missbrauch sehr hoch sind.
Bei einem LLM kann man einfach die Aufgabenstellung des Dozenten in das Promptfenster einfügen. Mit dem daraus entstehenden Text muss sich dann der Dozent herumschlagen. Da die Korrektur aber gar nicht die Leistung des Studierenden betrifft, verpufft der Aufwand des Dozenten wirkungslos.
Das nutzt dem Studi nichts und verschwendet die Zeit des Dozenten.
Frank@goblin
Wenn man ein Werkzeug verwendet, lernt man etwas (gilt auch für den Taschenrechner). Bei der Texterzeugung durch Sprachmodelle lernt man aktiv nichts - man umgeht sein Gehirn, wie der Beitrag oben erläutert.
(Und kommt mir jetzt bitte nicht mit dem Bullshitbingo Kästchen "Prompting-Kompetenz". Danke.)
@frank
Also, ich benutze einen Taschenrechner (oder die KI) nicht dazu, etwas zu lernen, sondern Aufgaben zu bewältigen, und meinen Job zu erledigen. Lernen tue ich dabei andere Dinge.
@michaelgiesler
Ich verstehe den Thread hier so, dass es um die Benutzung dieser Werkzeuge an einer Universität, insbesondere bei studentischen Studienleistungen geht, so lese ich auch das im Ausgangsposting verlinkte Dokument. Solange man ein Studium nicht als Bewältigung von Aufgaben versteht trifft deine Aussage meines Erachtens nicht zu.
Ich habe als Lehrer dasselbe Problem, und meine Beobachtung ist: Schülerinnen, die diese Werkzeuge zur Lösung von Aufgaben verwenden, sehen diese Aufgaben wie du schreibst als "einen Job", den sie mit Hilfe von LLMs unter Umgehung ihres Gehirns mit möglichst geringem Aufwand "erledigen". Sie berauben sich damit jeder Möglichkeit, das eigentliche Ziel der Aufgaben, nämlich etwas zu lernen, zu erreichen.
Und was den Job angeht, eine persönliche Bemerkung - ich betrachte es als großes Privileg, einen zu haben, bei dem ich jeden Tag etwas lerne. Das wünsche ich auch all meinen Mitmenschen: Dass sie nicht nur viele Stunden am Tag Aufgaben bewältigen müssen, bei denen sie nichts lernen (müssen).
Wenn man in dieser Richtung weiterdenkt, kommt man schnell zu Fragen wie "Was macht uns zu Menschen", "Wie sollte eine menschenwürdige Welt aussehen" und ähnlichem mehr. Und welchen Einfluss haben Technologien wie die Sprachmodelle, die derzeit als "Intelligenz" verkauft werden auf die Antworten solcher Fragen.
Ich bin kein Geisteswissenschaftler, und wünsche mir, dass die Geisteswissenschaftler, die sich mit solchen Fragen befassen, die Antworten auf solche Fragen nicht durch ein Sprachmodell generieren lassen.
Aber das war jetzt schon Off Topic, ich gebs zu...
Claudius Link@michaelgiesler @frank @goblin @astefanowitsch
Genau deshalb ist die Benutzung eines Taschenrechners in allen Schulen die ich kenne, bis zu einer bestimmten Klasse verboten!
Genau deshalb ist die Benutzung eines Taschenrechners in allen Schulen die ich kenne, bis zu einer bestimmten Klasse verboten!
@michaelgiesler Weder ein Taschenrechner noch ein Computer haben in ihrem Wesen irgendetwas mit generativer KI gemeinsam, aber wie @goblin richtig sagt, müssen/sollten wir selbst mit diesen Technologien immer so vorgehen, dass wir auch darauf verzichten könnten.
@astefanowitsch @goblin in meinem GW-Studium vor 20 Jahren war es in der Tat auch ein Thema, inwiefern man das Internet und Computer nutzen darf. Deswegen reizt mich das Thema und dein Thread etwas. Damals hatte ich den Eindruck, dass man Angst vor neuen Entwicklungen hatte (Zitat: "Internet? Ach, das vergeht wieder.")
Jetzt bin ich als GW-Akademiker in einem Job, wo ich fürs Denken bezahlt werde, wäre ohne Internet vollkommen aufgeschmissen und erfreue mich an den neuen Möglichkeiten durch KI.
@dingens@michaelgiesler @goblin @astefanowitsch Nein. Im verlinkten Text ist explizit eine Ausnahme formuliert "z.B. in Lehrveranstaltungen oder Prüfungsleistungen, die KI zum Untersuchungsgegenstand haben", also es kann durchaus auch geübt werden (sinnvollerweise gegen Ende des Studiums, nachdem man gelernt hat, wie es "von Hand" geht)
@michaelgiesler Man löst das Problem, dass die Studierenden das eigene Denken und Handeln outsourcen, und noch dazu an einen Textgenerator, der ein Denken und Handeln dann nur oberflächlich simuliert. Ob der Einsatz von KI im geisteswissenschaftlichen Umfeld gang und gäbe ist, würde ich jetzt erstmal dahingestellt sein lassen — aber selbst, wenn es so wäre, wäre dieser Einsatz falsch und kein Grund, sich dem anzuschließen.
FlippoFlip 🏴☠️@astefanowitsch sehr schön. Hab ich mal einem befreundeten prof weitgeleitet
danimrich@astefanowitsch Ich finde das insofern vernünftig als dass das eine Art Rechtssicherheit schafft. Ansonsten müsste der verantwortungsvolle Umgang mit diesen Tools Teil des Lehrplans werden.
Dass es nicht Teil einer Prüfungsleistung ist, heißt ja nicht, da etwas nicht gelehrt werden darf oder wird.
Ich habe im Studium vieles gelernt, und vieles war wertvoll, aber nicht unbedingt Teil des berüchtigten "prüfungsrelevante Wissen"
@astefanowitsch