Andreas WagnerDer Workshop "LLMs unter Kontrolle. Offene Modelle in Forschung und Praxis" von @spinfocl , Kai Niebes, @SarahOberbichler und mir ist gut besucht und gut gestartet. Genügend Plätze und Steckdosen vorhanden (Seminarraum 1), die TN haben im Großen und Ganzen die Vorbereitungen durchführen können, also los geht's!
Gerade diskutiert @spinfocl die verschiedenen Aspekte von Offenheit bei LLMs: Gewichte, Inferencing Code, Trainingsdaten, Trainingslogik.
https://opensource.org/ai/open-source-ai-definition
https://isitopen.ai/
https://doi.org/10.48550/arXiv.2405.15802
https://doi.org/10.1145/3630106.3659005
Jetzt Evaluation und Benchmarks. Bei der Frage nach DH-spezifischen LLM-Benchmarks sieht es mau aus.
Immerhin gibt es https://rise-unibas.github.io/humanities_data_benchmark Die haben nicht so schlechte Informationen und eine offene Einladung zum Mitmachen!
Tragt Eure DH Benchmarks bei!!
Danach erster Hands-On Teil mit Kai Niebes: Lokales Ausführen von Olmo2/3 (in LMStudio), wie kann ich über ein Python-Skript auf den Chat, seine Konfiguration und seine Nachrichten zugreifen, was muss ich an System/User Prompts verändern, um Aufgaben auszuführen, wie kann ich Olmo pdf-Dokumente prozessieren lassen?
Und jetzt zweiter Theorie-Teil mit @SarahOberbichler: LLM als Tool oder als Werkzeug, was sind typische Nutzungsszenarios in den DH? Zu berücksichtigen: Risikobewertung, systematische Evaluation.
A propos Infrastruktur: mehr als die Hälfte der Teilnehmenden hätten wohl Zugang zu institutionellen HPC- und Jupyter-Angeboten. Aber auch kommerzielle Compute-Angebote oder Zwischengestalten wie HuggingFace.
Zum Thema Evaluation im Theorie-Teil (@SarahOberbichler) des Workshops LLMs unter Kontrolle: kurze Fragen der Teilnehmenden zu Verfallsdatum von Benchmarks wenn LLMs mit den Evaluationsdaten trainiert werden und zu (Nicht-)Steuerbarkeit von LLM Harvesting mit robots.txt/llm.txt
Dann Thema Profiling von Trainingsdatensätzen am Bsp. Dolma/Olmo. Sprache und Labels (Bsp. "History", wo es viele Quellen gibt, die so "meh" und weder historische Texte noch geschichtswissenschaftlich sind.)
Dann nochmal Thema Bias Evaluation...
Link zu Folien poste ich später in diesem Thread.