@chpollin

> Vielleicht ein Thema für einen AI-/
> RSE-AG-übergreifenden Preconference
> Workshop nächstes Jahr? Ich wäre dabei!

Andererseits habe ich ja auch gerade gesagt, dass ich etwas verunsichert bin, wie ich weitermachen will, weil ich mir die Community (mich selbst inbegriffen) etwas ambitionierter erhofft hatte, was die Substanziierung der Kritik an #AI angeht. Und obendrein ist heute überhaupt kein Tag, wo man so einfach zum Tagesgeschäft der nächsten Konferenzplanung weitergehen kann! Und das hängt ja alles zusammen.

Ich muss echt mal gründlich nachdenken...

#DHd2026 #DHd2027 #LLM #OpenLLM #AIEthics #Iran #Trump #BigTech #Fascism #CriticalAI #CriticalScience

Zum Thema Evaluation im Theorie-Teil (@SarahOberbichler) des Workshops LLMs unter Kontrolle: kurze Fragen der Teilnehmenden zu Verfallsdatum von Benchmarks wenn LLMs mit den Evaluationsdaten trainiert werden und zu (Nicht-)Steuerbarkeit von LLM Harvesting mit robots.txt/llm.txt

Dann Thema Profiling von Trainingsdatensätzen am Bsp. Dolma/Olmo. Sprache und Labels (Bsp. "History", wo es viele Quellen gibt, die so "meh" und weder historische Texte noch geschichtswissenschaftlich sind.)

Dann nochmal Thema Bias Evaluation...

Link zu Folien poste ich später in diesem Thread.

#DHd2026 #LLM #OpenLLM

Und jetzt zweiter Theorie-Teil mit @SarahOberbichler: LLM als Tool oder als Werkzeug, was sind typische Nutzungsszenarios in den DH? Zu berücksichtigen: Risikobewertung, systematische Evaluation.

A propos Infrastruktur: mehr als die Hälfte der Teilnehmenden hätten wohl Zugang zu institutionellen HPC- und Jupyter-Angeboten. Aber auch kommerzielle Compute-Angebote oder Zwischengestalten wie HuggingFace.

#DHd2026 #LLM #OpenLLM

Danach erster Hands-On Teil mit Kai Niebes: Lokales Ausführen von Olmo2/3 (in LMStudio), wie kann ich über ein Python-Skript auf den Chat, seine Konfiguration und seine Nachrichten zugreifen, was muss ich an System/User Prompts verändern, um Aufgaben auszuführen, wie kann ich Olmo pdf-Dokumente prozessieren lassen?

@spinfocl @SarahOberbichler

#DHd2026 #LLM #OpenLLM Workshp

Jetzt Evaluation und Benchmarks. Bei der Frage nach DH-spezifischen LLM-Benchmarks sieht es mau aus.

Immerhin gibt es https://rise-unibas.github.io/humanities_data_benchmark Die haben nicht so schlechte Informationen und eine offene Einladung zum Mitmachen!

Tragt Eure DH Benchmarks bei!!

@spinfocl @SarahOberbichler

#DHd2026 #LLM #OpenLLM Workshop

Gerade diskutiert @spinfocl die verschiedenen Aspekte von Offenheit bei LLMs: Gewichte, Inferencing Code, Trainingsdaten, Trainingslogik.

https://opensource.org/ai/open-source-ai-definition
https://isitopen.ai/
https://doi.org/10.48550/arXiv.2405.15802
https://doi.org/10.1145/3630106.3659005

#OpenLLM #OpenSourceAI
#OSI #OAID #MOF #OpenWashing #DHd2026