OPUS 4 | Evaluation von offenen Large Language Modellen zum Einsatz in Bibliotheken

Das Thema der künstlichen Intelligenz und insbesondere auch der Sprachmodelle spielt für Bibliotheken eine Rolle steigender Wichtigkeit. Allerdings können proprietäre Modelle aufgrund von Kosten oder Anforderungen an den Datenschutz nicht immer von Bibliotheken genutzt werden. Ziel dieser Masterarbeit ist es, verschiedene offene Sprachmodelle darauf zu untersuchen, wie gut sie sich für einen Einsatz in Bibliotheken eignen könnten. Dazu werden zunächst in einem theoretischen Teil einige Aspekte rund um Sprachmodelle vorgestellt. Darunter fallen unter anderem der Aufbau, die Evaluation anhand von Benchmarks und das Finetuning von Sprachmodellen. Außerdem werden drei offene Sprachmodelle vorgestellt und rechtliche Aspekte in Bezug auf Sprachmodelle untersucht. Anschließend werden in dem praktischen Teil dieser Arbeit verschiedene offene Sprachmodelle auf ihre Leistungsfähigkeit in der deutschen Sprache getestet, sowie ein Finetuning und eine Evaluation eines Modells im Rahmen der Prüfungsvorbereitung der Auszubildenden der Stadtbücherei Frankfurt vorgenommen. Die Auswertung der Ergebnisse zeigt, dass einige Sprachmodelle auch im Deutschen gute Leistungen erbringen können. Jedoch konnten mit dem Finetuning eines Modells noch keine Ergebnisse erreicht werden, die den qualitativen Anforderungen einer Prüfungsvorbereitung für Auszubildende gerecht werden. Ein Einsatz zu Demonstrationszwecken oder in moderierten Bereichen, wie beispielsweise in Workshops, ist allerdings denkbar.