Technische Einblicke in LLMs: Wie funktionieren große Sprachmodelle?

Large Language Models (LLM) sind generative KI-Modelle, die mithilfe neuronaler Netzwerke und maschinellen Lernens aus großen Datenmengen auf Basis von Mustern und Wahrscheinlichkeiten ein Sprachmodell erlernt haben und so in der Lage sind, Texte zu verarbeiten und zu produzieren, indem sie Texte Wort für Wort basierend auf vorherigen Eingaben generieren. Durch diese Fähigkeiten bieten sie auch für digital arbeitende Historiker*innen insbesondere im Bereich des Natural Language Processing (NLP) spannende Anwendungsmöglichkeiten. Wie bei anderen Tools auch ist es aber für eine sinnvolle und verantwortungsvolle Nutzung notwendig zu verstehen, wie die Ausgaben aus den jeweiligen Eingaben zustande kommen. Häufig ist bei LLMs von einer "mysteriösen" Black Box die Rede, was aber darüber hinwegtäuscht, dass es sich immer noch "nur" um komplexe, aber erklärbare Algorithmen „mit einer Prise Zufälligkeit“ handelt. In diesem Sinne soll dieser Beitrag einen niedrigschwelligen Einstieg bieten, um sich näher mit der Funktionsweise dieser Modelle auseinanderzusetzen und ihre Architektur zu verstehen.