Pünktlich zur #bibliocon24 starten wir im VÖBB einen neuen, experimentellen Dienst: den VÖBB-Chatbot. Als meines Wissens erste (?) deutsche Bibliothek kombinieren wir hier Sprachtalent und "Wissen" eines Large Language Models (#LLM) mit den vollständigen Metadaten unseres #VÖBB Kataloges (als sog. Embedding).

https://www.voebb.de

Ein thread: 🧵
1/6

Startseite - Verbund der Öffentlichen Bibliotheken Berlins

Online Katalog Verbund der Öffentlichen Bibliotheken Berlins

Im Ergebnis kann der Bot einige Dinge sehr gut, einige mäßig gut und Etliches gar nicht. Das Ziel jeder Unterhaltung ist seitens des Chatbot, auf konkrete Titel in unserem Katalog hinzuweisen.
Vermieden werden Antworten auf allgemeine Wissensfragen, es soll nicht der Eindruck entstehen wir würden hier eine "Wissensmaschine" anbieten.
2/6
@rstockm Warum nur.

@astefanowitsch @rstockm

Gerade als KI-Kritiker (zu denen ich mich auch zähle) sollte man so eine Anwendung feiern:

KI sollte Dinge die banal und nervig sind (Katalog nach Buch durchsuchen) vereinfachen bzw. übernehmen.

So wird im besten Fall die Zeit der Mitarbeiter:innen freigemacht für wichtige Dinge, die nur von Menschen sinnstiftend verrichtet werden können.

@astefanowitsch

Ja, funktioniert noch nicht. Es ist ja erstmal ein Experiment.

@leidkultur Funktioniert noch nicht, wird nie funktionieren, kann nicht funktionieren.

@astefanowitsch

Das kommt bei LLMs auf die Trainingsdaten an.

In unserer Firma nutzen wir ein LLM um das Unternehmens Wiki zu durchsuchen.

Das geht immerhin besser als die Original Suchfunktion der Wiki-Software.

Darüber hinaus gibt es ja auch andere Machine Learning Lösungen.

@leidkultur Ein LLM ist ein Zufallstextgenerator, egal, mit welchen Trainingsdaten es gefüttert wird. Wer es als Suchmaschine einsetzt, hat ein ernsthaftes Problem. Aber das ist bekannt, das brauchen wir hier nicht zu diskutieren.

@astefanowitsch
Das ist als würdest du sagen ein Klimamodell sei ein „Zufallsgenerator“.

Ja, es arbeitet mit Wahrscheinlichkeiten (oder Gewichten), aber die sind eben kein „Zufall“, sondern das Ergebnis eines Trainingsprozesses.

Daher ist ein LLM immer nur so gut wie dieser Trainingsprozess und die genutzten Daten.

Wenn die gut gewählt sind und zum Anwendungsfall passen, erzielen sie gute Ergebnisse.

Die „generischen“ LLMs wie ChatGPT liefern deshalb auch nur generische Antworten.

@leidkultur @rstockm Mit welchen Daten wurde der VÖBB-Chatbot trainiert, woher stammen sie?
@esthermenhard @leidkultur das ist ein Komplett-Abzug unseres VÖBB Katalogs. Als embedding an die OpenAI API angeschlossen.

@astefanowitsch siehe 5/6 - allein die flexible Sprache überwindet so viele Barrieren. Privilegien und so.

https://openbiblio.social/@rstockm/112553696751879084

Ralf Stockmann (@[email protected])

Darüber wird m.E. in der aufgeheizten KI-Debatte zu wenig geredet: Abbau von Barrieren. Etwa: Fragen können in jeder erdenklichen Sprache gestellt werden. Auch ungelenke Fragen werden zuverlässig richtig interpretiert. Vage Umschreibungen führen viel besser zum Ziel als beim auf Präzision ausgelegten OPAC. All das macht unseren Bestand zugänglicher. https://www.voebb.de/info-chatbot Wir durchlaufen jetzt einen "Soft Launch", ohne das zunächst an die große Glocke zu hängen. 5/6

OpenBiblio.Social
@rstockm @astefanowitsch Aus meiner Perspektive wird die eine maschinenbezogene Anfragetechnik (präzise Schlagwort-, Autor*innen- Tieleeingabe) durch eine andere ersetzt, s. 3/6. Sie könnten sich ergänzen, wenn sich der Mehrwert zeigt und zuverlässig nicht offensichtliche Titel gefunden wären. Ich bin gespannt.

@rstockm
Ich freue mich über die Idee, allerdings hat es gerade bei meiner ersten Frage überhaupt keinen guten Eindruck gemacht. Das Overlay ist kaputt (siehe Screenshot), der eingegebene Text ist unlesbar. Und leider ergab die klare Anfrage kein Ergebnis, obwohl passende Bücher in der Datenbank zu finden sind.

Bin gespannt, wie sich das entwickelt.

@fly_it ja, da sollte was gefunden werden. Eventuell stört der Bindestrich, hier so:
@fly_it …und was für ein OS ist das?
@rstockm Sehr cool. Meine ersten beiden Versuche ergaben ziemlich spannende Ergebnisse. Einzige Anmerkung: "Mixed-race" als "gemischtrassig" zu übersetzten klingt nicht optimal. Deep-L übersetzt das auch so, Google Translate verwendet "gemischte Abstammung".
@rstockm Spannend, was für einen Systemprompt nutzt ihr?
voebb-chatbot/prime-prompt.md at main · voebb-dev/voebb-chatbot

The prime prompt of VÖBB-Chatbot. Contribute to voebb-dev/voebb-chatbot development by creating an account on GitHub.

GitHub
@rstockm @computer vielleicht das in die Überlegungen zu Bobby einfließen lassen.