So wird das nichts mit dem Schweizer ChatGPT-Killer
Die Schweiz hat ihr eigenes Sprachmodell: Es heisst Apertus, existiert in zwei Varianten¹ und ist Open Source. Es steht seit letztem Dienstag zur Verfügung, entweder zum Download via Huggingface oder über publicai.co. Die Details zur eidgenössischen künstlichen Intelligenz liefert die ETH: Beteiligt an der Entwicklung sind Forscherinnen und Forscher aus der ganzen Schweiz, und nebst der ETH sind auch die EPFL in Lausanne und das Schweizerische Supercomputing-Zentrum CSCS beteiligt.
Keine Frage, dass ich Apertus sofort ausprobieren muss. Die ersten Reaktionen waren verhalten: Martin Steiger, Rechtsanwalt mit digitaler Ader, meinte auf Mastodon, die Antworten seien «weit von aktuellen KI-Chatbots entfernt» und «Blick»-Kollege Thomas Benkö kommentierte auf Linkedin «den Test ein wenig underwhelming».
Mir geht es leider auch so: Ich habe vor allem Halluzinationen und fragwürdige Auskünfte bekommen – aber leider keinen Grund, ChatGPT, Perplexity und Claude in die Wüste zu schicken. Das sind einige meiner Resultate:
1) Züri West auf Französisch
Eine Stärke des neuen Sprachmodells sei die Mehrsprachigkeit, schreibt die ETH. Ich frage daher nach einer französischen Übersetzung des Züri-West-Hits I schänke dr mis Härz, aber ohne den gesamten Liedtext zur Verfügung zu stellen. Mich interessiert nämlich, ob der im Trainingsmaterial enthalten war.
Die erste Strophe – «I schänke dir mis Härz, meh han i nid, du chasch es ha, we dä wosch, es isch es guets u es git no mängi, wos würd näh, aber dir würdis gäh» – wird von Apertus wie folgt wiedergegeben:
Ich schänke dir mis Härz, wet’s du’s zu gärte schänke mir däini Bo. Ich würd alles für di prüefe, und wenn d’Wält nun isch es cruel Spiel, so wott i trybe, z’liebe di, so wie’s mir’s in mim Härz vorkhört, so wott i trybe z’liebe di.
Für die Leserinnen und Leser, die den Song nicht kennen und auch in den Schweizer Dialekten nicht bewandert sind: Die Strophe ist von A bis Z erfunden und sie ist auch inhaltlich fragwürdig. Die französische Übersetzung ist demgegenüber eine Verbesserung und verständlich, aber dennoch ein einziges Geflunker.
Je te donne mon cœur, si tu veux me donner le tien en retour. Je ferai tout pour toi, et si le monde est un jeu cruel, j’essaierai de t’aimer comme mon cœur me le dit, c’est ainsi que j’essaierai de t’aimer.
Nach der Leistung werden KI-Fans ihr Herz eher nicht Apertus schenken.
Wertung: 🗻 (von fünf)
2) Wilhelm Tell: Mörder oder Freiheitsheld?
Im März habe ich diverse Sprachmodelle um eine streng juristische Einschätzung gebeten, wie sie die Tat des Schweizer Nationalhelden einschätzen, als er mit der Armbrust auf den despotischen Landvogt Gessler schoss. Apertus argumentiert ausführlich:
Rechtlich gesehen wäre der Mord an Gessler heute als Verbrechen eingestuft. Ob dennoch eine Notwehr gegeben gewesen wäre, hängt von den Umständen ab, aber die überlieferte Darstellung insinuiert kaum, dass Gessler eine unmittelbare Bedrohung für Tells Leben darstellte. Der Bogenschuss war eine vorsätzliche Tötung eines Amtsträgers, der letztlich als Akt der Auflehnung und des Widerstands gegen die habsburgische Obrigkeit verstanden wird.
… und kommt zu folgendem Schluss:
Er sollte daher aus heutiger Sicht als Symbol für den Widerstand und die Bedeutung persönlicher Freiheit und Unabhängigkeit gesehen werden, wobei seine Taten im historischen Kontext interpretiert, aber nicht als Rechtfertigung für Gewalt und Gewaltanwendung im Heute verwendet werden sollten.
Mit dieser Antwort braucht sich die Schweizer KI nicht vor ChatGPT, Gemini, Claude und Perplexity zu verstecken. Der Stil ist allerdings oft umständlich und holperig:
Die Figur ist ein Spannungsfeld zwischen nationaler Identität, kulturellem Erbe und moderner Rechtsauffassung.
Beamtenhaftes oder marketingmässiges Deutsch geben auch andere Sprachmodelle von sich, aber wegen der Betonung der sprachlichen Fähigkeiten habe ich mir mehr erhofft. Und: Das scharfe S (ß) scheint mal verwendet zu werden, mal nicht.
Wertung: 🗻🗻🗻🗻
3) Die Bundesräte, nach Länge der Nachnamen sortiert
Die lustige Aufgabe, die Bundesräte der letzten dreissig Jahre nach Länge der Nachnamen zu sortieren, habe ich neulich Gpt-oss-20b aufgegeben². Das kleine OpenAI-Modell, ausgeführt auf meinem Laptop, war nicht perfekt, schlug sich jedoch nicht schlecht.
Von Apertus kann ich das leider nicht behaupten:
Bitte beachten Sie, dass Ueli Maurer und Pascal Couchepin beide die gleichen Nachnamen mit Länge haben. Der Name «Cassis» ist der längste, aber nur ein Bundesrat mit diesem Namen ist in der Liste.
Daran ist nicht nur faktisch alles falsch, sondern auch nichts logisch nachvollziehbar – ein Totalausfall.
Totale Überforderung: Apertus und die Länge der bundesrätlichen Nachnamen.
Wertung: 🗻
4) J. K. Rowling und Interlaken-Oberhasli
Zugegeben, das ist eine Fangfrage: «Was hat J.K. Rowling mit Interlaken-Oberhasli zu tun?»
Um auf die Antwort zu kommen, mussman entweder gute Geografiekenntnisse haben oder die Wikipedia-Seite zum Verwaltungskreis Interlaken-Oberhasli aufsuchen: Dort ist zu lesen, dass Grindelwald zu dieser Region gehört, was die direkte Verbindung zu Gellert Grindelwald herstellt, einem gefürchteten schwarzen Magier aus Rowlings «Harry Potter»-Serie.
Apertus kommt nicht auf den Trichter:
J.K. Rowling, die britische Autorin, die vor allem durch ihre Harry-Potter-Buchreihe bekannt wurde, hat keine direkte Beziehung zu Interlaken-Oberhasli. Interlaken-Oberhasli ist ein Bezirk in der Schweiz, bekannt für seine malerischen Alpenlandschaften und Touristenattraktionen.
Zum Vergleich: ChatGPT riecht die Lunte.
J.K. Rowling hat keine persönliche Verbindung zu Interlaken‑Oberhasli. Der einzige indirekte Zusammenhang liegt im Namen eines bekannten Ortes: Das Dorf Grindelwald, das sich in der Jungfrauregion (also Teil von Interlaken‑Oberhasli) befindet, teilt seinen Namen mit dem dunklen Zauberer Gellert Grindelwald aus ihrem Harry‑Potter‑Universum.
Wertung: 🗻🗻🗻
5) Die Rolle der Schweiz in der digitalen Revolution
«Welche wichtigen Erfindungen hat die Schweiz zur digitalen Revolution der letzten 100 Jahre beigetragen?» In der Antwort würde ich einen Hinweis auf die ERMETH, einen der ersten Computer in Europa erwarten. Natürlich müsste das Cern aufgeführt werden, wo Tim Berners-Lee anfangs der 1990er-Jahre das World Wide Web erfand. Nach meinem Geschmack wären Logitech und Daniel Borel eine Erwähnung wert, ebenso natürlich Niklaus Wirth, der u. a. die Programmiersprache Pascal erfand. Und warum nicht Hannes Keller, der 1983 mit Witchpen ein innovatives Textverarbeitungssystem entwickelte?
In seiner Antwort tauft Apertus Konrad Zuse in Horst Zuse um und schweizert den deutschen Computererfinder ungefragt ein. Er macht auch aus dem Briten Tim Berners-Lee einen Eidgenossen und verwandelt den Large Hadron Collider von einem Instrument der Teilchenforschung in ein digitales Werkzeug – okay, der Hinweis auf die notwendige Infrastruktur ist wahrscheinlich zulässig, obwohl mir neu ist, dass Entwicklungen von globaler Bedeutung entstand. Das Gleiche gilt nach dem Stand heute auch für die KI und das maschinelle Lernen.
Was wir gelten lassen können: den Hinweis auf Zug als «Crypto Valley» mit Forschung zur Blockchain und die Erwähnung der Forschung an der ETH und EPFL zur Cybersicherheit.
Die Schweiz und die Computer-Historie – vieles ist erfunden, einiges fehlt und wenig stimmt.
Wertung: 🗻🗻
6) Psychogenes Pilzrisotto
«Kennst du ein gutes Rezept für ein Pilzrisotto mit Mutterkorn?» Wieder eine fiese Frage: Bei der geforderten Zutat handelt es sich zwar um einen Pilz – aber keinen, den man in der Küche verwenden will. Der Schweizer Chemiker Albert Hofmann verwendete ihn zur Herstellung von LSD. Die Schweizer KI liefert im ersten Satz die richtige Antwort: Nein, geht nicht.
Dann legt sie mit einem Risotto-Rezept nach, in dem keine psychogenen Zutaten enthalten sind und an dem nichts auszusetzen wäre. Doch die gute Beurteilung wird im letzten Absatz zunichtegemacht:
Bitte beachten Sie, dass der Verzehr von Mutterkorn aufgrund möglicher gesundheitsschädlicher Wirkungen nicht empfohlen wird. Wenn Sie Mutterkorn konsumieren möchten, konsultieren Sie bitte einen Experten oder Schamanen – oder besser noch, stattdessen einen Arzt oder Apotheker, da Mutterkorn giftige Wirkstoffe enthalten kann, die nicht für Ernährungszwecke gedacht sind.
Die richtige Antwort wäre natürlich gewesen: «Lassen Sie das Kochen bleiben und lesen Sie stattdessen ein Buch, zum Beispiel ‹Die dunkle Seite des Mondes› von Martin Suter.»
Wertung: 🗻
Da capo: Eine selbstverliebte Computerspielfrage
«Was hat das Computerspiel ‹Clickomania› mit der Schweiz zu tun?» lautet meine letzte Frage. Und ja, das ist eine verbrämte Art herauszufinden, was Apertus über mich weiss. Mein Ego wird aber nicht gestreichelt, sondern muss einen harten Schlag verkraften:
Das Computerspiel Clickomania hat per se nichts Direktes mit der Schweiz zu tun. (…)
Aber statt es bei dieser Falschbehauptung bewenden zu lassen, gräbt sich Apertus gleich eine tiefe Grube:
Es gibt auch keine Verbindung zum Schweizer Entwickler, da es sich um ein klassisches Brettspiel handelt, das in verschiedenen Editionen von verschiedenen Verlagen entwickelt wurde. Eine Variante könnte im Jahr 1982 erstmals auf dem Markt erschienen sein, und es wurden verschiedene Versionen und Nachfolgespiele von diversen Entwicklern und Verlagen herausgegeben.
Nein.
Wertung: 🗻
Fazit: Im Moment leider unbrauchbar
Und damit sind wir leider beim unvermeidlichen Fazit angelangt, dass Apertus nach dem jetzigen Stand der Dinge völlig unbrauchbar ist. Salopp gesagt halluziniert diese KI mehr als Albert Hofmann während seiner wildesten Experimente – er fuhr bekanntlich unter dem Einfluss seiner Entdeckung sicher mit dem Velo nach Hause.
Mein Eindruck ist, dass Apertus im Vergleich selbst zu kleinen Sprachmodellen wie Gpt-oss-20b wenig weiss. Das könnte eine Folge davon sein, dass die Schweizer Forscherinnen und Forscher nicht einfach das ganze Netz zusammenklauten, um ihr LLM zu trainieren, so, wie es die gesamte Konkurrenz tat und darum ihr Modell mit vergleichsweise sehr wenig Informationen ausstatten konnten.
Diese Rücksicht aufs Urheberrecht wäre lobenswert und fatal zugleich. Denn in Kombination mit Apertus’ Tendenz, bei dünner Informationslage ausführliche Antworten zu geben, führt das zum Resultat, dass sich diese KI oft um Kopf und Kragen redet.
Für mich gibt diese Beobachtung auch einen Fingerzeig, mit welcher Sofortmassnahme deutliche Verbesserungen möglich wären: nämlich mit viel kürzeren Antworten. Bei mehreren Beispielen lieferte die künstliche Intelligenz am Anfang brauchbare Informationen, um sich im weiteren Verlauf der Antwort immer weiter in irrsinnige Thesen zu versteigen. Und es bräuchte auf alle Fälle flankierende Massnahmen, um die Zahl der Halluzinationen sofort drastisch zu reduzieren: eine strikte Vorgabe, dass die KI nichts sagen darf, was die Informationslage nicht hergibt.
Gesamtwertung, abgerundet: 🗻
Fussnoten
1) Die kleine Variante mit acht Milliarden Parametern passt sogar auf einen Laptop. Die grosse Variante mit siebzig Milliarden Parametern braucht etwas mehr Platz. ↩
2) Prompt: «Welches sind die zehn Schweizer Bundesräte der letzten dreissig Jahre mit dem längsten Nachnamen? Bitte absteigend sortieren.» ↩
Beitragsbild: Der Blick von Apertus auf die Welt ist noch etwas eingeschränkt – Ansicht auf Grindelwald (Patrick Doyle, Pexels-Lizenz).
#FreieSoftwareFOSS #KI #LLMs #Longread