https://c.aparatorul.md/eiewy
@thbley Ah, ich frage eine LLM quasi nie Wissensfragen. Da nutze ich eher Suchmaschinen dafür.
Bei Suchmaschinen sehe ich oft schon an der URL, wie verlässlich Antworten sind. Bei einem LLM sehe ich keine Quelle. Da habe ich keine Ahnung, ob die Herbeihalluziniert wurde.
Habe hab' gerade nur gemma-4-26B-A4B-it-GGUF:UD-Q4_K_XL heruntergeladen, also das MoE-Model. Das hat bei mir dann 4 Sekunden für die Antwort gebraucht. Erste Frage nach dem Start.
Eine Sekunde für den Prompt, 3 für die Antwort. Das Reasoning war in Englisch, Antwort dann auch in Deutsch. Raesoning wurde noch mit George Sand und Krankheitsinfos garniert.
Ich nutze LLMs fast nur für Coding-Sachen. Und erst Gemma4 war für #Bazel #Starlark einigermaßen brauchbar. Frühere Modelle sind da total Schrott.







