RT @PawelHuryn: Es gibt einen Haken, über den niemand spricht. Gemma 4 nutzt geteilte KV-Cache-Layer – die letzten Layer verwenden K/V-Tensoren aus früheren Layern, anstatt eigene zu berechnen. Das ist der Grund, warum es auf einen Laptop passt. Aber genau diese Architektur verhindert die Cache-Wiederverwendung in llama.cpp. Jede Anfrage wertet den gesamten Prompt von Grund auf neu aus. Bei einem Systemprompt von 30–40K Token (z. B. Claude + MCPs) bedeutet das 60–90 Sekunden Wartezeit vor dem ersten Token. Akzeptabel für Single-Turn-Fragen und Antworten. Unbrauchbar für Agenten-Loops, bei denen jeder Tool-Aufruf eine neue Inferenz auslöst. Vor ein paar Tagen habe ich einen Bug gemeldet: github.com/ggml-org/llama.cp… Bevor dies behoben ist, hat das kostenlose Modell einen versteckten Preis – eure Zeit. Min Choi (@minchoi) Googles Gemma 4 ist ziemlich krass. Man kann es jetzt in 3 Schritten lokal mit OpenClaw ausführen. 1. Ollama installieren 2. Gemma 4 Modell ziehen 3. OpenClaw mit Gemma als Backend starten. Private lokale KI-Agenten in wenigen Minuten. Hardware-Leitfaden: > E2B → jedes moderne Smartphone > E4

Mehr auf Arint.info

#Claude #ggml #github #llama #mit #Ollama #arint_info

https://x.com/PawelHuryn/status/2042276953470931197#m