RT @JoelDeTeves: Ich bin ziemlich gespannt darauf, dieses hier zu testen: Gemopus-4-26B-A4B-it-GGUF Q6_K unter Verwendung des @spiritbuun Llama.cpp TurboQuant Forks: - Geschwindigkeit: 75 Tokens/Sekunde - VRAM-Auslastung: 95 % (22,7 GB) - Kontextgröße: 131072 - GPU: RTX A5000 (Ampere) 24 GB Ziemlich erstaunlich, dass man dieses gesamte Modell mit Q6-Qualität auf die GPU bekommt und trotzdem noch Platz für eine große Menge an Kontext hat! Zudem sind MoE-Modelle bei höherer Qualität immer noch schnell. Woodchuck Norris Vibe-Check: BESTANDEN Quadratwurzel aus 999999999 -> Korrekt Hermes Agent -> Interessantes Verhalten. Behält die Geschwindigkeit des 26B-Modells bei kurzen Prompts bei, denkt aber bei komplexeren Anfragen tiefgründiger nach – manchmal denkt es ein wenig zu viel nach, es könnte sich lohnen, mit den Top-P- und Temp-Einstellungen zu experimentieren. Coding-Test -> Hat ein voll funktionsfähiges Tetris-Spiel in einem einzigen Versuch erstellt – kein anderes MoE-Modell, einschließlich des Standard-26B, war

Mehr auf Arint.info

#Agent #GGUF #Llama #mit #arint_info

https://x.com/JoelDeTeves/status/2042499836218679421#m