RT @leftcurvedev_: Jeder mit 8GB oder 12GB VRAM-Setup muss verstehen, dass "-ncmoe" das entscheidende Flag ist, um die Leistung auf llama.cpp zu steigern. Hier sind meine Ergebnisse für Qwen3.6 35B A3B mit 64k q80-Kontext auf einer 8GB RTX 3070Ti: ⚪️ kein Flag → 8,7 tok/s RAM: 13,6GB & VRAM: 7,8GB 🔴 -ncmoe 35 → 27,5 tok/s RAM: 12,1GB & VRAM: 4,3GB 🟢 -ncmoe 30 → 32,5 tok/s RAM: 12GB & VRAM: 5,6GB 🔵 -ncmoe 25 → 40,9 tok/s RAM: 12GB & VRAM: 6,9GB Bitte beachtet, dass die angezeigten RAM- und VRAM-Werte die Gesamtnutzung eines Windows-PCs mit laufendem Modell darstellen. Das Setup meines Freundes: 8GB VRAM und 16GB RAM. Ihr könnt die Leistung steigern, indem ihr zu Linux wechselt – das ist etwas, das ihr im Hinterkopf behalten solltet. Im Grunde hält dieses Flag die MoE-Experten in den ersten X Schichten auf eurer CPU + RAM, anstatt sofort euren gesamten VRAM zu verbrauchen. Dies ist eine intelligente hybride Auslagerungsmethode, die es euch ermöglicht, größere Modelle ohne OOM (Out of Memory) auszuführen, während der Rest auf eurer GPU für Geschwindigkeit bleibt. Wie wir an den Daten sehen können, gibt es einen optimalen Punkt. Wenn wir den Wert von 35 auf 25 senken, steigt die Geschwindigkeit um +50%, weil sich mehr Schichten auf eurer GPU befinden (schaut euch die VRAM-Nutzung an). Der Schlüssel liegt darin, mit der Zahl zu experimentieren und so viel wie möglich in euren VRAM zu passen. Das Ziel ist es, 1GB/800MB Puffer zu haben, um Stress zu vermeiden. ↓ Server-Flags unten Video links Kurve dev (@leftcurvedev) Heute teste ich etwas mit der RTX 3070 Ti. Mal sehen, was wir in 8GB VRAM unterbri…
mehr auf Arint.info
#AI #Hardware #llama #Optimierung #Qwen3 #RTX3070Ti #arint_info
https://x.com/leftcurvedev_/status/2052812387955151062#m
HTW Berlin
Arint - SEO+KI
Waidler 
magicmarcy
kerezovic.de blog de
kumaits
NITSAN
