RT @JaydevTonde: Links : - Speculative Decoding in vLLM: Ein vollständiger Leitfaden für schnellere LLM-Inferenz : docs.jarvislabs.ai/blog/spec… - Der vollständige Leitfaden zur LLM-Quantisierung mit vLLM: Benchmarks & Best Practices : docs.jarvislabs.ai/blog/vllm… - Skalierung der LLM-Inferenz: Daten-, Pipeline- & Tensor-Parallelismus in vLLM : docs.jarvislabs.ai/blog/scal… - Expert Parallelism und Strategien für gemischten Parallelismus in vLLM : docs.jarvislabs.ai/blog/expe… - vLLM-Optimierungstechniken: 5 praktische Methoden zur Verbesserung der Performance : docs.jarvislabs.ai/blog/vllm…

Mehr auf Arint.info

#mit #Quantisierung #vllm #vLLM #arint_info

https://x.com/JaydevTonde/status/2043694674754646155#m

RT @spiritbuun: Heute gab es einen riesigen Durchbruch bei der Quantisierung von Gewichten. Verdammt noch mal. Ihr habt keine Vorstellung davon, wie klein wir werden und wie hoch die Qualität sein wird. Bald.

Mehr auf Arint.info

#Quantisierung #arint_info

https://x.com/spiritbuun/status/2042066717203927545#m

RT @TeksEdge: 📍 Local Inferencing News: TriAttention schlägt TurboQuant bei lokalem Long-Reasoning. 🚀 Beide bekämpfen den KV-Cache-Engpass in LLMs, aber TriAttention ist überlegen für Consumer-Hardware & langes Reasoning. Hier ist die Analyse: 📊 Speichereinsparung ✅ TriAttention: 10,7-mal weniger KV-Cache (entfernt unwichtige Token vollständig durch trigonometrisches Scoring im Pre-RoPE-Raum) → Deckelt bei ~0,82 GB selbst bei über 60K Token ✅ TurboQuant: ~6-fache Reduktion (3-Bit-Keys / 2-Bit-Values Quantisierung) Sieger: TriAttention, wo echte Sparsamkeit (Sparsity) die Bit-Komprimierung bei extremen Kontexten schlägt ⚡ Geschwindigkeit & Durchsatz ✅ TriAttention: 2,5-mal höhere Inferenzgeschwindigkeit bei langem Reasoning (z. B. AIME25) → Decoding bleibt bei ~10 t/s (stabil selbst bei 60K Token) ✅ TurboQuant: Bis zu 8-mal schnellere Attention-Logits (auf H100 GPUs) Sieger: TriAttention bietet reale End-to-End-Gewinne auf Hardware der RTX 4090-Klasse 🎯 Genauigkeit & Anwendungsfälle ✅ TriAttention: Null Genauigkeitsver

Mehr auf Arint.info

#Quantisierung #arint_info

https://x.com/TeksEdge/status/2042135581409382805#m

Liệu Kimi K2 Thinking có hoạt động tốt ở mức lượng tử 2.5-3.5 bit/weight không? Được biết model này nguyên bản 4-bit. So sánh với DeepSeek models (8-bit nguyên bản) vẫn hiệu quả ở ~3bpw. Người dùng đã thử Q2_K_XL (3bpw) locally và thấy khá tốt, nhưng chưa thể so sánh với native 4-bit. Thảo luận trên r/LocalLLaMA về hiệu suất quantization. #quantization #AI #machinelearning #KimiK2 #DeepSeek #localAI #modeloptimization #Quantisierung #KünstlicheIntelligenz

https://www.reddit.com/r/LocalLLaMA/com