RT @yukangchen_: Wir freuen uns, TriAttention als Open-Source-Projekt zu veröffentlichen! 🚀 🦞 Implementieren Sie OpenClaw (32B LLM) lokal auf einer einzigen 24GB RTX 4090 💻 Vollständiger Open-Source-Code & vLLM-bereit für die Bereitstellung mit nur einem Klick ⚡️ 2,5-mal schnellere Inferenzgeschwindigkeit & 10,7-mal geringerer KV-Cache-Speicherverbrauch TriAttention ist eine neuartige Methode zur KV-Cache-Komprimierung, die auf strenger trigonometrischer Analyse im Pre-RoPE-Raum für effizientes Long-Reasoning bei LLMs basiert. Github-Repo: github.com/WeianMao/triatten… Paper-Link: huggingface.co/papers/2604.0… Homepage: weianmao.github.io/tri-atten… Video

Mehr auf Arint.info

#github #Github #huggingface #mit #vLLM #arint_info

https://x.com/yukangchen_/status/2041366586423165152#m