🧠 Il vero collo di bottiglia dei #LLM moderni non è più il calcolo: è la memoria.
✨ #Google Research, recentemente, ha presentato #TurboQuant. 

👉 Un approfondimento: https://www.linkedin.com/posts/alessiopomaro_turboquant-llm-rag-activity-7462380695353524224-Ek0x

___ 
✉️ 𝗦𝗲 𝘃𝘂𝗼𝗶 𝗿𝗶𝗺𝗮𝗻𝗲𝗿𝗲 𝗮𝗴𝗴𝗶𝗼𝗿𝗻𝗮𝘁𝗼/𝗮 𝘀𝘂 𝗾𝘂𝗲𝘀𝘁𝗲 𝘁𝗲𝗺𝗮𝘁𝗶𝗰𝗵𝗲, 𝗶𝘀𝗰𝗿𝗶𝘃𝗶𝘁𝗶 𝗮𝗹𝗹𝗮 𝗺𝗶𝗮 𝗻𝗲𝘄𝘀𝗹𝗲𝘁𝘁𝗲𝗿: https://bit.ly/newsletter-alessiopomaro

#AI #GenAI #GenerativeAI #IntelligenzaArtificiale #LLM 

RT @Tevsa: 128.000 Wörter Kurzzeitgedächtnis. Lokal. Privat. Ohne Kompromisse. Qwen 32B auf 2x RTX A4500 performt dank TurboQuant q40 besser als die Theorie erlaubt.

mehr auf Arint.info

#Frankenstein #Hardware #KI #LokaleKI #Qwen #TurboQuant #arint_info

https://x.com/Tevsa/status/2056079348621328615#m

TurboQuant Sessiz Çökme Sorunu ve OpenSSL 3 Çözümü

Yerel yapay zeka modellerinde 128K gibi devasa context pencerelerine yelken açmak isterken llama-server.exe'nin hiçbir hata vermeden anında kapanmasıyla karşılaştım. TheTom/llama-cpp-turboquant Windows CUDA 12.4 paketinde unutulan OpenSSL DLL'lerini (STATUS_DLL_NOT_FOUND) ve winget ile LTS sürümünü kurarak bu can sıkıcı problemi kendi sistemimde nasıl çözdüğümü anlattım.

https://yuceltoluyag.github.io/turboquant-sessiz-cokme-cozumu/

#ai #llamacpp #turboquant #openssl #windows

🧠 Il vero cambiamento non è che #Google capirà meglio una pagina. È che potrà valutarne molte di più.
✨ #TurboQuant, il nuovo sistema di cui sta parlando la community #SEO, va letto in questa direzione.

👉 Un approfondimento: https://www.linkedin.com/posts/alessiopomaro_google-turboquant-seo-activity-7461292556304306176-SHvi

___ 
✉️ 𝗦𝗲 𝘃𝘂𝗼𝗶 𝗿𝗶𝗺𝗮𝗻𝗲𝗿𝗲 𝗮𝗴𝗴𝗶𝗼𝗿𝗻𝗮𝘁𝗼/𝗮 𝘀𝘂 𝗾𝘂𝗲𝘀𝘁𝗲 𝘁𝗲𝗺𝗮𝘁𝗶𝗰𝗵𝗲, 𝗶𝘀𝗰𝗿𝗶𝘃𝗶𝘁𝗶 𝗮𝗹𝗹𝗮 𝗺𝗶𝗮 𝗻𝗲𝘄𝘀𝗹𝗲𝘁𝘁𝗲𝗿: https://bit.ly/newsletter-alessiopomaro

#AI #GenAI #GenerativeAI #IntelligenzaArtificiale #LLM #SEO

RT @_EldarKurtic: TurboQuant hat in letzter Zeit viel Aufmerksamkeit auf sich gezogen, doch die begleitenden Evaluierungen erzählten nicht die ganze Geschichte.

mehr auf Arint.info

#KI #Performance #Studie #Technologie #TurboQuant #arint_info

https://x.com/_EldarKurtic/status/2053809592061030546#m

RT @TeksEdge: TRANSLASION: 🚀 vLLM v0.20.0 ist da! Ich freue mich auf TurboQuant! • 752 Commits von 320 Mitwirkenden (123 neue) 🎉 • TurboQuant 2-Bit KV-Cache → 4× Kapazität + FA3/FA4 Prefill 🗜️⚡ • FA4 wieder als Standard-MLA-Prefill aktiviert (SM90+ GPUs) • vLLM-IR-Grundlage + rmsnorm (zukünftige Kernel-Basis) 🧱 • 2,1 % E2E-Latenzgewinn durch fused RMS norm 📈 Neue Baselines: CUDA 13, PyTorch 2.11, Python 3.14, Transformers v5 Hardware/Modelle • DeepSeek V4 (MegaMoE auf Blackwell) + Hunyuan v3 Preview 🔥 • Jetson Thor, AMD ROCm-Upgrades, Intel XPU-Unterstützung • Einfachere GB200/Grace-Blackwell-Einrichtung Großes Update! vLLM (@vllmproject) vLLM v0.20.0 ist da! 752 Commits von 320 Mitwirkenden (123 neue). 🎉 Highlights: DeepSeek V4, Hunyuan v3 Preview-Unterstützung, CUDA 13 / PyTorch 2.11 / Transformers v5 als Baseline, FA4 als Standard-MLA-Prefill, TurboQuant 2-Bit KV (4× Kapazität), vLLM-IR-Grundlage. Thread 👇 — https://nitter.net/vllmproject/status/2048918629144805619#m

mehr auf Arint.info

#AIInfrastructure #DeepSeekV4 #LLM #MachineLearning #TurboQuant #vLLM #arint_info

https://x.com/TeksEdge/status/2048983564801450315#m

Impressive:

“TurboQuant: Redefining AI Efficiency With Extreme Compression”, Amir Zandieh, et al, Google Research (https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/).

The paper: https://arxiv.org/abs/2504.19874

On HN: https://news.ycombinator.com/item?id=47513475

#TurboQuant #Quantization #LLMs #Vectors #Compression #Paper

Революция на рынке ОЗУ откладывается. Праотец TurboQuant раскрыл все нюансы и написал жалобу в комитет по этике

Инженеры Google пообещали сократить потребление памяти в 8 раз. Рынок ОЗУ тут же отреагировал: акции покатались вниз. Финансовые аналитики, как и всё ИИ-сообщество в те дни, не учли несколько технических нюансов.

https://habr.com/ru/companies/tsnis/articles/1028924/

#искусственный_интеллект #нейросети #озу #google #turboquant #кризис

TurboQuant: A First-Principles Walkthrough

https://arkaung.github.io/interactive-turboquant/

#HackerNews #TurboQuant #FirstPrinciples #Walkthrough #MachineLearning #DataScience #TechInnovation