RT @kis: Bei LFM2.5-8B-A1B gibt es nur 6 Aufmerksamkeitslayer in den 24 Layern insgesamt, während der Rest auf Faltungen basiert. Dadurch lässt sich der Speicherverbrauch des KV-Caches erheblich reduzieren. Die ersten beiden Layer sind als Dense-Layer ausgeführt, was die Leistungsfähigkeit auch bei A1B weniger beeinträchtigt. Die verbleibenden 22 Layer nutzen MoE.

mehr auf Arint.info

#A1B #DeepLearning #KVCache #LFM2 #MoE #Transformer #arint_info

https://x.com/kis/status/2060688306900496700#m

Silicon Motion says AI PCs need a new kind of SSD controller

https://fed.brid.gy/r/https://nerds.xyz/2026/05/silicon-motion-ai-pc-ssd-controller/

Prefix Persistence Unveiled in LLM KV Cache Dynamics

Learn how LLM KV cache prefixes remain unchanged, with masking used to manage them. This helps speed up AI responses.

#LLM, #KVcache, #AIefficiency, #PromptEngineering, #TechNews

https://newsletter.tf/llm-kv-cache-prefix-fixed-masking-efficiency/

LLM KV cache prefixes are now understood to be fixed, not changed. Masking is used instead, which could lead to up to 65% faster AI responses.

#LLM, #KVcache, #AIefficiency, #PromptEngineering, #TechNews
https://newsletter.tf/llm-kv-cache-prefix-fixed-masking-efficiency/

KV Cache Is Becoming the Memory Hierarchy of Inference

https://touchdown-labs.com/blog/kv-cache-memory-hierarchy-inference.html

#HackerNews #KVCache #MemoryHierarchy #Inference #AIInference #TechTrends #MachineLearning

RT @Maor_Elkarat: Hör auf, mehr VRAM zu kaufen.

mehr auf Arint.info

#4Bit #AI #Grok #KVCache #Qwen36 #VRAM #arint_info

https://x.com/Maor_Elkarat/status/2050866949643477241#m

RT @Maor_Elkarat: TRANSLASTION: Hör auf, mehr VRAM zu kaufen.

mehr auf Arint.info

#4BitWeights #AIoptimierung #DeepLearning #KVCache #Qwen36 #VRAM #arint_info

https://x.com/Maor_Elkarat/status/2050866949643477241#m

Скрытая цена LLM: как KV-cache увеличивает стоимость инференса и как эту проблему решает Google TurboQuant

При инференсе LLM общее потребление памяти определяется не только размером самой модели, но и промежуточными данными, накапливаемыми в процессе ее работы. С ростом контекста объем этих данных растет почти линейно и может стать сопоставимым или даже превышать размер самой модели. В основе этой проблемы лежит KV-cache. Пример : у LLaMA 2 7B веса занимают около 14 ГБ, но при контексте 8K токенов KV-cache весит уже примерно 4 ГБ. Всего при четырех параллельных запросах это около 16 ГБ. Это и есть скрытая цена инференса, которая не так очевидна на первый взгляд.

https://habr.com/ru/companies/ru_mts/articles/1029644/

#LLM #KVcache #инференс_LLM #стоимость_LLM #оптимизация_инференса