RT @TheAhmadOsman: Dense Modelle wie Qwen 3.5 27B & Gemma 4 31B auf Unified Memory sind eine schlechte Idee. Einfache Regel: Eine geringere Speicherbandbreite funktioniert am besten mit weniger aktiven Parametern pro Token. MoE wie Gemma 4 26B-A4B würde auf Unified Memory viel schneller funktionieren.

mehr auf Arint.info

#AI #LLM #MachineLearning #MoE #UnifiedMemory #arint_info

https://x.com/TheAhmadOsman/status/2044255073782333771#m

RT @basecampbernie: $300 mini PC running 26B parameter AI models at 20 tok/s. Minisforum UM790 Pro ($351) + AMD Radeon 780M iGPU + 48GB DDR5-5600 + 1TB NVMe. The secret: the 780M has no dedicated VRAM. It shares your DDR5 via unified memory. The BIOS says "4GB VRAM" but Vulkan sees the full pool. I'm allocating 21+ GB for model weights on a GPU with "4GB VRAM." The iGPU reads weights directly from system RAM at DDR5 bandwidth (~75 GB/s). MoE only activates 4B params per token = 2-4 GB of reads. That's why 20 tok/s works. What it runs: - Gemma 4 26B MoE: 19.5 tok/s, 110 tok/s prefill, 196K context - Gemma 4 E4B: 21.7 tok/s faster than some RTX setups - Qwen3.5-35B-A3B: 20.8 tok/s - Nemotron Cascade 2: 24.8 tok/s Dense 31B? 4 tok/s, reads all 18GB per token, bandwidth wall. MoE same quality? 20 tok/s. Full agentic workflows via @NousResearch Hermes agent with terminal, file ops, web, 40+ tools, all against local models. No API keys. Just a box on your desk. The RAM is the pain right now. DDR5 prices 3-4x what they were a year ago. But the compute is free forever after you buy it. @Hi_MINISFORUM @ggerganov llama.cpp + Vulkan + @UnslothAI GGUFs + @AMDRadeon RDNA 3. Fits in your hand. #LocalLLM #Gemma4 #llama_cpp #AMD #Radeon780M #MoE #LocalAI #AI #OpenSource #GGUF #HermesAgent #NousResearch #DDR5 #MiniPC #EdgeAI #UnifiedMemory #Vulkan #iGPU #RunItLocal #AIonDevice

Mehr auf Arint.info

#agent #API #GGUF #llama #LocalAI #OpenSource #Qwen3535 #arint_info

https://x.com/basecampbernie/status/2040326984446935059#m

GB10/DGX Spark: 128GB bộ nhớ thống nhất liệu có đủ bù cho tốc độ token chậm? Với ngân sách $4.000, liệu dung lượng lớn có thực sự đẩy nhanh hiệu suất xử lý dự án web/lớn, chạy đa task (architect + coder + QA bot) so với RTX/Mac Studio? Cần kinh nghiệm từ người dùng thật về workflow lập trình AI kết hợp code nhanh. #AI #MáyTính #LậpTrình #Tech #UnifiedMemory #Workstation #VibeCoding

https://www.reddit.com/r/LocalLLaMA/comments/1py1jx9/gb10_dgx_spark_owners_is_128gb_unified_memory/

Người dùng thử chạy Deepseek-r1:70b LLM trên PC có 128GB bộ nhớ thống nhất (unified memory) nhưng thất bại. Nguyên nhân: model này cần ~55-60GB VRAM tương đương, vượt quá khả năng của APU tiêu dùng, ngay cả với bộ nhớ lớn. Điều này cho thấy giới hạn của unified memory khi xử lý các mô hình AI lớn.
#LLM #AI #Hardware #LocalAI #UnifiedMemory #DeepSeek #MáyTính #TríTuệNhânTạo

https://www.reddit.com/r/LocalLLaMA/comments/1pfl0d8/how_big_an_open_source_model_can_i_run_on_128_gb/

Wie viel Unified Memory benötigt ihr für euren Mac?
Beim Mac-Kauf ist die Frage nach der passenden Speicherausstattung besonders wichtig. Apples Systemarchitektur setzt neue Maßstäbe, lässt aber keine Aufrüstung nach dem Kauf zu.

Unterschiede bei den Mac-Modellen und der
https://www.apfeltalk.de/magazin/news/wie-viel-unified-memory-benoetigt-ihr-fuer-euren-mac/
#Mac #News #Apple #AppleSilicon #Arbeitsspeicher #M1 #M2 #M3 #M4 #M5 #Mac #MacBook #MacBookAir #MacBookPro #UnifiedMemory

Mô hình AI ngày càng lớn (ví dụ Gemini-3 có thể 1.2 TB), khiến việc chạy cục bộ trên GPU truyền thống khó khăn. Bộ nhớ hợp nhất (unified memory) được đề xuất là giải pháp tương lai. Apple và AMD (Strix Halo) đang đi đúng hướng. Xu hướng dài hạn có thể là tính toán trong bộ nhớ.

#AI #LocalAI #UnifiedMemory #Apple #AMD #CôngNghệ #TríTuệNhânTạo

https://www.reddit.com/r/LocalLLaMA/comments/1oph7jd/unified_memory_is_the_future_not_gpu_for_local_ai/