RT @The_Only_Signal: Wenn du ein 128-GB-System mit unified Memory oder eine 96-GB-RTX-6000-GPU nutzt und Qwen3.6-27B oder 35B-A3B darauf ausführst, weißt du bereits, in welche Richtung sich die Branche bewegt.

mehr auf Arint.info

#HermesFramework #HighThroughputHardware #Qwen3 #RTX6000 #TokenIntensiveModels #UnifiedMemory #arint_info

https://x.com/The_Only_Signal/status/2058362982791270546#m

RT @Hi_MINISFORUM: Kann ein 351-Dollar-Mini-PC ein 30B+-KI-Modell lokal ausführen? 👀 Wir haben den MINISFORUM UM790 Pro mit Qwen 35B getestet — und die Ergebnisse könnten Sie überraschen. 💻 Ausgestattet mit: • AMD Ryzen™ 9 7940HS • Radeon™ 780M iGPU • 48GB DDR5 RAM (Dual-Channel) 🚀 Smooth-Inferenz mit 20+ Tokens/s (basierend auf unserem Test-Setup, Ergebnisse können variieren) Keine Cloud. Keine API-Gebühren. Nur lokale KI. 🔒 Learn more: s.minisforum.com/MiniPC #MINISFORUM #UM790Pro #LocalAI #MiniPC #AI #LLM #Tech Video Base Camp Bernie (@basecampbernie) Ein 300-Dollar-Mini-PC, der 26B-Parameter-Modelle lokal ausführt. Wir haben den MINISFORUM UM790 Pro mit AMD Radeon 780M iGPU, 48GB DDR5 RAM und 1TB NVMe getestet. Das Geheimnis: Die iGPU hat keinen dedizierten VRAM, sondern nutzt den Unified-Memory-Ansatz. Im BIOS sind nur 4GB VRAM angegeben, aber Vulkan erkennt den vollen Speicherpool. Wir haben 21+ GB für Modellgewichte zugewiesen. Er läuft: - Gemma 4 26B MoE: 19.5 tok/ a 20 tok/s - Gemma 4 E4B: 21.7 tok/s - Qwen3.5-35B-A3B: 20.8 tok/s - Dense 31B: 4 tok/s (Bandbreiten-Limit). Agentische Workflows mit @NousResearch Hermes Agent: Terminal, Dateioperationen, Web-Browsing, 40+ Tools, alles auf lokalen Modellen. Keine API-Keys. Nur eine Box auf dem Schreibtisch. Der RAM ist derzeit der Flaschenhals. DDR5-Preise sind 3-4x höher als letztes Jahr. Aber die Rechenpower ist nach dem Kauf forever free. @HiMINISFOR a-RDNA 3. Passt in die Hand. #LocalLLM #Gemma4 #llamacpp #AMD #Radeon780M #MoE #LocalAI #AI #OpenSource #GGUF #HermesAgent #NousResearch #DDR5 #MiniPC #EdgeAI #UnifiedMemory #Vulkan #iGPU…

mehr auf Arint.info

#agent #API #GGUF #llama #LocalAI #nitter #OpenSource #Qwen #Qwen3535 #arint_info

https://x.com/Hi_MINISFORUM/status/2046536248852885762#m

RT @TheAhmadOsman: Dense Modelle wie Qwen 3.5 27B & Gemma 4 31B auf Unified Memory sind eine schlechte Idee. Einfache Regel: Eine geringere Speicherbandbreite funktioniert am besten mit weniger aktiven Parametern pro Token. MoE wie Gemma 4 26B-A4B würde auf Unified Memory viel schneller funktionieren.

mehr auf Arint.info

#AI #LLM #MachineLearning #MoE #UnifiedMemory #arint_info

https://x.com/TheAhmadOsman/status/2044255073782333771#m

RT @basecampbernie: $300 mini PC running 26B parameter AI models at 20 tok/s. Minisforum UM790 Pro ($351) + AMD Radeon 780M iGPU + 48GB DDR5-5600 + 1TB NVMe. The secret: the 780M has no dedicated VRAM. It shares your DDR5 via unified memory. The BIOS says "4GB VRAM" but Vulkan sees the full pool. I'm allocating 21+ GB for model weights on a GPU with "4GB VRAM." The iGPU reads weights directly from system RAM at DDR5 bandwidth (~75 GB/s). MoE only activates 4B params per token = 2-4 GB of reads. That's why 20 tok/s works. What it runs: - Gemma 4 26B MoE: 19.5 tok/s, 110 tok/s prefill, 196K context - Gemma 4 E4B: 21.7 tok/s faster than some RTX setups - Qwen3.5-35B-A3B: 20.8 tok/s - Nemotron Cascade 2: 24.8 tok/s Dense 31B? 4 tok/s, reads all 18GB per token, bandwidth wall. MoE same quality? 20 tok/s. Full agentic workflows via @NousResearch Hermes agent with terminal, file ops, web, 40+ tools, all against local models. No API keys. Just a box on your desk. The RAM is the pain right now. DDR5 prices 3-4x what they were a year ago. But the compute is free forever after you buy it. @Hi_MINISFORUM @ggerganov llama.cpp + Vulkan + @UnslothAI GGUFs + @AMDRadeon RDNA 3. Fits in your hand. #LocalLLM #Gemma4 #llama_cpp #AMD #Radeon780M #MoE #LocalAI #AI #OpenSource #GGUF #HermesAgent #NousResearch #DDR5 #MiniPC #EdgeAI #UnifiedMemory #Vulkan #iGPU #RunItLocal #AIonDevice

Mehr auf Arint.info

#agent #API #GGUF #llama #LocalAI #OpenSource #Qwen3535 #arint_info

https://x.com/basecampbernie/status/2040326984446935059#m

GB10/DGX Spark: 128GB bộ nhớ thống nhất liệu có đủ bù cho tốc độ token chậm? Với ngân sách $4.000, liệu dung lượng lớn có thực sự đẩy nhanh hiệu suất xử lý dự án web/lớn, chạy đa task (architect + coder + QA bot) so với RTX/Mac Studio? Cần kinh nghiệm từ người dùng thật về workflow lập trình AI kết hợp code nhanh. #AI #MáyTính #LậpTrình #Tech #UnifiedMemory #Workstation #VibeCoding

https://www.reddit.com/r/LocalLLaMA/comments/1py1jx9/gb10_dgx_spark_owners_is_128gb_unified_memory/

Người dùng thử chạy Deepseek-r1:70b LLM trên PC có 128GB bộ nhớ thống nhất (unified memory) nhưng thất bại. Nguyên nhân: model này cần ~55-60GB VRAM tương đương, vượt quá khả năng của APU tiêu dùng, ngay cả với bộ nhớ lớn. Điều này cho thấy giới hạn của unified memory khi xử lý các mô hình AI lớn.
#LLM #AI #Hardware #LocalAI #UnifiedMemory #DeepSeek #MáyTính #TríTuệNhânTạo

https://www.reddit.com/r/LocalLLaMA/comments/1pfl0d8/how_big_an_open_source_model_can_i_run_on_128_gb/

Wie viel Unified Memory benötigt ihr für euren Mac?
Beim Mac-Kauf ist die Frage nach der passenden Speicherausstattung besonders wichtig. Apples Systemarchitektur setzt neue Maßstäbe, lässt aber keine Aufrüstung nach dem Kauf zu.

Unterschiede bei den Mac-Modellen und der
https://www.apfeltalk.de/magazin/news/wie-viel-unified-memory-benoetigt-ihr-fuer-euren-mac/
#Mac #News #Apple #AppleSilicon #Arbeitsspeicher #M1 #M2 #M3 #M4 #M5 #Mac #MacBook #MacBookAir #MacBookPro #UnifiedMemory

Mô hình AI ngày càng lớn (ví dụ Gemini-3 có thể 1.2 TB), khiến việc chạy cục bộ trên GPU truyền thống khó khăn. Bộ nhớ hợp nhất (unified memory) được đề xuất là giải pháp tương lai. Apple và AMD (Strix Halo) đang đi đúng hướng. Xu hướng dài hạn có thể là tính toán trong bộ nhớ.

#AI #LocalAI #UnifiedMemory #Apple #AMD #CôngNghệ #TríTuệNhânTạo

https://www.reddit.com/r/LocalLLaMA/comments/1oph7jd/unified_memory_is_the_future_not_gpu_for_local_ai/