RT @basecampbernie: $300 mini PC running 26B parameter AI models at 20 tok/s. Minisforum UM790 Pro ($351) + AMD Radeon 780M iGPU + 48GB DDR5-5600 + 1TB NVMe. The secret: the 780M has no dedicated VRAM. It shares your DDR5 via unified memory. The BIOS says "4GB VRAM" but Vulkan sees the full pool. I'm allocating 21+ GB for model weights on a GPU with "4GB VRAM." The iGPU reads weights directly from system RAM at DDR5 bandwidth (~75 GB/s). MoE only activates 4B params per token = 2-4 GB of reads. That's why 20 tok/s works. What it runs: - Gemma 4 26B MoE: 19.5 tok/s, 110 tok/s prefill, 196K context - Gemma 4 E4B: 21.7 tok/s faster than some RTX setups - Qwen3.5-35B-A3B: 20.8 tok/s - Nemotron Cascade 2: 24.8 tok/s Dense 31B? 4 tok/s, reads all 18GB per token, bandwidth wall. MoE same quality? 20 tok/s. Full agentic workflows via @NousResearch Hermes agent with terminal, file ops, web, 40+ tools, all against local models. No API keys. Just a box on your desk. The RAM is the pain right now. DDR5 prices 3-4x what they were a year ago. But the compute is free forever after you buy it. @Hi_MINISFORUM @ggerganov llama.cpp + Vulkan + @UnslothAI GGUFs + @AMDRadeon RDNA 3. Fits in your hand. #LocalLLM #Gemma4 #llama_cpp #AMD #Radeon780M #MoE #LocalAI #AI #OpenSource #GGUF #HermesAgent #NousResearch #DDR5 #MiniPC #EdgeAI #UnifiedMemory #Vulkan #iGPU #RunItLocal #AIonDevice

Mehr auf Arint.info

#agent #API #GGUF #llama #LocalAI #OpenSource #Qwen3535 #arint_info

https://x.com/basecampbernie/status/2040326984446935059#m

Anemll (@anemll)

Gemma-4-26B-A4 MoE 모델을 iPhone에서 Swift MLX와 Flash SSD로 실행한 사례입니다. 아직 속도는 느리지만 최적화하면 초당 10토큰 이상이 가능할 것으로 예상해, 모바일 온디바이스 LLM 실행 가능성을 보여줍니다.

https://x.com/anemll/status/2040126326708031969

#gemma #mlx #iphone #moe #ondeviceai

Gemma 4, 스마트폰에서 돌아가는 에이전트 오픈 모델 출시

https://aisparkup.com/posts/10798

Omapärase disainiga päikeseprillid: Stiilsed ja unikaalsed päikeseprillid.

Avasta oma stiil nende trendikate päikeseprillidega. Täienda oma välimust ja kaitse end päikese eest moekalt! https://tootemaailm.ee/omaparase-disainiga-paikeseprillid/ #päikeseprillid #moe #stiil #disain #trendika

Mustade, hallide või hõbedaste raamidega päikeseprillid: Stiilsed päikeseprillid igaks päevaks.

Võimas kaitse ja modernne disain. Avasta maailm uue pilguga nende trendikate päikeseprillidega! https://tootemaailm.ee/mustade-hallide-voi-hobedaste-raamidega-paikeseprillid/ #päikeseprillid #stiil #moe #disain #kaitse

Mistral Small 4, 추론·멀티모달·코딩을 하나로 합친 119B 오픈소스 모델

https://aisparkup.com/posts/10286

Vintage stiilis naiste päikeseprillid: Stiilsed vintage päikeseprillid naistele.

Trendikad prillid, mis kaitsevad silmi ja lisavad igale riietusele retro võlu. Täienda oma stiili juba täna! https://tootemaailm.ee/vintage-stiilis-naiste-paikeseprillid/ #vintage #päikeseprillid #stiil #retro #moe

Moodsad suured päikeseprillid: Trendikad suured päikeseprillid naistele.

Stiilsed ja moodsad päikeseprillid naistele, mis pakuvad UV-kaitset. Telli kohe ja naudi päikselisi päevi turvaliselt! https://tootemaailm.ee/moodsad-suured-paikeseprillid/ #päikeseprillid #moe #naised #trendikas #UVkaitse

Reach Invites moe. (Endless Groove, Berlin) + JayMe + The Heman + Andy-S (Reach, Hong Kong) @ 宀 Club - 02 Apr feat. moe., Andy-S, JayMe + more

#SESH #moe #AndyS #JayMe

https://sesh.sx/e/1614396

Paljude säravate kristallidega päikeseprillid: Säravad kristallidega päikeseprillid.

Kaunista oma stiili nende säravate kristallidega kaetud päikeseprillidega ja kaitse silmi stiilselt päikese kiirte eest. https://tootemaailm.ee/paljude-saravate-kristallidega-paikeseprillid/ #päikeseprillid #stil #moe #kristallid #sügis