RT @CardilloSamuel: Ich habe gerade einen Call mit noch einem weiteren Unternehmen geführt, das auf lokale KI umsteigt. Sie verwendeten Qwen 3.6 35B, das über meinen Spark bereitgestellt wurde, damit sie ihre Pipelines damit testen und prüfen konnten, ob es sich für sie eignet. Was ich in diesem Gespräch gehört habe, ist ziemlich verrückt, und ich habe das Gefühl, dass die meisten KI-Skeptiker dies missverstehen. Der Kunde teilte mir wörtlich mit, dass sie die Ergebnisse ständig mit Claude, ChatGPT und der lokal bereitgestellten Qwen 3.6 verglichen und die Ergebnisse von Qwen deutlich bevorzugten – wahnsinnig! Der Plan ist nun, ein DGX Spark in ihrem Büro für die MVP-Phase zu installieren, plus eine mit Blackwell-Technologie ausgestattete 6000 Pro-Maschine für das Training. Später planen sie im Grunde, pro Kunde ein DGX Spark zu erwerben, um für jeden Kunden ein optimiertes Finetune bereitzustellen. Das ist die Zukunft. Wörtlich. Und noch einmal: Das ist das Beste, was je passieren wird.

mehr auf Arint.info

#DGXSpark #Finetuning #KIInnovation #LokaleKI #Qwen #TechTrends #arint_info

https://x.com/CardilloSamuel/status/2069709456825262553#m

https://www.buysellram.com/blog/how-to-choose-the-best-mini-pc-for-local-ai-in-2026/

AMD Ryzen AI Max+ 395 vs Nvidia DGX Spark vs Apple Mac — plus when a GPU tower still beats all three. A practical hardware guide for IT managers, developers, and small-business owners weighing a local LLM machine.

There’s no single winner. The right pick comes down to three numbers — how big a model you need to run (memory capacity), how fast it has to run (memory bandwidth), and which software you depend on (CUDA, ROCm, or Metal). A discrete-GPU tower is fastest but hits a VRAM wall; AMD’s Strix Halo mini PCs give the most memory per dollar on Windows; Nvidia’s DGX Spark adds the CUDA stack at a premium; Apple’s Macs offer high bandwidth and silence without CUDA. An appendix at the end collects what early buyers of the AMD “lunchbox” are actually reporting.

#LocalAI #LLM #MiniPC #AIhardware #StrixHalo #DGXSpark #AppleSilicon #EdgeAI #AIinfrastructure #Ollama #RyzenAI #AIPC #AMD #NVIDIA #Apple #tech

AMD Ryzen AI Max+ 395 vs Nvidia DGX Spark vs Apple Mac — plus when a GPU tower still beats all three. A practical hardware guide for IT managers, developers, and small-business owners weighing a local LLM machine.

Running large language models locally went from a niche hobby to a real procurement question in 2026. A mini PC the size of a paperback can now hold a 200-billion-parameter model — the kind of workload that used to need a server rack.

But picking one isn't about the lowest price. Three things decide whether a model runs well: memory capacity (what fits), memory bandwidth (how fast it runs), and the software ecosystem — CUDA, ROCm, or Metal — that determines whether your existing tools work at all.

There are four real ways to run a local LLM on your desk: a discrete-GPU tower (fastest, but a VRAM wall), AMD Strix Halo mini PCs (big unified memory, cheap, Windows-native), Nvidia's GB10 boxes like the DGX Spark and Dell Pro Max (CUDA, but now $4,699 and Linux-only), and Apple's Mac mini and Mac Studio (high bandwidth, silent, no CUDA).

This guide breaks down which fits which job — with verified specs and current prices.

An appendix at the end collects what early buyers of the AMD “lunchbox” are actually reporting.

https://www.buysellram.com/blog/how-to-choose-the-best-mini-pc-for-local-ai-in-2026/
#LocalAI #LLM #MiniPC #AIhardware #StrixHalo #DGXSpark #AppleSilicon #EdgeAI #AIinfrastructure #Ollama #RyzenAI #AIPC #AMD #NVIDIA #Apple #technology

I finally loaded a 120B model - #nemotron3 super, onto my #DGXSpark. With all the stars aligned and goats sacrificed, I think this is the NVFP4 flavour. I'm using it to review patches I made earlier for evaluation.

So far I'm blown away by how _fast_ it is, I'm seeing ~20-25 tokens per second.

It's too soon if this is going to replace my go-to model (qwen3.6-35B-A3B) but I'm looking forward to using during my day job tasks.

I run two models, one on #StrixHalo and one more on the spark. A/B :)

NYC Day in Life // Powered by NVIDIA RTX Laptop!

https://tube.blueben.net/w/mXa3B3MjGQUNp54x3FKB8e