Бенчмарк DGX Spark с LLM Qwen3: кому подойдет, почему 128 ГБ не серебряная пуля и о чем умолчал маркетинг NVIDIA

У всех кто работает с LLM моделями случалось, что модель на 32B параметров не влезает в 24 ГБ VRAM вашей RTX 4090, offload на CPU убивает скорость, а облако — дорого и данные уходят на сторону. NVIDIA обещает нам решение: DGX Spark (он же GB10) с 128 ГБ unified memory за ~400-500 тысяч рублей. Мы потратили две недели на глубокие бенчмарки устройства и результаты оказались... неоднозначными. В статье будет много графиков, сравнение нескольких форматов квантизации, тесты разных объемов подаваемого контекста, сравнения с более привычными GPU и оценка финансовой эффективности такой покупки. Цель бенчмарка разобраться, в каких ситуациях DGX Spark показывает свои преимущества, а где его архитектурные ограничения становятся узким местом и предпочтительнее выбирать другие решения. Открыть бенчмарк

https://habr.com/ru/articles/994058/

#DGX_Spark #NVIDIA #Большие_языковые_модели #Нейросети #AI #Искусственный_интеллект #Бенчмарк #Промышленность #Qwen3 #Сезон_Heavy_Digital

Настольный дата-центр: как NVIDIA упаковала целый ИИ-кластер в корпус 15×15 см

Совсем недавно NVIDIA представила DGX Spark — компактный AI-компьютер формата 150×150×50 мм. Внутри установлен Grace Blackwell Superchip GB10, объединяющий 20-ядерный ARM-процессор и GPU Blackwell, 128 ГБ единой LPDDR5X-памяти и накопитель до 64 ТБ. По уровню вычислительной мощности устройство сопоставимо с RTX 6000 Ada, но не требует серверной стойки, отдельного охлаждения и сложного подключения. DGX Spark рассчитан на специалистов, которым нужно запускать крупные языковые модели и дообучать нейросети локально — без облачных квот, задержек и рисков для данных. В статье разберем архитектуру системы, интерфейсы и охлаждение, а также реальные сценарии, где мини-суперкомпьютер действительно заменяет сервер — от генерации изображений до вычислений в материаловедении.

https://habr.com/ru/companies/ru_mts/articles/961520/

#DGX_Spark #nvidia