Тестируем NVIDIA HGX B300 — инференс-сервер с 8 GPU и 2,3 ТБ VRAM на DeepSeek, Qwen и MiniMax

Итак, вы внедрили ИИ в свой сервис и решили ехать в продакшен, где у вас много пользователей. Закономерно возникает вопрос — а на чем запустить инференс, чтобы и пользователи были довольны скоростью работы, и бизнес не разорился. Привет! На связи Никита, системный архитектор в Selectel . Сегодня я проведу для вас небольшой эксперимент: возьму HGX™ B300 и разверну на нем DeepSeek, Qwen и MiniMax. Зачем? Чтобы протестировать систему на разных задачах, посмотреть получившиеся бенчмарки и сделать выводы о почти топовом серверном GPU от NVIDIA. Заодно кратко вспомним, что получилось, когда мы пытались запустить бюджетный инференс LLM только на CPU. Прошу под кат. Читать далее →

https://habr.com/ru/companies/selectel/articles/1035066/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1035066

#selectel #инференс #llm #gpu #nvidia #dgx #hgx_b300

Тестируем NVIDIA HGX B300 — инференс-сервер с 8 GPU и 2,3 ТБ VRAM на DeepSeek, Qwen и MiniMax

Итак, вы внедрили ИИ в свой сервис и решили ехать в продакшен, где у вас много пользователей. Закономерно возникает вопрос — а на чем запустить инференс, чтобы и пользователи были довольны скоростью работы, и бизнес не разорился. Привет! На связи Никита, системный архитектор Читать далее →

https://habr.com/ru/companies/selectel/articles/1035066/

#selectel #инференс #llm #gpu #nvidia #dgx #hgx_b300

「[#1] DGX spark 姉妹品 GX10 の SSD を4TBに交換」　をアップロードしました。
需要は少ないと思いますが SSD 交換の参考になれば。

https://www.youtube.com/watch?v=HVp7x6wBXLM

#DGX #spark #GX10 #AI

https://www.youtube.com/watch?v=VWZB-W_H7VE

#youtube.com #dgx station #matroska

Nvidia veröffentlicht den Open-Source-Stack NemoClaw zur Absicherung von OpenClaw-Agenten in Firmennetzen.

Die OpenShell reglementiert den Daten- und API-Zugriff der Systeme restriktiv. Für das lokale Offline-Training bietet Nvidia die DGX Station mit dem GB300-Chip, 20 Petaflops und 748 GB RAM an. Der Code wechselt später ohne Aufwand auf RZ-Server.

#Nvidia #NemoClaw #OpenClaw #DGX #News
https://www.all-ai.de/news/news26top/nvidia-nemoclaw-openclaw

「DGX spark は遅いのか」　をアップロードしました。
RTX5080, RTX PRO 6000 と比較してみます
https://www.youtube.com/watch?v=qFoB8HWP_kM

#comfyui #DGX #spark #b3d #blender