The introduction of the Vera Rubin platform shifts the calculus for AI infrastructure planning. As the industry moves toward HBM4, understanding hardware refresh cycles becomes a core component of fleet optimization.

While H100 and Blackwell GPUs remain key workhorses, secondary-market demand for current-gen accelerators has reached a unique inflection point. This analysis explores the technical and financial variables influencing hardware transitions as the industry prepares for the Rubin wave.

https://www.buysellram.com/blog/the-post-gtc-gpu-market-shift-when-to-liquidate-h100-h200-and-blackwell-assets/

#NVIDIA #TechStrategy #DataCenter #GPU #GraphicsCard #GPULiquidation #H100 #H200

The introduction of the Vera Rubin platform shifts the calculus for AI infrastructure planning. While H100 and Blackwell GPUs remain key workhorses, secondary-market demand for current-gen accelerators has reached a unique inflection point. This analysis explores the technical and financial variables influencing hardware transitions as the industry prepares for the Rubin wave.

https://www.buysellram.com/blog/the-post-gtc-gpu-market-shift-when-to-liquidate-h100-h200-and-blackwell-assets/

#NVIDIA #TechStrategy #DataCenter #GPU #GraphicsCard #GPULiquidation #H100 #H200 #technology

Из коробки не работает: запускаем свежие большие LLM

В последнее время открытых моделей сверхбольшого размера развелось неимоверное количество, даже не просто моделей, а производителей. Вариации GLM, Kimi, DeepSeek занимают по нескольку строк в топ 5-10-20. Понадобилось перебрать основные LLM для тестов и выбора "рабочей лошадки", для чего пришлось немного пошуршать в интернетах. Оставлю в качестве памятки, вдруг кому-то окажется полезным. Всё делалось на базе образов vllm-openai, платформ B200/H200 и дров 590.48.01. На момент начала экспериментов - примерно пару недель тому назад - версии vllm 0.16 ещё не было, но, как выяснилось в итоге, это не сильно повлияло на ситуацию. Основные костыли остались теми же самыми. Разве что кастомизация образа не для каждой модели нужна теперь. В целом там, понятное дело, никакого RocketScience нету (особенно после того, как почитаешь китайские форумы в поисках нюансов). Но если бы кто-то посидел заранее и собрал советы в одном месте - жизнь была бы немного проще )) поэтому делюсь. Итак, поехали.

https://habr.com/ru/articles/1006202/

#KimiK25 #DeepSeekv32 #GLM5 #Qwen35 #vllm #B200 #H200