Из коробки не работает: запускаем свежие большие LLM

В последнее время открытых моделей сверхбольшого размера развелось неимоверное количество, даже не просто моделей, а производителей. Вариации GLM, Kimi, DeepSeek занимают по нескольку строк в топ 5-10-20. Понадобилось перебрать основные LLM для тестов и выбора "рабочей лошадки", для чего пришлось немного пошуршать в интернетах. Оставлю в качестве памятки, вдруг кому-то окажется полезным. Всё делалось на базе образов vllm-openai, платформ B200/H200 и дров 590.48.01. На момент начала экспериментов - примерно пару недель тому назад - версии vllm 0.16 ещё не было, но, как выяснилось в итоге, это не сильно повлияло на ситуацию. Основные костыли остались теми же самыми. Разве что кастомизация образа не для каждой модели нужна теперь. В целом там, понятное дело, никакого RocketScience нету (особенно после того, как почитаешь китайские форумы в поисках нюансов). Но если бы кто-то посидел заранее и собрал советы в одном месте - жизнь была бы немного проще )) поэтому делюсь. Итак, поехали.

https://habr.com/ru/articles/1006202/

#KimiK25 #DeepSeekv32 #GLM5 #Qwen35 #vllm #B200 #H200

Из коробки не работает: запускаем свежие большие LLM

В последнее время открытых моделей сверхбольшого размера развелось неимоверное количество, даже не просто моделей, а производителей. Вариации GLM, Kimi, DeepSeek занимают по нескольку строк в топ...

Хабр

Тестируем B200 от NVIDIA: живые бенчмарки с GLM-4.7

Если вы занимаетесь обучением или тюнингом больших языковых моделей, используете инференс в режиме реального времени или выполняете сложные HPC-симуляции, то наверняка задавались вопросом: «а каково это будет на одном из лучших в мире чипов»? Как только мы получили B200, графический процессор, который по заявлениям производителя открывает новые грани производительности, гибкости и масштабируемости, то сразу побежали его тестировать. Сегодня я и мои коллеги из

https://habr.com/ru/companies/cloud_ru/articles/993498/

#b200 #hgx #a100 #h100 #h200 #dgx #ml #glm47

Тестируем B200 от NVIDIA: живые бенчмарки с GLM-4.7

Если вы занимаетесь обучением или тюнингом больших языковых моделей, используете инференс в режиме реального времени или выполняете сложные HPC-симуляции, то наверняка задавались вопросом: «а каково...

Хабр

Manchester Monday 3 26th January 2026.

240, Beechcraft 200 Super King Air, irish air Corps, in the static display park at the annual Woodford Air Show, some time in the 1990s.

#Manchester #Woodford #EGCD #AirShow #Beech #B200 #SuperKingAir #BizProp #IrishAirCorps #ManchesterMonday
#AvGeek #aviation #planespotting #photography

美國放行後,H200晶片銷中再卡關,《金融時報》:輝達供應商已暫停生產

陳家儀 2026-01-17 14:16:00 CST美國近期在附帶條件下,終於批准輝達的H200人工智慧晶片銷往中國。而後卻傳出,中國海關實務上暫不放行相關晶片進口,並要求企業審慎採購。《金融時報》指出,在出口政策前景未明的情況下,輝達多家關鍵零組件供應商已先行暫停生產H200晶片。
https://www.thenewslens.com/article/263713
#美國 #中國 #科技 #B200 #輝達 #H200晶片 #B300 #暫停生產 #供應鍊 #海關 #政策風險

美國放行後,H200晶片銷中再卡關,《金融時報》:輝達供應商已暫停生產 - TNL The News Lens 關鍵評論網

美國近期在附帶條件下,終於批准輝達的H200人工智慧晶片銷往中國。而後卻傳出,中國海關實務上暫不放行相關晶片進口,並要求企業審慎採購。《金融時報》指出,在出口政策前景未明的情況下,輝達多家關鍵零組件供應商已先行暫停生產H200晶片。

TNL The News Lens 關鍵評論網
🎉 Wow, someone finally virtualized those #HGX #B200 GPUs using #open #source, because plain old hardware was just too mainstream. 🙄 Apparently, doing it in Europe makes it 100% more private, because geography is encryption now. 🚀
https://www.ubicloud.com/blog/virtualizing-nvidia-hgx-b200-gpus-with-open-source #virtualization #privacy #technology #innovation #HackerNews #ngated
Virtualizing NVidia HGX B200 GPUs with Open Source

This blog post covers how we virtualized NVIDIA HGX B200 GPUs using open-source software. It talks about VFIO passthrough, QEMU PCI topology fixes, large BAR boot stalls, and Fabric Manager partitions.