John (@jrysana)
Cerebras 추론 성능이 과거에는 Groq보다 2~5배 빨랐고, NVIDIA Blackwell이 최신 세대 기준 GPU-LPU 성능 격차를 상당 부분 좁혔다는 비교 의견입니다. 다만 차세대 Groq 칩 성능은 아직 지켜봐야 한다는 뉘앙스입니다.
@Scobleizer @GroqInc Maybe not when you consider that Cerebras inference has historically been ~2-5x faster than Groq, and NVIDIA Blackwell closed most of the GPU-LPU gap as of the last available generation of LPU inference. But who knows... Maybe the next gen Groq chips are phenomenal.
Perplexity (@perplexity_ai)
NVIDIA가 대규모 모델 추론용 인프라에서 GB200/Blackwell 기반 최적화 성과를 소개했다. prefill/decode 분리, Blackwell 네이티브 양자화, 커스텀 커널, 랙 스케일 NVLink를 통해 더 빠른 응답과 낮은 서빙 비용을 구현한다고 밝혔다.
This NVIDIA remains the strongest platform for large-model inference at scale. Prefill/decode disaggregation, Blackwell-native quantization, custom kernels, and rack-scale NVLink turn GB200 into faster answers lower serving cost. Read the full paper here
Perplexity (@perplexity_ai)
Qwen3 235B 후학습 모델을 NVIDIA GB200 NVL72 Blackwell 랙에서 서빙하는 방법에 대한 새로운 연구를 공개했다. GB200은 대규모 MoE 모델의 고처리량 추론에서 Hopper 대비 큰 성능 향상을 보이며, 학습뿐 아니라 추론 플랫폼으로서도 중요성이 강조됐다.
🎧 The sound of professional performance 🔊
We unbox the PNY RTX PRO 2000 with 16GB of VRAM and the efficiency of the new Blackwell architecture ⚡️
DGX Spark на 256K контексте: тестирую конфигурации vLLM, реальные замеры и почему NVFP4 в mainline сломан
NVIDIA продаёт спарку с лозунгом «один петафлоп на FP4». Я купил коробку, поставил vLLM, запустил инференс и получил 40 токенов в секунду на 35B MoE‑модели. После маркетинговых слайдов цифра выглядит грустно. Объяснение простое. NVFP4 в основной ветке vLLM и FlashInfer физически сломан на SM_121 — варианте Blackwell, который установлен в GB10. Ядра собраны под compute_120f , а нативные NVFP4-инструкции есть только в compute_120a и compute_121a . На SM_121 распаковка квантованных весов идёт через программные битовые манипуляции в шейдере, без участия тензорных ядер. Сообщество вытащило стек руками: нашло обходные пути, собрало рабочие конфигурации. Я прогнал на своём Spark шесть разных конфигураций vLLM — от стокового BF16 до форка с DFlash speculative decoding — и замерил каждую одинаковым тестом. В этой статье разбираю, что в итоге работает и что выбирать под разные задачи.
https://habr.com/ru/articles/1033342/
#vllm #dgx_spark #gb10 #blackwell #nvfp4 #llm #инференс #локальный_ии
Мы уткнулись в потолок. Почему видеокарты перестали быстро расти — и что с этим делать
H100 стоит $30 000 и потребляет 700 Вт. RTX 5090 — $2 000 (де-факто больше) и 575 Вт. Прирост производительности между поколениями сжался с 80% до 15–20%. Разбираемся, почему это структурная проблема и что индустрия делает, чтобы с ней жить.
https://habr.com/ru/articles/1031370/
#GPU #NVIDIA #закон_Мура #HBM #AI_инфраструктура #чиплеты #архитектура_GPU #LLM #H100 #Blackwell
sayzard
Yonhap Infomax News
SLIMBOOK (Official)
Habr
ServeTheHome
