Snowflake's Arctic Long Sequence Training: How to Train LLMs on 15 Million Tokens Without Selling a Kidney

https://techlife.blog/posts/snowflakes-arctic-long-sequence-training-how-to-train-llms-on-15-million-tokens-without-selling-a-kidney/

#ALST #Snowflake #LongContextTraining #DeepSpeed #HuggingFace #SequenceParallelism #LLMTraining #H100 #Llama8B #Qwen3 #GPUMemoryOptimization

Andrej Karpathy (@karpathy)

nanochat이 단일 8x H100 노드에서 GPT-2 역량 모델을 약 2시간 만에 학습시켰다고 발표했습니다(한 달 전 약 3시간에서 단축). fp8 지원과 여러 튜닝, 그리고 데이터셋을 FineWeb-edu에서 변경한 것이 주요 개선 포인트로, 실시간 인터랙티브 학습에 한층 근접했다는 기술적 진전입니다.

https://x.com/karpathy/status/2029701092347630069

#nanochat #gpt2 #training #h100 #fp8

Mark Gadala-Maria (@markgadala)

신규 비디오 생성 모델 'HELIOS' 공개: 14B 규모의 autoregressive diffusion 모델로, 단일 텍스트 프롬프트로 최대 60초의 일관된 비디오를 생성한다고 발표됨. 성능은 NVIDIA H100 한 장에서 초당 19.5프레임으로 실시간급 처리에 가까워 같은 규모 모델로는 최초 사례로 보임.

https://x.com/markgadala/status/2029572916141007273

#videogeneration #diffusion #helios #nvidia #h100

As the AI arms race accelerates, the 18-month hardware refresh cycle has transformed GPUs from simple components into high-value infrastructure assets. This article explores why selling hundreds of units—like NVIDIA’s H100 or A100—requires a shift from "peer-to-peer" thinking to "Enterprise ITAD" strategy.

https://medium.com/@samlamucf/where-to-sell-gpus-in-bulk-a-practical-guide-for-ai-and-data-center-hardware-7d9c2216f020

#DataCenter #ITAD #GPU #EnterpriseTech #NVIDIA #TechStrategy #BuySellRam #CircularEconomy #AI #H100 #Blackwell #GPU #TechNews #EnterpriseAI #AssetRecovery

Hello Fediverse! We are ServerMO, providing high-performance infrastructure for 21 years. 🚀

What we offer:
🔹 Elite GPUs: NVIDIA H100 & A100.
🔹 Bare Metal: AMD EPYC & Intel Xeon.
🔹 Network: 1-100Gbps Unmetered + BGP Support.
🔹 Global: 250+ locations across 6 continents.
🔹 Security: Free 250Gbps+ DDoS Protection.

Instant setup in 24-48hrs. Stop renting, start owning!

🔗 https://www.servermo.com/

#ServerMo #DedicatedServers #BareMetal #GPU #H100 #A100 #SysAdmin #DevOps #AI

NVIDIA GPU Cluster Liquidation: Maximize ROI and Asset Recovery
The shift to Blackwell is accelerating the depreciation of NVIDIA A100, H100, and H200 clusters. What were recently frontier training assets are now facing mid-life value cliffs due to performance-per-watt gaps, power density limits, and liquid-cooling requirements.

This turns GPU cluster liquidation into a capital strategy, not just decommissioning. Timing the secondary market, preserving service records to capture refurbished premiums, and enforcing IEEE 2883 data sanitization are key to maximizing ROI and funding next-generation deployments.

In compressed AI refresh cycles, asset recovery speed directly impacts infrastructure competitiveness.

https://www.buysellram.com/blog/nvidia-a100-h100-h200-cluster-liquidation-maximize-roi-and-asset-recovery/

#GPU #AIInfrastructure #DataCenter #AssetRecovery #H100 #A100 #H200 #Blackwell #ITAD #AIHardware #GraphicsCard #VideoCard #HPC #tech

Python Trending (@pythontrending)

InferenceX라는 오픈소스 연속 추론(continuous inference) 벤치마킹 프로젝트에서 Qwen3.5, DeepSeek, GPTOSS 등 모델을 대상으로 GB200 NVL72, MI355X, B200, GB300 NVL72, H100 등 다양한 추론 하드웨어를 비교하는 벤치마크를 소개하며, 곧 TPUv6e/v7 및 Trainium2/3 지원 예정임을 알립니다.

https://x.com/pythontrending/status/2024088496328081630

#inferencex #benchmarking #opensource #qwen3.5 #h100

Kosseila (CloudDude) (@CloudDude_)

DeepSeek 관련 업데이트로 보이는 게시물: DeepSeek v3.2는 643GB 규모의 가중치로, 16개 GPU(2× H100 노드)로 운영되며 KubeRay로 자동화되어 배포되었다고 공유합니다(텐서 병렬 TP=8, 파이프라인 병렬 PP=2). 대규모 모델 운영 스펙을 공개하는 내용입니다.

https://x.com/CloudDude_/status/2021989676521865320

#deepseek #model #kubray #h100

Как мы готовили Kubernetes под ML-нагрузки: пошаговый гайд (и что пошло не так)

Привет! Я Дмитрий, инженер и руководитель направления MLOps в Совкомбанке. Специализируюсь на разработке и эксплуатации ML-платформ на базе Kubernetes и GPU. С 2010 года в ИТ: строю инфраструктуру для машинного обучения, внедряю Kubeflow и GPU-оператор, настраиваю MIG на H100 в корпоративных средах с повышенными требованиями к безопасности и надежности. В последние годы фокусируюсь на оптимизации ML-пайплайнов, повышении утилизации GPU (включая MIG-профили) и интеграции MLOps-практик в процессы продуктовых команд. В 2022 году в некоторых командах разработки уже существовали проекты с применением ИИ, но как отдельные компоненты, не хватало единой платформы управления. По мере роста количества и сложности бизнес-задач возникла необходимость в создании ML-платформы как сервиса с едиными стандартами авторизации. Мы изучили доступные инструменты, попытались объединить их в одном Kubernetes-кластере, столкнулись с рядом ограничений — и в итоге пришли к архитектуре на базе Kubeflow и GPU-оператора. В статье рассказываем, какие сложности были в ходе проекта, как выстроили работу с Kubeflow, настраивали H100 с MIG-разделением и что важно учесть, если вы планируете строить ML-платформу на bare-metal-GPU в корпоративной среде.

https://habr.com/ru/companies/sovcombank_technologies/articles/994534/

#MLOps #DevOps #Kubernetes #Kubeflow #GPU #NVIDIA #H100 #MIG #baremetal #GPUоператор

Тестируем B200 от NVIDIA: живые бенчмарки с GLM-4.7

Если вы занимаетесь обучением или тюнингом больших языковых моделей, используете инференс в режиме реального времени или выполняете сложные HPC-симуляции, то наверняка задавались вопросом: «а каково это будет на одном из лучших в мире чипов»? Как только мы получили B200, графический процессор, который по заявлениям производителя открывает новые грани производительности, гибкости и масштабируемости, то сразу побежали его тестировать. Сегодня я и мои коллеги из

https://habr.com/ru/companies/cloud_ru/articles/993498/

#b200 #hgx #a100 #h100 #h200 #dgx #ml #glm47