NVIDIA、AIスーパーコンピューター9台にGrace Hopperプラットフォームの採用が進んでいることを発表
NVIDIAと言えば昔はゲーミングGPU、今はAI向けGPUでその名を轟かせているが、GPUのみならず、CPUとGPUを組み合わせた高性能コンピューティング(HPC)向けのスーパーコンチップも製造している。この、NVIDIAの72コアのGraceプロセッサとH100 GPUで構成されるGrace […]NVIDIA、AIスーパーコンピューター9台にGrace Hopperプラットフォームの採用が進んでいることを発表
NVIDIAと言えば昔はゲーミングGPU、今はAI向けGPUでその名を轟かせているが、GPUのみならず、CPUとGPUを組み合わせた高性能コンピューティング(HPC)向けのスーパーコンチップも製造している。この、NVIDIAの72コアのGraceプロセッサとH100 GPUで構成されるGrace […]Vừa nhận được máy chủ Pegatron Nvidia GH200 từ Đài Loan: 144 GB HBM3e, 624 GB RAM, 2U, cực yên tĩnh, có thể đặt dưới bàn làm việc. #Nvidia #GH200 #Pegatron #Server #AI #CôngNghệ #Hardware #AI #Vietnam
https://www.reddit.com/r/LocalLLaMA/comments/1qr0uxi/just_arrived_from_taiwan_pegatron_nvidia_gh200/
OpenAI 宣佈與美國洛斯阿拉莫斯國家實驗室(Los Alamos National Laboratory)深化合作,運用 AI 模型協助應對核武及相關問題。這項合作旨在減少核戰風險,並提升全球核材料和武器的安全性。合作計劃包括將 OpenAI 最新的 o-series 模型安裝到洛斯阿拉莫斯的 Venado 超級計算機中,利用其強大運算能力處理多項全球性挑戰,例如: 開發新方法來預防和治療疾病 改善對自然及人為威脅的檢測能力 推動美國能源領導地位,優化基礎設施 深化對宇宙基本法則的理解 加強美國電網的網絡安全 加速基礎科學研究,維持科技領先地位Venado 超級計算機由 NVIDIA 和 Hewlett-Packard Enterprises 合作建造,採用最先進的 NVIDIA GH200 Grace Hopper 超級芯片。洛斯阿拉莫斯國家實驗室主任 Thom Mason 表示,隨着國家面臨越來越複雜的威脅,AI 技術能更高效地應對挑戰,並推動科學使命的實現。未來將被移至一個安全的保密網絡,供洛斯阿拉莫斯、勞倫斯利弗莫爾(Lawrence Livermore)和桑迪亞(Sandia)國家實驗室的研究人員共享使用。這項合作標誌著 OpenAI 與政府及科研機構關係的進一步加深。去年夏天,兩者已針對生物科學領域進行試點合作,探索 AI 如何助力科學研究,同時評估其潛在風險。儘管洛斯阿拉莫斯對 AI 的態度保持謹慎,但此次合作顯示他們對 OpenAI 模型的信心大增,準備應對更具挑戰性的全球議題。位於新墨西哥州聖塔菲的洛斯阿拉莫斯國家實驗室(LANL),於1940年代成立,作為曼哈頓計劃開發核武器的重要據點。時至今日,該實驗室已轉型為高科技研究中心,成為多台超級計算機的所在地。
The converged memory architecture of #GH200 can boost TTFT (time to first token) in multiturn user interactions by up to 2x on Llama 3 70B, compared to x86-based #H100 servers
Deploying large language models (LLMs) in production environments often requires making hard trade-offs between enhancing user interactivity and increasing system throughput.