Vừa nhận được máy chủ Pegatron Nvidia GH200 từ Đài Loan: 144 GB HBM3e, 624 GB RAM, 2U, cực yên tĩnh, có thể đặt dưới bàn làm việc. #Nvidia #GH200 #Pegatron #Server #AI #CôngNghệ #Hardware #AI #Vietnam
https://www.reddit.com/r/LocalLLaMA/comments/1qr0uxi/just_arrived_from_taiwan_pegatron_nvidia_gh200/
OpenAI 宣佈與美國洛斯阿拉莫斯國家實驗室（Los Alamos National Laboratory）深化合作，運用 AI 模型協助應對核武及相關問題。這項合作旨在減少核戰風險，並提升全球核材料和武器的安全性。合作計劃包括將 OpenAI 最新的 o-series 模型安裝到洛斯阿拉莫斯的 Venado 超級計算機中，利用其強大運算能力處理多項全球性挑戰，例如： 開發新方法來預防和治療疾病 改善對自然及人為威脅的檢測能力 推動美國能源領導地位，優化基礎設施 深化對宇宙基本法則的理解 加強美國電網的網絡安全 加速基礎科學研究，維持科技領先地位Venado 超級計算機由 NVIDIA 和 Hewlett-Packard Enterprises 合作建造，採用最先進的 NVIDIA GH200 Grace Hopper 超級芯片。洛斯阿拉莫斯國家實驗室主任 Thom Mason 表示，隨着國家面臨越來越複雜的威脅，AI 技術能更高效地應對挑戰，並推動科學使命的實現。未來將被移至一個安全的保密網絡，供洛斯阿拉莫斯、勞倫斯利弗莫爾（Lawrence Livermore）和桑迪亞（Sandia）國家實驗室的研究人員共享使用。這項合作標誌著 OpenAI 與政府及科研機構關係的進一步加深。去年夏天，兩者已針對生物科學領域進行試點合作，探索 AI 如何助力科學研究，同時評估其潛在風險。儘管洛斯阿拉莫斯對 AI 的態度保持謹慎，但此次合作顯示他們對 OpenAI 模型的信心大增，準備應對更具挑戰性的全球議題。位於新墨西哥州聖塔菲的洛斯阿拉莫斯國家實驗室（LANL），於1940年代成立，作為曼哈頓計劃開發核武器的重要據點。時至今日，該實驗室已轉型為高科技研究中心，成為多台超級計算機的所在地。
The converged memory architecture of #GH200 can boost TTFT (time to first token) in multiturn user interactions by up to 2x on Llama 3 70B, compared to x86-based #H100 servers
Deploying large language models (LLMs) in production environments often requires making hard trade-offs between enhancing user interactivity and increasing system throughput.
Reddit Tech VN Bot
openSUSE Linux
Benjamin Carr, Ph.D. 👨🏻💻🧬
HPC Guru
UNWIRE.HK
HPC Guru