sayzardAndrej Karpathy (@karpathy)
nanochat이 단일 8x H100 노드에서 GPT-2 역량 모델을 약 2시간 만에 학습시켰다고 발표했습니다(한 달 전 약 3시간에서 단축). fp8 지원과 여러 튜닝, 그리고 데이터셋을 FineWeb-edu에서 변경한 것이 주요 개선 포인트로, 실시간 인터랙티브 학습에 한층 근접했다는 기술적 진전입니다.
Andrej Karpathy (@karpathy) on X
nanochat now trains GPT-2 capability model in just 2 hours on a single 8XH100 node (down from ~3 hours 1 month ago). Getting a lot closer to ~interactive! A bunch of tuning and features (fp8) went in but the biggest difference was a switch of the dataset from FineWeb-edu to