sayzardAlex Cheema (@alexocheema)
MacBook 여러 대를 RDMA로 데이지 체인 연결해 최대 4대까지 1T 파라미터 모델을 선형 확장으로 실행할 수 있다는 내용입니다. 새로운 ‘LAN party’가 아닌 ‘RDMA party’라는 표현으로, 대형 모델 추론/병렬화에 MacBook과 RDMA를 활용하는 흥미로운 AI 인프라 사용 사례를 소개합니다.
Alex Cheema (@alexocheema)
MacBook 여러 대를 RDMA로 데이지 체인 연결해 최대 4대까지 1T 파라미터 모델을 선형 확장으로 실행할 수 있다는 내용입니다. 새로운 ‘LAN party’가 아닌 ‘RDMA party’라는 표현으로, 대형 모델 추론/병렬화에 MacBook과 RDMA를 활용하는 흥미로운 AI 인프라 사용 사례를 소개합니다.