sayzardAlex Cheema (@alexocheema)
arcee_ai 모델이 Apple Silicon RDMA 클러스터와 exolabs에서 잘 동작한다고 소개했다. 이 모델은 398B 규모에 활성 파라미터는 13B로 매우 희소해 Apple Silicon에 적합하며, 전체 모델은 약 800GB라 4대의 256GB Mac Studio가 필요하다. 6-bit로도 구동 가능하다고 언급했다.
Alex Cheema (@alexocheema) on X
Yes, @arcee_ai should run well on Apple Silicon RDMA clusters with @exolabs. It’s a 398B model, 13B active parameters (very sparse so great for Apple Silicon). It’s natively 16-bit at ~800GB so you’d need 4 x 256GB Mac Studios to run the full model. You can run it in 6-bit on