sayzardWilliam Ruider (@ruider92545)
EXO Labs 1.0.69와 NVIDIA-Nemotron-3-Nano-30B-A3B-MLX 모델이 Apple M1 Studio MAX 단일 기기에서 초당 58토큰 처리 성능을 보였다는 내용입니다. BF16, 2대의 Mac M1 Studio MAX, RDMA 없이도 높은 추론 성능을 보여 주목됩니다.
William Ruider (@ruider92545) on X
EXO Labs 1.0.69 and NVIDIA-Nemotron-3-Nano-30B-A3B-MLX-8Bit blown my mind yesterday with 58 TPS on single M1 Studio MAX. Take look on this: EXO Labs 1.0.69 and NVIDIA-Nemotron-3-Nano-30B-A3B-MLX-BF16 BF16 on 2x Mac M1 Studio MAX (2022) NO RDMA over TB4 - are you kidding me?!!!