William Ruider (@ruider92545)
EXO Labs 1.0.69와 NVIDIA-Nemotron-3-Nano-30B-A3B 모델을 MLX 환경에서 실행해 높은 처리량을 보였다는 성능 공유 트윗입니다. 특히 Mac M1 Studio Max 단일/2대 구성에서 BF16 및 8-bit 추론 성능을 강조하며, 로컬 멀티노드 AI 실행 가능성을 보여줍니다.

William Ruider (@ruider92545) on X
EXO Labs 1.0.69 and NVIDIA-Nemotron-3-Nano-30B-A3B-MLX-8Bit blown my mind yesterday with 58 TPS on single M1 Studio MAX. Take look on this: EXO Labs 1.0.69 and NVIDIA-Nemotron-3-Nano-30B-A3B-MLX-BF16 BF16 on 2x Mac M1 Studio MAX (2022) NO RDMA over TB4 - are you kidding me?!!!




