Mastodawn

Daniel T. Vela (@danieltvela)

mlx-community의 qwen3.5-35b-a3b가 M4 Pro(14c)에서 83.87 tok/sec로 매우 빠르게 동작하는 반면, 같은 프롬프트로 Qwen의 GGUF 버전은 LM Studio에서 35.45 tok/sec로 절반 수준의 성능을 보여 큰 차이가 발생함을 보고하며 원인(포맷·옵티마이제이션·런타임 등)을 묻고 있음.

https://x.com/danieltvela/status/2028123896600211792

#qwen #gguf #lmstudio #benchmark #m4pro

Daniel T. Vela (@danieltvela) on X

mlx-community/qwen3.5-35b-a3b runs at 83.87 tok/sec on my M4 Pro (14c). Impressive!!! But GGUF version by Qwen only runs at 35.45 tok/sec with the same prompt. Both using LM Studio. Anyone knows why? @alexocheema @Prince_Canuma @ivanfioravanti

X (formerly Twitter)

sayzard Feb 26

Mike Gao (@gaozenghao)

작성자는 Apple MLX가 Apple 생태계(특히 M4 Pro)에서 학습·실행할 때 매우 효율적이라고 평가했습니다. PyTorch 코드 일부를 MLX로 재작성했더니 M4 Pro에서 GPU(가속기) 활용률이 크게 개선되었다고 보고해, MLX가 Apple Silicon 최적화에 강점이 있음을 시사합니다.

https://x.com/gaozenghao/status/2026887766399660122

#apple #mlx #m4pro #pytorch

Mike Gao (@gaozenghao) on X

Apple MLX is actually goated if you train on Apple ecosystem.... I rewrote some PyTorch code in MLX on my M4 Pro and now my GPU utilization massively improved.

X (formerly Twitter)

Mac4Ever Feb 2

Le Mac mini M4 et M4 Pro en promo : la qualité Apple à petit prix !
https://mac4ever.com/194420
#Mac4Ever #Apple #M4 #M4Pro #Mac #Macmini #MacminiM4

sayzard Jan 27

Alex Cheema - e/acc (@alexocheema)

GLM 4.7 Flash(8-bit)를 Tensor Parallel과 RDMA로 2대의 M4 Pro Mac Mini에서 구동해 초당 60토큰 처리 속도를 달성했습니다. mlx-lm 0.30.5는 긴 컨텍스트에서 GLM 4.7 Flash에 대해 대폭적인 속도 향상을 제공한다고 하며(@N8Programs, @awnihannun), 곧 출시될 M5 Pro(~1/28)는 프리필이 약 4배, 디코드는 약 1.3배 빨라질 예정입니다.

https://x.com/alexocheema/status/2015934001555407184

#glm #mlxlm #m4pro #m5pro #performance

Alex Cheema - e/acc (@alexocheema) on X

Running GLM 4.7 Flash (8-bit) with Tensor Parallel / RDMA on 2 M4 Pro Mac Minis at 60 tok/sec. mlx-lm 0.30.5 features huge speedups for GLM 4.7 Flash for long context (h/t @N8Programs & @awnihannun). M5 Pro (~28 Jan) will have ~4x faster prefill and ~1.3x faster decode.

X (formerly Twitter)

Mac4Ever Jan 26

Le Mac mini M4 et M4 Pro en promo : la qualité Apple à petit prix !
https://mac4ever.com/194319
#Mac4Ever #Apple #M4 #M4Pro #Mac #Macmini