AISatoshi (@AiXsatoshi)

M5 Max와 M3 Ultra의 로컬 LLM 성능 비교 벤치마크. Gemma 34B 프롬프트 처리: M5 Max 4,468 T/s, M3 Ultra 2,959 T/s(약 1.5배). 생성 속도: 35B급 Dense 모델에서 M5 Max 88.5 T/s > M3 Ultra 69 T/s, 반면 120B급 MoE 모델에서는 M3 Ultra 82 T/s > M5 Max 65 T/s. 로컬 LLM 운용 시 칩/시스템별 성능 차이가 뚜렷합니다.

https://x.com/AiXsatoshi/status/2031276979908206717

#m5max #m3ultra #localllm #benchmark

AI✖️Satoshi⏩️ (@AiXsatoshi) on X

M5MAXつええ M5 Max vs M3 Ultra:ローカルLLM性能 ■プロンプト処理 (Gemma 34B) M5 Max: 4,468 T/s M3 Ultra: 2,959 T/s の1.5倍 ■生成速度 ・35BクラスのDenseモデル M5 Max 88.5 T/s > M3 Ultra 69 T/s ・120BクラスのMoEモデル M3 Ultra 82 T/s > M5 Max 65 T/s

X (formerly Twitter)