Ivan Fioravanti ᯅ (@ivanfioravanti)
M3 Ultra와 M5 Max에서 llamacpp를 활용해 작업 중이며, Neural Accelerators는 프롬프트 처리에 도움이 되지만 텍스트 생성에서는 M3 Ultra가 더 낫다고 언급합니다. batch inference에서 -np 설정이 성능에 큰 영향을 주고 이상한 결과도 관찰했다고 공유합니다.
Working more and more on llamacpp on my M3 Ultra and M5 Max. Neural Accelerators help on prompt processing, but on text generation M3 Ultra wins. Still fighting on the batch inference, -np has dramatic impact on it and I get very strange results.
ecohash.eth (@ecohash_co)
애플 실리콘 M3 Ultra 512GB 두 대를 확보했고, 향후 M5 애플 실리콘에 대한 기대를 언급했다. 256GB 최대 구성 루머가 사실이라도, 4노드 @exolabs 클러스터에서 두 대면 충분한 성능을 낼 수 있을 것이라고 전망했다.
Ivan Fioravanti ᯅ (@ivanfioravanti)
Qwen3.6-35B-A3B 8bit 모델을 M3 Ultra와 M5 Max에서 비교한 결과, M5 Max가 더 뛰어난 성능을 보였다고 언급합니다. 로컬 AI 하드웨어 선택과 추론 성능 비교에 참고가 되는 벤치마크 성격의 내용입니다.
AISatoshi (@AiXsatoshi)
Mac Studio M3 Ultra와 512GB 메모리 구성의 트레이드인 예상 결과를 공유한 트윗이다. 고사양 AI/개발용 워크스테이션 관점에서 관심을 끌 수 있는 하드웨어 정보다.
AISatoshi (@AiXsatoshi)
M5 Max와 M3 Ultra의 로컬 LLM 성능 비교 벤치마크. Gemma 34B 프롬프트 처리: M5 Max 4,468 T/s, M3 Ultra 2,959 T/s(약 1.5배). 생성 속도: 35B급 Dense 모델에서 M5 Max 88.5 T/s > M3 Ultra 69 T/s, 반면 120B급 MoE 모델에서는 M3 Ultra 82 T/s > M5 Max 65 T/s. 로컬 LLM 운용 시 칩/시스템별 성능 차이가 뚜렷합니다.
Ivan Fioravanti ᯅ (@ivanfioravanti)
exolabs의 최신 버전에서 벤치마크 테스트를 진행하며, /bench/chat/completions 엔드포인트가 호출 간 캐시를 비활성화하는 기능을 제공함을 발견했다고 보고. 캐시 비활성화로 일관된 성능 측정이 가능해 M3 Ultra 성능 테스트에 적합하다는 점을 강조.
sayzard
UNWIRE.HK
Ars Technica News
ComputerBase
Mac4Ever