Youssof Altoukhi (@Youssofal_)
Mac에서 동작하는 MTP 솔루션 MTPLX V0.2가 공개됐다. Qwen 3.6 27B 기준으로 OMLX 대비 디코드 처리량이 30~40% 빠르고 메모리 사용량은 5~10% 낮아, 로컬 대형모델 추론 최적화 도구로 의미가 크다.
https://x.com/Youssofal_/status/2052469411001344180
#mtplx #qwen #localllm #mac #inference
Youssof Altoukhi (@Youssofal_) on X
Introducing MTPLX V0.2 The Fastest MTP On Mac
Qwen 3.6 27B:
- 30-40% Faster Decode TPS VS OMLX
- 5-10% Lower Memory Usage VS OMLX
- Only 5 - 10% Worse Prefill Speeds At Long Contexts.
Big thank you to @ivanfioravanti who gave me lots of useful benchmark data!
Ivan Fioravanti ᯅ (@ivanfioravanti)
MTPLX에 /metrics 엔드포인트가 있어 서버 측 상세 통계를 확인하고 벤치마크 및 성능 개선에 활용할 수 있다는 점을 높이 평가한 ट्वीट입니다. 개발자 도구로서 관측 가능성과 최적화 측면에서 유용한 기능 업데이트로 볼 수 있습니다.
https://x.com/ivanfioravanti/status/2051903332113895465
#mtplx #metrics #observability #benchmarking #developertools
Ivan Fioravanti ᯅ (@ivanfioravanti) on X
I really like the /metrics endpoint present in MTPLX, because it gives detailed stats on what's going on server side and can be used to benchmark and improve it.
Ivan Fioravanti ᯅ (@ivanfioravanti)
MTPLX의 메모리 이슈가 해결되어 이제 코딩 에이전트 테스트가 가능해졌다는 업데이트입니다. 개발 과정에서 안정성이 개선되어 AI 코딩 도구의 실사용 및 평가에 중요한 진전으로 보입니다.
https://x.com/ivanfioravanti/status/2051908510644944965
#mtplx #codingagents #developertools #ai
Ivan Fioravanti ᯅ (@ivanfioravanti) on X
MTPLX memory issue solved! We can now test with coding agents! Great job @Youssofal_
sayzard