goniz (@gonizahavy)
oMLX를 직접 사용해 본 뒤 곧 oMLX 지원을 추가하겠다고 밝혀, 해당 도구에 대한 기능 통합 및 생태계 확장이 진행 중임을 시사한다.
goniz (@gonizahavy)
oMLX를 직접 사용해 본 뒤 곧 oMLX 지원을 추가하겠다고 밝혀, 해당 도구에 대한 기능 통합 및 생태계 확장이 진행 중임을 시사한다.
Alex Cheema (@alexocheema)
oMLX가 Mac에서 계층형 KV 캐싱을 지원하게 되었다. Apple Silicon에서 prefill 시간이 긴 문제를 줄이고, 세션 간에도 KV 캐시를 디스크에 저장해 중복 prefill을 피할 수 있어 온디바이스 AI 성능 최적화에 중요한 개선이다.
Hermes Agent + oMLX = Caching-aware agent harness on macOS
Claude Code’s source code leak revealed a huge gap in context management and cache-awareness comparing to its open-source alternatives like OpenCode.
Hermes Agent is doing a better job at these among the “claws” ATM.
https://hermes-agent.nousresearch.com
This is super!
2 pi coding agents + oMLX with Nemotron-Cascade-2-30B-A3B-6bit running in parallel on M5 Max. Great and fast model!
Finally, an open-source alternative that's easy to use and performs better than #LMStudio on Mac with support for MLX!
A bit shady that it uploads the benchmark result without noticing or asking tho