sayzardRunning local models on an M4 with 24GB memory
24GB 메모리의 M4 MacBook Pro에서 로컬 LLM을 실행하는 실험 사례를 공유합니다. Qwen 3.5-9B 모델을 LM Studio와 함께 사용해 128K 컨텍스트 윈도우와 도구 활용이 가능한 환경을 구축했으며, 인터넷 연결 없이도 기본 작업과 코딩 지원이 가능합니다. SOTA 모델 대비 성능은 떨어지지만, 직접 모델을 조작하며 인터랙티브한 워크플로우를 경험할 수 있고, 구독 비용 없이 로컬에서 AI를 활용하는 장점이 있습니다. 설정과 튜닝이 까다롭고 한계도 있지만, 개발자 입장에서 실용적이고 재미있는 시도입니다.
