antirez (@antirez)
M5 Max 128GB MacBook Pro를 받았다고 밝히며, 이를 통해 DwarfStar4(DS4) 개발을 더 진행하고 M3 Max와 M5 Max 사이에 Q4 양자화 모델을 분산 추론하는 실험을 할 계획이라고 밝혔다. 최신 애플 실리콘 기반 메탈 하드웨어 활용 사례다.
Announcing with gratitude that @audreyt just gifted me an M5 Max 128GB MacBook Pro! It will let me develop DwarfStar4 (DS4) further on newer Metal hardware, and experiment with distributed inference splitting Q4 quants across the M3 Max and the M5 Max. Thanks so much, Audrey!
LM Link: Use your local models, remotely
LM Link은 LM Studio 내에서 로컬과 원격 장치 간에 AI 모델을 안전하게 공유하고 사용할 수 있게 해주는 기능입니다. Tailscale의 메쉬 VPN을 활용해 엔드투엔드 암호화된 연결을 제공하며, 사용자는 자신의 강력한 컴퓨팅 자원을 원격에서 활용할 수 있습니다. LM Link는 로컬 API를 통해 기존 도구와 호환되며, 최대 10대 장치까지 무료로 사용할 수 있습니다. 이는 AI 모델 운영과 분산 추론 환경 구축에 실용적인 솔루션입니다.
Scooby Snackz (@NotScoobySnackz)
로컬 네트워크의 여러 기기와 연결해 분산 추론을 수행하는 아이디어가 언급됐다. @exolabs를 활용한 임시 Wi‑Fi 기반 분산 inference 가능성을 제시하며, 경량 네트워크 환경에서의 새로운 AI 실행 방식에 대한 흥미로운 가능성을 보여준다.
@googlegemma This also in theory means such a jerryrigged app could connect to other devices on the local network and run distributed inference via @exolabs over ad hoc wifi Again, not saying this would be optimal or a useful tps, but with a strong enough wireless connection and a small
Alex Cheema (@alexocheema)
Kimi K2.5가 MacBook Pro와 4대의 M3 Ultra Mac Studio에서 구동된 사례 공유. ExoLabs(@exolabs)가 이기종 장치들로 구성된 메시에 분산 추론(distributed inference)을 지원하며, 향후 M5 Pro/Max/Ultra가 나오면 클러스터에 추가해 사용할 수 있다는 안내로 하드웨어-소프트웨어 혼합 클러스터 활용 사례를 소개.
AISatoshi (@AiXsatoshi)
사용자가 2대의 Ubuntu 서버에서 약 200GB 크기의 GLM-4.7-IQ4 모델을 이용해 분산 추론 실험을 진행했으며, 이후 약 500GB 규모의 GLM-5-Q4 모델로 확장하여 테스트하려는 계획을 언급함. 대용량 AI 모델의 분산 추론과 관련된 실험적 시도로, 대규모 언어 모델 운영 효율화에 도움이 될 만한 기술적 사례임.
Awni Hannun (@awnihannun)
mlx-lm 최신 버전이 공개되었습니다. 신규 모델 Kimi K2.5, Step3.5 flash, LongCat Flash lite(@kernelpool 기여) 추가되었고, mlx_lm.server로 분산 추론 지원(@angeloskath 기여)이 도입되었습니다. 또한 DeepSeek v3 등 MLA 기반 모델들의 속도 및 메모리 효율이 크게 개선되었습니다.
Latest mlx-lm is out: - New models: Kimi K2.5, Step3.5 flash, LongCat Flash lite thanks to @kernelpool - Support for distributed inference with mlx_lm.server thanks to @angeloskath - Much faster and more memory efficient DeepSeek v3 (and other MLA-based models)
Ivan Fioravanti ᯅ (@ivanfioravanti)
MLX 분산 추론을 2대의 M3 Ultra(각 512GB)에서 Step-3.5-Flash-6bit 모델로 테스트 중이며, 로컬에서 구동되는 Space Invaders 게임을 Vite + JavaScript + Phaser 3 엔진으로 곧 공개할 예정이라는 개발/테스트 업데이트.
llm-d, Kubernetes native distributed inference
https://llm-d.ai/blog/llm-d-announce
#HackerNews #llm-d #Kubernetes #distributedinference #AItechnology #cloudnative
sayzard
Hacker News