红绿hon.lv (@honlv2024)

로컬 환경에 LLM을 배포하는 사례가 언급되며, 로컬 배포형 LLM 기술이 빠르게 확산되고 있음을 보여준다. 구체적 제품 발표는 아니지만, AI 개발자 관점에서 온디바이스/로컬 추론 활용 가능성이 커지는 흐름을 시사한다.

https://x.com/honlv2024/status/2044660362830905788

#llm #localdeployment #ondeviceai #aidevelopment

红绿hon.lv (@honlv2024) on X

@runsonai @awnihannun great job! seems like a Local deployment of llm technology explosion❤️

X (formerly Twitter)

Ivan Fioravanti ᯅ (@ivanfioravanti)

로컬 AI가 급격히 확산되는 'Cambrian Explosion' 단계에 진입했다는 언급으로, 온디바이스/로컬 추론 생태계의 성장세를 강조합니다.

https://x.com/ivanfioravanti/status/2044431170180440544

#localai #ondeviceai #llm #inference

Ivan Fioravanti ᯅ (@ivanfioravanti) on X

We are in the Local AI Cambrian Explosion phase! 🚀

X (formerly Twitter)

Alex Cheema (@alexocheema)

oMLX가 Mac에서 계층형 KV 캐싱을 지원하게 되었다. Apple Silicon에서 prefill 시간이 긴 문제를 줄이고, 세션 간에도 KV 캐시를 디스크에 저장해 중복 prefill을 피할 수 있어 온디바이스 AI 성능 최적화에 중요한 개선이다.

https://x.com/alexocheema/status/2044188027468025934

#omlx #kvcaching #applesilicon #ondeviceai #performance

Alex Cheema (@alexocheema) on X

oMLX brought tiered kv caching to Mac. Especially important with Apple Silicon where prefill time is very long - you avoid redundant prefills, even between sessions by persisting kv caches to disk.

X (formerly Twitter)

Maziyar PANAHI (@MaziyarPanahi)

OpenMed 1.0.0이 공개되었으며, 의료 AI 모델을 iPhone과 Mac의 온디바이스 환경에서 클라우드나 API 없이 실행할 수 있다고 소개합니다. Apple Silicon용 MLX 백엔드, iOS/macOS Swift 패키지, 8개 언어의 200개 이상 PII 탐지 모델을 포함한 오픈소스 Apache 2.0 프로젝트입니다.

https://x.com/MaziyarPanahi/status/2044037968659103806

#openmed #medicalai #ondeviceai #opensource #apple

Maziyar PANAHI (@MaziyarPanahi) on X

Medical AI models now run on iPhone. No cloud. No API. OpenMed 1.0.0 just shipped. MLX backend for Apple Silicon. Swift package for macOS and iOS. 200+ PII detection models across 8 languages. pip install openmed Open source. Apache 2.0.

X (formerly Twitter)

Mike Wong (@artixels)

애플 iPhone의 Neural Engine(ANE)에서 동작하는 소형 diffusion 모델을 CoreML 패키지로 변환해, iPhone 15 Pro에서 3.78초 만에 이미지를 생성하고 메모리 사용량을 140MB 미만으로 줄였다. 로컬 실행, 개인정보 보호, 에너지 효율 측면에서 인상적인 온디바이스 AI 사례다.

https://x.com/artixels/status/2042877445662216458

#apple #coreml #diffusion #ondeviceai #neuralengine

Mike Wong (@artixels) on X

☁️ Tiny diffusion model on @Apple iPhone Neural Engine (ANE) Converted one of my Tiny checkpoints into a CoreML package, and this image was generated in 3.78 seconds with memory use under 140MB on my iPhone 15 Pro. Local, private and energy-efficient 🥂

X (formerly Twitter)

LM Studio (@lmstudio)

Locally AI가 LM Studio에 합류했다는 소식이다. 두 팀은 기기 전반에서 어디서나 동작하는 네이티브 AI 경험을 강화하는 데 집중하며, LM Studio 생태계 확장을 예고했다.

https://x.com/lmstudio/status/2042242797932048419

#lmstudio #locallyai #nativeai #ondeviceai #aiapps

LM Studio (@lmstudio) on X

Locally AI is joining LM Studio! We are beyond excited to welcome @adrgrondin and @LocallyAIApp to the LM family. Together we are doubling down on native AI experiences across your devices, anywhere you go. Read our announcement https://t.co/Yzcnr8EEP0

X (formerly Twitter)

Locally AI - Local AI Chat (@LocallyAIApp)

LM Studio가 로컬 AI 모델을 더 쉽게 사용할 수 있도록 하기 위해 새로운 협력/합류를 발표했다. 더 나은 제품과 로컬 모델 접근성을 목표로 팀을 통합해, 사용자에게 더 좋은 경험을 제공하겠다고 밝혔다.

https://x.com/LocallyAIApp/status/2042242638489780371

#lmstudio #localai #aidevelopment #llm #ondeviceai

Locally AI - Local AI Chat (@LocallyAIApp) on X

Today, we’re excited to announce that we’re joining @lmstudio! We share a common vision of building amazing products for everyone and making local models more accessible. We’re combining our efforts to bring you the best experience possible.

X (formerly Twitter)
Silicon Macs running macOS 26 (Tahoe) ship with a built-in on-device LLM, but it’s locked behind Swift APIs with no terminal or HTTP access. apfel breaks it open, exposing the model as a CLI tool, an OpenAI-compatible HTTP server, and an interactive chat. Private, secure, no token costs. #OnDeviceAI

apfel - Your Mac Already Has A...
apfel - Your Mac Already Has AI

Your Mac already has AI. Apple ships a language model with macOS -apfel unlocks it with one brew install. No downloads, no API keys, no config. The fastest path to local AI.

apfel

[구글에서 공개한 iOS 전용 Gemma4 온디바이스 구동 최적화 앱

구글이 Gemma 4 모델을 iOS 기기에서 온디바이스로 구동할 수 있도록 최적화된 앱을 공개했습니다. 이 앱은 비행기 모드와 같은 오프라인 환경에서도 멀티모달 입력을 지원하며, 3~4GB의 적은 메모리 내에서 효율적으로 작동하도록 설계되었습니다. 벤치마크상 Gemini 3 수준의 성능을 보여주며, 모바일 환경에서의 온디바이스 AI 시대의 실질적인 가능성을 입증했습니다.

https://news.hada.io/topic?id=28282

#google #gemma4 #ios #ondeviceai #llm

구글에서 공개한 iOS 전용 Gemma4 온디바이스 구동 최적화 앱 | GeekNews

아이폰 쓰시는 분들은 꼭 써보시길 바랍니다. 구글에서 배포한 gemma4를 온디바이스로 구동 가능하게 만든 최적화 시킨 앱입니다.간단하게 말하면, 비행기 모드에서도 LLM이 사용가능합니다. (멀티모달 인풋 가능)최적화가 무척 잘되어 있고 3~4기가 안에 이렇게 까지 유려화게 LLM 해놓을 수 있다니, 온디바이스 시대는 이미 왔다는 생각이 들게 만들어버렸습니

GeekNews