sayzardFeb 27

Ivan Fioravanti ᯅ (@ivanfioravanti)

1조(1T) 파라미터급 모델(예: Kimi K2.5)을 로컬에서 실행하는 사례 보고: 작성자는 두 대의 Mac Studio M3 Ultra(512GB)에서 Apple MLX를 사용해 약 630GB RAM으로 모델을 구동해 초당 20토큰을 달성했고, @exolabs에서 실행했으며 @opencode를 활용해 자동 플레이 가능한 스네이크 게임을 생성하는 시연을 업로드했습니다. 로컬 LLM 실행과 실사용 데모를 보여주는 기술적 성과입니다.

https://x.com/ivanfioravanti/status/2027278474155639133

#localllm #kimik2.5 #applemlx #macstudio #opencode

Ivan Fioravanti ᯅ (@ivanfioravanti) on X

Can we run locally a 1T parameters like Kimi K2.5? 👀 Yes we can! Here it is: - running at 20 toks/s on @exolabs with Apple MLX on my two Mac Studio M3 Ultra 512GB using ~630GB RAM - @opencode used to create a snake game with autoplay - You can see model creating the game and

X (formerly Twitter)
sayzardFeb 27

Ivan Fioravanti ᯅ (@ivanfioravanti)

1조(1T) 파라미터급인 Kimi K2.5류 모델을 로컬에서 구동한 사례 보고: 두 대의 Mac Studio M3 Ultra(512GB)에서 Apple MLX로 @exolabs 상에서 약 20 토큰/초로 실행했으며 약 630GB RAM을 사용했다고 합니다. @opencode로 스네이크 게임 자동재생을 만들고 모델이 게임을 생성하는 모습도 시연했습니다.

https://x.com/ivanfioravanti/status/2027278474155639133

#kimi #llm #applemlx #exolabs #macstudio

Ivan Fioravanti ᯅ (@ivanfioravanti) on X

Can we run locally a 1T parameters like Kimi K2.5? 👀 Yes we can! Here it is: - running at 20 toks/s on @exolabs with Apple MLX on my two Mac Studio M3 Ultra 512GB using ~630GB RAM - @opencode used to create a snake game with autoplay - You can see model creating the game and

X (formerly Twitter)
sayzardFeb 1

Adrien Grondin (@adrgrondin)

TranslateGemma을 iPhone 17 Pro에서 온디바이스 AI 번역으로 구동했다는 보고. Apple MLX 덕분에 빠르게 동작하며 번역 품질도 괜찮다고 전함. 온디바이스 번역으로 프라이버시 유지와 저지연 번역 경험 향상 가능성을 시사하는 실사용 사례.

https://x.com/adrgrondin/status/2017696530983997944

#ondevice #translation #applemlx #ios

Adrien Grondin (@adrgrondin) on X

On-device AI translation with TranslateGemma running on iPhone 17 Pro It’s fast thanks to Apple MLX and works pretty well

X (formerly Twitter)
sayzardJan 21

Locally AI - Local AI Chat (@LocallyAIApp)

LFM 2.5 Thinking 1.2B 모델(@liquidai)이 iPhone과 iPad에서 이용 가능해졌습니다. 이 모델은 강력하고 효율적인 추론 능력을 제공하며 애플의 Apple MLX 위에서 온디바이스로 실행되어 '주머니 속 추론'을 목표로 합니다.

https://x.com/LocallyAIApp/status/2014035520154702160

#lfm2.5 #reasoning #applemlx #liquidai

Locally AI - Local AI Chat (@LocallyAIApp) on X

LFM 2.5 can now think. The new LFM 2.5 Thinking 1.2B model by @liquidai is now available on iPhone and iPad. The model brings powerful and efficient reasoning in your pocket. Running on-device powered by Apple MLX.

X (formerly Twitter)
sayzardJan 10

Locally AI - Local AI Chat (@LocallyAIApp)

LiquidAI의 LFM 2.5 모델 패밀리(1.2B)가 앱에서 사용 가능해졌습니다. LFM 2 아키텍처를 기반으로 1B 급 모델의 성능을 끌어올렸으며, iOS 앱을 업데이트하면 Apple MLX 덕분에 온디바이스에서 우수한 성능으로 실행할 수 있다고 안내합니다.

https://x.com/LocallyAIApp/status/2009686759412740130

#lfm2.5 #liquidai #applemlx #ondevice #llm

Locally AI - Local AI Chat (@LocallyAIApp) on X

The new LFM 2.5 model family by @liquidai is now available in the app. The 1.2B model builds on the LFM 2 architecture and pushes the boundaries of what a 1B model can achieve. Update your iOS app to run it on-device, with best-in-class performance thanks to Apple MLX.

X (formerly Twitter)
Reddit Tech VN BotOct 5

Một nhà phát triển .NET đã tạo ra MLXSharp, wrapper .NET đầu tiên cho Apple MLX! Tích hợp với Microsoft.Extensions.AI, hỗ trợ IChatClient, IEmbeddingGenerator, DI và Semantic Kernel. Tương thích .NET 9/C# 13, chạy trên macOS/Linux. Dự án mã nguồn mở này đang tìm kiếm phản hồi từ cộng đồng, đặc biệt từ những người làm việc với ML trên .NET.
#MLXSharp #DotNET #AppleMLX #MachineLearning #OpenSource #DeveloperFeedback #AI #Developer #MãNguồnMở

https://www.reddit.com/r/LocalLLaMA/comments/1nypq6q/ma