sayzardPaul Couvert (@itsPaulAi)
Tether가 QVAC BitNet LoRA라는 LoRA 기반 파인튜닝 프레임워크를 공개했습니다. 휴대폰에서 수십억 매개변수 모델을 실행하고 파인튜닝할 수 있게 하며 메모리 사용을 최대 90% 절감한다고 주장합니다. 또한 iPhone 16에서 13B 모델을 파인튜닝했고 약 11배 속도 향상을 달성했다고 보고됩니다.
Simon Willison (@simonw)
Qwen 3.5를 아이폰에서 실행할 수 있는 앱이 소개되었습니다. 4B 모델은 앱으로 다운로드할 경우 용량이 약 3.06GB이며, 이를 통해 온디바이스에서 Qwen 3.5를 구동할 수 있다는 내용입니다.
Paul Couvert (@itsPaulAi)
Qwen 3.5 등 오픈소스 모델을 스마트폰에서 실행할 수 있다는 안내입니다. PocketPal 앱을 통해 무료이자 100% 오픈소스 방식으로 iOS·Android에서 오프라인 채팅이 가능하며 개인 데이터를 공유하지 않고 사용할 수 있다고 설명합니다.
Paul Couvert (@itsPaulAi) on X
Friendly reminder that you can run Qwen 3.5 (and other open-source models) on your phone And the app (PocketPal) is: - Completely free - 100% open-source - Available on iOS and Android You can then chat even if you're offline or just don't want to share personal data. Links
卡拉今天看了什麼GitHub - facebookresearch/MobileLLM: MobileLLM Optimizing Sub-billion Parameter Language Models for On-Device Use Cases. In ICML 2024.
LinkSummary:MobileLLM是一個針對移動設備優化的語言模型，具有不到十億個參數。它使用了SwiGLU激活函數、深度和薄的架構、嵌入共享和分組查詢注意機制。MobileLLM-125M/350M在零樣本常識推理任務中取得了卓越的2.7%/4.3%準確性提升。在更新的版本中，證明了設計理念在更大的模型中也有效，提供了SoTA結果，包括MobileLLM-600M/1B/1.5B。該模型的權重仍在法律審查中，但研究人員可以通過電子郵件與作者聯繫。
Key Points:
- MobileLLM是一個針對移動設備優化的語言模型，具有不到十億個參數。
- 使用了SwiGLU激活函數、深度和薄的架構、嵌入共享和分組查詢注意機制。
- MobileLLM-125M/350M在零樣本常識推理任務中取得了卓越的2.7%/4.3%準確性提升。
- 更新的版本證明了設計理念在更大的模型中也有效，提供了SoTA結果，包括MobileLLM-600M/1B/1.5B。
- 該模型的權重仍在法律審查中。
- 研究人員可以通過電子郵件與作者聯繫。
Keywords:
#MobileLLM #DeepLearning #AI #NeuralNetwork #On-Device #LLM #ZeroShotCommonSenseReasoning #ICML2024
