Akshay (@akshay_pachaar)

TinyLoRA라는 접근을 소개하며 LoRA를 단 1개 파라미터로 축소했다고 알림. LoRA의 극단적 경량화·파라미터 효율성에 대한 새로운 연구·기술적 시도로, 저자원 환경에서의 모델 적응·배포에 영향이 있을 수 있음.

https://x.com/akshay_pachaar/status/2021897353184325966

#tinylora #lora #parameterefficient #modelcompression

🔍 Hierarchos mới: kiến trúc “Hybrid Memory‑Reasoning” chỉ 25 triệu tham số, học từ 0 pre‑training chỉ với bộ dữ liệu Alpaca (52k). Được huấn luyện trên Asus ROG Ally (1.5 tháng) nhờ mô hình HRM (CEO‑Worker) và bộ nhớ Titans dựa trên “surprise”. Đột phá cho AI năng suất, chạy trên thiết bị biên, giảm chi phí & năng lượng. #AI #MachineLearning #Hierarchos #EdgeAI #ParameterEfficient #TríTuệNhânTạo #CôngNghệ

https://www.reddit.com/r/LocalLLaMA/comments/1qiqfrl/hierarchos_first_release_research_pa