Avi Chawla (@_avichawla)

Meta, Cornell, CMU 연구진이 TinyLoRA를 공개했다. 8B 파라미터 모델의 성능을 수학·추론 작업에서 크게 끌어올리기 위해 단 13개 파라미터만 조정하는 초소형 LoRA 기법이다. 저장 공간은 26바이트에 불과해, 극도로 효율적인 미세조정 접근법으로 주목된다.

https://x.com/_avichawla/status/2036005875832549825

#lora #tinyllm #finetuning #llm #reasoning

Anders Marksen (@andersmarksen)

Andrej Karpathy가 초경량 GPT 프로젝트 'microgpt'를 공개(링크 공유). 20년 전에는 상상하기 어려웠을 만큼 경량화된 LLM 구현을 지향하는 오픈소스/연구 성과로, 저자원 환경이나 임베디드 적용 가능성을 높이는 혁신적 시도로 볼 수 있다.

https://x.com/andersmarksen/status/2028051693271670964

#microgpt #andrejkarpathy #opensource #tinyllm

Andrej Karpathy (@karpathy)

새로운 아트 프로젝트로 GPT의 학습과 추론을 의존성 없는 순수 파이썬 243줄로 구현했다는 발표입니다. 작성자는 이것이 필요한 알고리즘의 완전한 내용이며, 나머지는 효율성 관련 부가 요소일 뿐이라고 주장하며 매우 간결한 교육·추론 구현을 제시했습니다.

https://x.com/karpathy/status/2021694437152157847

#gpt #python #opensource #tinyllm

Google’s new supervised reinforcement‑learning approach lets tiny language models learn sequential decision‑making as well as larger systems. The open‑source‑friendly method could close the performance gap for small models, making AI more accessible. Curious how it works? Read the full story. #SupervisedRL #TinyLLM #OpenSourceAI #GoogleAI

🔗 https://aidailypost.com/news/google-introduces-supervised-reinforcement-learning-close-gap-small

Chuyển tự động tải lại sau timeout (TTL 300-600s) + cấu hìnhenciar nhiều mô hình không cần giải phóng tất cả. Tùy chỉnh quy tắc tải mô hình đồng thời? Cấu hình mẫu có 7 mô hình với TTL khác nhau. #LLM #AI #LlamaSwap #TinyLLM #MôHìnhNgônNgữ #TựDộng

https://www.reddit.com/r/LocalLLaMA/comments/1oaoprv/llamaswap_automatic_unloading_after_timeout/

Tiny-LLM – a course of serving LLM on Apple Silicon for systems engineers

https://github.com/skyzh/tiny-llm

#HackerNews #TinyLLM #AppleSilicon #LLMsystems #EngineersCourse #MachineLearning #GitHub

The first model in my #tinyllm review series is #qwen 1.5 0.5b. A truly tiny model that can run comfortably on my Lichee Pi4a #riscv64 single board system. Read the article and let me know if you can think of anything else I should test on #qwen and the future models.

https://kyle.works/blog/tiny-llm-reviews-qwen-1-5/

#python #llm #genai #qwen #ChatGPT #llama #phi