Github Awesome (@GithubAwesome)
Cactus Compute의 Needle은 2,600만 파라미터 규모의 소형 언어모델로, 마이크로컨트롤러나 Raspberry Pi Zero 같은 초소형 임베디드 기기에서도 동작할 수 있도록 설계됐다. 저사양 하드웨어에서 함수 호출을 지원하는 점이 주목된다.
Every "small" language model that does function calling still wants gigabytes of RAM and a real GPU. Needle by Cactus Compute is 26 million parameters, small enough to run on a microcontroller, a Raspberry Pi Zero, or any embedded device you've got lying around. Built
When I get tired of waiting for my two RTX3060 to crunch data, I sometimes open up the Document Audit pane on my UI and sse how "Forbee", my little 4B model, is handling his tagging job ...
The excuse I use is that I am evaluating the UI as the transparency/auditability tool for EU AI Act compliance .. but actually ...
I'm just amused by how 4B thinks .. He's kinda cute :)
#LocalAI #EUAIAct #SovereignAI #SmallLLM #XAI #BuildInPublic #KnowledgeManagement
Người dùng đang thử nghiệm các LLM nhỏ (<4B) cho nhập vai nhân vật nhưng gặp khó khăn khi mô hình phá vỡ vai diễn nếu nhận lệnh ngoài ngữ cảnh. Các mô hình như Gemma3 1B, Nemotron-mini 4B, Qwen3.2 4B đều không giữ được vai. Họ tìm kiếm lời khuyên về LLM hoặc chiến lược nhắc lệnh hiệu quả để duy trì sự nhập vai.
#LLM #AI #Roleplay #SmallLLM #PromptEngineering #NLP
#AI #LLMnhỏ #NhậpVai #KỹThuậtPrompt #XửLýNgônNgữTựNhiên
https://www.reddit.com/r/LocalLLaMA/comments/1p86qzk/small_llm_4b_for_charac
Thử nghiệm LLM nhỏ (<4B) cho nhập vai nhân vật gặp khó khăn: mô hình thường xuyên bị "vỡ vai" khi người dùng đưa prompt ngoài ngữ cảnh, phản hồi như AI hoặc xuất code. Cần tìm LLM nhỏ có thể duy trì nhập vai tốt hoặc chiến lược prompt hiệu quả để ngăn chặn tình trạng này trên phần cứng nhẹ.
#LLM #AI #Roleplay #SmallLLM #MachineLearning #NhậpVai #MôHìnhNgônNgữ #TríTuệNhânTạo
https://www.reddit.com/r/ollama/comments/1p86qcb/small_llm_4b_for_character_interpretation_roleplay/
sayzard
Kevin Salt
Reddit Tech VN Bot