When I get tired of waiting for my two RTX3060 to crunch data, I sometimes open up the Document Audit pane on my UI and sse how "Forbee", my little 4B model, is handling his tagging job ...

The excuse I use is that I am evaluating the UI as the transparency/auditability tool for EU AI Act compliance .. but actually ...

I'm just amused by how 4B thinks .. He's kinda cute :)

#LocalAI #EUAIAct #SovereignAI #SmallLLM #XAI #BuildInPublic #KnowledgeManagement

Người dùng đang thử nghiệm các LLM nhỏ (<4B) cho nhập vai nhân vật nhưng gặp khó khăn khi mô hình phá vỡ vai diễn nếu nhận lệnh ngoài ngữ cảnh. Các mô hình như Gemma3 1B, Nemotron-mini 4B, Qwen3.2 4B đều không giữ được vai. Họ tìm kiếm lời khuyên về LLM hoặc chiến lược nhắc lệnh hiệu quả để duy trì sự nhập vai.

#LLM #AI #Roleplay #SmallLLM #PromptEngineering #NLP
#AI #LLMnhỏ #NhậpVai #KỹThuậtPrompt #XửLýNgônNgữTựNhiên

https://www.reddit.com/r/LocalLLaMA/comments/1p86qzk/small_llm_4b_for_charac

Thử nghiệm LLM nhỏ (<4B) cho nhập vai nhân vật gặp khó khăn: mô hình thường xuyên bị "vỡ vai" khi người dùng đưa prompt ngoài ngữ cảnh, phản hồi như AI hoặc xuất code. Cần tìm LLM nhỏ có thể duy trì nhập vai tốt hoặc chiến lược prompt hiệu quả để ngăn chặn tình trạng này trên phần cứng nhẹ.

#LLM #AI #Roleplay #SmallLLM #MachineLearning #NhậpVai #MôHìnhNgônNgữ #TríTuệNhânTạo

https://www.reddit.com/r/ollama/comments/1p86qcb/small_llm_4b_for_character_interpretation_roleplay/