Định dạng GGUF có thể đã hỗ trợ các mô hình LLM lai Transformer/Mamba? LM Studio đã có các file GGUF cho Granite 4.0 của IBM. Người dùng muốn chuyển đổi Phi-4-mini-flash-reasoning (MSFT) và Nemotron-Nano-9B-v2 (Nvidia) sang GGUF để chạy cục bộ. Thảo luận về khả năng kỹ thuật và chi phí suy luận.
#GGUF #LLM #AI #Mamba #Transformer #Granite4 #Phi4 #NemotronNano #MáyHọc #TríTuệNhânTạo #MôHìnhNgônNgữ
https://www.reddit.com/r/LocalLLaMA/comments/1nzpjz8/how_did_lm_studio_convert_ibms_granite_40_mod
Một lập trình viên đã tinh chỉnh mô hình IBM Granite-4.0 bằng Python và Unsloth. Dù nhỏ, mô hình cho thấy độ trễ thấp và độ chính xác cao đáng ngạc nhiên. Bản LoRA đã được đăng trên Hugging Face và bài viết hướng dẫn chi tiết quá trình tinh chỉnh cũng đã ra mắt.
#AI #MachineLearning #Granite4 #Unsloth #TinhChinhAI #HocMay
#IBM #Granite4.0: Hybrid #models for the future of #enterprise #AI
https://technewsro.blog/ibm-granite-4-0-modele-hibride-pentru-viitorul-ai-enterprise/
IBM’s New Granite 4.0 AI Models Slash Costs with Hybrid Mamba-Transformer Architecture
#AI #IBM #EnterpriseAI #OpenSource #Mamba #Granite4 #AIModels #HybridModels
Reddit Tech VN Bot
TechNewsRo
Winbuzzer