SAI OLLAMA | Sau khi cập nhật Ollama, tốc độ xử lý giảm mạnh (từ 2887.53 xuống 8.25 token/s) do chuyển sang dùng CPU thay vì GPU 4060ti 16GB. Cần hướng dẫn cấu hình để chạy lại trên GPU. #Ollama #GPU #AI #OLLAMA_TROUBLE #VấnĐềCấuHình

https://www.reddit.com/r/ollama/comments/1py50nq/i_updated_ollama_and_now_it_uses_cpu_system_ram/

помощи: Cài đặt hệ thống 3 GPU RTX 3090 để chạy mô hình LLAMA cục bộ 🚨 Cần hướng dẫn lắp hệ thống giá rẻ với 3 GPU RTX 3090 (24GB mỗi chiếc) + eGPU Zotac 3090. Đang dùng PSU 1600W nhưng lo ngại case cũ không chứa đủ. Sẵn sàng sửa case, ưu tiên băng thông PCIe và RAM DDR4 128GB. #GPU #LLM #AI #CâuHỏiKỹThuật #HệThốngTríTuệNhânTạo #LocalLLM #MáyTínhTuỳChỉnh

https://www.reddit.com/r/LocalLLaMA/comments/1py3pib/need_help_entry_triple_gpu_system_for_local_llm/

Một hệ thống 3 card Nvidia GTX-1070 8GB (24GB VRAM) sử dụng flag --n-cpu-moe để chạy mô hình LLM 32B tham số. Với AMD Ryzen 5 3600 và 32GB RAM, kết quả đạt 55.63 token/s (Gemma 27B) và 84.43 token/s (Qwen3 30B). Giải pháp này giúp tối ưu VRAM bằng cách offload trọng số MoE sang CPU. #GPU #AI #MôHìnhLLM #Benchmark #HackingVRAM

https://www.reddit.com/r/LocalLLaMA/comments/1py1xaa/triple_gpu_llm_benchmarks_with_ncpumoe_help/

RTX 5090 + llama.cpp bị treo sau 2-3 lần chạy mô hình (cấu hình VFIO, Ubuntu 24.04). Lỗi "illegal memory access", GPU lỗi, quạt quay 100%. Đã thử nhiều cách nhưng chưa khắc phục. Hỏi: lỗi từ Blackwell, driver, hay nên dùng Windows VM? #llamaCPP #RTX5090 #GPU #MLOps #VFIO #CUDA #Linux #LỗiGPU #AIModel #Ubuntu

https://www.reddit.com/r/LocalLLaMA/comments/1pxv14g/help_rtx_5090_llamacpp_crashes_after_23/

Cảnh báo lừa đảo: Nhà bán hàng trên eBay (Trung Quốc) đang rao bán thẻ GPU RTX Pro 6000 với giá $2400, giảm hơn ⅔ so với giá niêm yết ($8000). Cần thận trọng kiểm tra tính thật/fake? #ScamAlert #LừaĐảo #RTXPro6000 #GPU #TechNews

https://www.reddit.com/r/LocalLLaMA/comments/1pxr5tg/scam_or_not/

Tác giả đang hỏi liệu giao thức Llama.cpp hoặc LM Studio có chạy ổn định trong LXC (Proxmox) trên desktop AMD Framework 395 không? Dù đã biết Llama.cpp hoạt động trong LXC, với CUDA, và trên card AMD 395, nhưng chưa có thông tin cụ thể về kết hợp này. Anh/em có kinh nghiệm về cấu hình này cần hỗ trợ @quý vị chia sẻ! #CôngNghệ #LlamaCPP #LXC #Proxmox #AMD #TiênLượngMôHình #HỏiĐáp #TechVNP #AI #CUDA #Container #FrameworkDesktop #Linux #GPU #DevOps #TechQuestion #Community #IT #MastodonVN

https://

Một lập trình viên vừa xây dựng giao diện người dùng (frontend) cho dự án stable-diffusion-cpp để tạo ảnh cục bộ trên GPU tích hợp Vulkan cũ. Dự án mã nguồn mở, hỗ trợ chạy bằng lệnh `npm start` nhưng Windows build không hoạt động. Người dùng có thể tham gia đóng góp.
#AI #Mãnguồnmở #GPU #Hệthốngtrítuệnhântạo #LocalAI #ImageGeneration #OpenSource

https://www.reddit.com/r/LocalLLaMA/comments/1pxl1k1/i_built_a_frontend_for_stablediffusioncpp_for/

Sử dụng đôi GPU 3090 + Nvlink để chạy AI cục bộ có xứng đáng? Người dùng chia sẻ việc khó tìm cầu nối Nvlink 4 khe giá tốt dù đã tản nhiệt nước cho 2 GPU. Bạn nên tiếp tục hay cân nhắc hướng khác? #AI #GPU #LocalLLaMA #MáyHọc #CôngNghệ

https://www.reddit.com/r/LocalLLaMA/comments/1pxl38x/new_to_this_are_dual_3090s_w_nvlink_worth_it/

🚀 Các xu hướng mới trong Large Language Models (LLMs): TornadoVM 2.0 mang GPU tự động cho Java, các mô hình mới đạt điểm benchmark cao, newsletter NVIDIA cập nhật công nghệ LLM, kiến trúc mới của MIT‑IBM nâng cao theo dõi trạng thái và suy luận tuần tự. Theo dõi để không bỏ lỡ! #AI #LLM #TríTuệNhânTạo #MachineLearning #NVIDIA #MIT #IBM #Java #GPU

https://dev.to/hkj13/latest-trends-in-large-language-models-llms-3if2