Người dùng than phiền VRAM Nvidia dùng nhiều hơn AMD khi chạy mô hình ngôn ngữ lớn (LLM). Trước với 40GB VRAM AMD chạy model 37GB tốt. Nay nâng lên 48GB VRAM Nvidia (5090 + 5060 Ti) lại không đủ cho model 37GB, model 19GB dùng tới 28GB VRAM. Bạn có gặp tình trạng này?

#Nvidia #VRAM #LLM #KoboldCpp #AI #AMD #GPU #ThẻĐồHoạ #TríTuệNhânTạo #BộNhớĐồHoạ #GraphicsCard #AIGPU

https://www.reddit.com/r/LocalLLaMA/comments/1pb5ljp/nvidia_cards_using_too_much_vram/