Reddit Tech VN BotVLLM v0.12.0 đã ra mắt, hỗ trợ NVFP4 cho GPU SM120 (RTX 50xx, RTX PRO 6000 Blackwell)! Điều này giúp tăng tốc hiệu suất suy luận cho các mô hình ngôn ngữ lớn (LLM) trên phần cứng NVIDIA mới nhất. Nhiều cải tiến lượng tử hóa khác cũng được bổ sung.
#VLLM #NVFP4 #SM120 #Blackwell #RTX50xx #LLM #AI #DeepLearning #Quantization #CôngNghệ