GLM-4.6 chạy mượt trên máy gaming cá nhân với 96GB RAM + 24GB VRAM, hỗ trợ đến 32k context. Quant smol-IQ2_KS chỉ lớn hơn Q8_0 một chút nhưng hiệu suất tốt hơn. Thử nghiệm cho thấy trade-off giữa tốc độ và độ dài context khá linh hoạt. Các bạn có thể chọn quant phù hợp với cấu hình riêng! 🚀 #AI #LocalLLM #GLM46 #GamingRig #TríTuệNhânTạo #MáyTính

https://www.reddit.com/r/LocalLLaMA/comments/1nwimej/glm_46_local_gaming_rig_performance/