Bài test hiệu năng 2 card NVIDIA 5090 với vLLM và Gemma-3-12b. Kết quả: 2 card cho tốc độ xử lý cao hơn đáng kể (tối đa 4428 token/s so với 2542 token/s với 1 card). Thông tin hữu ích cho AI enthusiasts.

#AI #MachineLearning #NVIDIA #GPU #Benchmark #vLLM #Gemma #AIHardware #NVIDIA5090 #AIperformance

https://www.reddit.com/r/LocalLLaMA/comments/1nnlylf/benchmarked_2x_5090_with_vllm_and_gemma312b/