Người dùng đã thử nghiệm Spark với mô hình Nemotron3 Nano 30B, đạt tốc độ xử lý batch ấn tượng ~1300 token/giây với 200 yêu cầu đồng thời. Hiệu suất này rất hứa hẹn so với thế hệ trước và B200. Bạn nghĩ sao về việc so sánh với cấu hình 4x 3090?

#AI #HieuNang #XuLyBatch #DGX #Spark #Nemotron3 #GPU #Performance #BatchProcessing

https://www.reddit.com/r/LocalLLaMA/comments/1ptp8lq/dgx_spark_and_batch_processing/