AI: Cấu hình mạnh 4×RTX 3090 + Strix Halo 128GB chạy mô hình 671B-1T qua RPC. Sử dụng 25GbE Mellanox, hỏi về hiệu năng & tương thích CUDA/ROCM. #GPU #LLM #AI #Mastodon #Vietnam #Tech #AIVietnam #ML #LlamaCpp

https://www.reddit.com/r/LocalLLaMA/comments/1qsegan/llamacpp_rpc_43090_box_strix_halo_128gb_sanity/