Công ty khởi nghiệp tạo ra "NVIDIA KILLER" dựa trên llama.cpp, cho phép chạy mô hình LLM 120B+ parameter với chỉ 2x RTX 5070-TI + 64GB RAM + SSD. #NVIDIAKILLER #LLaMA #AI #TríTuệNhânTạo #InferenceEngine #GPU

https://www.reddit.com/r/LocalLLaMA/comments/1qm4zxj/nvidia_killer_inference_engine_based_on_llamacpp/