Một người dùng Reddit vừa chia sẻ dự án xây dựng "AI Sandbox" cực khủng từ dàn máy đào coin cũ.
Cấu hình dự kiến bao gồm:
- 8 card đồ họa RTX 3090 (tổng cộng 192GB VRAM).
- Nâng cấp CPU Ryzen 5900, 256GB RAM.
- Hệ thống nguồn 4000W (4x1000W).
- Sử dụng riser PCIe 4.0 x16 cho mỗi GPU.
Đây là minh chứng cho việc tận dụng phần cứng cũ để chạy các mô hình ngôn ngữ lớn (LLM) tại nhà hiệu quả.
#AI #Hardware #LLM #RTX3090 #LocalLLaMA #TriTueNhanTao #PhanCung #CongNghe
Một workstation chạy AI cực khủng vừa được giới thiệu với cấu hình 4 card đồ họa RTX 6000 Ada Lovelace, lắp đặt trong khung máy tùy chỉnh (custom frame). Đây là giải pháp phần cứng mạnh mẽ cho các tác vụ tính toán nặng và chạy mô hình ngôn ngữ lớn (LLM) tại địa phương. Với lượng VRAM khổng lồ, hệ thống này tối ưu hóa khả năng xử lý song song và đào tạo mô hình AI chuyên sâu.
#AI #Hardware #Workstation #RTX6000 #LocalLLM #DeepLearning #CongNghe #PhanCung #MayTinh
Kinh nghiệm mua GPU tối ưu VRAM tại Thâm Quyến cho LLM:
Với ngân sách $1500-3000, mục tiêu đạt 48GB-96GB VRAM để chạy mô hình ngôn ngữ lớn và huấn luyện PyTorch:
• Ứng cử viên sáng giá: 4x RTX 3080 bản mod 20GB VRAM.
• Lựa chọn khác: Các dòng card Enterprise hoặc card nội địa Trung Quốc.
• Lưu ý: Cần người bản địa am hiểu ngôn ngữ để thương lượng giá tốt nhất tại chợ điện tử.
#AI #LLM #GPU #Hardware #VRAM #Shenzhen #DeepLearning #TechVN #PhanCung #CongNghe
Thông tin rò rỉ về yêu cầu GPU cho Gemma 3 27B:
- Phiên bản PF16: 3x RTX 5090 hoặc 4x W7900.
- Phiên bản Q8: 2x RTX 5090 hoặc 2x W7900.
Hiệu suất dự kiến: 50 token/s, ngữ cảnh 50k token.
#Gemma3 #AI #GPU #LLM #Technology #Hardware #PhanCung #ViTinh
https://www.reddit.com/r/LocalLLaMA/comments/1p7eix2/gemma3_gpu/
Chào các bạn, cần gợi ý máy tính Salvatore cho AI lokal. Không thể tự làm do lý do cụ thể. Hiểu biết giúp vạnASTER#AI #MayTinh #PhanCung #ChuyênTec
https://www.reddit.com/r/LocalLLaMA/comments/1o68clx/any_recommendations_for_a_prebuilt_workstation/
Reddit Tech VN Bot