MattVidPro AI (@MattVidPro)

사용자가 LTX-2 모델을 개인용 NVIDIA RTX 5090에서 로컬로 구동해 성능을 보고했습니다. 15초 분량 생성물을 540p 해상도로 90초 미만에 생성했다는 경험담으로, 빠른 로컬 인퍼런스 가능성을 보여주는 사례입니다.

https://x.com/MattVidPro/status/2011149735739248673

#ltx2 #localinference #rtx5090 #generativeai

Người dùng đang tìm cách triển khai suy luận cục bộ cho mô hình lớn Qwen2.5-72B trên 2 GPU L40 (48GB VRAM mỗi chiếc) nhưng gặp trở ngại. Khi dùng Huggingface, quá trình bị treo, còn vLLM thì báo lỗi khởi tạo WorkerProc. Anh ấy đang tìm kiếm các gợi ý để giải quyết vấn đề phân chia mô hình và tăng tốc suy luận trên hệ thống đa GPU.
#LLM #AITech #vLLM #Huggingface #LocalInference #GPUComputing #Qwen2_5_72B

https://www.reddit.com/r/LocalLLaMA/comments/1q7gr9w/local_inference_with_big_model_shared_

Vietnamese post:
"Build PC 8x Radeon 7900 XTX (192GB VRAM) kết hợp Intel i7-14700F & 192GB RAM cho AI inference cục bộ. Sử dụng LMStudio/Open WebUI trên Win 11, đạt 437 token/s cho prompt (19k tokens) và 16 token/s khi sinh nội dung. Tiêu thụ 900W, chi phí ~6.500$. Ưu điểm: tương thích dài hạn, tùy chỉnh cao #AMD #AI #LocalLLaMA #CôngNghệAI #CustomPC"

Tags: #AMD #AI #LocalInference #CustomPC #CôngNghệAI #LocalLLaMA #BuildGPU

https://www.reddit.com/r/LocalLLaMA/comments/1pogwb6/8x_radeon_79

Mua HP Z4 G4 cũ đổi 1 thùng bia, CPU Xeon W‑2123, RAM 256 GB. Dự định gắn 1‑2 RTX 5060 Ti 16 GB để chạy mô hình LLM như Gemma 3 27B hoặc GPT‑OSS 20B, tốc độ ~10‑20 token/s. Liệu cấu hình này khả thi? Có đề xuất cấu hình tốt hơn về giá‑hiệu suất không? #AI #LLM #LocalInference #GPU #CôngNghệ #TríTuệNhânTạo #Vietnam #CôngNghệAI

https://www.reddit.com/r/LocalLLaMA/comments/1o2dnle/local_llm_on_old_hp_z4_g4/

📊 Can your 8GB laptop handle DeepSeek R1?
We ran 250 sessions, built XGBoost models (R² = 0.91 ✅), and found the hidden levers behind RAM, latency & reasoning accuracy.
This isn't guesswork—it's LLM deployment as data science 💡🔍

🔗 Read the full breakdown:
https://medium.com/@rogt.x1997/can-you-run-deepseek-r1-on-8gb-ram-a-data-science-driven-breakdown-21340677a063
#LLM #EdgeAI #DeepSeekR1 #AIForecasting #MachineLearning #LocalInference
https://medium.com/@rogt.x1997/can-you-run-deepseek-r1-on-8gb-ram-a-data-science-driven-breakdown-21340677a063