exllamav3 đã cập nhật, bổ sung hỗ trợ cho các mô hình AI mới như GLM 4.7, GLM 4.6V, Ministral và OLMO 3. Đây là tin tức tuyệt vời cho cộng đồng AI địa phương!
#exllamav3 #AI #LLM #GLM #Ministral #OLMO3 #LocalAI #MôHìnhAI #TríTuệNhânTạo #HỗTrợAI

https://www.reddit.com/r/LocalLLaMA/comments/1ptom2s/exllamav3_adds_support_for_glm_47_and_46v/

exllamav3 cập nhật hỗ trợ GLM 4.7, 4.6V, Ministral và OLMO 3 #exllamav3 #GLM #Ministral #OLMO #AI #TríTuệNhânTạo #CậpNhậtMới #HỗTrợMới #LocalLLaMA

https://www.reddit.com/r/LocalLLaMA/comments/1ptom2s/exllamav3_adds_support_for_glm_47_and_46v/

[Перевод] Видеокарты для нейросетей: две RTX 5060 Ti 16GB или одна RTX 3090 24GB? Тест LLM‑инференса

Мечтаете запустить нейросеть на компьютере и анализировать целые книги или сложные документы? Тогда объем VRAM и поддержка длинных контекстов — ваши главные приоритеты. С появлением RTX 5060 Ti 16GB открылась интригующая возможность — собрать систему с двумя такими картами за 950 $ , получив целых 32 ГБ VRAM ! Но как этот дуал покажет себя против проверенной временем б/у RTX 3090 (~900 $) , с её внушительными 24 ГБ и легендарной пропускной способностью? Я провел тесты на реальных моделях (Qwen3 30B/32B), чтобы выяснить, какую видеокарту выбрать для нейросети в 2025 году, если ваша цель — запустить LLM на компьютере с максимальной отдачей, особенно для длинных контекстов.

https://habr.com/ru/companies/bothub/articles/919394/

#видеокарты_для_нейросетей #rtx_5060_ti_16gb #rtx_3090_24gb #qwen3 #железо #тест_иимоделей #инференс #llamacpp #exllamav3 #tabbyapi