[Перевод] Как я установил в свой игровой ПК серверный GPU за £200

У меня уже была установлена RTX 4080 с 16 ГБ VRAM. Её вполне достаточно для гейминга, но не для моделей, которые я хотел запускать локально. Так что следующим шагом было либо приобретение дорогущей карточки с б о льшим объёмом памяти, либо поиск другого способа. И я этот способ нашёл. Я купил видеокарту для датацентра, у которой даже нет нормального коннектора PCIe, и подключил её к ПК через адаптер. Теперь у меня в системе 32 ГБ VRAM от двух GPU, на которых работает модель с 27 миллиардами параметров, выдавая по 32 токена в секунду. И обошлось мне это всего в £200.

https://habr.com/ru/companies/ruvds/articles/1043072/

#ruvds_перевод #искусственый_интеллект #инференс_llm #v100 #nvidia_volta #локальная_llm #nixos

[Перевод] Как я установил в свой игровой ПК серверный GPU за £200

У меня уже была установлена RTX 4080 с 16 ГБ VRAM. Её вполне достаточно для гейминга, но не для моделей, которые я хотел запускать локально. Так что следующим шагом было либо приобретение дорогущей карточки с б о льшим объёмом памяти, либо поиск другого способа. И я этот способ нашёл. Я купил видеокарту для датацентра, у которой даже нет нормального коннектора PCIe, и подключил её к ПК через адаптер. Теперь у меня в системе 32 ГБ VRAM от двух GPU, на которых работает модель с 27 миллиардами параметров, выдавая по 32 токена в секунду. И обошлось мне это всего в £200.

https://habr.com/ru/companies/ruvds/articles/1043072/

#ruvds_перевод #искусственый_интеллект #инференс_llm #v100 #nvidia_volta #локальная_llm #nixos

NVIDIA TITAN V:
NVIDIA TITAN V is the most powerful graphics card ever created for the PC, driven by the world’s most advanced architecture—NVIDIA Volta.

For More : https://www.xenon.com.au/product/nvidia-titan-v/

#NVIDIA_TITAN_V
#NVIDIA_VOLTA