Red Hat Launches the llm-d Community, Powering Distributed Gen AI Inference at Scale

https://www.redhat.com/en/about/press-releases/red-hat-launches-llm-d-community-powering-distributed-gen-ai-inference-scale

#RedHat #CoreWeave #Google #IBM #NVIDIA #AMD #Cisco #HuggingFace #Intel #Lambda #Mistral #OpenSource #AI #llmd #vllm #Linux #Kubernetes

This is now my go-to library when it comes to serving an llm.

PagedAttention, distributed serving, a *very* nice python interface… this project has it all!

https://github.com/vllm-project/vllm

#ai #vllm #opensource

Распределённый инференс и шардирование LLM. Часть 2: скрипт vLLM, Ray Serve для вывода API и настройка KubeRay Cluster

Продолжаем пошагово разбираться с ответом на вопрос о том, как эффективно работать с передовыми LLM, используя доступное оборудование и распределённые вычисления. В первой части статьи мы подготовили всё необходимое для развёртывания распределённого инференса с Ray Serve и vLLM. Сегодня этим и займёмся. Мы напишем скрипт vLLM, используем Ray Serve, чтобы предоставить внешний HTTP API, а также настроим KubeRay Cluster и развернём в нём Gemma 3. Вперёд!

https://habr.com/ru/companies/flant/articles/906702/

#llm #gpu #ai #ml #vllm #gemma3 #devops

Explore how vLLM optimizes the Llama Stack for efficient and scalable LLM inference in this deep dive from the vLLM team.

https://blog.vllm.ai/2025/01/27/intro-to-llama-stack-with-vllm.html

Excellent ,@terrytangyuan.xyz !

#redhat #opensource #VLLM

Построение инфраструктуры для работы с языковыми моделями: опыт X5 Tech

Привет, Хабр! Я Мичил Егоров, руководитель команды разработки продуктов искусственного интеллекта в X5 Tech. В последнее время языковые модели (LLM) стали неотъемлемой частью многих бизнес-процессов, начиная от чат-ботов и заканчивая автоматической обработкой отзывов клиентов. Однако, чтобы эффективно использовать такие модели, необходима мощная и гибкая инфраструктура. За последний год команда X5 Tech значительно выросла, проверила множество гипотез и протестировала различные модели. Основные кейсы использования включают чат-боты, суфлёры для модераторов, автоматическое резюмирование и обработку отзывов клиентов. В этой статье расскажу, как команда X5 Tech построила инфраструктуру для работы с языковыми моделями, какие вызовы преодолели и какие решения были приняты.

https://habr.com/ru/companies/X5Tech/articles/880288/

#LLM #с_нуля #построение_инфраструктуры #opensource #Закрытые_решения #маскирование_данных #clearml #vllm #логирование #мониторинг

Introducing vLLM Inference Provider in Llama Stack

https://blog.vllm.ai/2025/01/27/intro-to-llama-stack-with-vllm.html

#artificialintelligence #AI #vLLM #llamastack #opensource #RedHat

Achieve better large language model inference with fewer GPUs

"we achieved approximately 55-65% of the throughput on a server config that is approximately 15% of the cost"

https://www.redhat.com/en/blog/achieve-better-large-language-model-inference-fewer-gpus

#OpenShiftAI #RedHat #OpenShift #AI #Kubernetes #vllm #kubeflow #kserve

🎯 #OpenSource Language Model Platform Launch

🔧 Leverages #vLLM technology with custom #GPU scheduler for running various #LLM models
🤖 Supports major models: #Llama3 (405B/70B/8B), #Qwen2 72B, #Mixtral, #Gemma2, #Jamba15, #Phi3

https://glhf.chat/

初めてのInf2インスタンスでLlama 3.2を起動してみた
https://qiita.com/moritalous/items/1a239ca41d61e8fef3e0?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #AWS #EC2 #Inferentia #vLLM #Llama3

Just occurred to me that I could use a micro #vllm like #omnivision to automatically add #alttext to my image posts without having to manually input them. I typically use #ChatGPT to generate my alt-text anyway, and rarely have to manually edit the content. Since I own this server, I could even do it at the database level, directly modifying the content.

Worth it? Potential pitfalls? Waste of effort?

https://huggingface.co/NexaAIDev/omnivision-968M#how-to-use-on-device

#mastoadmin #mastobot #bot #ai #llm