Tiago FGPUStack 0.2: Heterogeneous Distributed Inference – GPUStack.ai
GPUStack é uma plataforma de código aberto projetada para orquestrar clusters de GPU heterogêneos, facilitando a execução de Modelos de Linguagem Grande (LLMs) em hardware variado. A partir da versão 0.2, o GPUStack introduziu suporte aprimorado para inferência distribuída heterogênea, permitindo agrupar diferentes tipos de GPUs (mesmo de fabricantes distintos) e CPUs para rodar modelos de IA de forma otimizada