Plano Técnico – TPC (Território de Processamento Compartilhado)

O TPC é uma infraestrutura descentralizada de processamento de IA que aproveita computadores ociosos dos laboratórios de informática de Institutos Federais e outras escolas públicas. O nome remete a território físico (os laboratórios como chão comum), a processamento (a função computacional) e a compartilhamento (a gestão coletiva do bem). A sigla TPC também carrega um sentido coloquial de "tranquilo, sem pressa" – adequado para tarefas processadas em lote no tempo ocioso, sem competir com o uso pedagógico

https://codeberg.org/tiagojulianoferreira/tpc

#SoberaniaDigital #TerritorioProcessamentoComum #tpc #IASoberana #ComputacaoHeterogenea #gstack #agplv3

GPUStack 0.2: Heterogeneous Distributed Inference – GPUStack.ai

GPUStack é uma plataforma de código aberto projetada para orquestrar clusters de GPU heterogêneos, facilitando a execução de Modelos de Linguagem Grande (LLMs) em hardware variado. A partir da versão 0.2, o GPUStack introduziu suporte aprimorado para inferência distribuída heterogênea, permitindo agrupar diferentes tipos de GPUs (mesmo de fabricantes distintos) e CPUs para rodar modelos de IA de forma otimizada

https://gpustack.ai/introducing-gpustack-0-2/

#CodigoAberto #ComputacaoHeterogenea #selfhosted

Olá!

Consegui um tempinho pra testar esse projeto de uso de computação heterogênea pra rodar modelos de IA em dispositivos comuns. Achei bem interessante e simples de instalar.

Ele descobre automaticamente os dispositivos na rede, conecta via p2p e balancea tanto a carga de processamento dos modelos quanto o próprio armazenamento, o que viabilizaria rodar modelos grandes, como nesse teste rodando DeepSeek V3 671B em cluster com Mac Mini (https://blog.exolabs.net/day-2/)).

Ele tem uma API compatível com ChatGPT, que permitiria integrar apps que usam a API da openAI,sendo que o próprio console lembre o ChatGPT.

O projeto brasileiro Multicortex (https://www.multicortex.ai/ia) usa o EXO no seu Linux voltado à Inteligência Artificial(OpenSUSE, CUDA, oneAPI, OpenVINO e ROCm).

Fiz a instalação mais simples no Ubuntu em 5 PCs com GPU e percebi que demorou bastante pra baixar modelos pequenos, podendo ser problema na rede.

https://github.com/exo-explore/exo

#ia #ComputacaoHeterogenea #soberaniaDigital