Tiago FOlá!
Consegui um tempinho pra testar esse projeto de uso de computação heterogênea pra rodar modelos de IA em dispositivos comuns. Achei bem interessante e simples de instalar.
Ele descobre automaticamente os dispositivos na rede, conecta via p2p e balancea tanto a carga de processamento dos modelos quanto o próprio armazenamento, o que viabilizaria rodar modelos grandes, como nesse teste rodando DeepSeek V3 671B em cluster com Mac Mini (https://blog.exolabs.net/day-2/)).
Ele tem uma API compatível com ChatGPT, que permitiria integrar apps que usam a API da openAI,sendo que o próprio console lembre o ChatGPT.
O projeto brasileiro Multicortex (https://www.multicortex.ai/ia) usa o EXO no seu Linux voltado à Inteligência Artificial(OpenSUSE, CUDA, oneAPI, OpenVINO e ROCm).
Fiz a instalação mais simples no Ubuntu em 5 PCs com GPU e percebi que demorou bastante pra baixar modelos pequenos, podendo ser problema na rede.
