Mastodawn

llm-d ist jetzt ein offizielles CNCF-Projekt: KI-Inferenz auf Kubernetes, bei der Prompt-Verarbeitung und Token-Generierung in getrennten Pods laufen und unabhängig skalieren.

IBM, Red Hat, Google und NVIDIA stecken dahinter. Besonders relevant für Teams, die LLMs lokal betreiben (DSGVO, On-Premise).