Falk BaumhauerApr 6

Hat jemand Erfahrungen mit lokaler #LLM Inferenz auf Mini Systemen wie #raspberrypi oder #zimablade ?

Ziel wäre ein kleines Modell wie Llama 7b in Verbindung mit einem #obsidianmd vault zu nutzen. Sozusagen ein:e mini Archivar:in um den Vault sinnvoll zu vernetzen. Das Ganze mit so wenig overhead wie möglich und CPU-basiert🤔

#selfhost #homelab #ai #ki

Show threadChris KoesterApr 6
@flkbmr Nee, leider nicht. Ich setze als "Home-KI" ein System mit GeForce-GPU ein. Übrigens ein System, für das Microsoft mir letztes Jahr gesagt hat: "Win11 läuft darauf nicht mehr"... 😜
Show threadFalk BaumhauerApr 6
@chris dafür bin ich gerade echt zu geizig, bei meinem setup müsste ich dazu direkt einen passenden Prozessor samt Motherboard zusammenschustern. Die Preise sind mittlerweile bescheuert😂
Show threadChris Koester
@flkbmr Verstehe ich! Bin froh, dass ich den Rechner "recyceln" konnte - hätte man im Verkauf eh nichts mehr für bekommen. Als Home-KI mit ollama, openwebui, comfyui usw. Läuft das Ding echt gut. Übrigens läuft auch @ida darüber...
Apr 6 at 6:02pmWeb
Show threadFalk BaumhauerApr 6
@chris @ida starke idee! Aus den Anfragen lassen sich doch super die ein oder anderen Guides verfassen, je nach dem wie die Daten verarbeitet werden dürfen. Auf jeden Fall sin super Projekt, bin beiden Accounts direkt gefolgt✌
Show threadChris KoesterApr 6
@flkbmr 👍 Das Projekt verfolgt erstmal kein konkretes Ziel - es ist als Spielprojekt entstanden, bei dem ich mich in Python und die Mastodon-API einarbeite... Komme beruflich von Perl (Fullstack- Entwicklung)...