Falk Baumhauer

Hat jemand Erfahrungen mit lokaler #LLM Inferenz auf Mini Systemen wie #raspberrypi oder #zimablade ?

Ziel wäre ein kleines Modell wie Llama 7b in Verbindung mit einem #obsidianmd vault zu nutzen. Sozusagen ein:e mini Archivar:in um den Vault sinnvoll zu vernetzen. Das Ganze mit so wenig overhead wie möglich und CPU-basiert🤔

#selfhost #homelab #ai #ki

Apr 6 at 5:45pmMastodon for Android
Show threadChris KoesterApr 6
@flkbmr Nee, leider nicht. Ich setze als "Home-KI" ein System mit GeForce-GPU ein. Übrigens ein System, für das Microsoft mir letztes Jahr gesagt hat: "Win11 läuft darauf nicht mehr"... 😜
Show threadFalk BaumhauerApr 6
@chris dafür bin ich gerade echt zu geizig, bei meinem setup müsste ich dazu direkt einen passenden Prozessor samt Motherboard zusammenschustern. Die Preise sind mittlerweile bescheuert😂
Show threadChris KoesterApr 6
@flkbmr Verstehe ich! Bin froh, dass ich den Rechner "recyceln" konnte - hätte man im Verkauf eh nichts mehr für bekommen. Als Home-KI mit ollama, openwebui, comfyui usw. Läuft das Ding echt gut. Übrigens läuft auch @ida darüber...
Show threadFalk BaumhauerApr 6
@chris @ida starke idee! Aus den Anfragen lassen sich doch super die ein oder anderen Guides verfassen, je nach dem wie die Daten verarbeitet werden dürfen. Auf jeden Fall sin super Projekt, bin beiden Accounts direkt gefolgt✌
Show threadChris KoesterApr 6
@flkbmr 👍 Das Projekt verfolgt erstmal kein konkretes Ziel - es ist als Spielprojekt entstanden, bei dem ich mich in Python und die Mastodon-API einarbeite... Komme beruflich von Perl (Fullstack- Entwicklung)...
Show threadBennyApr 6
@flkbmr schau dir mal die neuen Gemma 4 Modelle e2b und e4b an, welches für solche Geräte und Smartphones entwickelt wurden. Sind letzte Woche erst erschienen.
Für deinen use case brauchst du aber auch noch ein embedding Model, weshalb evtl. das Llama 7b eh nicht passen würde, außer du hast 16 GB RAM. Da du aber auf dein obsidian Wissen zugreifen willst, reichen 2b oder 4b aus.
Show threadFalk BaumhauerApr 6
@benny stark, vielen Dank für den Tipp! Hätte 16GB zur Verfügung und würde sonst nichts auf dem Board laufen lassen. Die kleineren Optionen schaue ich mir aber definitiv an, klingt perfekt für den Zweck