Falk BaumhauerApr 6

Hat jemand Erfahrungen mit lokaler #LLM Inferenz auf Mini Systemen wie #raspberrypi oder #zimablade ?

Ziel wäre ein kleines Modell wie Llama 7b in Verbindung mit einem #obsidianmd vault zu nutzen. Sozusagen ein:e mini Archivar:in um den Vault sinnvoll zu vernetzen. Das Ganze mit so wenig overhead wie möglich und CPU-basiert🤔

#selfhost #homelab #ai #ki

Show threadBenny
@flkbmr schau dir mal die neuen Gemma 4 Modelle e2b und e4b an, welches für solche Geräte und Smartphones entwickelt wurden. Sind letzte Woche erst erschienen.
Für deinen use case brauchst du aber auch noch ein embedding Model, weshalb evtl. das Llama 7b eh nicht passen würde, außer du hast 16 GB RAM. Da du aber auf dein obsidian Wissen zugreifen willst, reichen 2b oder 4b aus.
Apr 6 at 6:05pmWeb
Show threadFalk BaumhauerApr 6
@benny stark, vielen Dank für den Tipp! Hätte 16GB zur Verfügung und würde sonst nichts auf dem Board laufen lassen. Die kleineren Optionen schaue ich mir aber definitiv an, klingt perfekt für den Zweck