MarquitoMar 2

Hmpf... #OpenClaw läuft nicht auf meinem #Pilama mit lokalem LLM. Dafür hat der Raspi5 leider zu wenig RAM. Selbst bei sehr kleinen Modellen will er minimu 16 GB RAM und der Raspi hat "nur" 8.

Da muss ich mir wohl was anderes einfallen lassen 😐

Am besten ich kaufe mir einen extra PC dafür. Hardware kostet ja gerade fast nix 😭

#ai #raspberrypi

Show threadgi4tMar 2
@marquito An welches lokale LLM hast du gedacht?
Show threadMarquitoMar 2

@gi4t

Ich habe dieverse getestet, gemma3, qwen3.5, llama3.2 etc.

Show threadgi4tMar 2
@marquito Auf welcher HW wenn ich fragen darf?
Show threadMarquito

@gi4t

Steht doch in meinem Tröt, ein Raspi5

Mar 2 at 9:06pmWeb
Show threadgi4tMar 2
@marquito ok sorry. Darauf war ich nicht vorbereitet. Ich hätte nicht gedacht, dass du qwen3.5 auf einem Raspi5 laufen lassen wolltest. Mit was für einer Inferenz hast du da gerechnet? Ich dachte du hast irgendwo eine "Ai Machine" stehen (GPU xy) mit einem llama oder ähnliches..und dein Raspi5 ist nur der OpenClaw host.
Show threadMarquitoMar 2

@gi4t

Aktuell habe ich ollama mit verschiedenen Modellen auf dem Raspi am laufen und das funktioniert grundsätzlich. OpenClaw oben drauf dann aber nicht mehr. Ich erwarte aber keine Performance. Es ist eher ein Funktionstest