Hmpf... #OpenClaw läuft nicht auf meinem #Pilama mit lokalem LLM. Dafür hat der Raspi5 leider zu wenig RAM. Selbst bei sehr kleinen Modellen will er minimu 16 GB RAM und der Raspi hat "nur" 8.
Da muss ich mir wohl was anderes einfallen lassen 😐
Am besten ich kaufe mir einen extra PC dafür. Hardware kostet ja gerade fast nix 😭
Wie "Open" ist #OpenAI mit #ChatGPT noch?
(Spoiler: kaum)
Der Tech-Youtuber @TheMorpheus hat ein neue Video veröffentlicht, in dem er erklärt, warum er OpenAI den Rücken kehrt. Leider geht er nur sehr kurz und auch erst ganz am Schluss auf Alternativen ein. Aber vielleicht macht er dazu ja auch nochmal ein eigenes Video. Er wird wohl #KI selbst hosten. Wer dazu was wissen will, kann sich mal den Hastag #Pilama anschauen.
Ansonsten: sehr sehenswert! 👍
Spannendes Update zu meinem #Pilama
Da #KI ja wirklich viel Rechenleistung braucht, konnte ich bisher kein KI Modell auf meinem Pilama laufen lassen, dass Bildanalysen (zB Beschreibungen) auf deutsch machen kann.
Jetzt ist aber Gemma3 draußen. Eine KI von Google. Da kann ich in der relativ kleinen 4b Version schon Bilder prüfen und mir Bildbeschreibungen ausgeben lassen. Die Modelle werden echt immer leistungsfähiger und kleiner.
Auf meinem großen Gaming-PC habe ich das 32b Modell von #DeepSeek getestet, was für #Pilama zu groß ist. Die Ausgabe ist dementsprechend noch etwas genauer.
Bitte habt Verständnis, dass nicht alles in den Alt-Text passt, da dort nur 1500 Zeichen erlaubt sind.
Hier kann man auch gut den "Denkprozess" der KI sehen, der in den Tags <think> untergebracht ist.
Das spannende ist nun, dass man verschiedene Versionen von #DeepSeek auch lokal laufen lassen kann. Da es sich um ein reasoning Modell handelt, sind die Ergebnisse auch mit kleineren Versionen der KI (zB 7b, 8b etc.) ausgesprochen gut und besser als bei den anderen Modellen gleicher Größe.
Und es gibt noch einen Vorteil: Lokal gehostet sind die Ausgaben nicht zensiert! Systemkritische Fragen zu China sind da anders als in der online Version möglich!
Ein paar Neuigkeiten von meinem #Pilama
In der Welt der KIs passiert ja gerade verdammt viel. #DeepSeek hat nicht nur an den Börsen eingeschlagen, sondern ist auch aus technischer Sicht äußerst interessant, da es sich - anders als #ChatGPT - um ein reasoning Modell handelt. Das bedeutet, dass das Modell erst "nachdenkt", bevor es eine Antwort gibt. Es redet mehr oder weniger mit sich selbst und erzielt somit bessere Ergebnisse.
Es gibt #ChatGPT es gibt #Gemini es gibt jetzt auch noch #DeepSeek Und natürlich kennen meine Follower auch noch #Pilama
Aber welche KI von den vielen ist denn nun eigentlich die Beste? Das versuche ich nach und nach mit verschiedenen Challenges heraus zu finden. Wir fangen heute mit der #LottoChallenge an.
Ich habe die Modelle #ChatGPT #DeepSeek und #Pilama (auf Basis von llama3.2) gebeten mir 4x6 Zahlen mit Superzahlen zu generieren.
Der eine oder andere wird sich fragen, was ich denn eigentlich genau mit #Pilama anstelle und was das Ding kann.
Wer nicht weiß, wer oder was #Pilama ist, dem sei dieser Thread hier angeraten:
https://mastodon.social/@marquito/113578313101769429
Zunächst einmal:
Ich bin ITler und mich fasziniert Technik. Es ist ein Stück weit Spielerei.
ABER: Eine lokale KI zu haben, kann sehr praktisch und sinnvoll sein, wenn man deren Fähigkeit nutzen möchte, aber die Daten nicht einfach so ins Internet blasen möchte.
Marquito