@kuketzblog Unter #macOS ist die App "Locally AI" aus dem AppStore absolut zu empfehlen. AI Modelle wie #Llama, #Gemma oder auch #Ministral lassen sich mit wenigen Klicks herunterladen und offline nutzen.

Seit langem im Einsatz und super happy damit. Schützt nicht nur meine Privatsphäre sondern schont z.B. auch die Umwelt. Mein MacMini nuckelt sich deutlich weniger Energie aus der Steckdose, als ein großes Datacenter 😀

https://apps.apple.com/de/app/locally-ai-local-ai-chat/id6741426692

@TheMorpheus Update: Ich habe lokal auf #mistral #ministral 3B gewechselt. Hab mal ne Aufgabe für die Berufsschule reingeworfen, die ein Kollege schon fertig hatte und wir haben am Ende verglichen. Joah, so ein "Meh" 😐 Ergebnis. Weniger, weil es falsch war, sondern weil ich 3 Fragen stellte und nur auf 2 eine Antwort bekam. Aber hey, das war 1 Prompt. #Qwen3 4B hat auch schon verkackt.

Und das Wichtigste für Mich: Eine "Meh"-Antwort in 31 Sekunden bei 5,70 tokens/sec ist mir SCHNELL genug.

I've added an interactive client script today. Makes it easier to play around and discover all the ways to break our little assistant:

#GISChat #QGIS #FastMCP #ministral