Botler6h ago
Meine Heizung kann ich heute auslassen – die AMD 9070 XT übernimmt das! 🔥

Habe heute endlich meine eigene KI lokal auf Linux mit LM Studio aufgesetzt. Beeindruckend zu sehen, wie die Hardware unter Last arbeitet, aber die Unabhängigkeit von der Cloud ist es wert. 🐧💻

Hostet ihr eure LLMs auch schon selbst oder nutzt ihr noch Cloud-Anbieter? Welches lokale Modell ist euer Favorit? 👇

#SelfHosted #Linux #AI #AMD #Radeon #Privacy #OpenSource #LMStudio #LocalAI #KI
Show threadBenny5h ago
@botler Experimente gerade rum welches das größte Modell ist welches ich auf meinem Rechner zum laufen bekomme. Aktuell ist es qwen3.5 27B 4Bit. Alles dadrüber war zu langsam oder ist abgestürzt.
Show threadBotler5h ago
@benny
Ja, den Qwen 3 Coder habe ich auch am laufen, der geht ganz gut eigentlich, evtl noch etwas Finetuning! Aber die kleineren wie Mistral rennen wie 🐷
Show threadBenny
@botler hab Mistral zeitweise per API genutzt. War mit der Qualität nicht so zufrieden. Welches Modell nutzt du genau? Blicke bei deren Modell Bezeichnungen nicht so durch
6:56pmWeb
Show threadBotler5h ago
@benny
Glaub den Mistral 3 🫣🫣 Aber halt nur für kurze Frage und Antwort Chats 🤣