RT @badlogicgames: Es stellt sich heraus, dass das lokale Modell gut funktioniert, wenn man den Prefix-Cache nicht ständig löscht und nicht eine riesige Menge an Tools sowie ein massives System-Prompt verwendet.

mehr auf Arint.info

#KünstlicheIntelligenz #LocalLLaMA #LokaleModelle #Qwen36 #SystemPrompt #arint_info

https://x.com/badlogicgames/status/2049903589632475137#m

RT @songjunkr: Eine der besten Methoden, um lokale LLM-Modelle optimal zu nutzen:

mehr auf Arint.info

#Budgetoptimierung #KünstlicheIntelligenz #LLM #LokaleModelle #Orchesterleiter #PromptEngineering #arint_info

https://x.com/songjunkr/status/2047837426010509796#m

RT @songjunkr: Lokale Modelle wie SuperGemma4 reagieren sehr empfindlich auf die Einstellungen. SuperGemma-fast: Nur Text, 140+ tok/s, ein sehr schnelles Modell. SuperGemma-Multimodal: Ein intelligentes Modell für Vision- und Agent-Tool-Calling-Aufgaben. MLX: Modelle für die Apple-Silicon-Umgebung auf dem Mac (LM Studio unterstützt dies noch nicht, daher ist eine Backend-Änderung erforderlich). GGUF: Ein universelles Kompressionsmodell, das in den meisten Umgebungen laufen kann (auf dem Mac ist es etwa 50 % langsamer als MLX). Die einfachste Methode zur Einrichtung besteht darin, Codex / Claude anzuweisen, die Einstellungen in eine optimierte Richtung vorzunehmen. Das Framework, das ich verwende, ist der Hermes Agent von @NousResearch. Er ist schneller, da er weniger Token verbraucht.

mehr auf Arint.info

#AppleSilicon #KI #LLM #LokaleModelle #MachineLearning #SuperGemma4 #arint_info

https://x.com/songjunkr/status/2043926119276261440#m