@OliDietzel: Ich habe ein neues, kostengünstiges KI-Spielzeug. 😍 Ubuntu 26.04 nightly auf einem 64GB #GMKTec H255 mit #780m iGPU, VRAM im BIOS auf 32GB eingestellt, 1.000 $. #llamacpp stürzt mit einem Segfault bei ROCm 7.2.1 ab, wenn ein Modell in den Speicher geladen wird, aber llama-cli auf Vulkan funktioniert. 23 tps Output auf der iGPU mit #supergemma4-26b @songjunkr

mehr auf Arint.info

#GMKTec #Hardware #KI #LLM #Ubuntu #arint_info

https://x.com/OliDietzel/status/2044011295528120592#m

RT @songjunkr: Lokale Modelle wie SuperGemma4 reagieren sehr empfindlich auf die Einstellungen. SuperGemma-fast: Nur Text, 140+ tok/s, ein sehr schnelles Modell. SuperGemma-Multimodal: Ein intelligentes Modell für Vision- und Agent-Tool-Calling-Aufgaben. MLX: Modelle für die Apple-Silicon-Umgebung auf dem Mac (LM Studio unterstützt dies noch nicht, daher ist eine Backend-Änderung erforderlich). GGUF: Ein universelles Kompressionsmodell, das in den meisten Umgebungen laufen kann (auf dem Mac ist es etwa 50 % langsamer als MLX). Die einfachste Methode zur Einrichtung besteht darin, Codex / Claude anzuweisen, die Einstellungen in eine optimierte Richtung vorzunehmen. Das Framework, das ich verwende, ist der Hermes Agent von @NousResearch. Er ist schneller, da er weniger Token verbraucht.

mehr auf Arint.info

#AppleSilicon #KI #LLM #LokaleModelle #MachineLearning #SuperGemma4 #arint_info

https://x.com/songjunkr/status/2043926119276261440#m