EmzyDec 2, 2023
@rstockm Sehr coole Infos zu AI im Freakshow Podcast. 👍

Ist ein Apple M3 Pro die richtige Wahl wenn man mit AI und LLM rumspielen will? Und reichen dann 18GB RAM oder sollte man besser 36GB nehmen?
Show threadRalf StockmannDec 2, 2023
@emzy Ram ist bei meinen Geschichten (Whisper, Stable Diffusion) übrigens noch nie ein Faktor gewesen, die 16GB wurden nie ausgelastet. Das mag sich ändern wenn wir LLMs beginnen zu trainieren.
Show threadEmzy
@rstockm Warscheinlich wird viel auf 16GB optimiert (quantification). Ich find gerade spanned das lokal ohne Internet laufen zu haben.
Der gaming PC mit Nvidia 3080 funktioniert gut, aber die 10GB der GPU sind echt der begrenzende Faktor.
Dec 2, 2023 at 2:24pmWeb
Show threadRalf StockmannDec 2, 2023
@emzy genau dies. Da ist die Universal Memory Architektur der M-Reihe mal echt ein Vorteil.