Schenkl | 🏳️🌈🦄#AMD #Grafikkarten Treiber unter #Linux zu installieren ist ja noch mehr Pain als die von #Nvidia.
Also ich meine die #RCOm Treiber, weil ich die für so LLM Zeug brauche...
𝗣𝗠𝗝 ⚫das sind auch nicht die treiber per se, cuda bei nvidia wird ja auch nicht benötigt damit das teil läuft sondern nur für computing
das selbe bei rocm
@pmj Genau, ich will ja Computing machen.
jo, soll pain in the ass sein bis es läuft, aber sobald es läuft solls besser/effizienter sein als cuda/nvidia
Robert Frank@schenklklopfer
Also ich hatte keine Probleme mit meiner RX9070TX auf Linux Mint.
Habe den Treiber von der AMD Webseite herunter geladen und per Klick installiert.
Also ich hatte keine Probleme mit meiner RX9070TX auf Linux Mint.
Habe den Treiber von der AMD Webseite herunter geladen und per Klick installiert.
@frankobert Wozu dann diese über komplizierte Anleitung?
Naja wenns nicht klappt installier ich halt Mint und mchas so wie du.
@schenklklopfer
Geht auch mit Ubuntu. Die Treiber auf der AMD Seite sind eigentlich für Ubuntu.
Geht auch mit Ubuntu. Die Treiber auf der AMD Seite sind eigentlich für Ubuntu.
Andreas Kilgus@schenklklopfer Wenn Du die Beschleunigung via Vulkan anstatt ROCm zum Laufen bekommst, spart das wohl ordentlich Energie und ist dazu tendenziell auch schneller:
Comparison Ollama Vulkan vs Ollama Rocm
Update : Added context length scaling (2k-32k) and CPU baseline (R9 7945hx 64GB) num_ctx Vulkan ROCm Native (CPU) 2048 56.8 t/s 49.7 t/s 24.6 t/s 8192 52.6 t/s 49.1 t/s 24.8 t/s 16384 46.1 t/s 46.5 t/s 24.7 t/s 32768 40.3 t/s 43.4 t/s 24.5 t/s Context scaling (2k → 32k performance loss): Vulkan: -29% ROCm: -13% Native: -0.2% Power consumption: Vulkan: ~65 W (0.7-0.9 t/W) ROCm: ~150 W (0.3 t/W) Native: ~11 W (2.2 t/W) Takeaways: Small contexts (≤8k): Vulkan wins on speed...
Julian@schenklklopfer hm mit meinem Arch Linux habe ich vor einiger Zeit Mal mit ollama rumgespielt und da war es nicht viel mehr als ollama-rocm installieren und dann hat es die nötigen packages gezogen...
@j_r Ja, so hab ichs letztlich auch gemacht - sagt einem ja keiner, dass das funktioniert^^