#LLM performance on #AMD Radeon AI PRO R9700 (32GB VRAM) using #ROCm 7.2: input/output tokens per second and VRAM usage at a 128k context length with Q8 KV cache:
Qwen 3.6 27B ~ 168(in)/25(out) t/s, 21GB
Qwen 3.6 27B MTP ~ 127(in)/28(out) t/s, 17GB
Qwen 3.6 35B A3B ~ 246(in)/71(out) t/s, 26GB
Qwen 3.6 35B A3B MTP ~ 195(in)/74(out) t/s, 22GB
Gemma 4 31B ~ 251(in)/22 (out) t/s, 20GB
Gemma 4 26B A4B ~ 418(in)/72(out) t/s, 18GB
Gemma 4 12 B ~ 493(in)/47(out) t/s, 9GB
#Ollama, Q4_K_M quantization.
been looking into the possibility of using AMD ROCm on the iGPU in my 5750GE box, and while it's not officially supported, I found evidence (including comments from #AMD engineers) that they are working to support older GPUs on a best-effort basis, and found this document:
https://github.com/ROCm/TheRock/blob/main/SUPPORTED_GPUS.md #ROCm
RT @ciruai: Wenn dir der neue 27b Pi-Agent, der vom Qwen-Team vorgestellt wird, gefällt und du eine AMD-Grafikkarte nutzt, ist das genau das Richtige für dich.
mehr auf Arint.info
<p>RT @ciruai: Wenn dir der neue 27b Pi-Agent, der vom Qwen-Team vorgestellt wird, gefällt und du eine AMD-Grafikkarte nutzt, ist das genau das Richtige für dich.</p> <p><a href="https://arint.info/@Arint/116771968698433639">mehr</a> auf <a href="https://arint.info/">Arint.info</a></p> <p>#AMD #LLM #Performance #PiAgent #Qwen #ROCm #arint_info</p> <p><a href="https://x.com/ciruai/status/2067593658203779325#m">https://x.com/ciruai/status/2067593658203779325#m</a></p>
RT @Italianclownz: Ich habe zahlreiche Vulkan- und ROCm-Stabilitätsupdates für ROCmFP4 gemerged und gepusht. Ich habe einige Stabilitätskorrekturen in anderen Repositories gefunden, die auch für ROCmFP4 sinnvoll waren, und dafür gesorgt, dass die entsprechenden Autoren für ihre Code-Beiträge korrekt ausgezeichnet wurden.
mehr auf Arint.info
<p>RT @Italianclownz: Ich habe zahlreiche Vulkan- und ROCm-Stabilitätsupdates für ROCmFP4 gemerged und gepusht. Ich habe einige Stabilitätskorrekturen in anderen Repositories gefunden, die auch für ROCmFP4 sinnvoll waren, und dafür gesorgt, dass die entsprechenden Autoren für ihre Code-Beiträge korrekt ausgezeichnet wurden.</p> <p><a href="https://arint.info/@Arint/116764879853928931">mehr</a> auf <a href="https://arint.info/">Arint.info</a></p> <p>#AMD #LLM #OpenSource #ROCm #Stability #Vulkan #arint_info</p> <p><a href="https://x.com/Italianclownz/status/2065900658486579430#m">https://x.com/Italianclownz/status/2065900658486579430#m</a></p>
Leveraging AI Ecosystem for Portable and Sustainable GPU Kernels in HPC
RT @Italianclownz: Ich habe zahlreiche Vulkan- und ROCm-Stabilitätsupdates für ROCmFP4 zusammengeführt und gepusht. Dabei habe ich einige in anderen Repositories ausstehende Stabilitätskorrekturen identifiziert, die sich auch für ROCmFP4 eigneten, und dafür gesorgt, dass die entsprechenden Autoren für ihre Codebeiträge anerkannt wurden.
mehr auf Arint.info
<p>RT @Italianclownz: Ich habe zahlreiche Vulkan- und ROCm-Stabilitätsupdates für ROCmFP4 zusammengeführt und gepusht. Dabei habe ich einige in anderen Repositories ausstehende Stabilitätskorrekturen identifiziert, die sich auch für ROCmFP4 eigneten, und dafür gesorgt, dass die entsprechenden Autoren für ihre Codebeiträge anerkannt wurden.</p> <p><a href="https://arint.info/@Arint/116754960422846688">mehr</a> auf <a href="https://arint.info/">Arint.info</a></p> <p>#AMD #LLM #OpenSource #ROCm #Stability #Vulkan #arint_info</p> <p><a href="https://x.com/Italianclownz/status/2065900658486579430#m">https://x.com/Italianclownz/status/2065900658486579430#m</a></p>
Did a fresh Alpine Linux (v3.24) install today and finally got around to trying out getting Blender with ROCM working under Alpine Linux. The linked article shows how to use Distrobox with Ubuntu to run Blender on an unsupported distro, even works on a musl libc distro like Alpine!
I followed the instructions but the Blender (v4.5.3 iirc) that is in the repo for that version of Ubuntu (v24.04) didn't seem to work. I downloaded the latest Blender version from blender.org (v5.1.2) and installed it in the distrobox VM and it worked perfectly!
I'm going to try to do it using a more modern rocm supported distro in the Distrobox next.
This pretty much negates the last daily driver niggle for Alpine for me... other than the sftp annoyance I posted about earlier - which I can work around easily enough.
https://thomchroma.fr/en/blog/gpu-rendering-blender-rocm-hip/
#Linux #Distrobox #AlpineLinux #Alpine #AMD #rocm #hip #Blender
Flatpak 1.18 añade soporte para el ROCm de AMD
RT @NeoAIForecast: Gemma 4 12B Q4 im Vergleich zu QAT Q4 auf einer AMD Radeon RX 7800 XT unter Verwendung von llama.cpp + ROCm. Der Durchschnittswert aus 5 Läufen zeigt für UD-Q4KXL: 6,85 GiB VRAM, 1274 Prompt-Token/s, 42,3 generierte Token/s und 75,0 % (123/164) bei HumanEval. Für QAT UD-Q4KXL: 6,24 GiB VRAM, 1395 Prompt-Token/s, 52,9 generierte Token/s und 90,85 % (149/164) bei HumanEval. Das QAT-Modell gewinnt in allen Kategorien: 8,9 % kleiner, 25 % schnellere Generierung und +15,85 Punkte bei HumanEval. Die größte Überraschung ist nicht die Geschwindigkeits- oder Größeneinsparung, sondern dass das QAT-quantisierte Modell bei geringerem VRAM-Verbrauch eine deutlich bessere Leistung bei Programmieraufgaben liefert.
mehr auf Arint.info
#AMD #Gemma4 #llamacpp #QAT #Quantisierung #ROCm #arint_info
<p>RT @NeoAIForecast: Gemma 4 12B Q4 im Vergleich zu QAT Q4 auf einer AMD Radeon RX 7800 XT unter Verwendung von llama.cpp + ROCm. Der Durchschnittswert aus 5 Läufen zeigt für UD-Q4KXL: 6,85 GiB VRAM, 1274 Prompt-Token/s, 42,3 generierte Token/s und 75,0 % (123/164) bei HumanEval. Für QAT UD-Q4KXL: 6,24 GiB VRAM, 1395 Prompt-Token/s, 52,9 generierte Token/s und 90,85 % (149/164) bei HumanEval. Das QAT-Modell gewinnt in allen Kategorien: 8,9 % kleiner, 25 % schnellere Generierung und +15,85 Punkte bei HumanEval. Die größte Überraschung ist nicht die Geschwindigkeits- oder Größeneinsparung, sondern dass das QAT-quantisierte Modell bei geringerem VRAM-Verbrauch eine deutlich bessere Leistung bei Programmieraufgaben liefert.</p> <p><a href="https://arint.info/@Arint/116715326467310599">mehr</a> auf <a href="https://arint.info/">Arint.info</a></p> <p>#AMD #Gemma4 #llamacpp #QAT #Quantisierung #ROCm #arint_info</p> <p><a href="https://x.com/NeoAIForecast/status/2063182829010530757#m">https://x.com/NeoAIForecast/status/2063182829010530757#m</a></p>
I benchmarked LLM performance on AMD Radeon AI PRO R9700 with Ollama, comparing ROCm 7.1 vs 6.4 across 8 models (Mistral, Llama, Qwen, GPT-OSS, DeepSeek, and more). Result: visible gains in prompt throughput (+87% avg) and faster responses (+11% avg). Full tables, setup, and notes in the post.
meefik
selfhosting.couchsurfing
Arint - SEO+KI
HGPU group
Root Moose
Édouard Muller