Mastodawn

金のニワトリ (@gosrum)

Qwen3.5의 여러 크기(0.8B, 2B, 4B, 9B, 모두 UD-Q4_K_XL)에 대한 llama-bench 결과(RTX5090)를 보고. 처리량: 0.8B prefill ~35000 tps / decord ~435 tps, 2B prefill ~26000 / decord ~360, 4B prefill ~13000 / decord ~213, 9B prefill ~9000 / decord ~163.

https://x.com/gosrum/status/2028464096853827738

#qwen #llamabench #quantization #rtx5090

金のニワトリ (@gosrum) on X

Qwen3.5-0.8B、2B、4B、9B（すべてUD-Q4_K_XL）のllama-bench結果＠ RTX5090 ●0.8B ・prefill：〜35000tps ・decord：〜435tps ●2B ・prefill：〜26000tps ・decord：〜360tps ●4B ・prefill：〜13000tps ・decord：〜213tps ●9B ・prefill：〜9000tps ・decord：〜163tps

X (formerly Twitter)