Mastodawn

金のニワトリ (@gosrum)

RTX 5090 환경에서 Nemotron-Cascade-2-30B-A3B(Q4_K_M)의 llama-bench 결과를 공유했다. prefill은 약 13000 tps, decord는 약 285 tps로, 최신 GPU에서의 추론 성능을 보여주는 벤치마크 트윗이다.

https://x.com/gosrum/status/2035545070355792319

#nvidia #rtx5090 #llamabench #benchmark #llm

金のニワトリ (@gosrum) on X

Nemotron-Cascade-2-30B-A3B（Q4_K_M）のllama-bench結果＠ RTX 5090 ・prefill：〜13000tps ・decord：〜285tps

X (formerly Twitter)

sayzard Mar 2

金のニワトリ (@gosrum)

Qwen3.5의 여러 크기(0.8B, 2B, 4B, 9B, 모두 UD-Q4_K_XL)에 대한 llama-bench 결과(RTX5090)를 보고. 처리량: 0.8B prefill ~35000 tps / decord ~435 tps, 2B prefill ~26000 / decord ~360, 4B prefill ~13000 / decord ~213, 9B prefill ~9000 / decord ~163.

https://x.com/gosrum/status/2028464096853827738

#qwen #llamabench #quantization #rtx5090

金のニワトリ (@gosrum) on X

Qwen3.5-0.8B、2B、4B、9B（すべてUD-Q4_K_XL）のllama-bench結果＠ RTX5090 ●0.8B ・prefill：〜35000tps ・decord：〜435tps ●2B ・prefill：〜26000tps ・decord：〜360tps ●4B ・prefill：〜13000tps ・decord：〜213tps ●9B ・prefill：〜9000tps ・decord：〜163tps

X (formerly Twitter)

sayzard Jan 20

金のニワトリ (@gosrum)

RTX5090에서 llama-bench로 GLM-4.7-flash의 추론 속도를 측정했더니, 의외로 flash-attn을 켜면 성능이 극도로 느려지는 현상이 확인되었다는 성능 이슈 보고입니다.

https://x.com/gosrum/status/2013415527675306048

#glm4.7flash #llamabench #rtx5090 #flashattn