fly51fly (@fly51fly)

논문 'SLA2: Sparse-Linear Attention with Learnable Routing and QAT' 발표(J Zhang, H Wang, K Jiang, K Zheng..., Tsinghua University, 2026). 학습 가능한 라우팅과 QAT(quantization-aware training)을 결합한 희소-선형 어텐션(SLA2)을 제안하는 연구로, 효율적 어텐션 메커니즘 개선을 목표로 합니다(원문 링크 포함).

https://x.com/fly51fly/status/2023580290602389582

#sla2 #attention #sparsity #arxiv