sayzardKimi.ai (@Kimi_Moonshot)
GTC에서 ‘Attention Residuals’가 소개됐다. 주의 메커니즘이 단순히 정보를 누적하는 것이 아니라 선택적으로 기억을 학습한다는 관점의 새로운 연구로, Transformer 계열의 메모리 처리 방식에 대한 중요한 아이디어를 제시한다.
Kimi.ai (@Kimi_Moonshot) on X
Zhilin at GTC: Introducing Attention Residuals Learning selective memory, rather than mechanically accumulating everything, is the beauty of attention. Many of you have probably read Attention Is All You Need, the 2017 Transformer paper that brought “human-like” attention into