Nearly Optimal Attention Coresets

이 논문은 어텐션 메커니즘을 작은 공간에서 근사하는 코어셋(coreset)의 존재를 증명하며, 거의 최적 크기의 코어셋을 제안한다. 단위 노름 키와 값 집합에 대해, 모든 쿼리에 대해 어텐션 결과의 근사 오차가 ε 이하인 부분집합을 차원과 쿼리 노름에 따라 효율적으로 구성할 수 있음을 보였다. 이는 기존 결과보다 우수한 성능을 보이며, ε-코어셋 크기에 대한 하한도 함께 제시한다. 이 연구는 어텐션 계산의 메모리 효율적 근사 및 대규모 모델 최적화에 기여할 수 있다.

https://www.pinecone.io/research/Nearly-Optimal-Attention-Coresets/

#attention #coreset #approximation #machinelearning #optimization

'Data Summarization via Bilevel Optimization', by Zalán Borsos, Mojmír Mutný, Marco Tagliasacchi, Andreas Krause.

http://jmlr.org/papers/v25/21-1132.html

#optimization #coresets #coreset