A Geometric Calculator Inside a Neural Network

Llama 3.1 8B 모델 내부에 일반 목적의 덧셈 모듈이 존재하며, 이 모듈은 숫자를 원형(주기적) 표현으로 나타내고 이를 활용해 덧셈 문제를 해결한다. 이 덧셈 모듈은 월, 요일 등 순환적 개념을 다루는 다양한 작업에 재사용되며, 신경망이 단순히 개념을 저장하는 것이 아니라 기하학적 표현 위에서 계산을 수행함을 보여준다. 연구진은 이 모듈의 작동을 신경 활성 조작을 통해 인과적으로 검증했으며, 이는 LLM 내부 계산 메커니즘 이해와 제어, 디버깅, 설계에 중요한 통찰을 제공한다.

https://www.goodfire.ai/research/a-geometric-calculator

#llama #neuralgeometry #additionmodule #fourierfeatures #llm