In search of wasted bits: how much information do LLM weights carry?

LLM 가중치의 정보량을 Shannon 엔트로피로 분석한 결과, BF16 포맷에서 16비트 중 약 10.6비트만 실제 정보로 사용되고 나머지는 낭비되는 것으로 나타났습니다. 특히 지수(exponent) 부분에서 정보량이 적어 낭비가 집중되며, 이는 가중치 크기가 좁은 범위에 집중되어 있기 때문입니다. FP8, FP4 등 더 낮은 비트폭 포맷으로 갈수록 낭비가 줄어들지만, 4비트 이하에서는 모델이 가중치 분포를 포맷에 맞게 조정해야 하는 한계가 있습니다. 이 연구는 LLM 가중치 저장 및 전송 효율 개선과 관련된 중요한 통찰을 제공합니다.

https://fergusfinn.com/blog/weight-entropy/

#llm #quantization #entropy #weightcompression #floatingpoint