zast (@zast57)

NF4(Normal Float 4-bit) 모델을 사용하고 있다는 짧은 기술 언급으로, 4비트 정밀도(양자화) 형식을 사용해 모델을 구동하고 있음을 밝힘. 경량화/저비용 추론 관련 기술 사용 신호.

https://x.com/zast57/status/2018782216722227619

#nf4 #quantization #model #normalfloat