sayzardChristopher READ PINNED (@Thee_BlackMamba)
작성자는 GPT-2 모델을 원래 550MB에서 수 KB로 극단적으로 압축하여 추론을 실행했다고 주장합니다. 현재는 구조적으로 그럴듯한 단어를 출력할 수 있으나 의미 학습이 필요해 일관된 문장 생성을 위해 추가 훈련이 요구된다고 설명하며, Andrej Karpathy를 멘션했습니다.
🏦 Christopher 🇯🇲📣READ PINNED📢 (@Thee_BlackMamba) on X
I was successfully able to compress GPT-2 down from it's original 550mb size to just a few KB and run inference on it. It can now out structurally sound words ... however it still needs to be trained on the meanings of the words to be able to output coherent sentences @karpathy