parth (@parthsareen)

q4(퀀타이즈된 모델)가 약 22GB를 차지해 저장·메모리 측면에서 다소 타이트할 수 있지만, 모델 자체 성능은 매우 좋다는 간단한 평가입니다. 모델 용량과 리소스 요구 관련 실무적 주의가 필요함을 시사합니다.

https://x.com/parthsareen/status/2013529591198208389

#q4 #quantization #modelsize #llm

J. Iwasawa (@jiwasawa)

Gemini 3 Pro가 5~10조(테라) 파라미터 규모일 것이라는 예측을 소개하는 트윗입니다. 해당 예측은 Artificial Analysis 창업자들이 오픈 모델의 AA-Omniscience Index와 총 파라미터 수의 관계를 외삽해 도출한 것이며, Gemini 3 Pro의 AA-Omniscience Index를 13으로 예상합니다.

https://x.com/jiwasawa/status/2010688287997137224

#gemini3pro #gemini #modelsize #aaomniscience #openmodels

mburaksayici đang phát triển smallevals - mô hình ngôn ngữ nhỏ để đánh giá RAG/VectorDB nhanh hơn. Với dataset 200k cuộc hội thoại (250 token/trung bình), anh ấy đào tạo mô hình 0.5-0.6B. Tuy nhiên, full fine-tuning làm giảm hiệu suất, nên chuyển sang LORA (20M tham số). Anh ấy đang tìm hiểu tỉ lệ hiệu quả giữa token đào tạo và quy mô LORA/mô hình. #AI #MachineLearning #LORA #ModelSize #Knowledge #AIvie #MLVn #LORAtrain

200k hội thoại → 250 token/tr. Mô hình 0.6B + LORA (20M) chưa tối ưu. Cần p

C Alcal 120B và phiênfriends Guoá. Chi tiết về 88GB vs 65GB, înt vyt 4bit & cần GGUF. Thông tin hữu ích cho ngườiution! #TechNews #AI #GPToss #VietnameseAI #Llama #OpenSource #ModelSize"

https://www.reddit.com/r/LocalLLaMA/comments/1oa3u2d/the_size_difference_of_gptoss120b_vs_its/