mburaksayici đang phát triển smallevals - mô hình ngôn ngữ nhỏ để đánh giá RAG/VectorDB nhanh hơn. Với dataset 200k cuộc hội thoại (250 token/trung bình), anh ấy đào tạo mô hình 0.5-0.6B. Tuy nhiên, full fine-tuning làm giảm hiệu suất, nên chuyển sang LORA (20M tham số). Anh ấy đang tìm hiểu tỉ lệ hiệu quả giữa token đào tạo và quy mô LORA/mô hình. #AI #MachineLearning #LORA #ModelSize #Knowledge #AIvie #MLVn #LORAtrain

200k hội thoại → 250 token/tr. Mô hình 0.6B + LORA (20M) chưa tối ưu. Cần p

Prestaňte čítať self help knihy.

Hoďte do chatGPT

"daj mi 100 najlepších kníh na tému ___ "

Vyberte si jednu

"napíš mi hlavné posolstvo, vedľajšie posolstvá, reálny príklad implementácie, praktický krok za krokom návod, čo ľudia robia zle pri aplikovaní tejto kapitoly, krátky súhrn."

#AIvie