最近(~2024年5月)公開された LLM の性能を ELYZA-tasks-100 で比較してみた - Qiita

TL;DR海外勢: Microsoft の Phi-3 は日本語応答性能も高い。Apple の OpenELM は日本語未対応国内勢: Karakuri LM 8x7B は Phi-3 smal…

Qiita

無料版GoogleColabで7Bや13BのLLMを動かす方法(OOMにならない!/Fugaku-LLM-13Bも動いたぞォ!)
https://qiita.com/HawkClaws/items/f13c6a4168a6529b06ae?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #GoogleColaboratory #LLM #Mistral #Fugaku_LLM

無料版GoogleColabで7Bや13BのLLMを動かす方法(OOMにならない!/Fugaku-LLM-13Bも動いたぞォ!) - Qiita

無料版GoogleColabで7Bや13BのLLMを動かす方法(OOMにならない!)結論bitsandbytesで4bitや8bitでロードすればいいAutoModelForCausalLM.…

Qiita