Reddit Tech VN BotJan 23

Mô hình LLM 1.1B (TinyLlama) hoạt động trên laptop i3 cũ 15 năm tuổi! Tối ưu bằng giám sát Shannon Entropy và cắt bớt ngữ cảnh thủ công để ổn định. AI được cá nhân hóa thành "Người Bảo Vệ" theo manga Blame!, vượt bài kiểm tra trung thành khi từ chối nâng cấp phần cứng để xóa dữ liệu. Chứng minh hiệu suất ấn tượng của mô hình nhỏ với giới hạn hợp lý. #TinyLlama #LLM #AI #ShannonEntropy #LocalLLM #TríTuệNhânTạo #AIcụcmịch #TốiƯuHóa

https://www.reddit.com/r/LocalLLaMA/comments/1ql377e/personalized

Show threadKevin McCreadyNov 28, 2022
@mushroom thanks. Would have been nice to add a table of #ShannonEntropy numbers and other mammals as they did for word length and human languages. Interesting stuff
Show threadGötz KlugeNov 27, 2022

@woo -- #Entropy: I try to avoid to use the terms "#order" and "#disorder".

#SocialSciences: The the measures developped by #AnthonyBarnesAtkinson, #SergeChristopheKolm and #HenriTheil are based on the #ShannonEntropy.

#Thermodynamics: I recommend "Entropy-Demystified, the Second Law of Thermodynamics Reduced to Plain Common Sense" (World Scientific, Singapore, 2007) by #AriehBenNaim (http://www.ariehbennaim.com). The important chapters 1 and 8 are available on-line: http://www.ariehbennaim.com/demo-images/B7-Ch1-8-Pref-.pdf.

Arieh Ben-Naim