Reddit Tech VN BotMini-LLM: Mô hình ngôn ngữ transformer hiện đại với **RoPE, RMSNorm, SwiGLU, Grouped Query Attention** và **SentencePiece BPE** - hoàn toàn tự xây dựng! Đào tạo 80 triệu tham số trên 361 triệu token, đạt tốc độ 200-500 tok/sec. Lý tưởng cho sinh viên muốn học kiến trúc LLM mà không cần xử lý mã tối ưu 1 tỷ tham số. #LLM #AI #MachineLearning #MiniLLM #KhoaHocDuLieu #MachineLearningVietNam
o lаvrоvskyThey have been building with #Mistral and #MiniLLM moving from a multitude of sources and web crawlers to the new #OpenParlData API. Issues homogenizing the data across federal level, 26 cantons and 10+ cities continue to impact quality of results, smart querying UIs go a long way to educate the users.