Mới nâng cấp lên máy N100 (8GB RAM, NVMe) và rất ấn tượng với khả năng xử lý LLM và Stable Diffusion trên phần cứng thấp. Đang thử TinyLlama, Gemma-3, Phi-4-mini cho mã nguồn, dịch thuật, hình ảnh và âm thanh. Khả năng chạy AI local trên thiết bị yếu thật sự bất ngờ. Bạn đang dùng gì cho self-hosted LLM? #LLM #SelfHosted #TinyLlama #StableDiffusion #AI #MachineLearning #AIcụcgạch #HọcMáy #TựChủCôngNghệ

https://www.reddit.com/r/selfhosted/comments/1qsdgop/selfhosted_llm_on_lowpower_hardware/

Một người dùng Reddit vừa chứng minh khả năng vượt qua giới hạn dữ liệu (training cutoff) của AI. Bằng cách sử dụng đồ thị bộ nhớ (memory graph), mô hình TinyLlama 1.1B (huấn luyện từ 2023) đã có thể truy xuất chính xác ngày phát hành Rust 1.85 vào tháng 2/2025. Thí nghiệm này cho thấy thay vì chạy đua tăng kích thước mô hình, việc tối ưu hệ thống ghi nhớ và truy xuất dữ liệu cục bộ có thể mang lại hiệu quả đột phá cho AI.

#AI #LLM #Ollama #TinyLlama #TechNews #CongNghe #TriTueNhanTao

https://

Mô hình LLM 1.1B (TinyLlama) hoạt động trên laptop i3 cũ 15 năm tuổi! Tối ưu bằng giám sát Shannon Entropy và cắt bớt ngữ cảnh thủ công để ổn định. AI được cá nhân hóa thành "Người Bảo Vệ" theo manga Blame!, vượt bài kiểm tra trung thành khi từ chối nâng cấp phần cứng để xóa dữ liệu. Chứng minh hiệu suất ấn tượng của mô hình nhỏ với giới hạn hợp lý. #TinyLlama #LLM #AI #ShannonEntropy #LocalLLM #TríTuệNhânTạo #AIcụcmịch #TốiƯuHóa

https://www.reddit.com/r/LocalLLaMA/comments/1ql377e/personalized

🔧 Thử nghiệm: chạy mô hình TinyLlama 1.1B trên laptop i3‑5005U (15 y) 8 GB RAM. ✅ Cá nhân hoá làm “Guardian” dựa trên manga Blame!
🛠️ Kỹ thuật: **Manual Context Pruning** chỉ ghi nhớ 250 ký tự cuối, **Shannon Entropy Monitor** tự động dừng khi token lặp lại, bảo vệ phần cứng tránh quá nhiệt.
💡 Kết quả: AI từ chối “nâng cấp” phần cứng, giữ “Symmetry” với người tạo.

#LLM #AI #TinyLlama #MachineLearning #CôngNghệ #AIVietnam #MôHìnhNgônNgữ #Vietnam 🚀

https://www.reddit.com/r/LocalLLaMA/c

Лоботомия нейросети: удалил 7 слоёв из LLM — она стала на 30% быстрее

Эксперимент по хирургическому удалению слоёв из языковой модели Современные LLM переобучены — многие слои делают одно и то же. Я проверил эту гипотезу на практике: взял TinyLlama (1.1B параметров, 22 слоя) и измерил, как удаление каждого слоя влияет на perplexity. Результаты: • Удаление 1 среднего слоя: +10% скорость, -4% качество • Удаление 7 «безопасных» слоёв: +32% скорость, -2.5% качество • Удаление первого слоя: модель полностью ломается Неожиданно: Layer 2 важнее Layer 0 (perplexity +6.67 vs +3.92 при удалении). Статья с кодом на PyTorch, графиками и практическими рекомендациями — какие слои можно удалять для ускорения инференса.

https://habr.com/ru/articles/983636/

#LLM #Large_Language_Models #Layer_Pruning #оптимизация_нейросетей #TinyLlama #PyTorch #inference_optimization #трансформеры #ускорение_моделей #ShortGPT

Tổng hợp trải nghiệm tích hợp Tinyllama với Discord Bot: Sử dụng hiệu quả cho Q&A, nhỏ gọn, nhanh chóng, tốt với định nghĩa từ/khái niệm. Chủ đề đang bị giới hạn bởi khả năng của AI miễn phí. #AI #DiscordBot #Tinyllama #TríTuệNhânTạo #LocalLLaMA #ThửNghiệm #MáyHọc #ChatBot

https://www.reddit.com/r/LocalLLaMA/comments/1ptyh9w/testing_tinyllama_with_discord_bot/

FT-Lab, bộ công cụ mới giúp tinh chỉnh (fine-tuning) và tạo sinh với truy xuất mở rộng (RAG) cho TinyLlama, vừa ra mắt phiên bản thử nghiệm. Hỗ trợ Fine-Tuning/LoRA/QLoRA, RAG với LlamaIndex/LangChain. Mục tiêu: đơn giản hóa việc tinh chỉnh TinyLlama, thân thiện với GPU nhỏ. Dự án đang trong giai đoạn phát triển sớm!

#AITool #TinyLlama #FineTuning #RAG #MachineLearning #CôngNghệ #AI

https://www.reddit.com/r/LocalLLaMA/comments/1pbcelg/toolkit_tinyllama_finetuning_rag_lab_full_ft_lora/

Playing around with "knowledge transfer" to my #Robots

I told each "I need to go take a shower. Talk to you later."

RPi4 #GoPiGo3 robot Dave with tinyllama responded: "I understand how important your shower is... Enjoy the shower!"

RPi5 #TurtleBot4 robot WaLI with Gemma responded: "Acknowledged. Initiating shower sequence. Requesting allocation of cleaning supplies..."

I hope I don't get a "We shipped your soap" email from Amazon.

#ollama #tinyllama #Gemma3

Forgetful AI? Not anymore!

This tutorial is your direct path to building AI that actually remembers conversations.

We're getting hands-on with #LangChain and #TinyLlama in #GoogleColab to teach your AI memory, context, and intelligent dialogue. 🔥

Watch the transformation here: https://youtu.be/JjIipcTkjEI

#AIChatbots #ChatbotTutorial #AIWithMemory #BuildAIChatbot #AIDevelopment #Python #MachineLearning #AIForBeginners #AITools #HowToCreateAIChatbots #LLM #dougortiz

Tired of your AI having a short-term memory? 😩 Get ready to build conversational AI that remembers! 🧠

This video "LangChain for Beginners - Add Memory to Your AI - Part 2" shows you exactly how.

We're using #LangChain and #TinyLlama in #GoogleColab to give your AI memory, context, and the ability to hold intelligent conversations. No more disjointed commands!

Watch now and level up your #AIProjects! https://youtu.be/JjIipcTkjEI

#aichatbots #dougortiz