PowerInfer đề xuất kiến trúc dị biệt xử lý "neuron nóng" trên NPU và "neuron lạnh" trên CPU, giúp chạy mô hình 120B trên thiết bị nhỏ như TiinyAI với chỉ 30W. Công nghệ này có thể phá vỡ giới hạn bộ nhớ, mở đường cho AI cục bộ mạnh mẽ trên thiết bị hạn chế RAM. Liệu đây có phải tương lai của AI biên? #PowerInfer #EdgeAI #AI #LocalLLM #TríTuệNhânTạo #AIcụcbộ

https://www.reddit.com/r/LocalLLaMA/comments/1qo2s53/thoughts_on_powerinfer_as_a_way_to_break_the/

Будущее дронов: встроенный ИИ

Всё больше БПЛА используют машинное зрение для навигации и распознавания объектов. Обычно предполагается, что это система с ограниченными вычислительными возможностями, которой управляет оператор удалённо, а движок ИИ работает из облачного сервиса с подключением через интернет. Но что, если на БПЛА поставить локальную модель и мощный GPU-ускоритель, чтобы ИИ работал локально и самостоятельно принимал решения? Несколько лет назад такое казалось фантастикой. Но сейчас прогресс в области БПЛА настолько бурный, что ситуация меняется каждые несколько месяцев. Посмотрим, какие ИИ-ускорители устанавливаются в современные дроны.

https://habr.com/ru/companies/ruvds/articles/983074/

#Tiiny_AI #Tiiny_AI_Pocket_Lab #перепрошивка_дронов #распознавание_объектов #TurboSparse #PowerInfer #бортовой_модуль_ИИ #VLM #визуальная_языковая_модель #умный_город

🎙️ Mashable phỏng vấn Tiiny AI: Siêu máy tính bỏ túi với 80GB RAM và mô hình 120B cho quyền riêng tư hoàn toàn. Sản phẩm này chạy các mô hình LLM 120B cục bộ bằng công nghệ TurboSparse và PowerInfer. Thiết bị có 80GB RAM, 1TB lưu trữ SSD và không cần cloud. Hỗ trợ các mô hình như OpenAI gpt-oss và QWEN. Mashable nói nó giống như một siêu máy tính vừa vặn trong túi áo.

#TiinyAI #Mashable #CES2026 #LLMs #TurboSparse #PowerInfer #OpenAI #QWEN #SiêuMáyTínhBỏTúi #QuyềnRiêngTư

https://www.reddit.co