HabrЛокальный агент для диагностики инфраструктуры
В статье описаны результаты, которые получил в поисках ответа на вопрос "можно ли решать реальные задачи диагностики и исправления проблем инфраструктуры на слабом MacBook в агентском режиме (да, но)".
Чему меня научили два месяца с легковесным локальным AI-агентом
Два месяца назад openLight был маленьким pet project’ом: Raspberry Pi, Telegram-бот, SQLite и несколько команд для управления сервисами. Мне просто хотелось перестать печатать ssh [email protected] с телефона каждый раз, когда падал очередной контейнер или начинал странно вести себя Tailscale. За это время проект неожиданно превратился во что-то большее. Не в “автономного AI-агента”, а скорее в легковесный слой управления для personal infrastructure — маленьких always-on машин вроде Raspberry Pi, Mac mini, VPS или старых домашних серверов. В статье я подробно разбираю: * почему почти весь проект пришлось переписать хотя бы один раз * как deterministic-first роутинг оказался полезнее “умных” AI-агентов * зачем я отказался от идеи сложного tool calling в пользу простых и проверяемых skill’ов * почему Telegram неожиданно оказался идеальным интерфейсом для homelab-инфраструктуры; * и почему, как мне кажется, будущее локальных AI-систем будет не “магическим”, а маленьким, наблюдаемым и ремонтопригодным. Это не история про очередной AI framework. Скорее инженерная ретроспектива о том, как реальное использование быстро ломает красивые архитектурные идеи, и почему иногда один Go-бинарь, SQLite и несколько хорошо продуманных allowlist’ов оказываются полезнее огромных cloud-native систем.
Как мы запустили 35B LLM на видеокарте за $500: внутри ZINC inference engine
Год назад запуск модели на 35 миллиардов параметров подразумевал облако, очередь на GPU, и счёт от провайдера в конце месяца. Сегодня я покажу, как мы сделали это на одной потребительской видеокарте AMD за $500 — без ROCm, без CUDA, без MLX, одним бинарником на Zig. Это пост про ZINC — inference engine, который мы строим с нуля под железо, которое люди реально покупают. Не как proof of concept, а как рабочий инструмент с OpenAI-совместимым API, потоковой генерацией и встроенным чатом. Погрузиться
https://habr.com/ru/articles/1020702/
#LLM #inference #AMD #Vulkan #Zig #Metal #GPU #local_AI #Qwen #MoE
MitM-прокси для LLM
Многие разработчики в последнее время используют облачные LLM для генерации программного кода, в том числе с помощью агентов. Но это вызывает как минимум две проблемы: Утечка информации: мы не знаем, какие данные LLM передаёт в облако Бесконтрольный расход токенов, особенно в случае автоматических агентов, которые запускаются в автономную работу на длительный период Для этого есть специальные инструменты мониторинга. Например, Tokentap (бывший Sherlock) отслеживает использование токенов для LLM CLI в реальном времени на панели в консоли. Такой MitM-прокси полезен для информационной безопасности и просто для учёта расходов.
https://habr.com/ru/companies/globalsign/articles/1016612/
#MitM #Hugging_Face #llamaccp #ggml #Local_AI #Gemini_CLI #Claude_Code #OpenAI_Codex #mitmproxy #HTTPSпрокси
Почему большинство AI-агентов плохо работают на Raspberry Pi (и как я попытался это исправить)
Последнее время я экспериментировал с AI-агентами на Raspberry Pi 5 . И довольно быстро столкнулся с проблемой: большинство существующих агентных фреймворков оказываются слишком тяжёлыми для небольшого железа.
https://habr.com/ru/articles/1012258/
#LLM #AI_агент #Raspberry_Pi #golang #homelab #local_AI #open_source
NullClaw под лупой: зачем AI-агенту Zig, маленький бинарь и быстрый запуск
Когда смотришь на современные AI-агенты, быстро замечаешь одну общую черту: почти все они живут на тяжелом стеке. Где-то это Node.js, где-то Python, где-то длинная цепочка зависимостей, сервисов и фоновых процессов. На этом фоне nullClaw выглядит почти инородно: один бинарный файл, Zig, быстрый запуск, мало занимаемой памяти и минимум лишнего. Для этой статьи я смотрел nullClaw в состоянии v2026.3.13-1-g78366e9. Для сравнения я отдельно прогнал те же сценарии на свежем npm-релизе OpenClaw 2026.3.12. Сразу оговорюсь: это не сравнение полноты платформ. nullClaw я смотрю как маленький single-binary runtime на Zig, а OpenClaw — как более широкий self-hosted gateway/agent stack с Node-зависимостью, daemon/gateway-режимами и Control UI. Поэтому ниже я сравниваю не «кто лучше вообще», а цену локального запуска в одинаковых коротких сценариях: служебные команды, один agent-run, маленькая coding-задача и пачка параллельных небольших coding-задач.
Как запускать LLM локально с LM Studio: Полное руководство 2026
Как запускать LLM локально с LM Studio: Полное руководство 2026 Запускайте большие языковые модели оффлайн на своём компьютере — без API-ключей, без облачных зависимостей, полная приватность
https://habr.com/ru/articles/1005054/
#local_ai #local_llm #llm #lmstudio #ai #artificial_intelligence
От чат-бота к AI агенту: собираем локальную систему на LibreChat, Langflow и MCP
Всем привет! Меня зовут Николай Луняка. В прошлой статье мы строили локальную систему для транскрибации аудио, а сегодня пойдём дальше и соберём локальную агентную AI-систему — без облаков и с контролем над данными. В этой статье я покажу, как собрать связку из трёх ключевых компонентов: 1. LibreChat — UI для работы с LLM 2. Langflow — low-code платформа и визуальный редактор 3. MCP — стандарт для подключения инструментов Статья построена по принципу «по нарастающей», где каждый новый уровень — это рабочий инструмент. Можно остановиться на любом этапе, а можно пройти все и тогда получите связку UI + инструменты + централизованная логика (и дальше ее можно развивать под свои сценарии).
https://habr.com/ru/companies/alfa/articles/1000342/
#langflow #librechat #mcp #llm #agent #ollama #local_ai #fastapi #агенты_ии #gpt
Hacker News
Luminex