Cколько железа нужно ИИ-агенту? Как мы считали ресурсы для on-premise LLM и почему калькуляторы ошиблись в 5 раз

На связи Сергей Смирнов, AI-инженер и основатель LLMStart.ru. Один из самых частых вопросов от бизнеса: «Сколько и какого железа нужно, чтобы развернуть ИИ-агента у нас на серверах?». В новом on-premise проекте нам нужно было оценить, сколько одновременных диалогов вытянет связка из двух RTX Pro 6000 Blackwell и модели GPT-OSS-120B. Популярный калькулятор пообещал 5000 токенов в секунду, но реальность оказалась в 5 раз медленнее! В статье рассказываю, как правильно считать ресурсы под LLM, почему формулы ломаются на нестандартном железе и как мы устроили хардкорный краш-тест, чтобы дать заказчику железные гарантии.

https://habr.com/ru/companies/llmstart/articles/1046722/

#llm #ai #gpu #onpremise #agent #performance #tps #ttft #tokens

Helix Agent Ai — российский самообучающийся AI-агент. Полное руководство по развертыванию и использованию в 2026 году

Заголовок: Helix — российский самообучающийся AI-агент с поддержкой MCP: полное руководство по развертыванию и использованию в 2026 году

https://habr.com/ru/articles/1045716/

#helix #aiagent #selfhosted #ollama #mcp #langgraph #onpremise #приватность #python

Альпина GPT: 9 000 пользователей, −1 977 часов и главный барьер корпоративного ИИ

Архитектура агрегатора из 42 моделей, разбор воронки первого касания и измеренная экономия часов на маркетинге книгоиздания. Павел Путинцев, продакт-менеджер

https://habr.com/ru/companies/alpinadigital/articles/1043654/

#корпоративный_ии #ai_agent #prompt_engineering #enterprise_ai #chatgpt #claude #onpremise #alpina_gpt #alpina_digital #llm

RT @NVIDIAAI: Vom Auspacken zum KI-Agenten in Minuten.

mehr auf Arint.info

#AIInfrastructure #DGXSpark #KI #MachineLearning #NemoClaw #OnPremise #arint_info

https://x.com/NVIDIAAI/status/2061915769135350120#m

RT @NVIDIAAI: Vom Auspacken bis zum KI-Agenten in Minuten.

mehr auf Arint.info

#DGXSpark #Innovation #KI #NemoClaw #OnPremise #Tech #arint_info

https://x.com/NVIDIAAI/status/2061915769135350120#m

Закрытый контур + локальная LLM: как мы запустили AI-агента без интернета

Полтора года назад мы запустили AI-ассистента внутри «Первой Формы», чтобы он помогал сотрудникам компании выполнять рабочие процессы. Сегодня он отвечает на вопросы по регламентам, ищет документы, подсказывает по задачам, даже запускает проверку контрагентов и формирует КП. Всё это работает через большую языковую модель, а точнее — через набор моделей, потому что разные задачи требуют разного подхода: для быстрой классификации входящего запроса нужна одна, для развёрнутой генерации ответа — другая, для работы с длинным контекстом — третья. Модели живут в облаке, и это даёт свободу выбора. Инструменты, которыми агент пользуется, тоже ходят в интернет: поиск по документации обращается к облачным моделям векторизации текста, проверка контрагентов — к внешним сервисам вроде Контур.Фокуса и так далее. Агент обновляется из GitLab, CI/CD развозит изменения по стендам автоматически, мониторинг стекается в один дашборд. Нас это устраивало. Недавно заказчик из промышленного сектора обратился к нам с задачей: «У нас закрытый контур, интернета нет и доступа к облачным API — тоже. Единственное, что у нас есть — это сервер с локальной моделью и наша внутренняя инфраструктура. Хотим такого же ассистента, как у вас». В статье рассказываем, как мы с этим справились. Спойлер: не без приключений.

https://habr.com/ru/companies/1forma/articles/1040438/

#ai #llm #enterprise #ai_agent #bpm #автоматизация #автоматизация_процессов #onpremise #lowcode

Our engineers loaded OJI — our physical AI machine (3 GPUs, 72GB RAM) — into a tracked vehicle at 5,900ft altitude in the snow.

No cloud. No SaaS. Hardware you own, deployed on your premises.

Running on it: Agent Smith, our autonomous agent framework.

In 2026, the real DLP risk is your team using ChatGPT with sensitive data. The fix isn't a policy. It's a sovereign alternative. Ours is ready.

#SovereignAI #OpenSource #AIPrivacy #OnPremise #AIAgents

Безопасное внедрение ИИ в корпорации: 3 архитектурных подхода и опыт Alpina Digital

88% компаний используют ИИ, но только 1% достиг зрелости. Главный барьер — не технология, а безопасность данных. Что мы делали два года и почему пришли к гибридной архитектуре. Жемал Хамидун, Head of AI

https://habr.com/ru/articles/1035766/

#корпоративный_ИИ #информационная_безопасность #152ФЗ #LLM #ChatGPT #Claude #API #onpremise #AI_governance #AlpinaGPT

Импортозамещение ВКС: миссия выполнена?

Экстренная ситуация на рынке ВКС в 2022–2023 годах ставила только один вопрос «Куда бежать с Cisco, Polycom и MS Teams?». Но первая волна импортозамещения прошла. Ситуация стала куда спокойнее – и сложнее одновременно. На первый план вышли другие вопросы: зрелость продуктов, удобство эксплуатации, масштабирование, безопасность и интеграция в корпоративную ИТ-архитектуру. А компании, внедрившие российские решения сейчас их меняют – на другие российские. Самое время обновить наш первый гайд по выбору ВКС и посмотреть как сегодня выглядит рынок. В новой статье честно разобрали, на чем сейчас реально строить корпоративную коммуникацию и что делать с западными «зомби-инсталляциями». С цифрами, рекомендациями и сравнительными таблицами по вендорам.

https://habr.com/ru/companies/k2tech/articles/1035140/

#видеоконференцсвязь #вкс #унифицированные_коммуникации #onpremise #enterprise #zoom #microsoft_teams #google_meet #импортозамещение #российское_по

ASOC на коленке: как я навайбкодил замену DefectDojo для своих задач с обогащением из БДУ ФСТЭК

Когда я начал разбираться, чем в open source можно закрыть задачу ASOC / Vulnerability Management, выбор оказался довольно грустным. По сути единственный известный вариант это DefectDojo. Сам я его в production не тащил, но от коллег регулярно слышал одну и ту же боль: на больших объёмах findings он начинает захлёбываться, в UI быстро не хочется заходить, а аналогов с человеческим интерфейсом и БДУ ФСТЭК «из коробки» в open source я просто не нашёл. Так и появилась моя ASOC-платформа: Go + PostgreSQL + Redis Streams + React, развёртывание одной командой docker compose up , миллион findings без тормозов (почти), обогащение из 7 источников, формула приоритизации, которая учитывает не только CVSS, но ещё EPSS, CISA KEV и БДУ ФСТЭК. В статье расскажу про архитектурные решения, грабли и почему я выкинул ORM ещё до первой строчки SQL. Это не статья про готовый коммерческий продукт и не пиар-релиз. Скорее разбор того, как и почему был спроектирован Red Lycoris , open source платформа для централизованного хранения, дедупликации, обогащения и приоритизации уязвимостей. Я делаю её один, и если кому-то она пригодится, буду только рад. Если найдёте, где я ошибся в архитектуре, буду рад вдвойне.

https://habr.com/ru/articles/1033530/

#ASOC #AppSec #DevSecOps #DefectDojo #vulnerability_management #БДУ_ФСТЭК #onpremise #airgapped #Go #PostgreSQL