Создаем автономный анализатор логов на локальных ИИ моделях

У моего клиента есть пара железных серверов, которые используются для хранения и раздачи статических файлов. Все бы ничего, но любое оборудование требует внимания и регулярного мониторинга. Со временем диски, модули памяти и другие компоненты могут выходить из строя. Причем умирают они не сразу, сначала молча сыплются ошибки в логи, а потом уже поздно что-то предпринимать: даунтайм, kernel panic, fatal error, ретроспектива и панические атаки. Поэтому важно своевременно отслеживать состояние инфраструктуры и реагировать на предупреждения до того, как они перерастут в серьезные инциденты. По-хорошему раз в месяц кто-то должен садиться и изучать логи на аномалии, если нужно — писать тикеты и ждать завершения технических работ с серверами. Вполне логичная и рабочая схема, в которой сама собой напрашивается автоматизация, комплексный сбор логов, выявление узких мест и уведомления в профильные каналы. Но, как ни крути, нужно оптимизировать процессы и резать косты, да и человек не всегда имеет желание следить за показателями. Выражение «искусственный интеллект всех заменит» заиграло новыми красками. Нет, от естественного интеллекта я не отказываюсь, но конкретно анализом «здоровья» этих железных серверов теперь занимается локальная ИИшница. Сейчас покажу, что удалось запилить, как я прикрутил локальную модель и написал нишевого агента под нужды клиента, чисто для анализа логов с железных серверов.

https://habr.com/ru/companies/selectel/articles/1046409/

#selectel #llamacpp #llm #rtx_4090 #анализ_логов #ubuntu #nvidiasmi

Создаем автономный анализатор логов на локальных ИИ моделях

У моего клиента есть пара железных серверов, которые используются для хранения и раздачи статических файлов. Все бы ничего, но любое оборудование требует внимания и регулярного мониторинга. Со...

Хабр

Пишем LLM бенчмарк для GPU-серверов с картами NVIDIA в Ollama

Как мы в HOSTKEY создали собственный LLM-бенчмарк для GPU-серверов с видеокартами NVIDIA в Ollama. Подробно о методике тестирования, коде на bash, результатах и закономерностях производительности.

https://habr.com/ru/companies/hostkey/articles/965666/

#ollama #gpu_сервер #nvidia #llm #deepseek #nvidiasmi #cuda #бенчмаркинг

Пишем LLM бенчмарк для GPU-серверов с картами NVIDIA в Ollama

Автор: Александр Казанцев, руководитель направления по работе с документацией и контентом HOSTKEY При сборке GPU-серверов или при проблемах с ними, которые сообщают наши клиенты, нам необходимо...

Хабр

Шпаргалка по установке драйверов NVIDIA на ML сервер

Данный материал предназначен для быстрой и последовательной установки драйверов NVIDIA, в том числе для видеокарт 50xx серии, а также настройки NVIDIA Container Toolkit. Эта инструкция актуальна для Linux-систем на базе Ubuntu и других Debian-совместимых дистрибутивов.

https://habr.com/ru/articles/913988/

#nvidia #docker #ubuntu #драйвер #установка #gpu #cuda #nvidiasmi #container #linux

Шпаргалка по установке драйверов NVIDIA на ML сервер

Что бывает, если не следовать инструкциям Специалисты из сферы ИИ часто сталкиваются с задачей корректной настройки сервера с GPU. Лично я с этой задачей сталкиваюсь в последнее время даже слишком...

Хабр