Эволюция сбора flow-статистики в Яндексе: архитектура, грабли и оптимизации

Привет, Хабр! На связи Саша Лопинцев, SRE в группе разработки сетевой инфраструктуры и мониторинга Yandex Infrastructure. Я очень люблю мониторинг — а когда дело касается видимости сетевого трафика, нам не обойтись без анализа flow‑данных. Сегодня расскажу, как и почему мы переехали с устаревшего flow‑коллектора на GoFlow2, реализовали запись в БД и через etcd решили проблемы с шаблонами. Новая система обрабатывает 85 тысяч пакетов статистики в секунду, обеспечивает отказоустойчивость и помогает создавать отчёты. Если вам интересно узнать чуть больше об архитектуре, экспериментах, ошибках и решениях, полезных для инфраструктурного мониторинга в продакшн‑среде, читайте далее.

https://habr.com/ru/companies/yandex/articles/1000520/

#flowметрики #goflow #goflow2 #etcd #ipfix #sflow #netflow

日刊IETF (2025-10-27)
https://qiita.com/tetsuko_room/items/cac01b31c874cabf5bbb?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #Security #IPfix #internet_draft #sav #日刊IETF

保存版: ContainerLabでBGP環境にIPFIX導入。pmacctでSQLite保存まで1行ずつ徹底解説
https://qiita.com/ntaka329/items/7fd0ce0234a8830066e3?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #Network #BGP #pmacct #IPfix #containerlab

Обзор NetFlow-коллектора с визуализацией Akvorado: от развертывания до практического использования

Akvorado — не просто инструмент для привлечения трафика, а современное и масштабируемое решение, которое преобразует сырые данные (NetFlow, sFlow) в понятную и наглядную информацию. В этой статье мы расскажем о каждом этапе работы с Akvorado: от архитектуры до нюансов развертывания, опираясь на наш опыт.

https://habr.com/ru/companies/hostkey/articles/944550/

#hostkey #netflow #sflow #ipfix #akvorado #clickhouse #kafka #docker #сетевой_мониторинг

Анализируем сетевой трафик средних и крупных сетей с помощью Netflow/IPFIX/sFlow и боремся с DoS/DDoS с помощью BGP

Не так давно мы выпустили новую версию open source xFlow-коллектора и анализатора xenoeye . Это неплохой повод попиариться. тем более что xFlow-коллекторами/анализаторами часто пользуются для анализа, мониторинга и борьбы с DoS/DDoS атаками, это сейчас очень актуально. Если совсем коротко - анализатор собирает xFlow (Netflow и некоторые родственные протоколы типа Jflow, IPFIX, sFlow), распределяет их по объектам мониторинга, экспортирует информацию в СУБД (в текущей версии PostgreSQL), и может быстро реагировать на всплески трафика выше порогов для детекции DoS/DDoS атак с помощью скользящих средних. Информацию из СУБД можно визуализировать разными способами - генерировать статические картинки и отчеты или показывать красивое в Grafana. Реагировать на всплески можно тоже по-разному - отправлять сообщения в мессенджер, писать данные об аномалиях в БД, анонсировать BGP Flowspec для подавления атак.

https://habr.com/ru/articles/909132/

#netflow #ipfix #sflow #postgresql #grafana #ddos #bgp_flowspec

Продолжаем эксперименты с сетевым трафиком.
В этот раз смотрим на распределение TTL.
На тепловой карте (heatmap) отчетливо видно три "полосы".
Возможно, во время сетевой аномалии распределение меняется.
Ну что ж, посмотрим.

#netflow #ipfix #xenoeye #grafana #network

Эксперимент с визуализацией ускорения сетевого трафика.
На верхнем графике - скорость, на нижнем - ускорение (производная скорости).
Графики немного смещены, на верхнем есть BPS и PPS, на нижнем только PPS.
Но вроде как видно - во время всплесков ускорение растет, потом падает, график почти симметричный относительно 0.

#netflow #ipfix #grafana #xenoeye #sflow

IPFIX с точки зрения информационной безопасности

NetFlow и IPFIX – это протоколы для сбора и анализа сетевого трафика, используемые для мониторинга, обеспечения безопасности и оптимизации работы сети. Они позволяют собирать метаданные о передаваемых пакетах и анализировать их для выявления аномалий, диагностики проблем и повышения эффективности сети. Про диагностику и повышение эффективности сети написано немало, поэтому в этой статье я хочу рассмотреть основные поля IPFIX(но аналогичные поля есть и у Netflow и других x-Flow ) и как можно их использовать в реальной практике на благо информационной безопасности.

https://habr.com/ru/articles/883932/

#netflow #ipfix

Замолвите словечко за akvorado

Добрый день! Меня зовут Михолап Константин. Работаю в небольшом операторе связи инженером, а вот в каком уже поймете по AS и страничке в PeeringDB. В 2025-ом году никого уже не удивить наличием возможности визуализировать входящий трафик для разного рода ISP или ЦОД, поэтому возможно Вы уже слышали что-то про Akvorado. В рамках этой статьи познакомимся с адаптацией такого программного комплекса инструмента Akvorado . И так, Akvorado - это Netflow-коллектор с функциями визуализации собираемого трафика. К публике он вышел в 2022 году, о нем много кто слышал, я уверен. Были разные материалы например в linkmeup. Очень прост для установки, развертывания и возможно даже обслуживания (если вы чуть-чуть знаете Сlickhouse).

https://habr.com/ru/articles/881180/

#akvorado #netflow #opensource #bgp #ipfix #visualization

Is your network congested or in danger of becoming overloaded?

In "Yes, You Too Can Be An Evil Network Overlord - On The Cheap With OpenBSD, pflow And nfsen" https://nxdomain.no/~peter/yes_you_too_can_be_an_evil_network_verlord.html you may find hints on how to solve that problem. #AppFlow #netflow #metadata #networkmonitoring #pflow #Surveillance #OpenBSD #IPFIX #nfsen #monitoring #congestion