Эволюция сбора flow-статистики в Яндексе: архитектура, грабли и оптимизации

Привет, Хабр! На связи Саша Лопинцев, SRE в группе разработки сетевой инфраструктуры и мониторинга Yandex Infrastructure. Я очень люблю мониторинг — а когда дело касается видимости сетевого трафика, нам не обойтись без анализа flow‑данных. Сегодня расскажу, как и почему мы переехали с устаревшего flow‑коллектора на GoFlow2, реализовали запись в БД и через etcd решили проблемы с шаблонами. Новая система обрабатывает 85 тысяч пакетов статистики в секунду, обеспечивает отказоустойчивость и помогает создавать отчёты. Если вам интересно узнать чуть больше об архитектуре, экспериментах, ошибках и решениях, полезных для инфраструктурного мониторинга в продакшн‑среде, читайте далее.

https://habr.com/ru/companies/yandex/articles/1000520/

#flowметрики #goflow #goflow2 #etcd #ipfix #sflow #netflow

OH: „I mean that it’s generally bad idea to enable Netflix on switch“

#BGP #Netflow #sflow #InternetLarry

ContainerLabでBGP環境にsFlowを導入！macOS(ARM64)でハマった話と解決法
https://qiita.com/ntaka329/items/9fec29217abf98769690?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #Network #BGP #FRRouting #sflow #containerlab

Обзор NetFlow-коллектора с визуализацией Akvorado: от развертывания до практического использования

Akvorado — не просто инструмент для привлечения трафика, а современное и масштабируемое решение, которое преобразует сырые данные (NetFlow, sFlow) в понятную и наглядную информацию. В этой статье мы расскажем о каждом этапе работы с Akvorado: от архитектуры до нюансов развертывания, опираясь на наш опыт.

https://habr.com/ru/companies/hostkey/articles/944550/

#hostkey #netflow #sflow #ipfix #akvorado #clickhouse #kafka #docker #сетевой_мониторинг

Анализируем сетевой трафик средних и крупных сетей с помощью Netflow/IPFIX/sFlow и боремся с DoS/DDoS с помощью BGP

Не так давно мы выпустили новую версию open source xFlow-коллектора и анализатора xenoeye . Это неплохой повод попиариться. тем более что xFlow-коллекторами/анализаторами часто пользуются для анализа, мониторинга и борьбы с DoS/DDoS атаками, это сейчас очень актуально. Если совсем коротко - анализатор собирает xFlow (Netflow и некоторые родственные протоколы типа Jflow, IPFIX, sFlow), распределяет их по объектам мониторинга, экспортирует информацию в СУБД (в текущей версии PostgreSQL), и может быстро реагировать на всплески трафика выше порогов для детекции DoS/DDoS атак с помощью скользящих средних. Информацию из СУБД можно визуализировать разными способами - генерировать статические картинки и отчеты или показывать красивое в Grafana. Реагировать на всплески можно тоже по-разному - отправлять сообщения в мессенджер, писать данные об аномалиях в БД, анонсировать BGP Flowspec для подавления атак.

https://habr.com/ru/articles/909132/

#netflow #ipfix #sflow #postgresql #grafana #ddos #bgp_flowspec

Эксперимент с визуализацией ускорения сетевого трафика.
На верхнем графике - скорость, на нижнем - ускорение (производная скорости).
Графики немного смещены, на верхнем есть BPS и PPS, на нижнем только PPS.
Но вроде как видно - во время всплесков ускорение растет, потом падает, график почти симметричный относительно 0.

#netflow #ipfix #grafana #xenoeye #sflow