Расширяем функционал Apache NiFi 2.0: руководство к написанию своего процессора

Привет, Хабр! В последние годы потоки данных в различных системах и между ними только увеличиваются, а в дальнейшем этот тренд наврятли изменится. Для работы с данными всегда требуются различные инструменты. Apache NiFi — программный продукт с открытым исходным кодом, написанный на языке Java, предназначенный для автоматизации потоков данных между системами. Главная его задача: организовывать ETL-процессы. На GitHub у Apache NiFi имеется 5.9 тысяч звезд. Эта статья посвящена написанию процессора для Apache NiFi на Java и требует базовых знаний в области Apache NiFi, опыт программирования на Java и IDE на борту компьютера.

https://habr.com/ru/articles/969410/

#apache_nifi #java #etl #big_data

Как я 1,5 года изучал российские ESB, и что важно знать при выборе платформы

Привет! На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». Последние полтора года я активно исследовал российский рынок интеграционных решений (ESB). За это время успел встретиться с 20+ вендорами, погрузиться в сотни страниц документации и даже провести батл между разработчиками. В результате получился большой обзор рынка. В статье расскажу, что удалось выяснить и какие советы могу дать тем, кто сейчас выбирает платформу.

https://habr.com/ru/companies/w_code/articles/946990/

#open_source #apache #esb #шина_данных #apache_kafka #apache_nifi #брокеры_сообщений

Баги носят данные. Проверка Apache NiFi

Сбор, обработка и перемещение данных — ключевые процессы в IT. Но что, если они нарушатся из-за коварных багов в коде? Рассказываем об ошибках, найденных статическим анализатором в проекте Apache NiFi.

https://habr.com/ru/companies/pvs-studio/articles/946266/

#apache #apache_nifi #nifi #pvsstudio #статический_анализ #static_analysis #sast #open_source #потенциальная_уязвимость #баги

«Зачем нужна шина данных, если есть Apache Kafka?» и еще 3 популярных аргумента против ESB

На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». Недавно получил такой комментарий к одному из обзоров ESB : «Я считаю, что интеграционные платформы больше не нужны», а спустя время в Телеграм-сообществе «Шины не для машины» развернулась дискуссия на тему «Паттерн ESB безнадежно устарел». Решил собрать в одной статье популярные вопросы по теме и ответить на них.

https://habr.com/ru/companies/w_code/articles/923708/

#apache_kafka #apache_nifi #open_source #esb #шина_данных #брокеры_сообщений #apache

DATAREON VS Apache NiFi

Всем привет! На связи Никита Скирдин, программист 1С ИТ-интегратора «Белый код». Статья появилась как результат небольшого исследования для одного из наших клиентов. Заказчик обратился с вопросом выбора интеграционного решения. Здесь оставляю результаты.

https://habr.com/ru/companies/w_code/articles/909890/

#сравнение #шины_данных #esb #datareon #apache_nifi #интеграция #интеграция_сервисов

Конфигурирование алертов prometheus или как мы настраивали алерты для бизнес-метрик

В статье расскажу, как настроить мониторинг Apache NiFi и алерты при переполнении очереди по достижении 8000 FlowFiles. Зачем вам читать эту статью? Переполнение очереди FlowFiles в Apache NiFi может привести к замедлению или остановке обработки данных, мониторинг позволит своевременно среагировать на проблемы с производительностью и выявить узкие места.

https://habr.com/ru/articles/873082/

#prometheus #prometheus_monitoring #apache #alert #monitoring #devops #apache_nifi #FlowFiles

Apache NiFi как доступный ETL инструмент: кейс применения + тестовый стенд Docker

В статье расскажу о практических аспектах использования Apache NiFi, опишу преимущества и проблемы, с которыми я столкнулся. Для наглядности собрал "песочницу" в контейнере Docker, в которой представлены упрощенные примеры пайплайнов, аналогичные тем, которые были использованы в реальном проекте.

https://habr.com/ru/articles/813813/

#ETL #NIFI #data_engineering #apache_nifi #etlпроцессы