Разработка BI-аналитики для застройщика в Apache Superset

На старте у клиента уже были дашборды, но они не закрывали текущие задачи бизнеса. Данные находились в разных системах — 1С, Excel, Google Таблицы, XML-выгрузки и внутренняя система. Клиент принял решение выстроить аналитику заново и выбрал Apache Superset как инструмент визуализации. Сначала собрали единый слой в PostgreSQL, настроили загрузку через Python, привели метрики к одной логике и зафиксировали правила расчётов. После этого уже собрали дашборды под управленческие задачи клиента. Визуализация строилась так, чтобы быстро находить отклонения и принимать решения, а не просто смотреть отчёты. В результате у клиента появилась система, где данные считаются одинаково для всех, автоматически обновляются и используются в работе без дополнительных проверок.

https://habr.com/ru/articles/1021606/

#Кейс #бизнесаналитика #biаналитика #bi #дашборды #застройщики #apache_superset #автоматизация_аналитики #управленческие_отчеты

Разработка BI-аналитики для застройщика в Apache Superset

На старте у клиента уже были дашборды, но они не закрывали текущие задачи бизнеса. Данные находились в разных системах — 1С, Excel, Google Таблицы, XML-выгрузки и внутренняя система. Клиент принял решение выстроить аналитику заново и выбрал Apache Superset как инструмент визуализации. Сначала собрали единый слой в PostgreSQL, настроили загрузку через Python, привели метрики к одной логике и зафиксировали правила расчётов. После этого уже собрали дашборды под управленческие задачи клиента. Визуализация строилась так, чтобы быстро находить отклонения и принимать решения, а не просто смотреть отчёты. В результате у клиента появилась система, где данные считаются одинаково для всех, автоматически обновляются и используются в работе без дополнительных проверок.

https://habr.com/ru/articles/1021604/

#Кейс #бизнесаналитика #biаналитика #bi #дашборды #застройщики #apache_superset #автоматизация_аналитики #управленческие_отчеты

Apache Superset — боремся с фильтрами по дате. Часть 2

В этой статье продолжаем борьбу с фильтрами по дате в Apache Superset. Сегодня разберем, как реализовать подобие логики remove_filter в старых версиях (до 5), чтобы виртуальный датасет не оборачивался фильтрами.

https://habr.com/ru/articles/1016384/

#apache_superset #jinja #фильтр #дата #танцы_с_бубном #визуализация #большие_данные

Apache Superset — боремся с фильтрами по дате. Часть 1

В этой статье хотелось бы начать раскрытие больной для многих пользователей Apache Superset темы — фильтры по дате. Начнем с малого: как суперсет выбирает колонку даты; как выбрать желаемую колонку вместо той, которую он выбирает; каким образом это реализовано; какие баги породили этим решением; почему КОП не доведет до добра.

https://habr.com/ru/articles/1013520/

#apache_superset #фильтрация_данных #костылизация #визуализация #большие_данные

Основы ETL на примере работы с Superset, Airflow и ClickHouse

В этой статье я расскажу, как можно запустить простой ETL-процесс на виртуальном сервере, используя связку Superset, Airflow и ClickHouse. В качестве платформы я взял готовую конфигурацию от Beget, включающую Superset и Airflow из коробки — это позволяет сосредоточиться на логике обработки данных, а не на настройке окружения. В качестве примера мы подготовим процесс выгрузки и визуализации данных о товарах с сайта Wildberries. Для извлечения данных мы будем использовать Python-библиотеки selenium и BeautifulSoup — они хорошо подходят для парсинга веб-страниц. Дополнительно применим re для обработки текстовой информации с помощью регулярных выражений.

https://habr.com/ru/companies/beget/articles/928712/

#etl #apache_airflow #apache_superset #clickhouse #dag #обработка_данных #biинструменты #анализ_данных #beget

I don’t usually share AI stuff, but this is way cool.

https://www.linkedin.com/pulse/bi-dead-change-my-mind-dmitry-pavlov-2otae/

#clickhouse #librechat #mcpserver #apache_superset #Anthropic

Оптимизация дашбордов в Superset

В этой статье я бы хотела поделиться опытом в оптимизации дашбордов в Apache Superset. Мы в Газпромбанке перешли на этот BI-инструмент относительно недавно. В основном мы работаем в нем с движком Impala. Иногда бывает так, что некоторые дашборды загружаются дольше других, роняют страницу в браузере или даже замедляют работу для других пользователей на кластере. У коллег накопился большой опыт в оптимизации SQL-запросов и в стандартах разработки витрин. Но конкретно в работе с построением дашбордов есть своя специфика, которая не всегда учитывается, когда речь заходит об оптимальности работы. Superset так же проводит все расчеты на стороне источника через запросы к БД, как это происходит в обычных IDE. Только он преобразует конечный результат в графики, что скрывает от наших глаз сложные запросы, которые иногда там формируются. Ниже мы рассмотрим, как можно оптимизировать работу с датасетами, графиками и содержанием дашборда, а также как ускорить загрузку с помощью агрегированных таблиц.

https://habr.com/ru/companies/gazprombank/articles/889408/

#apache_superset #оптимизация #дашборды #apache_impala

Как превратить сырые данные в аналитический отчет

Делюсь опытом и готовыми решениями по сбору и структурированию сырых данных, превращая их в полезный инструмент для аналитиков.

https://habr.com/ru/articles/888436/

#парсер_сайтов #данные #обработка_данных #хранение_данных #apache_superset #парсинг #mongodb

Пара шаблонов кастомизированных элементов Handlebars для Apache Superset — 2

Причины написания статьи, общие правила использования handlebars в superset и советы содержатся в первой статье , поэтому сразу опишу следующие шаблоны.

https://habr.com/ru/articles/853476/

#handlebars_superset #шаблоны_графиков #jinja #css #html #apache_superset #templates #charts #аналитика #дашборд

Пара шаблонов кастомизированных элементов Handlebars для Apache Superset

Apache Superset всё чаще становится выбором для визуализации данных благодаря открытому коду. Но, увы, столкнувшись с его ограничениями и тонкостями, даже самые опытные пользователи могут столкнуться с трудностями. Есть много ограничений, которые требуют обращения за доработками к разработчикам, но с помощью шаблона Handlebars в сочетании с шаблонизацией jinja некоторые трудности можно обойти. С его помощью можно внедрить web-верстку прямо в ваши дашборды, обходя множество подводных камней. Готовых шаблонов для handlebars (superset) мало, так как это довольно трудоемкая задача, часто выходящая за рамки работы с готовыми BI-системами.

https://habr.com/ru/articles/851756/

#handlebars_superset #шаблоны_графиков #jinja #css #html #аналитика #дашборд #apache_superset #templates #charts