Ускорение разработки с ИИ на примере DAX и Power BI

Привет, Хабр! С каждым годом ИИ способен решать более сложные задачи, одной из задач является понимание DAX, связанных предметных областей и генерация кода. Можно выделить несколько задач, которые не являются первостепенными, тем не менее актуальны для анализа или работы в Power BI, например, от простейших — создание клиента для выполнения DAX запросов в Power BI из произвольной среды (например, из .NET приложения) и импорт метаданных TOM модели, до более сложных задач — экспорта схемы данных и самих данных из Power BI в произвольную СУБД (понятно, что такая задача не всегда актуальна с точки зрения ETL, т.к. проще взять данные из исходных источников, а не из Power BI, но польза решения задачи «интуитивно понятна» пользователю) и задач генерации SQL запросов на основе DAX для заданной СУБД, причем результаты сгенерированного SQL должны совпадать с результатами DAX запросов. Интересующимся применением ИИ на примере DAX из Power BI — добро пожаловать под кат :)

https://habr.com/ru/articles/984300/

#Сезон_ИИ_в_разработке #DAX #Power_BI #ИИ #Cursor

Оптимизация Power BI: как одно свойство уменьшает размер модели на 30%

Сегодня мы, Павел Ефремов и Мухаммед Пашаев (разработчики аналитических систем в Лемана Тех), поговорим об оптимизации моделей данных в Power BI Desktop — конкретно о движке Tabular. Небольшая вводная: в нашей компании Power BI — основной BI-инструмент (лучшие для лучших😏). Используем локальную версию Power BI Report Server, поэтому вопрос производительности моделей и отчетов стоит особо остро. Мы регулярно проводим ревью моделей (подробнее в нашей прошлой статье ), стараясь придерживаться лучших практик — минимальная нужная гранулярность данных, никаких избыточных связей, двунаправленных связей, скрытых автоматических календарей и прочее. Тем не менее отчеты все равно порой залипают и работают медленно. Казалось бы, уже много где поковырялись, все оптимизировали, и все равно фрустрация не уходит. Так, вместе с коллегой мы взялись копать глубже, шерстить интернет и Microsoft-документацию и наткнулись на почти незаметное, но важное свойство табличной модели. Что, если мы скажем, что у Tabular Model есть свойство, благодаря которому можно уменьшить размер модели до 30%, ускорить обновление данных, снизить нагрузку на сервер и при этом не менять ни одной таблицы, связи или строку DAX? Это открытие заставило нас по-новому взглянуть на оптимизацию в Power BI. Оказалось, что помимо привычных правил вроде избегания лишних связей или сокращения столбцов есть и менее заметные, но очень мощные приемы. Они не требуют переделывать модель, но при этом реально ускоряют отчеты и снижают нагрузку.

https://habr.com/ru/companies/lemana_tech/articles/980564/

#power_bi #tabular_editor #ssas_tabular #IsAvailableInMDX

Особенности снижения гранулярности таблицы в Power BI на примере REMOVEFILTERS

Power BI и язык DAX являются удобными инструментами аналитиков. В DAX важно учитывать гранулярность — уровень детализации, который зависит от текущего контекста фильтров и группировки. Мы привыкли работать с гранулярностью, и если в транзакционной системе проблемы с гранулярностью могут быть относительно незаметны, то в BI системах проблемы гранулярности сразу влияют на дашборды. Это усугубляется поведением движков BI систем, в которых гранулярность таблицы считается динамически в зависимости от выражения — как в Power BI. При использовании некоторых функций, например, REMOVEFILTERS , снижение гранулярности может приводить к интуитивно непонятным результатам и считаться плохой практикой. Интересующимся особенностями снижения гранулярности на примере REMOVEFILTERS — добро пожаловать под кат :)

https://habr.com/ru/articles/974302/

#DAX #Power_BI #гранулярность #снижение_гранулярности #REMOVEFILTERS

Комплексный подход к ограничению доступа к отчету в Power BI

Самым популярным методом ограничения доступа к данным в отчете Power BI остается Row-level Security (RLS), с помощью которого у каждого пользователя есть доступ к набору данных согласно его учетной записи или роли. В этом случае пользователь видит все страницы и объекты отчета, которые отражают результаты согласно ограничениям, наложенным на датасет. Но зачастую этого становится недостаточно и появляется необходимость в ограничении доступа не только к строкам датасета, по которым будет построен отчет, но и к страницам целиком и даже к отдельным объектам видимых страниц. Вопрос реализации RLS подробно освещён, поэтому останавливаться на деталях не буду. Вместо этого сконцентрируюсь на двух других способах: ограничении доступа к страницам и объектам.

https://habr.com/ru/articles/949616/

#power_bi #dax #дашборд #информационная_безопасность #rls #pls #ols

Отдельный BI для топов – как мы отошли от «баяна» в аналитике

Если в вашей компании есть BI и дашборды, то скорее всего, вы сталкивались с процессом постоянной разработки и чистки. Такой процесс похож на игру на аккордеоне – вы то сжимаете вашу отчетность до единичных дашбордов с ключевыми метриками, то раздуваете ее до десятков, а то и сотни отчетов, которые должны покрывать все запросы бизнеса, остается лишь найти нужную кнопку. При чем тут баян?

https://habr.com/ru/articles/949160/

#BI #анализ_данных #бизнесаналитика #визуализация_данных #business_intelligence #power_bi #datalens

[Перевод] Почему не стоит заменять пустые значения на 0 в Power BI

Если вы когда-либо занимались построением отчётов в Power BI, то наверняка сталкивались с просьбой «заменить пустые значения на ноль — чтобы было красиво». Кажется, мелочь. Но на самом деле это решение может незаметно убить производительность модели, превратить быстрый отчёт в тормозящий интерфейс, а оптимизатор — в беспомощного наблюдателя. В этой статье — разбор того, что происходит под капотом VertiPaq, как DAX на самом деле обрабатывает BLANK , и почему иногда лучше оставить пустое значение пустым.

https://habr.com/ru/companies/otus/articles/934484/

#power_bi #dax #BLANK #производительность_отчётов #оптимизация_запросов #VertiPaq #аналитическая_модель #бизнесотчётность #фильтрация_данных

[Перевод] Как уменьшить размер модели Power BI на 90%

Вы когда-нибудь задумывались, что делает Power BI таким быстрым и мощным с точки зрения производительности? Настолько мощным, что он выполняет сложные вычисления над миллионами строк за мгновение. В этой статье мы подробно рассмотрим, что находится «под капотом» Power BI: как данные хранятся, сжимаются, запрашиваются и, наконец, возвращаются в отчёт. После прочтения, надеюсь, у вас появится лучшее понимание того, что происходит в фоновом режиме, и вы сможете оценить важность создания оптимальной модели данных для достижения максимальной производительности с использованием движка Power BI.

https://habr.com/ru/companies/otus/articles/926904/

#devops #power_bi #Оптимизация_данных #базы_данных #big_data #сжатие_данных #clickhouse

[新機能]TableauやPower BIのパスワード欄にも使えるSnowflakeのアクセストークン機能「Programmatic access tokens」がリリースされました
https://dev.classmethod.jp/articles/snowflake-programmatic-access-tokens/

#dev_classmethod #Snowflake #Tableau #Power_BI

[Перевод] Как писать запросы для табличных моделей с помощью DAX

В этой статье мы погрузимся в мир запросов DAX для табличных моделей данных. ДAX (Data Analysis Expressions) — это мощный язык запросов, который используется для анализа и обработки данных в Power BI и других продуктах Microsoft. Мы рассмотрим, как с помощью DAX можно выполнять эффективные запросы к данным, начиная с простых операций, таких как получение всех строк из таблицы, и заканчивая более сложными задачами, например, использованием локальных мер и фильтрации данных. Статья будет полезна как новичкам, так и опытным пользователям, стремящимся глубже понять возможности DAX и научиться использовать его для быстрой и точной аналитики.

https://habr.com/ru/companies/otus/articles/904444/

#DAX #Запросы_DAX #анализ_данных #Power_BI #Меры_в_DAX #фильтрация_данных #EVALUATE #обработка_данных

[登壇レポート]Tokyo dbt Meetup 13で「dbtと連携するBI製品＆機能ざっくり紹介」というタイトルで登壇してきました #dbt_tokyo
https://dev.classmethod.jp/articles/tokyo-dbt-meetup-13-introduction-dbt-bi-functions/

#dev_classmethod #dbt #dbt_Cloud #Tableau #Power_BI #Omni #Hex #Steep