Опыт НРД: внедрение Kafka GitOps или как автоматизировать управление топиками и ACL в Arenadata Streaming Kafka

Привет! Мы — команда сопровождения депозитарных систем Национального Расчетного Депозитария (НРД), входящего в Группу «Московская биржа». В данной статье мы расскажем об успешном кейсе внедрения продукта Kafka GitOps (в прошлой статье мы уже рассказывали про преимущества этого продукта) для автоматизации управления топиками и ACL в масштабах НРД.

https://habr.com/ru/companies/moex/articles/985600/

#arenadata #kafka #gitops #ads #cicd

6 лайфхаков при внедрении СУБД: учимся на чужих граблях

Привет, Хабр! Меня зовут Кирилл Тарасов, я — инженер данных в K2Tех. Наша команда Big Data & Bi работает с 2006 года, мы активно занимаемся Greenplum, Arenadata Hadoop/Streaming и внедряем собственные наработки, такие как ELT Framework. Также с 2012 года мы создаём аналитические системы и хранилища данных, и за это время моя команда столкнулась с самыми разными ситуациями, которые вызывали различные проблемы для реальной продуктивной эксплуатации СУБД. Некоторые из них были связаны с настройками баз данных, другие — с компонентами защиты, а третьи были настолько необычными, что их причиной оказалось исключительно странное и редкое поведение бизнес-логики, с которым разработчики хранилищ данных почти не сталкиваются. В этой статье вы найдете шесть кейсов, которые могут встретиться на любом проекте. Они помогут избежать попадания «ложки дегтя» в ваше хранилище.

https://habr.com/ru/companies/k2tech/articles/970874/

#субд #arenadata #работа_с_данными #хранилища_данных #миграция_данных

Greengage DB: новый open-source монстр MPP-аналитики. Конец эпохи Greenplum?*

Что, если Greenplum пережил перерождение? Новый проект Greengage DB возвращает PostgreSQL в большую игру — теперь с авто-масштабированием, чистым ядром и реальной совместимостью. Разбираемся, почему этот форк может стать «Linux для аналитики».

https://habr.com/ru/articles/954506/

#arenadata #greenplum #postgres

Секреты Spark в Arenadata Hadoop: как мы ускорили построение витрин для задач ML

Привет, Хабр! Я Дмитрий Жихарев, CPO Платформы искусственного интеллекта RAISA в Лаборатории ИИ РСХБ-Интех. В этой статье я и архитектор нашей платформы Александр Рындин @aryndin9999 расскажем о том, как мы построили взаимодействие Платформы ИИ и Озера данных для работы с витринами данных моделей машинного обучения с использованием Spark.

https://habr.com/ru/companies/rshb/articles/904072/

#spark #arenadata #hadoop #datalake #витрина_данных #ai #платформа #livy

Миф о дешевом железе: полный расчет стоимости КХД для облака и локальных решений

Корпоративное хранилище данных (КХД) — один из ключевых компонентов любой ИТ-системы, который необходим для безопасного хранения и использования всех данных компании. Но построение КХД нередко превращается в «задачу со звездочкой» еще на этапе выбора платформы для развертывания: многим компаниям сложно определить, какой из вариантов будет не только надежнее, но и дешевле. В этой статье попробуем в деталях и на примерах разобрать, какой вариант развертывания экономически рентабельнее и что стоит учитывать при выборе платформы для построения КХД. Материал подготовлен директором центра бизнес-решений VK Tech Константином Дудниковым и директором по развитию облачного бизнеса Группы Arenadata Антоном Близгаревым @beton55.

https://habr.com/ru/companies/vk/articles/899562/

#vk_cloud #arenadata #хранение_данных #кхд #vk_tech

Первичный анализ производительности запросов в Arenadata DB 6.27 и Cloudberry Database 1.6

Некоторое время назад руководитель задал мне вопрос: «Какой MPP-кластер лучше с точки зрения разработчика: Arenadata 6 или Cloudberry?» Я рассказал про версии PostgreSQL, лежащие в основе этих кластеров, - 9 и 14 соответственно. Еще сказал, что для детального анализа производительности желательно развернуть кластеры на серверах, заполнить их данными и выполнить побольше разных запросов. Мой ответ руководителю не понравился, пришлось выдумывать методику первичного анализа производительности кластеров «на берегу», до разворачивания на серверах. Оказалось, что интересные данные о производительности кластеров можно получить и на персональном компьютере.

https://habr.com/ru/articles/882082/

#arenadata #mppбазы #cloudberry #производительность #sqlзапросы

«Перебросить код через стену из юристов — еще не значит сделать его открытым», — Константин Осипов, основатель Picodata

Продолжаю рассказывать об open source в России. На этот раз удалось поговорить с @kostja об открытой разработке с точки зрения стратегии и управленческих аспектов. В том числе поговорили о лицензиях, работе с сообществом и не только.

https://habr.com/ru/articles/879342/

#open_source_в_россии #константин_осипов #picodata #стратегическое_управление #менеджмент #open_source #arenadata #интервью

Первая ракета в космосе или миграция витрины эквайринг на ArenaData DB

Привет, Хабр! Меня зовут Иван Останин , я тимлид разработки в ВТБ. Направлением работы моей команды являются платформы данных. Сейчас мы работаем над проектом модернизации платформы данных банка. Сегодня я хочу поделиться с вами нашим опытом и инсайтами, которые мы получили в процессе этой масштабной и сложной задачи. Миграция решений на новую платформу — это, как запуск ракеты в космос: требует тщательной подготовки, командной работы и решений, которые не всегда очевидны. В этой статье я расскажу о нашем подходе, проблемах, с которыми мы столкнулись, и решениях, которые помогли нам успешно справиться с задачами. Надеюсь, наш опыт будет полезен вам и поможет в ваших проектах. Поехали!

https://habr.com/ru/companies/T1Holding/articles/834540/

#эквайринг #витрина_данных #etl #хранилище_данных #импортозамещение #business_intelligence #озеро_данных #dapp #arenadata #цех

Как правильно использовать большие данные: строим хранилища на MPP-СУБД

Немного контекста. · Данные нужны везде — для понимания трендов и рисков, для улучшения клиентского опыта, для технической аналитики. · Вместе с цифровизацией и экспоненциальным ростом объема и разнообразия данных растет потребность в надежных, масштабируемых, производительных хранилищах. · Чтобы самостоятельно извлекать ценность из данных и оперативно использовать их в работе, нужно построить и поддерживать соответствующую инфраструктуру. Это трудозатратный подход. Сегодня поделимся нашим опытом, как снизить капиталовложения в оборудование с большим объемом памяти, добиться производительности и высокой отказоустойчивости при создании DataLake и Data Warehouse.

https://habr.com/ru/companies/mws/articles/834246/

#данные #MWS #Data_Warehouse #Data_Lake #Arenadata #субд

Что нового в Greenplum 7. Заключение

Перед вами заключительная, третья часть обзора изменений в Greenplum 7. Если вы по каким-то причинам пропустили прошлые публикации, то их можно найти в нашем блоге здесь и здесь . А сегодня мы поговорим об изменениях в партиционировании таблиц и ресурсных группах, JIT-компиляции выражений и многом другом. Давайте начнём! Назад в Будущее III

https://habr.com/ru/companies/arenadata/articles/824116/

#postgresql #greenplum #db #sql #arenadata_db #arenadata #highload #mpp #opensourse #bigdata