@Jirikiha I had that problem with a BI system firing 36k character long queries.
Luckily my favorite database #vertica has a feature called directed queries where you can overwrite those queries. You create a pattern for the incoming BS and write a proper query the db is actually using. Due to those parameters it is kind of dynamic.
But I have to warn you: You can get crazy trying to understand what the query you get actually wants.

Trino в Авито два года спустя: от движка к полноценной экосистеме

Всем привет! Меня зовут Дмитрий Рейман, я техлид аналитической платформы Avito . Уже третий год мы занимаемся миграцией с Vertica на Trino. Изначально казалось, что это будет просто: перенесём запросы, перепишем коннекторы, чуть подправим пайплайны. Но за два с лишним года миграция перестала быть просто миграцией: проект разросся в инженерную одиссею, и вокруг Trino мы начали строить целую экосистему. Как это было — рассказываю под катом.

https://habr.com/ru/companies/avito/articles/979912/

#dwh #lakehouse #trino #vertica #mpp #hive #iceberg #ceph #s3 #orc

Trino в Авито два года спустя: от движка к полноценной экосистеме

Всем привет! Меня зовут Дмитрий Рейман, я техлид аналитической платформы Авито. Уже третий год мы занимаемся миграцией с Vertica на Trino. Изначально казалось, что это будет просто: перенесём запросы,...

Хабр

Есть ли жизнь после Vertica или миграция DWH в Lakehouse

Всем привет! Меня зовут Дмитрий Рейман, я техлид аналитической платформы Авито. Последний раз мы подробно писали о нашей платформе почти четыре года назад — в статье «Эволюция хранилища данных в Авито» . С тех пор аналитическая платформа сильно изменилась — и по масштабу, и по сложности.

https://habr.com/ru/companies/avito/articles/979836/

#dwh #trino #vertica #mpp #аналитическая_платформа

Есть ли жизнь после Vertica или миграция DWH в Lakehouse

Всем привет! Меня зовут Дмитрий Рейман, я техлид аналитической платформы Авито. Последний раз мы подробно писали о нашей платформе почти четыре года назад – в статье «Эволюция хранилища данных в...

Хабр

Опыт миграции DWH и сложности, которые при этом возникают

Привет, меня зовут Владимир, я работаю во Flocktory дата-инженером и расскажу о том, как мы в процессе переезда с одного облака на другое построили фиче-стор, управленческую отчетность и о проблемах, с которыми мы столкнулись. В 2022 году у нас появилась задача — нужно было перебраться на новое облако, перетащить порядка петабайта данных и начать использовать новые инструменты. И на фоне этого были еще две задачи:

https://habr.com/ru/companies/flocktory/articles/925720/

#облачные_технологии #миграция_данных #ml #flocktory #kafka #vertica #dwh #iceberg #ydb #trino

Опыт миграции DWH и сложности, которые при этом возникают

Привет, меня зовут Владимир, я работаю во Flocktory дата-инженером и расскажу о том, как мы в процессе переезда с одного облака на другое построили фиче-стор, управленческую отчетность и о проблемах,...

Хабр

Today is DBA Appreciation Day!

If you have a DBA in your company who relentlessly takes care that your databases are humming along and delivering query results, today is the day to say Thank You!

#PostgreSQL #MySQL #MariaDB #Oracle #Greenplum #SQLite #SQLServer #MongoDB #Redis #Snowflake #DB2 #Elasticsearch #Teradata #InfluxDB #Firebird #Informix #Couchbase #CouchDB #Vertica #DuckDB #CockroachDB #SAPHana #Splunk #DynamoDB #BigQuery #Hive #Neo4j ...

https://dbaday.org/

DBA Appreciation Day 2025

Database Administrator Appreciation Day

DBA Day

Проекции в Vertica: что это, как использовать, и почему не стоит создавать их под каждый запрос

Иван Якунин, продуктовый аналитик команды Fintech Marketplace, рассказал про то, как в Авито работают с Vertica, и на примерах объяснил, что такое проекции, и когда их стоит использовать.

https://habr.com/ru/companies/avito/articles/808713/

#sql #vertica #проекции #оптимизация_запросов

Проекции в Vertica: что это, как использовать, и почему не стоит создавать их под каждый запрос

Привет, меня зовут Иван Якунин, я продуктовый аналитик команды Fintech Marketplace. Мы занимаемся биллингом в Авито, изучаем как пользователи покупают на платформе, и с помощью этих данных создаём...

Хабр

Vertica Eon в K8S — 3 года развития

Vertica - одна из первых широко используемых MPP баз на просторах айти ландшафта СНГ. Колоночное хранение, быстрые запросы на миллиардах строк, легендарные sort-merge джойны, которых нет больше ни у кого, позволяющие запускать свои грибницы . Но нынче на дворе 2024 год: как компания Vertica сменила уже 2 (или трех) владельцев, доступ к веб ресурсам с территории РФ ограничен, поддержка брошена, а вокруг нас процветают облака или как минимум кубернетисы во всех ипостасях. И все же начиная с версии 10.1 компания представила интересную возможность для тех, кто уже крепко подсел на эту иглу - движок Eon. Описывая в двух словах, это та же самая по скорости база данных, но использующая общее хранилище - S3 (во всех своих ипостасях от вендорских AWS, GCS до онпрем вариантов) или HDFS. К тому же есть отличная завлекалочка - бесплатное использование кластера размером до 1 ТБ и до 3 нод вычисления. Статья является итогом тестирования технологии, и результаты тестирования какие-то не очень веселые.

https://habr.com/ru/articles/793540/

#mpp #vertica

Vertica Eon в K8S — 3 года развития

Vertica - одна из первых широко используемых MPP баз на просторах айти ландшафта СНГ. Колоночное хранение, быстрые запросы на миллиардах строк, легендарные sort-merge джойны, которых нет больше ни у...

Хабр
Micro Focus hat ihre Analytics-Plattform Vertica 11 angekündigt, die nun auch mit Blob-Speicher in der Azure-Cloud zurechtkommt.
Business Intelligence: Datenmassen mit maschinellem Lernen bewältigen
Business Intelligence: Datenmassen mit maschinellem Lernen bewältigen

Micro Focus hat ihre Analytics-Plattform Vertica 11 angekündigt, die nun auch mit Blob-Speicher in der Azure-Cloud zurechtkommt.

@cimi You can look at #Sqitch, it's not restricted to #PostreSQL

“Sqitch is a database change management application. It currently supports #PostgreSQL 8.4+, #SQLite 3.7.11+, #MySQL 5.0+, #Oracle 10g+, #Firebird 2.0+, #Vertica 6.0+ and #Exasol 6.0+.”

https://github.com/theory/sqitch

theory/sqitch

sqitch - Sane database change management

Vertical Garden – By Patrick Blanc in Madrid and Paris

On Facebook. In Madrid, Spain

Botanist Patrick Blanc

Vertical Garden by Patrick Blanc in Madrid (Spain) and Paris (France).

Paris, FranceParis, France

Comments:

https://twitter.com/StreetArtUtopia/status/1474795945091026949