Substrait — lingua franca для баз данных

Substrait — это промежуточный формат (IR) для обмена планами запросов между системами. Он снимает боль диалектов SQL, позволяет делать pushdown в разные бэкенды и избавляет от повторного парсинга/оптимизации федеративных системах и позволяет относительно безболезненно заменять один бэкенд другим. Ниже - зачем он нужен, как устроен и кто поддерживает. Узнать про Substrait

https://habr.com/ru/companies/cedrusdata/articles/964800/

#Substrait #федеративные_запросы #универсальный_IR #СУБД #pushdown #оптимизация #SQL #data_lakehouse #data_lake #trino

If you are wondering what the future of #databases looks like, you might be interested in this article https://doi.org/10.14778/3603581.3603604

The authors argue that despite increasing specialization, databases share the same components. By relying on standards, you can develop a composable system with:
- your preferred language interface (#SQL, #Ibis, #dplyr, ...). The query is converted into an intermediate representation (like #substrait)
- a query optimizer
- an execution engine
- an execution runtime