[Перевод] Сверхбыстрые запросы: принципы Compaction при разделении хранения и вычислений в StarRocks и руководство по тюнингу

StarRocks при каждом импорте данных создаёт новую версию, что со временем приводит к росту числа мелких файлов и падению эффективности запросов. Фоновый процесс Compaction объединяет версии, устраняет дубликаты и сокращает количество I/O. В материале разобраны: архитектура Compaction в режиме разделения хранения и вычислений (FE — Scheduler, BE/CN — Executor), диспетчеризация по Partition и Tablet, критерии безопасной очистки данных, а также практики тюнинга. Показано, как смотреть Compaction Score на уровне Partition, отслеживать и отменять задачи, и какие параметры FE/BE/CN действительно влияют на производительность (compact_threads, lake_compaction_max_tasks и др.). Отдельно затронут мониторинг и алерты в Grafana/Prometheus. Текст ориентирован на инженеров DWH/OLAP и эксплуатацию высоконагруженных систем хранения данных.

https://habr.com/ru/articles/966322/

#starrocks #lakehouse #olap #тюнинг #мониторинг #grafana #prometheus

Blog Alert!

This time on hands-on experiences with OneLake Security in Fabric

#MicrosoftFabric
#OneLake
#Security
#Lakehouse

http://sqlreitse.com/2025/11/13/microsoft-fabric-lakehouse-onelake-security-some-experiences/

Бенчмарк бенчмарка Lakehouse-движков, в котором побеждает объективная реальность

Недавно на хабре вышла статья с громким заголовком “Бенчмарк lakehouse-движков, часть 1: StarRocks и Doris падают под нагрузкой, Presto аутсайдер, CedrusData быстрее всех”. В своей статье авторы из Кверифай Лабс выбрали методику TPC-DS, но вместо 99 запросов остановилась на одном, который к тому же запускается на одной машине. Обосновывается это тем, что на одном конкретном запросе нужно разобрать работу оптимизаторов. По результатам исследования делается вывод, что решение, разработанное авторами, является лучшим, в том числе для запуска одного конкретного запроса на одном узле. Давайте попробуем разобраться, действительно ли это так.

https://habr.com/ru/companies/datasapience/articles/964052/

#starrocks #trino #impala #mpp #bigdata #dwh #lakehouse #datalake #s3 #hadoop

Time-series forecasting without endless tweaking? Databricks AutoML makes it real.

#Databricks #AutoML unites automation, transparency, and production readiness in one low-code workflow. For anyone seeking fast, reliable, and explainable sales forecasts, AutoML on the #Lakehouse is a smart default.

For #SAP costumers, SAP Databricks in BDC is a game-changer for precise forecasting and planning. Check out the step-by-step walkthrough in our blog post:

https://www.nextlytics.com/blog/databricks-automl-for-time-series-fast-reliable-sales-forecasting

#datascience

LEGO Lake House invites a quiet build retreat
A fan design hit 10,000 votes and moved into LEGO Ideas review. The Lake House pairs a boathouse, greenhouse, and cozy living space for serene minifig life.

Read more in: https://brick.news/blog/a-quiet-life-in-bricks-the-lego-lake-house-finds-its-calm

#LEGO
#LEGOIdeas
#LakeHouse
#AFOL
#BrickBuilds
#NatureBuilds

Оптимизация производительности запросов: мощный тандем StarRocks и Apache Iceberg

Apache Iceberg — табличный формат для озёр данных с поддержкой ACID, Schema Evolution, Hidden Partition и версионирования, но при больших метаданных и работе через S3 страдает планирование запросов и латентность. В связке со StarRocks мы показываем, как распределённый Job Plan, Manifest Cache, CBO с гистограммами, Data Cache и материализованные представления выводят lakehouse‑аналитику на уровень DWH: снижают накладные расходы на метаданные, ускоряют планы и выполнение, а запись обратно в Iceberg сохраняет единый источник истины. Разбираем архитектуру Iceberg, типовые узкие места и практики оптимизации на StarRocks 3.2–3.3, включая кейс WeChat/Tencent.

https://habr.com/ru/articles/963410/

#apache_iceberg #starrocks #lakehouse #data_analysis #data_lake #parquet #manifest #materialized_views

Ra mắt pg_lake: Tích hợp Data Lakehouse với Postgres #Postgres #DataLakehouse #pg_lake #Database #CôngNghệ #Data #Lakehouse #TíchHợp #PhátTriểnPhầnMềm #CôngNgheThongTin

https://www.reddit.com/r/programming/comments/1oobjtg/introducing_pg_lake_integrate_your_data_lakehouse/

Больше чем просто данные в S3. Iceberg как основа архитектуры Next-Gen КХД

Традиционные форматы хранения данных постепенно перестают удовлетворять требованиям современных распределенных вычислений и аналитики больших данных. Каскадные обновления метаданных, проблемы консистентности и высокая стоимость поддержки вынуждают искать альтернативы. Ответом на запросы стало появление формата Iceberg, который предложил новую парадигму организации структурированных данных, позволяющую эффективно управлять петабайтами информации даже в распределенных средах. Привет, Хабр. Меня зовут Алексей Белозерский. Я руководитель профессионального сервиса VK Data Platform , VK Tech. В этой статье я расскажу, что стало предпосылкой появления нового формата данных и что скрывает Iceberg «под толщей воды».

https://habr.com/ru/companies/vktech/articles/959398/

#iceberg #s3 #nextgen #lakehouse #data #bigdata #vk_tech #vk_cloud #vk_data_platform #datalakehouse

Тестирование движков массивно-параллельных вычислений: StarRocks, Trino, Spark. Spark – с DataFusion Comet и Impala

В сегодняшней, уже третьей по счету, публикации я продолжу делится результатами нагрузочных испытаний вычислительных технологий массивных параллельных вычислений (на Habr уже представлены мои материалы, посвященные сравнению Impala, Trino и Greenplum , в том числе по методике TPC-DS ). В этот раз в список решений добавляется Spark, включая работающий с технологией нативных вычислений DataFusion Comet, и набирающий популярность StarRocks.

https://habr.com/ru/companies/datasapience/articles/959496/

#starrocks #trino #lakehouse #impala #spark #bigdata #datalake #dwh #hadoop #s3

Бенчмарк lakehouse-движков, часть 1: StarRocks и Doris падают под нагрузкой, Presto аутсайдер, CedrusData быстрее всех

В этой статье мы детально рассмотрим поведение аналитических движков при выполнении отдельного TPC-DS запроса на одном узле. Это глубоко технический текст, в котором мы увидим, как (1) три родственных движка (Impala, StarRocks и Doris) с трудом справляются с конкурентной нагрузкой, (2) разработчики StarRocks и Doris затачивают дефолты своих движков под бенчмарки, (3) Trino реализует эффективный шедулер запросов, но имеет ряд дефектов, ухудшающих производительность, (4) Presto строит хорошие планы запросов, но демонстрирует катастрофически плохую производительность из-за отсутствия буквально одной фичи. Ну а победит, конечно, наш движок Хочу, чтобы подгорело

https://habr.com/ru/companies/cedrusdata/articles/955896/

#trino #lakehouse #cedrusdata #starrocks #doris #duckdb