The Data ChannelRow based vs Columnar Storage | Data Engineering Core Concept
https://youtu.be/hYe7yoZXXtU
YouTube
GraylogOLAP ➕ security operations? 🤔 This intersection offers improved #security outcomes, as long as orgs know how to overcome the challenges associated with both systems. 👍
Let's talk about some of the key benefits of Online Analytical Processing (#OLAP) systems and where they intersect with security operations, including:
⬇️ Reduced false positives
🔍 Enhanced detection of emerging threats
🚑 Improved incident response
Plus, learn how #Graylog supports fast queries to improve OLAP systems! 🙌
https://graylog.org/post/where-online-analytical-processing-olap-overlaps-with-security-operations/ #cybersecurity #secops #securityoperations
datatofuUnveiling the latest visual for 'Data Science for the Modern Enterprise'! This one maps the crucial journey from raw data to meaningful insights, covering Database Design and Data Warehouse Design.
It's the backbone of any robust data strategy! What are the biggest challenges you've faced in designing or maintaining effective databases and data warehouses? Let's connect and share experiences! 👇
#DatabaseDesign #DataWarehouse #DataScience #DataArchitecture #SQL #ETL #OLAP #DataManagement #Tech
It's the backbone of any robust data strategy! What are the biggest challenges you've faced in designing or maintaining effective databases and data warehouses? Let's connect and share experiences! 👇
#DatabaseDesign #DataWarehouse #DataScience #DataArchitecture #SQL #ETL #OLAP #DataManagement #Tech
HabrОт реляционных СУБД к экосистеме Hadoop
Привет, Хабр! Недавно я понял, что не знаю, что такое Hadoop. (На этом моменте становится понятно, что данная статья ориентирована на людей, которые не имеют экспертизы и реального опыта взаимодействия с продуктами экосистемы Hadoop) Сам я являюсь разработчиком, и ежедневно взаимодействую с различными СУБД – в основном, с пресловутой PostgreSQL. Каково же было мое удивление, когда я узнал, что на проде в эту БД данные попадают не напрямую – а с какого-то Greenplum, а туда они, в свою очередь, приходят с некоего Hadoop. В этот момент я решил узнать, чем обоснована необходимость использования этих инструментов и что они из себя представляют.
Habr 25+Как YDB изолирует OLTP и OLAP
Привет, Хабр! Меня зовут Олег Доронин, и мы с командой делаем СУБД Яндекса, которая называется YDB. Каждый транзакционный запрос к базе данных обычно работает с небольшим набором строк и быстро отрабатывает за единицы или десятки миллисекунд, но таких запросов каждую секунду поступает огромное количество. А вот аналитические запросы обычно выполняются не так часто, но каждый из них может требовать обработки вплоть до всех строк в одной или нескольких таблицах. Такие запросы могут выполняться секунды, минуты, или даже часы в зависимости от объёмов данных и сложности запрошенных вычислений. Чтобы эти два принципиально разных паттерна нагрузки не мешали друг другу, гибридным базам данных важно изолировать транзакционную нагрузку от аналитической. Под катом я расскажу, как мы сделали в YDB компоненты для управления смешанной нагрузкой, которые изолируют миллионы RPS от аналитики, и как менеджер смешанной нагрузки устроен внутри.
Как YDB изолирует OLTP и OLAP
Привет, Хабр! Меня зовут Олег Доронин, и мы с командой делаем СУБД Яндекса, которая называется YDB. Каждый транзакционный запрос к базе данных обычно работает с небольшим набором строк и быстро отрабатывает за единицы или десятки миллисекунд, но таких запросов каждую секунду поступает огромное количество. А вот аналитические запросы обычно выполняются не так часто, но каждый из них может требовать обработки вплоть до всех строк в одной или нескольких таблицах. Такие запросы могут выполняться секунды, минуты, или даже часы в зависимости от объёмов данных и сложности запрошенных вычислений. Чтобы эти два принципиально разных паттерна нагрузки не мешали друг другу, гибридным базам данных важно изолировать транзакционную нагрузку от аналитической. Под катом я расскажу, как мы сделали в YDB компоненты для управления смешанной нагрузкой, которые изолируют миллионы RPS от аналитики, и как менеджер смешанной нагрузки устроен внутри.
GripNews🌘 兩種尺寸適用大多數情況：PostgreSQL 與 Clickhouse
➤ 關聯式資料庫的韌性與 OLAP 的崛起
✤ https://about.gitlab.com/blog/two-sizes-fit-most-postgresql-and-clickhouse/
這篇文章探討了為何關聯式資料庫並未如預期般衰退，特別是 PostgreSQL 的持續演進。同時，作者也介紹了專為線上分析處理 (OLAP) 設計的 Clickhouse，強調了其在處理大規模分析工作負載上的卓越效能，並指出這兩種資料庫能夠滿足絕大多數的應用需求，打破了「一種尺寸適用所有」的迷思。
+ 很有趣的文章，過去一直以為關聯式資料庫已經過時了，這篇文章讓我對 PostgreSQL 有了新的認識。
+ Clickhouse 的效能確實令人驚豔，對於需要即時分析的應用來說，是個非常好的選擇。
#資料庫 #效能 #系統架構 #OLTP #OLAP
➤ 關聯式資料庫的韌性與 OLAP 的崛起
✤ https://about.gitlab.com/blog/two-sizes-fit-most-postgresql-and-clickhouse/
這篇文章探討了為何關聯式資料庫並未如預期般衰退，特別是 PostgreSQL 的持續演進。同時，作者也介紹了專為線上分析處理 (OLAP) 設計的 Clickhouse，強調了其在處理大規模分析工作負載上的卓越效能，並指出這兩種資料庫能夠滿足絕大多數的應用需求，打破了「一種尺寸適用所有」的迷思。
+ 很有趣的文章，過去一直以為關聯式資料庫已經過時了，這篇文章讓我對 PostgreSQL 有了新的認識。
+ Clickhouse 的效能確實令人驚豔，對於需要即時分析的應用來說，是個非常好的選擇。
#資料庫 #效能 #系統架構 #OLTP #OLAP
🌘 OLAP 析分析型資料庫是否需要 ORM？
➤ 探討析分析型資料庫的開發者體驗，以及為 ClickHouse 量身打造 ORM 的可能性
✤ https://clickhouse.com/blog/moosestack-does-olap-need-an-orm
本文探討了析分析型資料庫（OLAP），如 ClickHouse，是否需要物件關聯對映（ORM）來簡化開發流程。文章指出，雖然現有的 OLTP ORM 在處理交易型資料庫時表現出色，但由於 OLAP 和 OLTP 在底層架構和語義上的根本差異，直接套用 OLTP ORM 可能會導致誤解和效能問題。文中以 `nullable()` 和 `unique()` 兩個例子，詳細闡述了這種差異如何影響 ORM 的行為。文章最後提出，應為 OLAP 設計專屬的 ORM，借鑑現有 ORM 的優點，同時摒棄不適應析分析型資料庫的特性，以提供更佳的開發體驗。
+ 這篇文章的觀點很有意思，特別是關於 `nullable()` 和 `unique()` 的例子，確實點出了 OLA
#資料庫 #ORM #OLAP #ClickHouse #工程
➤ 探討析分析型資料庫的開發者體驗，以及為 ClickHouse 量身打造 ORM 的可能性
✤ https://clickhouse.com/blog/moosestack-does-olap-need-an-orm
本文探討了析分析型資料庫（OLAP），如 ClickHouse，是否需要物件關聯對映（ORM）來簡化開發流程。文章指出，雖然現有的 OLTP ORM 在處理交易型資料庫時表現出色，但由於 OLAP 和 OLTP 在底層架構和語義上的根本差異，直接套用 OLTP ORM 可能會導致誤解和效能問題。文中以 `nullable()` 和 `unique()` 兩個例子，詳細闡述了這種差異如何影響 ORM 的行為。文章最後提出，應為 OLAP 設計專屬的 ORM，借鑑現有 ORM 的優點，同時摒棄不適應析分析型資料庫的特性，以提供更佳的開發體驗。
+ 這篇文章的觀點很有意思，特別是關於 `nullable()` 和 `unique()` 的例子，確實點出了 OLA
#資料庫 #ORM #OLAP #ClickHouse #工程
N-gated Hacker News🤔 "Does #OLAP need an ORM?" asks a 19-minute read that could've been summarized in one word: "No." Instead, it loops through #clouds ☁️, spins up #databases, and name-drops integrations like a DJ at a tech conference. 🎉 Save your time and sanity!
https://clickhouse.com/blog/moosestack-does-olap-need-an-orm #ORM #techintegration #HackerNews #ngated
https://clickhouse.com/blog/moosestack-does-olap-need-an-orm #ORM #techintegration #HackerNews #ngated
Hacker NewsDoes OLAP Need an ORM
https://clickhouse.com/blog/moosestack-does-olap-need-an-orm