➤ 超越通用目的:可觀測性在規模上的演進
✤ https://clickhouse.com/blog/scaling-observability-beyond-100pb-wide-events-replacing-otel
隨著內部系統從 19 PiB 擴展至 100 PB 的未壓縮日誌,以及從約 40 兆行擴展至 500 兆行,ClickHouse 重新設計了其可觀測性平臺。他們發現 OpenTelemetry (OTel) 在處理高吞吐量、高保真度系統日誌時存在瓶頸,因此開發了一個專用的 SysEx 輸出器,並採用了 ClickHouse 原生的 HyperDX UI。此舉不僅大幅提高了效率,降低了 CPU 使用率(減少至 10%),還為打造更全面的可觀測性堆疊 ClickStack 奠定了基礎。
+ 這篇文章詳細說明瞭大規模日誌處理的挑戰,以及針對特定需求自定義解決方案的重要性。
+ 很高興看到 ClickHouse 不斷優化自身的平臺,並分享經驗給社
#工程技術 #可觀測性 #ClickHouse

Scaling our Observability platform beyond 100 Petabytes by embracing wide events and replacing OTel
Read how we scaled our observability platform from 19PB to 100PB and 500 trillion rows by replacing OpenTelemetry with a native ClickHouse-to-ClickHouse pipeline, embracing wide events and cutting CPU usage by 90%.