HabrCPU 80%. Как найти проблемный запрос в ClickHouse?
Clickhouse. CPU под нагрузкой, память на пределе, диск нагружен. Запросы тормозят. Расчёты не завершаются. Сервер на грани. Что же делать?
Реализация MCP в Open WebUI. Часть 2 — Агентское поведение
Это вторая часть нашей реализации MCP на Open WebUI, которая строится для целей портфельной аналитики. В прошлой части мы разобрали интеграционную часть нашего решения: как мы пришли к Open WebUI, как использовали статусы в запросах пользователя, как отображаем результаты (чтобы не словить ошибки о слишком больших чанках), как строим графики в интерфейсе и как работаем с запросами пользователей. Данная часть будет посвящена реализации самого агента: его общению с инструментами, вызову этих самых инструментов и планированию шагов по их вызовам. В этой статье будет рассмотрен наш путь по реализации данного агента: от наивного агента, которому просто дали пул инструментов и отправили в релиз до разделения агента на планировщик и исполнителя (спойлер: вторая версия стала куда лучше справляться с различными задачами). Отдельно будет затронута возможность различных моделей использовать chain-of-thoughts.
https://habr.com/ru/articles/1015158/
#llmагент #mcp #clickhouse #openwebui #аналитика #автоматизация
Как в Авито построили систему мониторинга BGP
Всем привет! Меня зовут Антон Ильичев, я сетевой инженер в Авито. В этой статье расскажу, зачем мы централизованно собираем и анализируем маршрутную информацию с сетевых устройств, причём тут протокол BMP и как устроена наша система мониторинга. В конце вас будет ждать лаба на docker-compose, которую вы можете запустить у себя и посмотреть на систему в действии. Статья будет полезна в первую очередь сетевым инженерам, командам SRE и мониторинга, которые отвечают за доступность и качество сервиса.
https://habr.com/ru/companies/avito/articles/1012780/
#bmp #bgp #monitoring #netops #troubleshooting #kafka #clickhouse #cisco #grafana #juniper
GripNews🌘 我們如何讓每個用戶都能安全地存取共享 ClickHouse 叢集的 SQL 權限
➤ 以 DSL 實作多租戶資料隔離與安全查詢架構
✤ https://trigger.dev/blog/how-trql-works
在多租戶架構下開放 SQL 查詢權限是一項極具風險的工程挑戰。Trigger.dev 透過開發專屬的查詢語言「TRQL」（Trigger Query Language）解決了此問題。TRQL 並非單純轉發原始 SQL，而是透過 ANTLR 產生器建立一套嚴格的語法規則，從根源上排除了危險操作（如刪除或修改資料）。此外，該系統在編譯階段自動注入租戶隔離濾器與時間範圍限制，確保用戶僅能存取自有數據，同時將複雜的底層資料庫架構轉譯為使用者友善的語意。這種「編譯時強制執行」的設計，完美平衡了資料存取的彈性與系統安全性。
+ 這套方法非常聰明，避開了傳統 SQL 過濾器容易出錯的盲點，直接用 parser 語言限制語法結構，真的比單純的 API 安全檢查可靠多了。
+ 學習了。特別是在 schem
#技術架構 #資料庫安全 #多租戶系統 #ClickHouse #DSL 開發
➤ 以 DSL 實作多租戶資料隔離與安全查詢架構
✤ https://trigger.dev/blog/how-trql-works
在多租戶架構下開放 SQL 查詢權限是一項極具風險的工程挑戰。Trigger.dev 透過開發專屬的查詢語言「TRQL」（Trigger Query Language）解決了此問題。TRQL 並非單純轉發原始 SQL，而是透過 ANTLR 產生器建立一套嚴格的語法規則，從根源上排除了危險操作（如刪除或修改資料）。此外，該系統在編譯階段自動注入租戶隔離濾器與時間範圍限制，確保用戶僅能存取自有數據，同時將複雜的底層資料庫架構轉譯為使用者友善的語意。這種「編譯時強制執行」的設計，完美平衡了資料存取的彈性與系統安全性。
+ 這套方法非常聰明，避開了傳統 SQL 過濾器容易出錯的盲點，直接用 parser 語言限制語法結構，真的比單純的 API 安全檢查可靠多了。
+ 學習了。特別是在 schem
#技術架構 #資料庫安全 #多租戶系統 #ClickHouse #DSL 開發
N-gated Hacker NewsOh, the joy of handing SQL access to every user on a shared #ClickHouse cluster! 🎉 Because nothing says "secure and efficient" like letting everyone wreak havoc on a communal database. 🤦♂️ But hey, who needs data integrity when you can have chaos? 🚀
https://trigger.dev/blog/how-trql-works #SQLAccess #SharedDatabase #DataIntegrity #Chaos #HackerNews #ngated
https://trigger.dev/blog/how-trql-works #SQLAccess #SharedDatabase #DataIntegrity #Chaos #HackerNews #ngated
Hacker NewsWe give every user SQL access to a shared ClickHouse cluster
https://trigger.dev/blog/how-trql-works
#HackerNews #SQL #Access #ClickHouse #SharedCluster #UserExperience #DataAnalytics
Моя любимая функция в ClickHouse, или оптимизируем вообще всё с помощью cityHash64()
Более 5 лет я работаю ClickHouse DBA и помогаю командам разработки и аналитики эффективно использовать ClickHouse. Неизменным помощником в этом мне служит хеш-функция cityHash64() . В данной статье мы поговорим в основном про оптимизацию SQL запросов с помощью хеш-функций. Вероятно, рассматриваемые приемы в той или иной степени актуальны не только для ClickHouse, но и для других баз данных, и могут быть полезны любому, кто пишет SQL запросы. Мы рассмотрим только те применения хеш-функций, которые регулярно встречаются в практике, а не что-то из разряда "100 способов измерения высоты здания с помощью барометра".
https://habr.com/ru/articles/1012624/
#sql #clickhouse #cityhash #хешфункции #хеширование #аналитика #анализ_данных #оптимизация #хеш #data_engineering
RonanInterview de Melvyn Peignon, Product Manager chez #ClickHouse.
"ClickHouse est une base de données :
- open-source
- orientée colonnes
- spécialisée dans les uses cases en temps réel"
ClickHouse : Le Real-Time Data Warehouse qui Concurrence les Géants (BigQuery, Snowflake…) 🔥 (#153)
ClickHouse: автоматизируем расчеты с помощью Materialized View
Привет, Хабр! В прошлой статье мы заглянули под капот ClickHouse и разобрались, как работает движок MergeTree . Мы узнали, как хранятся данные и что такое парт, зачем нужен разреженный индекс и как работает фоновое слияние. В этой статье мы рассмотрим один из мощнейших инструментов ClickHouse — Materialized View .
https://habr.com/ru/articles/1012382/
#clickhouse #sql #СУБД #materialized_view #материализованные_представления
ClickHouse не тормозит, но не умеет джойнить. Убиваем миф
Есть один миф про ClickHouse - он плохо джойнит. Подавляющее большинство не знает, с чем это утверждение связано, и просто верят на слово. А дальше срабатывает эффект сарафанного радио. В итоге в IT-сообществе есть твердое убеждение, что ClickHouse плохо джойнит. Но для меня апогеем стала статья от школы обучения программированию , в которой написано, что ClickHouse вообще не умеет джойнить:
