Как мы делали сервис Cloud Logging

Работа без логов, это как вождение автомобиля вслепую. Ехать можно, но недолго и не туда. Почти в каждом проекте логи нужны. И нужны инструменты, которые умеют с ними работать. А с этим исторически у нас была проблема. В облаке Amvera, проекты пользователей, в большинстве своём, небольшие. А инструменты на рынке, такие как Elasticsearch очень требовательны к выделяемым ресурсам и сложны в настройке. Странно поднимать телеграм-бота, который потребляет 100 мб. оперативной памяти и ставить для его логов Elastic на 16 Гб. Логичным решением является создание мультиарендной системы. Когда мы собираем логи в какой-то большой базе данных, и каждому пользователю даём доступ только к его логам. Звучит замечательно, но на практике реализовать это не так легко. На создание приемлемого решения у нас ушло несколько итераций. И мы хотим поделиться опытом, чтобы другие не наступали на наши грабли и могли сделать сразу хорошо.

https://habr.com/ru/companies/amvera/articles/919450/

#cloud_logging #observability #сбор_логов #анализ_логов #поиск_по_логам #mongodb_для_логов #grafana_loki #victorialogs

Google Cloud の Cloud Audit Logs とは？
https://dev.classmethod.jp/articles/google-cloud-cloud-audit-logs/

#dev_classmethod #Google_Cloud_GCP #Cloud_Logging

Cloud Loggingにリージョン別のログデータ取り込みクォータが追加されます
https://dev.classmethod.jp/articles/20250122-cloudlogging-regional-logwrite-quota/

#dev_classmethod #Cloud_Logging #Google_Cloud_GCP

Cloud Monitoring の指標なしアラートポリシーで Cloud Composer のスケジューラ停止を検知してみた #cm_google_cloud_adcal_2024
https://dev.classmethod.jp/articles/cloud-monitoring-cloud-composer-scheduler-heartbeat-absent/

#dev_classmethod #Google_Cloud_GCP #Cloud_Logging #Cloud_Composer

Cloud Composer で DAG パーサーのログを Cloud Logging に出力したい
https://dev.classmethod.jp/articles/cloud-composer-dag-cloud-logging/

#dev_classmethod #Google_Cloud_GCP #Cloud_Composer #Cloud_Logging #Apache_Airflow #小ネタ

Compute Engine の 「Opsエージェントをインストールする」が上手くいかない！インストールプロセスを理解して解決しよう
https://dev.classmethod.jp/articles/compute-engine-ops-agent/

#dev_classmethod #Google_Cloud_GCP #Cloud_Monitoring #Google_Cloud_Compute_Engine #Cloud_Logging

【企業セキュリティ】Google Cloud 集約シンクで一元的に組織のログを管理する
https://dev.classmethod.jp/articles/google-cloud-logging-aggregation/

#dev_classmethod #Google_Cloud_GCP #Google_BigQuery #ログ #Cloud_Logging #組織ポリシー #セキュリティ

Cloud LoggingでOpenAI APIのエラーをSlackに通知してみた
https://dev.classmethod.jp/articles/how-to-notify-slack-of-openai-error-using-cloud-logging/

#dev_classmethod #Cloud_Logging #OpenAI #Cloud_Functions #Slack #Google_Cloud_GCP

プレビューになったLog Analyticsのstorage_bytesフィールドを使ってみた
https://dev.classmethod.jp/articles/20240628-la-stb/

#dev_classmethod #Google_Cloud_GCP #Cloud_Logging

【事例紹介】MLBのGoogle Cloud活用とコスト最適化の全貌 #GoogleCloudNext
https://dev.classmethod.jp/articles/google-cloud-for-cost-optimizationutilization/

#dev_classmethod #MLB #Google_Cloud_GCP #Google_Cloud_Operations #Cloud_Logging #Cloud_Monitoring #Cloud_Trace #FinOps #GKE #費用最適化 #BigQuery