Dataplex で何ができるの？ | DevelopersIO

こんにちは、みかみです。 犬のおやつはあげる前にちょっと食べてみることにしてますが、最近のおやつはどれも美味しくてびっくりです。 やりたいこと Dataplex で何ができるか知りたい Dataplex でできることを、画面イメージで確認したい Dataplex でできること Dataplex では、以下の機能を利用することができます。 データ検索 データ確認 タグ、ビジネス用語付与 データプロファイル、品質管理 データリネージ 権限管理 本エントリでは Dataplex の各用語や概念、設計思想や各機能の設定方法等のご紹介は割愛させていただきますが、 以下の G-gen さんの技術ブログがとても分かりやすいので、ぜひご参照ください！ Dataplexを徹底解説！ ｜ G-gen Tech Blog Data Catalogを徹底解説！ ｜ G-gen Tech Blog 前提 本エントリで利用している BigQuery, Cloud Storage, Dataplex, Data Catalog などの API は有効化済みで、操作するアカウントに各設定に必要な権限は付与済みです。 動作確認時には、プロジェクトオーナーロールを付与したアカウントを使用しています。 Dataplex の有効化 ｜ Dataplex ドキュメント Dataplex IAM の権限 ｜ Dataplex ドキュメント また、動作確認に使用するための以下のDataplex のレイク、ゾーン、アセットを作成済みです。 asia-northeast1 リージョンを指定した　lake-tokyo レイクを作成し、 lake-tokyo レイクの下に、構造化済み（BigQuery）データ用の marketing キュレートゾーンと、 非構造化（GCS）データ用の reference 未加工ゾーンを作成しました。 marketing キュレートゾーンの下には、BigQuery の ds_dataplex データセットを指定した awamori アセットを作成し、 ※一部伏字に変更しています。 reference 未加工ゾーンには、GCSバケットを指定した weather アセットを作成しました。 データ検索 Dataplex の「検索」メニューで、権限のある複数プロジェクト、複数サービスにまたがる様々な場所に配置されているデータを検索することが可能です。 システムが複数プロジェクトにまたがる大きい場合や、権限管理のために複数プロジェクトにまたがる BigQuery をご利用の場合など、いちいちプロジェクトを変更しなくても統合的にデータを検索することが可能なので便利です。 また、後述のタグ付け機能などで関連データを紐づけておけば、BigQuery のテーブル名や GCS ファイル名が分からなくても、欲しいデータがどこにどんな状態で格納されているのか、探すことができます。 左側の「Filters」メニューから、対象プロジェクトや対象のシステム（BigQuery や GCS など）が選択可能です。 また、検索フォームから自由入力で対象データを検索することができます。 データに説明やタグがついていれば、日本語での検索も可能です。 データ確認 検索したデータがどこにあってどんな項目を持っているのか、またどのくらいのデータ量でいつ更新されたのかなど、確認することができます。 BigQuery テーブルの場合、テーブル定義やテーブルの説明、カラムの説明など確認できます。 実テーブルではなく、外部テーブルやビュー、マテリアライズドビューの場合も、BigQuery 管理コンソールのテーブル/ビュー詳細で確認できる情報が、Dataplex から確認できます。 GCS に配置したファイルデータの場合、CSV や JOSN などの構造化がサポートされているファイルは、Dataplex が自動で …

hybrid.event.gdgmunichcloud.ory.sh/2023-03-16 | Google Developer Groups

Hybrid Event - Get yourself ready for another get-together with the Google Developer Groups Cloud Munich

TechCrunch is part of the Yahoo family of brands