Menambahkan metadata ke tabel BigQuery

Knowledge Catalog (sebelumnya Dataplex Universal Catalog) memungkinkan Anda melampirkan metadata bisnis dan teknis ke aset data sehingga Anda dapat mengatur, menemukan, dan mengelola data. Di Knowledge Catalog, setiap aset data ditampilkan sebagai entri, dan Anda melampirkan metadata dengan menambahkan aspek—kumpulan kolom metadata terkait yang ditentukan oleh template yang dapat digunakan kembali yang disebut jenis aspek.

Dalam panduan memulai ini, Anda akan membuat set data dan tabel BigQuery dari set data BigQuery publik, membuat jenis aspek, dan menambahkan aspek ke entri tabel.

Sebelum memulai

  1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  4. Verify that billing is enabled for your Google Cloud project.

  5. Enable the Dataplex and BigQuery APIs, if any are not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  6. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  7. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  8. Verify that billing is enabled for your Google Cloud project.

  9. Enable the Dataplex and BigQuery APIs, if any are not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

    10.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan guna menambahkan metadata ke tabel BigQuery, minta administrator untuk memberi Anda peran IAM berikut pada project:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuat set data dan tabel

  1. Di konsol Google Cloud , buka halaman BigQuery Studio.

    Buka BigQuery Studio

  2. Membuat set data:

    1. Di panel kiri, klik Explorer:

      Tombol yang ditandai untuk panel Explorer.

      Jika Anda tidak melihat panel kiri, klik Luaskan panel kiri untuk membuka panel.

    2. Di panel Explorer, temukan project Anda. Klik Lihat tindakan, lalu klik Buat set data.

    3. Di kolom Dataset ID, masukkan catalog_demo_dataset.

      Pertahankan nilai default untuk kolom lainnya.

    4. Klik Create dataset.

  3. Menyalin tabel publik ke set data Anda:

    1. Di panel Explorer, telusuri tabel bernama bigquery-public-data.new_york_citibike.citibike_stations. Anda mungkin perlu menetapkan cakupan penelusuran untuk menyertakan project bigquery-public-data.

      Tabel ini adalah bagian dari set data NYC Citi Bike Trips, set data publik yang berisi data tentang program rental sepeda.

    2. Pilih tabel citibike_stations.

    3. Klik Copy. Masukkan informasi berikut:

      • Project: pilih project Anda.
      • Dataset: pilih catalog_demo_dataset.
      • Table: masukkan bike_stations.

    4. Klik Copy.

  4. Di panel Explorer, cari set data catalog_demo_dataset, dan pastikan tabel bike_stations tercantum dalam set data.

Menentukan template metadata: membuat jenis aspek

  1. Di konsol Google Cloud , buka halaman Jenis metadata Knowledge Catalog.

    Buka Jenis metadata

  2. Klik tab Aspect types, lalu klik tab Custom.

  3. Klik Create aspect type.

  4. Di kolom ID jenis aspek, masukkan data-governance-demo.

  5. Untuk Location, pilih global.

  6. Di bagian Template, klik Add field. Gunakan informasi dalam tabel berikut untuk menambahkan beberapa kolom ke jenis aspek:

    Nama Jenis Wajib diisi Deskripsi
    source-of-data-asset Teks Tidak -
    retention-date Tanggal dan waktu Tidak -
    data-classification

    Enum

    Tambahkan nilai Public, Sensitive, dan Confidential.

    		 Ya -
    has-pii Boolean Ya Whether the data asset has personally identifiable information

  7. Klik Simpan.

Menambahkan metadata ke tabel: menambahkan aspek ke entri

  1. Di konsol Google Cloud , buka halaman Penelusuran Knowledge Catalog.

    Buka Penelusuran

  2. Di kotak penelusuran, masukkan catalog_demo_dataset.

  3. Pilih tabel bike_stations.

  4. Menambahkan aspek kustom ke entri:

    1. Di bagian Aspects, di samping Optional aspects, klik Add.

    2. Pilih jenis aspek data-governance-demo.

      Tindakan ini akan membuat aspek yang menggunakan jenis aspek Anda sebagai template.

    3. Masukkan nilai berikut:

      • Sumber aset data: Copied from NYC Citi Bike Trips public dataset
      • Tanggal retensi: masukkan tanggal.
      • Klasifikasi data: Public
      • Berisi PII: False

    4. Klik Simpan.

  5. Untuk melihat nilai metadata yang Anda tambahkan, di bagian Aspects, pilih aspek data-governance-demo.

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

Menghapus project

Cara termudah untuk menghentikan penagihan adalah dengan menghapus project yang Anda buat untuk panduan memulai ini.

  1. Di konsol Google Cloud , buka halaman Manage resources.

    Buka Kelola resource

  2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
  3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Menghapus resource satu per satu

Jika Anda ingin menggunakan kembali project, hapus resource yang Anda buat.

  1. Hapus set data:

    1. Di konsol Google Cloud , buka halaman BigQuery Studio.

      Buka BigQuery Studio

    2. Di panel kiri, klik Explorer:

      Tombol yang ditandai untuk panel Explorer.

    3. Di panel Explorer, telusuri set data catalog_demo_dataset.

    4. Klik Lihat tindakan, lalu klik Hapus. Konfirmasi saat diminta.

  2. Hapus jenis aspek:

    1. Di konsol Google Cloud , buka halaman Jenis metadata Knowledge Catalog.

      Buka Jenis metadata

    2. Klik tab Aspect types, lalu klik tab Custom.

    3. Klik jenis aspek data-governance-demo.

    4. Klik Hapus. Konfirmasi saat diminta.

Langkah berikutnya