Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Mengekspor temuan secara massal ke BigQuery

Dokumen ini menjelaskan cara memulai ekspor massal temuan Security Command Center sesuai permintaan ke BigQuery.

BigQuery adalah data warehouse analisis yang terkelola penuh, berskala petabyte, dan hemat biaya yang memungkinkan Anda menjalankan analisis pada sejumlah besar data secara hampir real time. Google CloudUntuk mempelajari BigQuery lebih lanjut, lihat dokumentasi BigQuery.

Ringkasan

Fitur ini memberikan snapshot temuan hingga titik waktu tertentu. Fitur ini melengkapi ekspor BigQuery berkelanjutan untuk memberikan analisis dan pelaporan yang komprehensif.

Dengan ekspor massal, Anda dapat melakukan hal berikut:

Membuat ekspor massal BigQuery
Melihat status ekspor massal BigQuery

Struktur set data

Temuan diekspor ke BigQuery sebagai baris dalam findings tabel, yang dikelompokkan menurut source_id, finding_id, dan event_time.

Setiap set data berisi tabel findings, yang memiliki kolom berikut:

Kolom	Deskripsi
`source_id`	ID unik yang ditetapkan Security Command Center ke sumber temuan. Misalnya, semua temuan dari sumber Deteksi Anomali Cloud memiliki nilai `source_id` yang sama. Contoh: `1234567890`
`finding_id`	ID unik yang mewakili temuan. ID ini unik dalam sumber untuk organisasi. ID ini bersifat alfanumerik dan memiliki panjang kurang dari atau sama dengan 32 karakter.
`event_time`	Waktu terjadinya peristiwa atau waktu terjadinya pembaruan pada temuan. Misalnya, jika temuan mewakili firewall terbuka, maka `event_time` akan mencatat waktu saat detektor yakin bahwa firewall dibuka. Jika temuan diselesaikan setelahnya, waktu ini akan mencerminkan waktu temuan tersebut diselesaikan. Contoh: `2019-09-26 12:48:00.985000 UTC`
`bulk_export_id`	Untuk ekspor massal, ID ini adalah UUID. Untuk ekspor berkelanjutan, kolom ini kosong.
`finding`	Catatan data penilaian seperti keamanan, risiko, kesehatan, atau privasi, yang dimasukkan ke Security Command Center untuk presentasi, notifikasi, analisis, pengujian kebijakan, dan penerapan. Misalnya, kerentanan pembuatan skrip lintas situs (XSS) dalam aplikasi App Engine aplikasi adalah temuan. Untuk mengetahui informasi selengkapnya tentang kolom bertingkat, lihat referensi API untuk `Finding` objek.
`resource`	Informasi terkait dengan Google Cloud resource yang terkait dengan temuan ini. Untuk mengetahui informasi selengkapnya tentang kolom bertingkat, lihat referensi API untuk `Resource` objek.

Biaya

Anda akan dikenai biaya BigQuery terkait fitur ini untuk menyimpan data di BigQuery. Untuk mengetahui informasi selengkapnya, lihat Harga penyimpanan BigQuery.

Sebelum memulai

Anda harus menyelesaikan langkah-langkah ini sebelum mengaktifkan fitur ini.

Menyiapkan izin

Untuk menyelesaikan panduan ini, Anda harus memiliki peran Identity and Access Management (IAM) berikut:

Di organisasi tempat Anda ingin mengekspor temuan, salah satu hal berikut:
- Editor Ekspor BigQuery Security Center (roles/securitycenter.bigQueryExportsEditor)
- Admin Security Center (roles/securitycenter.admin)
Untuk mempelajari peran Security Command Center lebih lanjut, lihat Kontrol akses.
Di set data BigQuery, Pemilik Data BigQuery (roles/bigquery.dataOwner)

Untuk mempelajari peran BigQuery lebih lanjut, lihat Peran dan izin IAM BigQuery.
Di project yang berisi set data BigQuery tujuan, ProjectIAMAdmin (roles/resourcemanager.projectIamAdmin)

Membuat set data BigQuery

Buat set data BigQuery menggunakan langkah-langkah di Membuat set data.

Mengaktifkan Security Command Center API

Untuk mengekspor temuan, Anda harus mengaktifkan Security Command Center API dengan mengikuti langkah-langkah berikut:

Buka halaman API Library di Google Cloud konsol.

Buka API Library
Pilih project yang Security Command Center API-nya ingin Anda aktifkan.
Di kolom Search, masukkan Security Command Center, lalu klik Security Command Center di hasil penelusuran.
Di halaman API yang muncul, klik Enable.

Security Command Center API diaktifkan untuk project Anda.

Memberikan akses perimeter di Kontrol Layanan VPC

Jika Anda menggunakan Kontrol Layanan VPC, tinjau Memberikan akses perimeter di Kontrol Layanan VPC dan terapkan langkah-langkah tersebut, jika perlu.

Langkah ini perlu diulangi untuk setiap pengguna yang membuat ekspor massal untuk perimeter layanan tertentu.

Membuat aturan masuk untuk ekspor massal BigQuery baru

Jika Anda menggunakan Kontrol Layanan VPC, tinjau Membuat aturan ingress untuk ekspor baru ke BigQuery dan terapkan langkah-langkah tersebut, jika perlu.

Batasan untuk ekspor massal BigQuery

Pertimbangkan batasan berikut saat membuat ekspor massal BigQuery:

Hanya tiga ekspor massal serentak yang diizinkan pada waktu tertentu untuk satu organisasi.
Jika Anda meminta beberapa ekspor massal yang tidak serentak ke set data BigQuery yang sama, temuan yang lebih baru dalam ekspor akan ditambahkan ke tabel findings BigQuery. Temuan tidak akan ditimpa.

Membuat ekspor massal BigQuery

Ekspor massal temuan dapat dilakukan untuk organisasi, project, atau folder.

Untuk memulai ekspor massal temuan ke instance BigQuery, gunakan gcloud CLI dan ikuti langkah-langkah berikut:

Buka konsol Google Cloud .

Buka Google Cloud konsol
Pilih project yang Security Command Center API-nya Anda aktifkan.
Klik Activate Cloud Shell.
Untuk membuat konfigurasi ekspor baru, jalankan perintah berikut:
```
gcloud scc findings export-to-bigquery PARENT \
    --dataset=DATASET_NAME \
    [--location=LOCATION; default="global"] \
```
Ganti kode berikut:
- PARENT: Nama relatif cakupan ekspor: organisasi, project, atau folder. Format contoh: organizations/ORGANIZATION_ID, projects/PROJECT_ID, folders/FOLDER_ID
- DATASET_NAME: Nama set data BigQuery. Format contoh: projects/PROJECT_ID/datasets/DATASET_ID
- LOCATION:the Security Command Center location in which to create an export configuration; if data residency is enabled, use eu,sa, or us; otherwise, use the value global. Variabel ini bersifat opsional.
  
  Misalnya, untuk membuat ekspor massal semua temuan, jalankan perintah berikut:
```
gcloud scc findings export-to-bigquery organizations/123
  --dataset=projects/123/datasets/DATASET
```
  Dalam hal residency data, contoh sebelumnya memanggil endpoint global.
  
  Untuk membuat ekspor massal yang sama untuk endpoint eu, jalankan perintah berikut:
```
gcloud scc findings export-to-bigquery organizations/123
  --dataset=projects/123/datasets/DATASET
  --location=locations/eu
```

Perintah ini menampilkan objek operasi yang berjalan lama yang berisi string name yang diperlukan saat melacak status ekspor. Untuk melacak status ekspor massal BigQuery ini, lihat Melihat status ekspor massal.

Untuk meninjau temuan, lihat Meninjau temuan.

Kueri

Untuk berbagai kueri yang dapat Anda gunakan untuk menganalisis data temuan, lihat Kueri yang berguna.

Melihat status ekspor massal

Untuk melihat status ekspor massal, Anda memerlukan long running operation name string yang ditampilkan kepada Anda saat Anda membuat ekspor massal.

Buka konsol Google Cloud .

Buka Google Cloud konsol
Pilih project yang Security Command Center API-nya Anda aktifkan.
Klik Activate Cloud Shell.
Untuk memverifikasi detail konfigurasi ekspor massal, jalankan perintah berikut:
```
gcloud scc operations describe LONG_RUNNING_OPERATION_NAME \
    --organization=ORGANIZATION_ID
```
Ganti kode berikut:
- LONG_RUNNING_OPERATION_NAME: String name yang ditampilkan saat Anda membuat ekspor massal.
- ORGANIZATION_ID
  
  Misalnya, untuk melihat status permintaan ekspor massal yang menampilkan name: "long-running-operation-name" dari organisasi dengan ID organisasi yang ditetapkan ke 123, jalankan perintah berikut:
```
gcloud scc operations describe long-running-operation-name \
  --organization=123
```

Jika ekspor berhasil, respons akan berisi done: true.
Jika ekspor gagal, respons akan berisi kode error.
Jika ekspor masih berlangsung, respons tidak akan berisi done: true maupun kode error.

Ekspor massal BigQuery dan ekspor berkelanjutan

Jika Anda ingin menggunakan ekspor BigQuery massal dan berkelanjutan bersama-sama pada set data BigQuery yang sama, ada dua pendekatan yang memungkinkan:

Buat ekspor berkelanjutan terlebih dahulu, lalu isi ulang dengan ekspor massal.
1. Siapkan ekspor berkelanjutan ke set data BigQuery. Setelah ekspor berhasil dibuat, Anda akan mulai menerima temuan Security Command Center secara real time.
2. Buat ekspor massal menggunakan set data BigQuery tujuan yang sama. Snapshot semua temuan Security Command Center pada saat ekspor akan diekspor ke set data yang dipilih.
Ekspor massal memerlukan waktu untuk dijalankan. Jadi, jika ekspor berkelanjutan dibuat pada T1, ekspor massal akan dipicu pada T2, dan snapshot temuan untuk ekspor massal selesai pada T3, maka catatan duplikat dapat dilihat antara T1 dan T3. Namun, tidak ada celah temuan.
Buat ekspor massal terlebih dahulu, lalu buat ekspor berkelanjutan.
1. Buat ekspor massal. Snapshot semua temuan Security Command Center pada saat ekspor dijalankan akan diekspor ke set data BigQuery yang dipilih.
2. Siapkan ekspor berkelanjutan ke set data BigQuery tujuan yang sama. Setelah ekspor berhasil dibuat, Anda akan mulai menerima temuan Security Command Center secara real time.
Jika ekspor massal dibuat pada T1, snapshot temuan untuk ekspor massal selesai pada T2, dan ekspor berkelanjutan dipicu pada T3, maka temuan antara T2 dan T3 mungkin tidak ada di set data BigQuery.

Langkah berikutnya

Pelajari cara melakukan ekspor satu kali di Security Command Center.
Pelajari cara melakukan streaming temuan secara berkelanjutan ke BigQuery untuk analisis.