Kontrol Layanan VPC dengan Platform Agen Gemini Enterprise

Kontrol Layanan VPC dapat membantu Anda mengurangi risiko pemindahan data yang tidak sah dari Gemini Enterprise Agent Platform. Gunakan Kontrol Layanan VPC untuk membuat perimeter layanan yang melindungi resource dan data yang Anda tentukan. Misalnya, saat Anda menggunakan Kontrol Layanan VPC untuk melindungi Platform Agen, artefak berikut tidak dapat keluar dari perimeter layanan Anda:

  • Data pelatihan untuk model AutoML atau model kustom
  • Model yang Anda buat
  • Model yang Anda telusuri menggunakan Neural Architecture Search di Agent Platform
  • Permintaan inferensi online
  • Hasil dari permintaan inferensi batch
  • Model Gemini

Mengontrol akses ke Google API

API Agent Platform, sebagaimana diuraikan dalam Mengakses Gemini Enterprise Agent Platform dari lokal dan multicloud, mencakup berbagai opsi aksesibilitas, termasuk internet publik, Private Service Connect untuk Google API, dan Akses Google Pribadi.

Akses publik

Secara default, API publik ini dapat dijangkau dari internet; namun, izin IAM diperlukan untuk menggunakannya. Meskipun fitur seperti Private Service Connect untuk Google API dan Akses Google Pribadi memfasilitasi komunikasi pribadi melalui arsitektur jaringan hybrid, fitur tersebut tidak menghilangkan aksesibilitas internet publik untuk Agent Platform API.

Untuk menetapkan kontrol terperinci atas akses API dan membatasi secara eksplisit eksposur internet publik, penerapan Kontrol Layanan VPC menjadi penting. Saat Anda membuat perimeter Kontrol Layanan VPC (VPC-SC) dan menyertakan Gemini Enterprise dalam layanan yang dilindunginya, semua akses internet publik ke instance Platform Agen Anda akan otomatis diblokir. Akibatnya, pengguna yang mencoba mengakses layanan Platform Agen secara terprogram atau menggunakan konsol Google ditolak aksesnya kecuali jika mereka disertakan dalam daftar yang diizinkan. Google Cloud

Untuk memulihkan akses bagi sumber yang sah di luar perimeter (misalnya, pengguna di kantor perusahaan Anda), lihat Mengizinkan akses endpoint publik ke resource yang dilindungi dari luar perimeter Kontrol Layanan VPC untuk mengetahui petunjuk penyebaran.

Akses pribadi

Organisasi yang perlu membatasi akses publik ke Google API menjadi akses pribadi dapat menggunakan Kontrol Layanan VPC bersama dengan Private Service Connect untuk Google API (paket Kontrol Layanan VPC) atau Akses Google Pribadi. Saat di-deploy melalui jaringan hybrid dan dalam Google Cloud, kedua opsi memungkinkan akses pribadi ke Google API dari lokal. Namun, Private Service Connect untuk Google API juga menawarkan fleksibilitas dalam menentukan alamat IP kustom dan nama endpoint DNS.

Sebagai praktik terbaik, gunakan IP Virtual (VIP) terbatas dengan Private Service Connect untuk Google API atau Akses Google Pribadi guna menyediakan rute jaringan pribadi untuk permintaan ke layanan Google Cloud tanpa mengekspos permintaan ke internet. VIP terbatas mendukung semua API yang dapat dilindungi oleh Kontrol Layanan VPC yang memerlukan pertimbangan untuk jaringan VPC dan lokal. Berikut beberapa contohnya:

Mengontrol akses API melalui akses layanan pribadi

API Agent Platform berikut yang di-deploy dengan akses layanan pribadi memerlukan konfigurasi jaringan tambahan saat diterapkan di lingkungan yang dilindungi dengan Kontrol Layanan VPC:

  • Vector Search (kueri indeks)
  • Pelatihan kustom (bidang data)
  • Pipeline Platform Agen
  • Endpoint prediksi online pribadi

Misalnya, Agent Platform Pipelines adalah layanan yang dikelola Google (produsen), di-deploy dalam project dan jaringan VPC tenant tunggal dengan kemampuan untuk menskalakan layanan yang didukung berdasarkan persyaratan konsumen. Komunikasi antara jaringan produsen dan konsumen dilakukan dengan Peering Jaringan VPC, kecuali untuk keluar internet, yang dirutekan melalui jaringan produsen.

Di jaringan produsen, ada rute default yang memungkinkan traffic keluar internet, selain akses tidak terbatas ke Google API. Memperbarui jaringan produsen untuk mendukung VIP terbatas memerlukan pengaktifan Kontrol Layanan VPC untuk peering, yang melakukan tindakan berikut pada semua layanan yang didukung yang di-deploy di jaringan produsen Service Networking Anda:

  • Menghapus rute default IPv4 (tujuan 0.0.0.0/0, next hop gateway internet default).
  • Membuat zona pribadi yang dikelola Cloud DNS dan memberikan otorisasi zona tersebut untuk jaringan VPC produsen layanan. Zona ini mencakup googleapis.com, pkg.dev, gcr.io, dan nama host atau domain lain yang diperlukan untuk Google API dan layanan yang kompatibel dengan Kontrol Layanan VPC.
  • Data catatan di zona menyelesaikan semua nama host ke 199.36.153.4, 199.36.153.5, 199.36.153.6, dan 199.36.153.7.

Metode alternatif untuk menghapus rute default dari jaringan produsen tanpa memengaruhi layanan yang dikelola Google yang ada adalah dengan menggunakan VPN dengan ketersediaan tinggi (HA) melalui Cloud Interconnect yang terdiri dari langkah-langkah berikut:

  1. Deploy jaringan VPC layanan selain dengan HA VPN ke jaringan VPC konsumen.
  2. Deploy layanan terkelola Google di jaringan VPC layanan.
  3. Aktifkan Kontrol Layanan VPC untuk peering.
  4. Memberitahukan subnet akses layanan pribadi sebagai pemberitahuan rute kustom dari Cloud Router jika layanan terkelola memerlukan keterjangkauan lokal.
  5. Perbarui peering jaringan VPC Service Networking dengan opsi ekspor rute kustom.

Dukungan Kontrol Layanan VPC untuk pipeline penyesuaian AI Generatif

Dukungan Kontrol Layanan VPC disediakan dalam pipeline penyesuaian model berikut:

  • text-bison for PaLM 2
  • BERT
  • T5
  • Rangkaian model textembedding-gecko.

Menggunakan Kontrol Layanan VPC dengan Gemini Enterprise Agent Platform Pipelines

Perimeter layanan memblokir akses dari Agent Platform ke API dan layanan pihak ketiga di internet. Jika Anda menggunakan komponen PipelineGoogle Cloud atau membuat komponen pipeline kustom sendiri untuk digunakan dengan Pipeline Platform Agen, Anda tidak dapat menginstal dependensi PyPI dari registri Python Package Index (PyPI) publik. Sebagai gantinya, Anda harus melakukan salah satu hal berikut:

Menggunakan container kustom

Sebagai praktik terbaik software produksi, penulis komponen harus menggunakan komponen Python yang di-container dan membangun dependensi ke dalam image container mereka, sehingga tidak diperlukan penginstalan langsung selama menjalankan pipeline. Salah satu cara untuk melakukannya adalah sebagai berikut:

  1. Bangun image container Anda sendiri dengan Kubeflow Pipelines SDK dan paket lain yang sudah diinstal sebelumnya. Misalnya, Anda dapat menggunakan us-docker.pkg.dev/vertex-ai/training/tf-cpu.2-17:latest sebagai lapisan dasar image dan menambahkan lapisan ekstra untuk menginstal paket saat build container.

  2. Perbarui kode definisi komponen Anda untuk menyetel jalur base_image dan tanda install_kfp_package ke False. Flag ini menginstruksikan compiler KFP untuk tidak menyuntikkan perintah pip install kfp ke command line container, karena paket Kubeflow Pipelines SDK sudah diinstal dalam image. Contoh:

    @component(
    base_image='gcr.io/deeplearning-platform-release/tf-cpu.2-17',
    install_kfp_package=False,
)
def my_component(...):
    ...

Menginstal paket dari repositori Artifact Registry

Atau, Anda dapat membuat repositori Artifact Registry di project Anda, menyimpan paket Python di dalamnya, dan mengonfigurasi lingkungan Agent Platform untuk menginstal dari repositori tersebut seperti yang diuraikan di bagian ini. Untuk mengetahui informasi selengkapnya, lihat Mengelola paket Python.

Mengonfigurasi peran dan izin

  1. Akun layanan untuk lingkungan Agent Platform Anda harus memiliki peran iam.serviceAccountUser.
  2. Jika Anda menginstal paket PyPI kustom dari repositori di jaringan project Anda, dan repositori ini tidak memiliki alamat IP publik:
    1. Tetapkan izin untuk mengakses repositori ini ke akun layanan lingkungan.
    2. Pastikan konektivitas ke repositori ini dikonfigurasi di project Anda.

Membuat repositori

  1. Buat repositori Artifact Registry dalam mode VPC di project Anda.
  2. Simpan paket Python yang diperlukan di repositori.

Mengonfigurasi lingkungan Agent Platform untuk menginstal dari repositori

Untuk menginstal paket PyPI kustom dari satu atau beberapa repositori Artifact Registry, lakukan panggilan yang mirip dengan berikut ke @dsl.component:

@dsl.component(packages_to_install=["tensorflow"],
pip_index_urls=['https://us-central1-python.pkg.dev/mygcpproject1/pypi-repo1/simple', 'https://us-central1-python.pkg.dev/mygcpproject2/pypi-repo2/simple'],)
def hello_world(text: str) -> str:
    import my_package
    import tensorflow

    return my_package.hello_world(text)

Menggunakan Kontrol Layanan VPC dengan Antarmuka PSC

API Agent Platform berikut yang di-deploy dengan antarmuka koneksi layanan pribadi memerlukan konfigurasi jaringan tambahan saat diterapkan di lingkungan yang dilindungi dengan Kontrol Layanan VPC:

  • Pelatihan kustom (bidang data)
  • Pipeline Platform Agen
  • Endpoint inferensi online pribadi
  • Agent Runtime

Kemampuan layanan produsen Platform Agen untuk mengakses internet publik bergantung pada konfigurasi keamanan project Anda, khususnya apakah Anda menggunakan Kontrol Layanan VPC atau tidak:

  • Tanpa Kontrol Layanan VPC: Tenant yang dikelola Google yang menghosting Agent Platform mempertahankan akses internet default-nya. Traffic keluar ini keluar langsung dari lingkungan terkelola Google yang aman tempat layanan produser Anda berjalan. Pengecualian untuk perilaku ini adalah Agent Runtime, yang tidak menyediakan keluar internet. Sebagai gantinya, Anda harus men-deploy VM proxy dengan alamat RFC 1918 untuk keluar dari internet.

  • Dengan Kontrol Layanan VPC: Jika project Anda berada dalam perimeter Kontrol Layanan VPC (VPC-SC), akses internet default lingkungan yang dikelola Google yang menghosting Platform Agen akan diblokir. Pembatasan ini adalah langkah keamanan yang dirancang untuk mencegah pemindahan data yang tidak sah. Untuk mengizinkan Agent Platform mengakses internet publik dalam skenario ini, Anda harus mengonfigurasi jalur keluar yang aman secara eksplisit yang merutekan traffic melalui jaringan VPC Anda.

Metode yang direkomendasikan meliputi:

  1. Men-deploy server proxy di dalam perimeter VPC Anda dalam subnet RFC 1918.
  2. Membuat gateway Cloud NAT untuk memungkinkan VM proxy menjangkau internet.
  3. Menentukan server proxy (alamat IP atau FQDN) di lingkungan runtime Anda.

Tidak ada proxy jaringan yang ditentukan atau disukai untuk tugas ini. Anda dapat menggunakan solusi yang sesuai. Contohnya mencakup: Squid proxy, HAProxy, Envoy, dan TinyProxy.

Pembuatan perimeter layanan

Untuk mengetahui ringkasan cara membuat perimeter layanan, lihat Membuat perimeter layanan dalam dokumentasi Kontrol Layanan VPC.

Menambahkan layanan terbatas ke perimeter Anda

Saat membuat perimeter layanan, sebaiknya sertakan semua layanan yang dibatasi sebagai praktik terbaik keamanan. Pendekatan yang komprehensif ini membantu meminimalkan potensi kerentanan dan akses tidak sah. Namun, mungkin ada skenario saat organisasi Anda memiliki persyaratan khusus yang berfokus pada pengamanan Gemini Enterprise Agent Platform dan API yang saling terhubung. Dalam kasus seperti itu, Anda memiliki fleksibilitas untuk memilih dan menyertakan hanya API Agent Platform tertentu yang penting untuk operasi Anda.

API Agent Platform yang dapat Anda masukkan ke perimeter layanan Anda mencakup:

  • Gemini Enterprise Agent Platform mendukung layanan dan fitur berikut:
    • Inferensi batch
    • Set data
    • Agent Platform Feature Store (penyajian online Bigtable)
    • Agent Platform Feature Store (penyaluran online yang dioptimalkan) (Tidak digunakan lagi)
    • AI Generatif di Gemini Enterprise Agent Platform (Gemini)
    • Model Registry
    • Inferensi online
    • Penyesuaian model terbuka
    • Vector Search (pembuatan indeks)
    • Vector Search (kueri indeks)
    • Pelatihan kustom (bidang kontrol)
    • Pelatihan kustom (bidang data)
    • Pipeline Platform Agen
    • Endpoint inferensi online pribadi
    • Colab Enterprise
    • Agent Runtime
    • Cluster pelatihan terkelola
  • Notebooks API mendukung layanan berikut:
    • Gemini Enterprise Agent Platform Workbench

Batasan

Batasan berikut berlaku saat Anda menggunakan Kontrol Layanan VPC:

  • Pengambilan langsung konteks URL dinonaktifkan untuk project VPC-SC sehingga pemindahan data yang tidak sah diblokir.
  • Untuk pelabelan data, Anda harus menambahkan alamat IP pemberi label ke tingkat akses.
  • Untuk Komponen Pipeline Google Cloud , komponen meluncurkan container yang memeriksa semua persyaratan image dasarnya. Paket KFP, serta paket apa pun yang tercantum dalam argumen packages_to_install adalah persyaratan untuk container. Jika persyaratan yang ditentukan belum ada dalam image dasar (baik yang disediakan maupun kustom), komponen akan mencoba mendownloadnya dari Python Package Index (PyPI). Karena perimeter layanan memblokir akses dari Gemini Enterprise Agent Platform ke API dan layanan pihak ketiga di internet, download gagal dengan Connection to pypi.org timed out. Untuk mengetahui cara menghindari error ini, lihat Menggunakan Kontrol Layanan VPC dengan Pipeline Platform Agen.
  • Saat menggunakan Kontrol Layanan VPC dengan kernel kustom di Agent Platform Workbench, Anda harus mengonfigurasi peering DNS untuk mengirim permintaan *.notebooks.googleusercontent.com ke subnet 199.36.153.8/30 (private.googleapis.com), bukan 199.36.153.4/30 (restricted.googleapis.com).
  • Saat menggunakan Kontrol Layanan VPC dengan Inferensi Platform Agen Gemini Enterprise, endpoint harus dibuat setelah project ditambahkan ke perimeter layanan. Jika endpoint dibuat dalam project yang bukan bagian dari perimeter layanan, dan setelah itu project tersebut ditambahkan ke perimeter layanan, maka upaya untuk men-deploy model ke endpoint tersebut akan gagal. Jika endpoint adalah endpoint publik bersama, maka mengirim permintaan ke endpoint juga akan gagal. Demikian pula, upaya untuk men-deploy model ke endpoint akan gagal jika endpoint dibuat dalam project yang merupakan bagian dari perimeter layanan, dan setelah itu project dihapus.
  • Saat menggunakan Kontrol Layanan VPC dengan Agent Runtime, project harus menjadi bagian dari perimeter layanan sebelum Anda men-deploy agen. Jika agen di-deploy sebelum project ditambahkan ke perimeter, agen tidak akan diamankan oleh Kontrol Layanan VPC dan akan terus memiliki akses ke internet publik.
  • Deployment publik sekali klik Model Garden (endpoint khusus) tidak didukung dalam lingkungan VPC-SC. Sebagai gantinya, gunakan endpoint pribadi yang mendukung Kontrol Layanan VPC. Untuk mengetahui informasi selengkapnya, lihat Men-deploy model ke endpoint pribadi.
  • Logging permintaan dan respons tidak tersedia dengan Kontrol Layanan VPC.

Langkah berikutnya