הגדרת Lakehouse חוצה עננים ל-Databricks Unity Catalog

מאזן עומסי רשת פנימי אזורי בשרת proxy

כדי להגדיר מאזן עומסי רשת פנימי אזורי של proxy לחלוקת בקשות בין כמה ממשקי רשת של AWS לשיפור הזמינות הגבוהה ואיזון העומסים, פועלים לפי השלבים הבאים:

הגדרת רשתות ב-AWS

קודם יוצרים נקודת קצה של ממשק Amazon S3 VPC ‏ (AWS PrivateLink):

1. במסוף AWS VPC, יוצרים נקודת קצה של ממשק עבור Amazon S3.
2. בשם השירות, מציינים com.amazonaws.<var>AWS_REGION</var>.s3.
3. בוחרים את ה-VPC ואת רשתות המשנה שמחוברים דרך Direct Connect ל-VPC שלכם ב- Google Cloud Google Cloud.
4. מצרפים קבוצות אבטחה לנקודת הקצה כדי לשלוט בגישה הנכנסת.
5. הפעולה הזו מקצה ממשקים של AWS Elastic Network Interface (ENI) לכל רשת משנה שנבחרה. שימו לב לכתובות ה-IP הפרטיות של ממשקי הרשת האלה.

עכשיו מגדירים קבוצות אבטחה:

• מוודאים שקבוצת האבטחה או קבוצות האבטחה שמצורפות לנקודת הקצה של Amazon S3 ENI מאפשרות תעבורת TCP נכנסת ביציאה 443מטווחים רלוונטיים של כתובות ה-IP של ה-VPC Google Cloud .

הגדרה של Google Cloud רשתות

פועלים לפי ההוראות כדי להגדיר מאזן עומסי רשת אזורי פנימי עבור נקודות קצה היברידיות.

כשפועלים לפי ההוראות, חשוב להקפיד על הדברים הבאים:

• יוצרים NEGs של קישוריות היברידית (NON_GCP_PRIVATE_IP_PORT) ומוסיפים את כתובות ה-IP הפרטיות של ממשקי הרשת הווירטואליים (ENI) ב-AWS שיצרתם קודם.
• משתמשים ביציאת TCP‏ 443 עבור קבוצות ה-NEG, בדיקת התקינות וכלל ההעברה.
• מגדירים את מאזן העומסים באותו Google Cloud אזור שבו נמצא הקטלוג המאוחד.

אחרי שיוצרים את כלל ההעברה למאזן העומסים, רושמים את כתובת ה-IP הפנימית שהוקצתה לו. זה ILB_IP_ADDRESS שלך.

הגדרת Service Directory

רושמים את כתובת ה-IP של ILB בספריית השירותים, כדי ש-Lakehouse יוכל לגלות אותה.

1. יוצרים מרחב שמות לענן המרוחק:

   gcloud service-directory namespaces create NAMESPACE \
       --project=PROJECT_ID \
       --location=REGION

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫NAMESPACE: מזהה ייחודי של מרחב השמות.
   • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
   • ‫REGION: Google Cloud האזור. לדוגמה, us-east4. האזור הזה צריך להיות זהה לאזור של הקטלוג המאוחד.

2. יוצרים שירות במרחב השמות של Service Directory:

   gcloud service-directory services create SERVICE_NAME \
       --namespace=NAMESPACE \
       --project=PROJECT_ID \
       --location=REGION

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫SERVICE_NAME: מזהה ייחודי של השירות.

3. יוצרים נקודת קצה עבור איזון העומסים הפנימי בשירות:

   gcloud service-directory endpoints create ENDPOINT_NAME \
       --project=PROJECT_ID \
       --namespace=NAMESPACE \
       --service=SERVICE_NAME \
       --location=REGION \
       --network=projects/PROJECT_NUMBER/global/networks/VPC_NETWORK \
       --address=ILB_IP_ADDRESS \
       --port=443

   מחליפים את מה שכתוב בשדות הבאים:

   • ENDPOINT_NAME: מזהה ייחודי של נקודת הקצה.
   • ‫PROJECT_NUMBER: מספר הפרויקט ב- Google Cloud. משתמשים במספר הפרויקט בדגל --network.
   • ‫ILB_IP_ADDRESS: כתובת ה-IP הפנימית של כלל ההעברה של איזון העומסים הפנימי.

נקודת קצה ישירה

כדי להגדיר את Service Directory להעברת תנועה ישירות לכתובת IP אחת של נקודת קצה של ממשק VPC ב-AWS, צריך לבצע את השלבים הבאים:

1. יוצרים נקודת קצה של ממשק VPC עבור Amazon S3 בתוך ה-VPC של AWS. מציינים את כתובת ה-IP והיציאה של נקודת הקצה הזו.

2. יוצרים מרחב שמות לענן המרוחק:

   gcloud service-directory namespaces create NAMESPACE \
       --project=PROJECT_ID \
       --location=REGION

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫NAMESPACE: מזהה ייחודי של מרחב השמות.
   • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
   • ‫REGION: Google Cloud האזור. לדוגמה, us-east4. האזור הזה צריך להיות זהה לאזור של הקטלוג המאוחד.

3. יוצרים שירות במרחב השמות של Service Directory:

   gcloud service-directory services create SERVICE_NAME \
       --namespace=NAMESPACE \
       --project=PROJECT_ID \
       --location=REGION

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫SERVICE_NAME: מזהה ייחודי של השירות.

4. יוצרים נקודת קצה בשירות שמכילה את פרטי הניתוב של נקודת הקצה של ממשק ה-VPC של Amazon S3:

   gcloud service-directory endpoints create ENDPOINT_NAME \
       --service=SERVICE_NAME \
       --namespace=NAMESPACE \
       --project=PROJECT_ID \
       --location=REGION \
       --address=S3_VPCE_IP_ADDRESS \
       --port=S3_VPCE_PORT \
       --network=projects/PROJECT_NUMBER/global/networks/VPC_NETWORK

   מחליפים את מה שכתוב בשדות הבאים:

   • ENDPOINT_NAME: מזהה ייחודי של נקודת הקצה.
   • ‫S3_VPCE_IP_ADDRESS: כתובת ה-IP של נקודת הקצה של ממשק ה-VPC של Amazon S3. לדוגמה, 10.0.1.45.
   • ‫S3_VPCE_PORT: מספר היציאה של נקודת הקצה של ממשק ה-VPC של Amazon S3. לדוגמה, 443.
   • ‫PROJECT_NUMBER: מספר הפרויקט ב- Google Cloud. משתמשים במספר הפרויקט בדגל --network.
   • ‫VPC_NETWORK: השם של רשת ה-VPC שמשויכת לחיבור הפרטי שלכם. Google Cloud

OIDC

‫OpenID Connect‏ (OIDC) מאפשר אימות ללא סודות על ידי יצירת יחסי אמון בין Lakehouse לבין Databricks.

1. יוצרים חשבון ראשי לשירות בחשבון Databricks עם גישת קריאה לקטלוג היעד של Unity Catalog.
2. מקבלים את מזהה האפליקציה (UUID) של נציג השירות. תצטרכו את זה בשלב הבא.

מבוסס על סוד

באפשרות הזו נעשה שימוש במזהה לקוח ובסוד לקוח ב-OAuth, שמאוחסנים בצורה מאובטחת באמצעות סודות אזוריים של Secret Manager.

1. יוצרים קובץ JSON בשם credentials.json עם המטען הייעודי (payload):

   {
   "client_id": "CLIENT_ID",
   "client_secret": "CLIENT_SECRET"
   }

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫CLIENT_ID: מזהה הלקוח של OAuth עבור נציג השירות של Databricks.
   • ‫CLIENT_SECRET: הסוד של לקוח OAuth עבור מנהל השירות של Databricks.

2. מגדירים את נקודת הקצה האזורית של Secret Manager:

   כברירת מחדל, Secret Manager משתמש בנקודת קצה גלובלית. עם זאת, כדי להשתמש ב-Lakehouse חוצה עננים, הסודות צריכים להיות מאוחסנים באותו אזור שבו נמצא קטלוג ה-Lakehouse. כדי ליצור אינטראקציה עם סודות אזוריים באמצעות gcloud CLI, צריך לבטל את נקודת הקצה של API שמוגדרת כברירת מחדל עבור הפרופיל או הסשן הנוכחיים. כדי למנוע בעיות בקישוריות, הסוד והקטלוג צריכים להיווצר באותו אזור. לדוגמה, secretmanager.us-east4.rep.googleapis.com.

   gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫REGION: האזור שבו מאוחסן הסוד שלכם ב-Secret Manager. Google Cloud לדוגמה, us-east4. כדי למנוע בעיות בקישוריות, צריך ליצור את הסוד ואת הקטלוג באותו אזור. לדוגמה, secretmanager.us-east4.rep.googleapis.com.

3. מעלים את המטען הייעודי אל Secret Manager:

   gcloud secrets create DATABRICKS_SECRET_NAME \
   --location="REGION" \
   --project="PROJECT_ID" \
   --data-file=credentials.json

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫DATABRICKS_SECRET_NAME: שם לסוד שלכם ב-Databricks.

המסוף

כדי ליצור קטלוג מאוחד באמצעות אימות שמבוסס על סוד:

1. במסוף Google Cloud , עוברים אל Lakehouse.

   מעבר אל Lakehouse

2. לוחצים על add_box Create catalog (יצירת קטלוג).

3. לוחצים על קטלוג מאוחד.

   יופיעו הפרטים של הגדרת הקטלוג.

4. בשדה מקור קטלוג מאוחד, בוחרים באפשרות Unity (Databricks).

5. בשדה Data location, בוחרים את האזור של Lakehouse שבו רוצים ליצור את הקטלוג המאוחד. לדוגמה, us-east4. כדי לצמצם את זמן האחזור (גם באינטרנט ציבורי), צריך לבצע את הפעולות הבאות כשבוחרים אזור:

   • אם קטלוג Unity Catalog שלכם נמצא ב-AWS, בוחרים אתGoogle Cloud האזור הכי קרוב לאזור AWS שלכם.
   • אם הקטלוג שלכם ב-Unity Catalog נמצא במיקום Google Cloud, צריך לבחור את אותו אזור בדיוק.

6. לוחצים על Continue.

   יוצגו הפרטים של פרטי החיבור.

7. בקטע פרטים של קטלוג מרוחק, בשדה שם מופע Unity, מזינים את שם מופע Databricks של היעד. לדוגמה: abcd.cloud.databricks.com.

8. בשדה Unity catalog name, מזינים את השם של קטלוג היעד Databricks Unity Catalog שרוצים לבצע פדרציה אליו.

9. בקטע אימות ורשת, בשדה סוד, מזינים את השם של הסוד ב-Databricks. משתמשים בפורמט הבא: projects/PROJECT_ID/locations/REGION/secrets/DATABRICKS_SECRET_NAME.

10. אופציונלי: בשדה שם ספריית השירות, מזינים את הנתיב לשירות Service Directory. לדוגמה: projects/PROJECT_ID/locations/REGION/namespaces/NAMESPACE/services/SERVICE_NAME. השדה הזה נדרש רק אם מגדירים חיבור Cross-Cloud Interconnect.

11. לוחצים על יצירה.

‫CLI של gcloud

gcloud biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="unity" \
    --unity-service-principal-application-id="UNITY_SERVICE_PRINCIPAL_APPLICATION_ID" \
    --unity-instance-name="UNITY_INSTANCE_NAME" \
    --unity-catalog-name="UNITY_CATALOG_NAME" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS"

gcloud biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="unity" \
    --unity-service-principal-application-id="UNITY_SERVICE_PRINCIPAL_APPLICATION_ID" \
    --unity-instance-name="UNITY_INSTANCE_NAME" \
    --unity-catalog-name="UNITY_CATALOG_NAME" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS" \
    --service-directory-name="projects/PROJECT_ID/locations/REGION/namespaces/NAMESPACE/services/SERVICE_NAME"

gcloud biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="unity" \
    --secret-name="projects/PROJECT_ID/locations/REGION/secrets/DATABRICKS_SECRET_NAME" \
    --unity-instance-name="UNITY_INSTANCE_NAME" \
    --unity-catalog-name="UNITY_CATALOG_NAME" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS"

gcloud biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="unity" \
    --secret-name="projects/PROJECT_ID/locations/REGION/secrets/DATABRICKS_SECRET_NAME" \
    --unity-instance-name="UNITY_INSTANCE_NAME" \
    --unity-catalog-name="UNITY_CATALOG_NAME" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS" \
    --service-directory-name="projects/PROJECT_ID/locations/REGION/namespaces/NAMESPACE/services/SERVICE_NAME"

OIDC

כשיוצרים קטלוג, Lakehouse מקצה לו חשבון שירות ייחודי. צריך לאחזר את המזהה המספרי הייחודי של חשבון השירות ולהשתמש בו כדי להגדיר מדיניות איחוד ב-Databricks.

1. מאחזרים את המזהה המספרי הייחודי של חשבון השירות של קטלוג Lakehouse:

   gcloud biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
     --project="PROJECT_ID" \
     --location="REGION" \
     --format='value(biglake-service-account-id)'

2. בחשבון Databricks, מגדירים מדיניות פדרציה עבור נציג השירות שיצרתם קודם. משתמשים בערכים הבאים:

   • Issuer URL: https://accounts.google.com
   • נושא: המזהה המספרי הייחודי של חשבון השירות של קטלוג Lakehouse שאוחזר בשלב הקודם.
   • קהל: https://accounts.cloud.databricks.com

   מוודאים שלחשבון השירות של Databricks יש הרשאת קריאה לקטלוג היעד ולסביבת העבודה.

מבוסס על סוד

כשיוצרים קטלוג, Lakehouse מקצה לו חשבון שירות ייחודי (מוחזר כ-biglake-service-account בתיאור המשאב).

צריך לתת לחשבון השירות הזה הרשאה לגשת לסוד שיצרתם קודם במדריך הזה. שימו לב שנדרשות כמה דקות להפצת מדיניות IAM.

מעניקים לחשבון השירות של הקטלוג הרשאה לגשת לסוד.

gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/
gcloud secrets add-iam-policy-binding DATABRICKS_SECRET_NAME \
--project="PROJECT_ID" \
--location="REGION" \
--member="serviceAccount:$(gcloud biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --location="REGION" \
    --format='value(biglake-service-account)')" \
--role="roles/secretmanager.secretAccessor"

כדי לוודא שלחשבון השירות של קטלוג מאוחד יש גישה לסוד, מריצים את הפקודה הבאה:

gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/
gcloud secrets get-iam-policy DATABRICKS_SECRET_NAME \
   --project="PROJECT_ID" \
   --location="REGION"

בפלט, מוודאים שלחשבון השירות biglake-service-account מוקצה התפקיד roles/secretmanager.secretAccessor.