Databricks Unity Catalog용 크로스 클라우드 Lakehouse 설정

내부 리전 프록시 네트워크 부하 분산기

고가용성 및 부하 분산을 위해 여러 AWS ENI에 요청을 분산하도록 내부 리전 프록시 네트워크 부하 분산기를 구성하려면 다음 단계를 따르세요.

AWS 네트워킹 구성

먼저 Amazon S3 VPC 인터페이스 엔드포인트 (AWS PrivateLink)를 만듭니다.

1. AWS VPC 콘솔에서 Amazon S3의 인터페이스 엔드포인트를 만듭니다.
2. 서비스 이름으로 com.amazonaws.<var>AWS_REGION</var>.s3를 지정합니다.
3. Direct Connect를 통해 Google Cloud VPC에 연결된 VPC 및 서브넷을 선택합니다.
4. 인바운드 액세스를 제어하기 위해 엔드포인트에 보안 그룹을 연결합니다.
5. 이렇게 하면 선택한 각 서브넷에 탄력적 네트워크 인터페이스 (ENI)가 프로비저닝됩니다. 이러한 ENI의 비공개 IP 주소를 확인합니다.

다음으로 보안 그룹을 구성합니다.

• Amazon S3 엔드포인트 ENI에 연결된 보안 그룹이 Google Cloud VPC의 관련 IP 범위에서 포트 443의 인바운드 TCP 트래픽을 허용하는지 확인합니다.

네트워킹 Google Cloud 구성

안내에 따라 하이브리드 엔드포인트용 내부 리전 프록시 네트워크 부하 분산기를 설정합니다.

안내를 따를 때는 다음 사항을 확인하세요.

• 하이브리드 연결 NEG (NON_GCP_PRIVATE_IP_PORT)를 만들고 이전에 만든 AWS ENI의 비공개 IP 주소를 추가합니다.
• NEG, 상태 점검, 전달 규칙에 TCP 포트 443를 사용합니다.
• 연합 카탈로그와 동일한 Google Cloud 리전에 부하 분산기를 설정합니다.

부하 분산기의 전달 규칙을 만든 후 부하 분산기에 할당된 내부 IP 주소를 확인합니다. ILB_IP_ADDRESS입니다.

서비스 디렉터리 구성

Lakehouse가 검색할 수 있도록 서비스 디렉터리에 ILB의 IP 주소를 등록합니다.

1. 원격 클라우드의 네임스페이스를 만듭니다.

   gcloud service-directory namespaces create NAMESPACE \
       --project=PROJECT_ID \
       --location=REGION

   다음을 바꿉니다.

   • NAMESPACE: 네임스페이스의 고유 식별자입니다.
   • PROJECT_ID: Google Cloud 프로젝트 ID입니다.
   • REGION: Google Cloud 리전입니다. 예를 들면 us-east4입니다. 이 리전은 제휴 카탈로그와 동일한 리전이어야 합니다.

2. 서비스 디렉터리 네임스페이스에서 서비스를 만듭니다.

   gcloud service-directory services create SERVICE_NAME \
       --namespace=NAMESPACE \
       --project=PROJECT_ID \
       --location=REGION

   다음을 바꿉니다.

   • SERVICE_NAME: 서비스의 고유 식별자입니다.

3. 서비스에서 ILB의 엔드포인트를 만듭니다.

   gcloud service-directory endpoints create ENDPOINT_NAME \
       --project=PROJECT_ID \
       --namespace=NAMESPACE \
       --service=SERVICE_NAME \
       --location=REGION \
       --network=projects/PROJECT_NUMBER/global/networks/VPC_NETWORK \
       --address=ILB_IP_ADDRESS \
       --port=443

   다음을 바꿉니다.

   • ENDPOINT_NAME: 엔드포인트의 고유 식별자입니다.
   • PROJECT_NUMBER: Google Cloud프로젝트 번호 --network 플래그에 프로젝트 번호를 사용합니다.
   • ILB_IP_ADDRESS: ILB 전달 규칙의 내부 IP 주소입니다.

직접 엔드포인트

트래픽을 단일 AWS 인터페이스 VPC 엔드포인트 IP 주소로 직접 라우팅하도록 서비스 디렉터리를 구성하려면 다음 단계를 따르세요.

1. AWS VPC 내에서 Amazon S3용 인터페이스 VPC 엔드포인트를 만듭니다. 이 엔드포인트의 IP 주소와 포트를 기록해 둡니다.

2. 원격 클라우드의 네임스페이스를 만듭니다.

   gcloud service-directory namespaces create NAMESPACE \
       --project=PROJECT_ID \
       --location=REGION

   다음을 바꿉니다.

   • NAMESPACE: 네임스페이스의 고유 식별자입니다.
   • PROJECT_ID: Google Cloud 프로젝트 ID입니다.
   • REGION: Google Cloud 리전입니다. 예를 들면 us-east4입니다. 이 리전은 제휴 카탈로그와 동일한 리전이어야 합니다.

3. 서비스 디렉터리 네임스페이스에서 서비스를 만듭니다.

   gcloud service-directory services create SERVICE_NAME \
       --namespace=NAMESPACE \
       --project=PROJECT_ID \
       --location=REGION

   다음을 바꿉니다.

   • SERVICE_NAME: 서비스의 고유 식별자입니다.

4. Amazon S3 인터페이스 VPC 엔드포인트의 라우팅 정보가 포함된 서비스에 엔드포인트를 만듭니다.

   gcloud service-directory endpoints create ENDPOINT_NAME \
       --service=SERVICE_NAME \
       --namespace=NAMESPACE \
       --project=PROJECT_ID \
       --location=REGION \
       --address=S3_VPCE_IP_ADDRESS \
       --port=S3_VPCE_PORT \
       --network=projects/PROJECT_NUMBER/global/networks/VPC_NETWORK

   다음을 바꿉니다.

   • ENDPOINT_NAME: 엔드포인트의 고유 식별자입니다.
   • S3_VPCE_IP_ADDRESS: Amazon S3 인터페이스 VPC 엔드포인트의 IP 주소입니다. 예를 들면 10.0.1.45입니다.
   • S3_VPCE_PORT: Amazon S3 인터페이스 VPC 엔드포인트의 포트 번호입니다. 예를 들면 443입니다.
   • PROJECT_NUMBER: Google Cloud프로젝트 번호 --network 플래그에 프로젝트 번호를 사용합니다.
   • VPC_NETWORK: 비공개 인터커넥트와 연결된 Google Cloud VPC 네트워크 이름입니다.

옵션 A: OIDC

OpenID Connect (OIDC)를 사용하면 레이크하우스와 Databricks 간에 신뢰 관계를 설정하여 비밀번호 없는 인증이 가능합니다.

1. 타겟 Unity Catalog 카탈로그에 대한 읽기 액세스 권한이 있는 서비스 주체를 Databricks 계정에 만듭니다.
2. 서비스 주 구성원의 애플리케이션 ID (UUID)를 가져옵니다. 다음 단계에서 필요합니다.

옵션 B: 비밀 기반

이 옵션은 지역 Secret Manager 보안 비밀을 사용하여 안전하게 저장된 OAuth 클라이언트 ID 및 클라이언트 보안 비밀번호를 사용합니다.

1. 페이로드가 포함된 credentials.json이라는 JSON 파일을 만듭니다.

   {
   "client_id": "CLIENT_ID",
   "client_secret": "CLIENT_SECRET"
   }

   다음을 바꿉니다.

   • CLIENT_ID: Databricks 서비스 주체의 OAuth 클라이언트 ID입니다.
   • CLIENT_SECRET: Databricks 서비스 주체의 OAuth 클라이언트 보안 비밀번호입니다.

2. Secret Manager의 리전 엔드포인트를 구성합니다.

   기본적으로 Secret Manager는 전역 엔드포인트를 사용합니다. 하지만 크로스 클라우드 Lakehouse를 사용하려면 비밀이 Lakehouse 카탈로그와 동일한 리전에 저장되어야 합니다. gcloud CLI를 사용하여 리전별 보안 비밀과 상호작용하려면 현재 세션 또는 프로필의 기본 API 엔드포인트를 재정의해야 합니다. 연결 문제를 방지하려면 비밀과 카탈로그를 동일한 리전에서 만들어야 합니다. 예를 들면 secretmanager.us-east4.rep.googleapis.com입니다.

   gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/

   다음을 바꿉니다.

   • REGION: Secret Manager 보안 비밀이 저장된 Google Cloud 리전입니다. 예를 들면 us-east4입니다. 연결 문제를 방지하려면 보안 비밀과 카탈로그를 동일한 리전에서 만들어야 합니다. 예를 들면 secretmanager.us-east4.rep.googleapis.com입니다.

3. 페이로드를 Secret Manager에 업로드합니다.

   gcloud secrets create DATABRICKS_SECRET_NAME \
   --location="REGION" \
   --project="PROJECT_ID" \
   --data-file=credentials.json

   다음을 바꿉니다.

   • DATABRICKS_SECRET_NAME: Databricks 보안 비밀의 이름입니다.

콘솔

보안 비밀 기반 인증을 사용하여 제휴 카탈로그를 만들려면 다음 단계를 따르세요.

1. Google Cloud 콘솔에서 Lakehouse로 이동합니다.

   레이크하우스로 이동

2. add_box 카탈로그 만들기를 클릭합니다.

3. 제휴 카탈로그를 클릭합니다.

   카탈로그 구성 세부정보가 표시됩니다.

4. 제휴 카탈로그 소스에서 Unity (Databricks)를 선택합니다.

5. 데이터 위치에서 페더레이션 카탈로그를 만들 Lakehouse 리전을 선택합니다. 예를 들면 us-east4입니다. 지연 시간 (공용 인터넷을 통한 경우에도)을 최소화하려면 리전을 선택할 때 다음 단계를 따르세요.

   • Unity Catalog 카탈로그가 AWS에 있는 경우 AWS 리전에 가장 가까운Google Cloud 리전을 선택합니다.
   • Unity Catalog 카탈로그가 Google Cloud에 있는 경우 정확히 동일한 리전을 선택합니다.

6. 계속을 클릭합니다.

   연결 세부정보가 표시됩니다.

7. 원격 카탈로그 세부정보 섹션의 Unity 인스턴스 이름 필드에 타겟 Databricks 인스턴스 이름을 입력합니다. 예를 들면 abcd.cloud.databricks.com입니다.

8. Unity Catalog 이름 필드에 제휴할 타겟 Databricks Unity Catalog 카탈로그의 이름을 입력합니다.

9. 인증 및 네트워크 섹션의 보안 비밀 필드에 Databricks 보안 비밀의 이름을 입력합니다. 다음 형식을 사용합니다. projects/PROJECT_ID/locations/REGION/secrets/DATABRICKS_SECRET_NAME

10. 선택사항: 서비스 디렉터리 이름 필드에 서비스 디렉터리 서비스의 경로를 입력합니다. 예를 들면 projects/PROJECT_ID/locations/REGION/namespaces/NAMESPACE/services/SERVICE_NAME입니다. Cross-Cloud Interconnect를 구성하는 경우에만 필요합니다.

11. 만들기를 클릭합니다.

gcloud CLI

gcloud biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="unity" \
    --unity-service-principal-application-id="UNITY_SERVICE_PRINCIPAL_APPLICATION_ID" \
    --unity-instance-name="UNITY_INSTANCE_NAME" \
    --unity-catalog-name="UNITY_CATALOG_NAME" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS"

gcloud biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="unity" \
    --unity-service-principal-application-id="UNITY_SERVICE_PRINCIPAL_APPLICATION_ID" \
    --unity-instance-name="UNITY_INSTANCE_NAME" \
    --unity-catalog-name="UNITY_CATALOG_NAME" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS" \
    --service-directory-name="projects/PROJECT_ID/locations/REGION/namespaces/NAMESPACE/services/SERVICE_NAME"

gcloud biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="unity" \
    --secret-name="projects/PROJECT_ID/locations/REGION/secrets/DATABRICKS_SECRET_NAME" \
    --unity-instance-name="UNITY_INSTANCE_NAME" \
    --unity-catalog-name="UNITY_CATALOG_NAME" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS"

gcloud biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="unity" \
    --secret-name="projects/PROJECT_ID/locations/REGION/secrets/DATABRICKS_SECRET_NAME" \
    --unity-instance-name="UNITY_INSTANCE_NAME" \
    --unity-catalog-name="UNITY_CATALOG_NAME" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS" \
    --service-directory-name="projects/PROJECT_ID/locations/REGION/namespaces/NAMESPACE/services/SERVICE_NAME"

옵션 A: OIDC

카탈로그가 생성되면 Lakehouse에서 카탈로그에 고유한 서비스 계정을 프로비저닝합니다. 서비스 계정의 숫자 고유 ID를 가져와 Databricks에서 이를 사용하여 제휴 정책을 구성해야 합니다.

1. Lakehouse 카탈로그 서비스 계정의 숫자 고유 ID를 가져옵니다.

   gcloud biglake iceberg catalogs describe FEDERATED_CATALOG_NAME 
   
     --project="PROJECT_ID" 
   
     --location="REGION" 
   
     --format='value(biglake-service-account-id)'

2. Databricks 계정에서 이전에 만든 서비스 주체의 연합 정책을 구성합니다. 다음 값을 사용합니다.

   • 발급기관 URL: https://accounts.google.com
   • 주체: 이전 단계에서 검색한 Lakehouse 카탈로그 서비스 계정의 숫자 고유 ID입니다.
   • 대상: https://accounts.cloud.databricks.com

   Databricks 서비스 주체에 대상 카탈로그 및 워크스페이스에 대한 읽기 액세스 권한이 있는지 확인합니다.

옵션 B: 비밀 기반

카탈로그가 생성되면 Lakehouse에서 카탈로그의 고유한 서비스 계정을 프로비저닝합니다 (리소스 설명에서 biglake-service-account로 반환됨).

이 튜토리얼의 앞부분에서 만든 보안 비밀에 액세스할 수 있는 권한을 이 서비스 계정에 부여해야 합니다. IAM 정책이 전파되는 데 몇 분 정도 걸릴 수 있습니다.

카탈로그의 서비스 계정에 보안 비밀에 액세스할 수 있는 권한을 부여합니다.

# Required to use regional secrets
gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/
gcloud secrets add-iam-policy-binding DATABRICKS_SECRET_NAME \
--project="PROJECT_ID" \
--location="REGION" \
--member="serviceAccount:$(gcloud biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --location="REGION" \
    --format='value(biglake-service-account)')" \
--role="roles/secretmanager.secretAccessor"

연합 카탈로그 서비스 계정에 보안 비밀에 대한 액세스 권한이 있는지 확인하려면 다음 명령어를 실행합니다.

# Required to use regional secrets
gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/
gcloud secrets get-iam-policy DATABRICKS_SECRET_NAME \
   --project="PROJECT_ID" \
   --location="REGION"

출력에서 biglake-service-account 서비스 계정에 roles/secretmanager.secretAccessor 역할이 할당되어 있는지 확인합니다.