레이크하우스 런타임 카탈로그 의 리전 간 복제 및 재해 복구는 리전 서비스 중단으로부터 보호합니다. Lakehouse for Apache Iceberg의 일부인 이 기능을 사용하면 Apache Iceberg REST 카탈로그 엔드포인트를 사용하는 테이블의 장애 조치를 사용 설정할 수 있습니다.
장애 조치를 관리할 때 계획된 테스트를 위한 소프트 장애 조치 또는 서비스를 빠르게 복원하기 위한 하드 장애 조치 중에서 선택할 수 있습니다.
작동 방식
레이크하우스 런타임 카탈로그는 카탈로그 메타데이터의 기본 및 보조 리전을 자동으로 선택합니다. 기본 리전은 모든 테이블 커밋 메타데이터를 처리한 후 백업을 위해 보조 리전으로 복제합니다.
언제든지, 특히 재해 발생 시 장애 조치 작업을 사용하여 카탈로그의 기본 및 보조 리전을 전환할 수 있습니다. 이 작업은 카탈로그의 기본 리전과 포함된 모든 네임스페이스 및 테이블을 전환합니다.
리전 간 복제
리전 간 복제에는 데이터 복제와 메타스토어 복제라는 두 가지 주요 구성요소가 포함됩니다. 재해 복구 기능은 리전 간 복제를 기반으로 장애 조치를 사용 설정합니다.
데이터 복제: 이중 리전 또는 멀티 리전 버킷을 사용하면 Cloud Storage가 여러 리전에 카탈로그 데이터를 자동으로 복제합니다. 리전 서비스 중단이 발생해도 스토리지 경로를 변경하지 않고 데이터에 계속 액세스할 수 있습니다.
메타스토어 복제: Iceberg REST 카탈로그 엔드포인트의 경우 이중 리전 (또는 커스텀 이중 리전) 버킷을 사용하면 레이크하우스 런타임 카탈로그가 메타스토어를 자동으로 복제합니다. 메타스토어 복제는 카탈로그를 만들 때 시작됩니다. 레이크하우스 런타임 카탈로그는 Cloud Storage 구성에 정의된 리전에서 기본 및 보조 리전을 선택합니다. 기본 리전은 모든 테이블 커밋 메타데이터를 제공하고 백업을 위해 보조 리전으로 복제합니다.
장애 조치를 통한 재해 복구
재해 복구 기능을 사용하면 카탈로그의 기본 및 보조 리전을 전환할 수 있습니다. 장애 조치 작업은 카탈로그의 기본 리전과 모든 네임스페이스 및 테이블을 전환합니다. 장애 조치에는 소프트 장애 조치와 하드 장애 조치라는 두 가지 모드가 있습니다.
소프트 장애 조치: 소프트 장애 조치는 데이터 손실을 방지합니다. 이 모드에서는 모든 이전 데이터가 이전 기본 리전에서 동기화된 후에만 새 기본 리전이 쓰기를 수락하기 시작합니다. 재해 복구 테스트 또는 기타 계획된 시나리오에 소프트 장애 조치를 사용합니다.
하드 장애 조치: 하드 장애 조치는 데이터 일관성보다 가용성을 우선시하며 서비스를 복원하도록 설계되었습니다. 이 모드에서는 기본 리전의 현재 상태와 관계없이 기본 리전이 항상 인계하고 쓰기 트래픽을 수락합니다. 예를 들어 하드 장애 조치를 사용하는 경우 이전 기본 리전에 연결할 수 없어도 새 기본 리전이 인계할 수 있습니다.
제한사항
이 기능이 프리뷰 상태인 동안 REPLICATION_TIMESTAMP은 Cloud Storage 파일이 아닌 카탈로그 메타데이터만 추적합니다. 데이터 손실을 하한으로 유지하려면 Cloud Storage 데이터 가용성 및 내구성 문서를 참조하세요.