本頁說明如何使用 Knowledge Catalog 搜尋及管理 Looker (Google Cloud 核心) 中繼資料資源。
Knowledge Catalog 平台可儲存、管理及提供中繼資料存取權,並做為編目工具,為 Looker (Google Cloud 核心) 的正式版 LookML、LookML 專案和資訊主頁中繼資料建立索引。這項整合功能可提供資料資產及其關係的統一全面檢視畫面,包括資料歷程。
Knowledge Catalog 會從 Looker 擷取多個實體層級,包括:
- Looker 執行個體
- 資訊主頁
- 資訊主頁元素
- Look 圖表
- LookML 專案
- 型號
- 探索
- 檢視 (包含維度和指標)
整合功能的運作方式
Looker 和 Knowledge Catalog 整合功能會使用第一方連接器擷取中繼資料。Looker (Google Cloud 核心) 會將 LookML 中繼資料發布至區域 Cloud Storage 存放區,供 Knowledge Catalog 透過批次同步程序使用。
根據預設,資料會自動從 Looker (Google Cloud 核心) 傳輸至 Knowledge Catalog,不需變更任何設定。Looker (Google Cloud 核心) 會使用內部服務執行同步作業。內部批次同步處理程序大約每四小時執行一次,而來自 Looker 的資料大約每小時會重新整理一次,並匯入 Knowledge Catalog。
更新 LookML 模型並推送至正式環境時,系統會自動將重要中繼資料與 Knowledge Catalog 同步處理。這類中繼資料包括檢視畫面和探索詳細資料、欄位定義和模型資訊。同樣地,目錄中也會顯示資訊主頁中繼資料,包括標題、擁有權和使用統計資料。
何時該將 Knowledge Catalog 與 Looker 搭配使用
使用 Knowledge Catalog 探索及瞭解 Looker 中繼資料。這個目錄可協助您進行下列活動:
- 影響分析:使用資料沿襲,以視覺化方式呈現資料從 BigQuery 流向 Looker 資訊主頁的過程。
- 探索:搜尋貴機構的資訊主頁、探索和檢視畫面。
- 變更管理:先瞭解依附元件,再進行變更。
- 資料遷移管道:追蹤資料來源。
您也可以透過 Knowledge Catalog,將層面附加至 Looker 中繼資料項目,藉此管理中繼資料。將切面附加至 Looker 資產,即可在資產中新增業務中繼資料,並依據該中繼資料搜尋資產。
所需權限
如要取得使用 Knowledge Catalog 和 Looker (Google Cloud Core) 整合功能所需的權限,請要求管理員在 Looker (Google Cloud Core) 執行個體所在的專案中,授予您下列 IAM 角色:
- 如要查看 Knowledge Catalog 資源,請使用 Dataplex 檢視者 (
roles/dataplex.viewer) 角色。 - 如要在 Knowledge Catalog 中存取 Looker (Google Cloud Core) 中繼資料,請使用 Looker 結構定義檢視器 (
roles/looker.schemaViewer)。- Looker 結構定義檢視者預先定義的角色具備
looker.schemas.view權限,可存取 Knowledge Catalog 中的 Looker (Google Cloud Core) 中繼資料。
- Looker 結構定義檢視者預先定義的角色具備
- 如要啟用或停用 Knowledge Catalog 與 Looker (Google Cloud Core) 的整合功能,請Looker 管理員 (
roles/looker.admin) 執行下列操作: - 如要查看資料歷程圖:資料歷程檢視者 (
roles/datalineage.viewer)
如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和機構的存取權」。
啟用 Knowledge Catalog 與 Looker (Google Cloud Core) 執行個體的整合功能
Looker (Google Cloud Core) 執行個體預設會啟用 Knowledge Catalog。如要停用整合功能,請參閱本說明文件頁面的「停用 Knowledge Catalog 與 Looker (Google Cloud Core) 執行個體的整合功能」一節。
如果執行個體已停用整合功能,但您想啟用,請完成下列步驟:
主控台
- 啟用 Dataplex API。如要查看擷取的中繼資料,您必須在代管 Looker (Google Cloud Core) 執行個體的專案中,啟用 Cloud Dataplex API (
dataplex.googleapis.com)。 Google Cloud - 在執行個體「Instance」(執行個體) 頁面的「Details」(詳細資料) 分頁中,按一下「Edit」(編輯)。
- 展開「Knowledge Catalog 整合」部分。
- 取消選取「停用 Knowledge Catalog 整合功能」核取方塊。
- 注意:啟用這項設定後,系統會同時啟用中繼資料擷取和資料歷程 (如果已啟用 Data Lineage API)。
- 按一下 [儲存]。
gcloud
請確認 Google Cloud 專案已啟用 Dataplex API,該專案會代管 Looker (Google Cloud Core) 執行個體。
使用 gcloud looker instances update 指令並加上 --catalog-integration-enabled 旗標,即可啟用整合功能:
gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled
將 INSTANCE_NAME 替換為 Looker (Google Cloud Core) 執行個體的名稱。
啟用整合功能後,最多需要一天,Looker 資料才會顯示在 Knowledge Catalog 中。
搜尋 Looker 資產
如要在 Knowledge Catalog 中查看 Looker (Google Cloud 核心) 資料,請先啟用 Dataplex API。如要取得啟用 API 的必要權限,您必須具備「服務使用情形管理員」(roles/serviceusage.serviceUsageAdmin) IAM 角色。
在 Google Cloud 控制台使用 Knowledge Catalog 的「Search」(搜尋) 頁面,搜尋 Looker (Google Cloud core) 資產。
在「篩選器」面板中,您可以使用「專案」、「系統」和「型別別名」部分,篩選 Looker (Google Cloud 核心) 資產。在「系統」部分,您可以篩選「Looker」。在「型別別名」中,選取下列一或多個選項,即可將搜尋結果篩選為特定類型的 Looker 資源:
- 資訊主頁
- 資訊主頁元素
- 探索
- LookML 專案
- 型號
- 執行個體
- 查看
- 其他
您也可以使用搜尋欄位執行搜尋查詢。您可以執行關鍵字或自然語言搜尋。舉例來說,如要透過關鍵字搜尋查看所有 Looker 資產,請輸入 system=Looker。如要查看所有 Looker 資訊主頁,請輸入查詢 system=Looker AND type=DASHBOARD。下列資產可使用 type 關鍵字搜尋:
- 資訊主頁
- dashboard_element
- 探索
- 執行個體
- Look 圖表
- lookml_project
- 模型
- 查看
如要進一步瞭解如何搜尋資源,請參閱「在 Knowledge Catalog 中搜尋資源」說明文件頁面。如要進一步瞭解可在搜尋欄位中使用的運算式,請參閱「Knowledge Catalog 的搜尋語法」說明文件頁面。
停用 Knowledge Catalog 與 Looker (Google Cloud Core) 執行個體的整合功能
如要停用 Knowledge Catalog 與 Looker (Google Cloud Core) 執行個體的整合,請完成下列步驟。
主控台
- 在執行個體「Instance」(執行個體) 頁面的「Details」(詳細資料) 分頁中,按一下「Edit」(編輯)。
- 展開「Knowledge Catalog 整合」部分。
- 勾選「停用 Knowledge Catalog 整合功能」核取方塊。
- 注意:停用這項設定後,系統會一併停用中繼資料擷取和資料歷程 (如果已啟用 Data Lineage API)。
- 按一下 [儲存]。
gcloud
使用 gcloud looker instances update 指令並加上 --no-catalog-integration-enabled 旗標,即可啟用整合功能:
gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled
將 INSTANCE_NAME 替換為 Looker (Google Cloud Core) 執行個體的名稱。
如果先前已啟用整合功能,停用後,Knowledge Catalog 中已有的 Looker 中繼資料仍會保留,但不會更新為新中繼資料。
VPC Service Controls
Looker (Google Cloud Core) 與 Knowledge Catalog 的整合功能支援 VPC Service Controls。
如果 Looker (Google Cloud Core) 執行個體或 Knowledge Catalog 資源位於 VPC Service Controls 服務範圍內,請務必確保可存取中繼資料匯出作業所需的服務。
- 請確保 Dataplex API (
dataplex.googleapis.com) 已在安全範圍內設定為受限服務。 - 這項整合功能會使用內部 Cloud Storage bucket 傳輸中繼資料。請確認服務安全防護範圍允許存取必要的 Cloud Storage 資源。如果遇到與中繼資料匯出相關的 Google Cloud
PERMISSION_DENIED錯誤,請與帳戶團隊或支援團隊聯絡。
定價
在 Knowledge Catalog 中儲存 Looker (Google Cloud 核心) 技術中繼資料不會產生費用。API 呼叫和額外的業務中繼資料擴充功能適用標準 Knowledge Catalog 定價。詳情請參閱 Knowledge Catalog 定價頁面。
限制
本節列出使用 Looker (Google Cloud core) 和 Knowledge Catalog 時的限制:
- Looker 的中繼資料不會立即顯示在目錄中。批次同步處理程序會以固定間隔執行,資料大約每小時更新一次。
- 這個整合項目沒有公開的 API。
- 如要瞭解資料歷程限制,請參閱「使用 Knowledge Catalog 追蹤資料歷程」頁面。
後續步驟
- 使用 Knowledge Catalog 追蹤資料歷程。
- 瞭解如何使用 Knowledge Catalog 管理中繼資料。
- 瞭解如何在 Knowledge Catalog 搜尋資源。
- 瞭解如何管理層面及豐富中繼資料。