中繼資料對於整理及瞭解資料資產和彼此之間的關係至關重要。舉例來說,受監管產業必須保護個人識別資訊 (PII),例如姓名、地址和政府核發的身分證字號。這類資料可能會出現在分散式資料系統的許多執行個體中。 Knowledge Catalog (舊稱 Dataplex Universal Catalog) 可協助您快速探索及分類分散式資料資產。然後將資料分類為 PII。
透過有意義的脈絡豐富資料項目和項目連結,您可以讓資料更容易發掘及使用。Knowledge Catalog 可透過下列方式提供脈絡:
- 層面類型:定義相關資料的 JSON 範本。舉例來說,針對法規遵循資訊,您可能會取得 PII 分類和 GDPR 法規遵循。
- 層面:層面類型的例項。例如:{"pii_classification": "confidential", "gdpr_compliant": true}。您可以將層面套用至整個表格、個別表格欄或項目連結 (附帶限制)。
分類資料後,即可對資料套用資料品質或存取政策。
詳情請參閱「關於 Knowledge Catalog 中的中繼資料管理」。
切面
切面能擷取項目或項目連結內的中繼資料,提供有意義的背景資訊。您可以使用切面儲存:
業務中繼資料:提供業務背景資訊,例如資料分類。
技術中繼資料:項目或項目連結的技術詳細資料,包括:
- 項目:資料資產本身的詳細資料,例如結構定義。
- 如果是項目連結:資料資產關係的詳細資料,例如聯結詳細資料。
資料衍生中繼資料:從資料本身產生的資訊,例如 BigQuery 資料表的統計資料。
系統會將層面視為項目資源的一部分,而非獨立資源。修改切面時,必須修改含有該切面的項目。您可以透過中繼資料變更動態消息,在層面修改時收到通知。
您可以指定項目層級的項目,用來描述項目,也可以指定資料欄層級的項目,用來描述項目中的資料欄。如果是進入連結,則要將層面加入連結本身。
每個切面都是一個切面類型的執行個體。切面類型會定義切面的範本。每個切面類型都包含一組欄位。建立層面時,您必須提供這些欄位的值。
針對特定項目或項目連結,每個面向類型最多只能有一個相關聯的面向。對於項目,您可以為每個項目類型,將多個面向與項目資料欄建立關聯。
切面類別
這些層面可分為以下幾類:
必要切面:建立項目或項目連結時必須提供的切面。這類切面由項目類型或項目連結類型定義。屬於特定類型的所有資源都必須具備該類型定義的所有必要切面。
Knowledge Catalog 會管理系統項目的必要層面 (例如結構定義)。
注意事項:
您只能將必要面向與項目建立關聯,無法與項目中的資料欄建立關聯。
你無法從項目或項目連結中刪除必要方面。
您可以讀取系統項目的必要層面,但無法修改。
資料切面無法設為必要切面。
選用切面:您可以將選用切面與項目或項目資料欄建立關聯。您可以在建立項目時填寫選用切面,也可以在之後更新項目。
注意事項:
填寫選用項目後,可以刪除這些項目。
進入連結僅支援必要切面。
資料切面
部分層面包含衍生自項目基礎資料的資訊,而非項目的中繼資料。這些稱為資料層面。舉例來說,資料剖析掃描或資料品質掃描的結果包含衍生自資料本身的統計資料,因此歸類為資料層面。
屬於資料層面的系統層面類型包括:
data-profile:包含資料剖析掃描結果。詳情請參閱「關於資料剖析」。data-quality-scorecard:包含資料品質分數摘要。data-rules: 將資料品質規則附加至項目。data-quality-rule-template:定義可重複使用的資料品質規則範本。
切面類型
切面類型是可重複使用的資源,可提供切面範本。
切面類型類別
切面類型分為自訂切面類型和系統切面類型。
自訂切面類型
在 Knowledge Catalog 中建立的切面類型稱為自訂切面類型。
自訂面向類型可以是全域或區域。您可以在特定區域位置 (例如 us-central1) 或 global 資源中建立自訂面向類型。面向類型的位置會影響適用範圍,並決定可搭配使用的項目:
- 全域切面類型:可用於在任何區域建立項目的切面。如要將相同結構套用至多個區域的項目,請選擇
global切面類型,因為您只需要定義一次。由於系統會在所有區域複製全域面向類型定義,如果面向類型結構定義本身含有私密資訊,或需要嚴格控管所有中繼資料元件的資料駐留位置,這個選項可能就不適合。 - 區域切面類型:只能用於為與切面類型位於相同區域的項目建立切面。舉例來說,在
us-central1中建立的切面類型只能用於us-central1中的項目。如果切面類型只與特定區域中的項目相關,或為確保切面類型定義位於所選區域內 (有助於符合資料主權和法規遵循規定),請選擇區域位置。如果您使用區域切面類型,但需要在多個區域中採用相同結構,則必須在每個區域中建立及管理個別的切面類型定義。
詳情請參閱「專案和位置限制」。
系統切面類型
Knowledge Catalog 提供、使用及管理的切面類型稱為系統切面類型。系統切面類型一律為全域類型,因此可用於任何區域。系統切面類型會儲存在 Google 管理的專案中,專案編號為 655216118709。例如:projects/655216118709/locations/global/aspectTypes/schema。
每個系統定義的切面類型、項目類型和項目連結類型都有自己的 IAM 權限。詳情請參閱「系統切面類型、項目類型和項目連結類型的 IAM 權限」。
系統切面類型進一步分為可重複使用和受限。下表說明系統切面類型類別,以及 Knowledge Catalog 為每個類別提供的切面類型清單:
| 系統切面類型類別 | 說明 | Knowledge Catalog 提供的切面類型 |
|---|---|---|
| 可重複使用的系統切面類型 | 您可以使用這些切面類型建立或修改切面。 |
|
| 受限制的系統切面類型 | 這些切面類型由 Knowledge Catalog 管理。 您可以讀取這些切面類型下的切面,但無法建立或編輯這些切面類型下的切面。 |
包括但不限於:
|
事前準備
建立及管理構面類型和構面前,請先完成本節所述工作。
必要的角色
如要取得建立及管理切面類型和切面所需的權限,請要求管理員授予您資源的下列 IAM 角色:
-
在 Knowledge Catalog 中,對中繼資料資源 (包括切面類型和資料切面) 擁有完整權限:
Dataplex Catalog 管理員 (
roles/dataplex.catalogAdmin) -
在 Knowledge Catalog 中建立及管理中繼資料資源,包括切面類型和資料切面:
Dataplex Catalog 編輯者 (
roles/dataplex.catalogEditor) -
自訂切面類型的完整權限 (除了使用切面類型建立或編輯項目的權限):
Dataplex 切面類型擁有者 (
roles/dataplex.aspectTypeOwner) -
查看與切面類型相關聯的 IAM 政策:
Dataplex Catalog 檢視者 (
roles/dataplex.catalogViewer) -
使用切面類型建立及修改具備相應切面的項目:
Dataplex 切面類型使用者 (
roles/dataplex.aspectTypeUser) -
新增部分系統層面類型的層面,例如
schema、schema-join、overview、contacts: Dataplex 項目和 EntryLink 擁有者 (roles/dataplex.entryOwner)
如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。
詳情請參閱「Knowledge Catalog IAM 角色」。
啟用 API
在 Knowledge Catalog 專案中啟用 Dataplex API。如果您使用新專案或已啟用 BigQuery API 的專案,系統會預設啟用 Dataplex API。 Google Cloud
建立自訂切面類型
控制台
前往 Google Cloud 控制台的 Knowledge Catalog「Metadata types」(中繼資料類型) 頁面。
按一下「切面類型和標記範本」>「自訂」分頁標籤。
點選「建立切面類型」。
在「建立切面類型」視窗中,輸入下列資訊:
- 選用:在「顯示名稱」欄位中,輸入構面類型的名稱。
- 在「Aspect type ID」(切面類型 ID) 欄位中,輸入切面類型的專屬 ID。
- 選用:在「Description」(說明) 欄位中輸入面向類型的說明。
- 在「位置」欄位中,選取該面向類型的位置。 建立後即無法修改。如要瞭解選擇全域或區域位置的影響,請參閱「自訂面向類型」一節。
選用:定義切面類型的範本。
在「Template」(範本) 部分,按一下「Add field」(新增欄位)。在「New field」(新增欄位) 區段中,輸入下列內容:
- 在「名稱」欄位中輸入名稱。
- 選用:在「顯示名稱」欄位中輸入顯示名稱。
- 選用:在「Description」(說明) 欄位中輸入說明。
在「類型」欄位中,選取欄位的資料類型。系統會根據您的選擇,顯示下一組欄位和選項:
如果您選取「文字」做為資料類型,請按照下列步驟操作:
- 在「Text type」(文字類型) 欄位中,選取文字類型。
- 在「文字值」欄位中,提供文字欄位的提示。方法是按一下「新增值」並輸入提示。您可以為文字欄位新增多個提示。
- 按一下 [完成]。
如果選取「列舉」做為資料類型,請新增列舉值:
- 點選「新增列舉值」。
- 在「Value」(值) 欄位中輸入列舉值。您可以新增多個列舉值。
- 按一下 [完成]。
如果您選取「陣列」做為資料類型,請在「陣列項目」部分定義陣列中顯示的項目類型:
- 按一下「新增陣列項目」。
- 在「Name」(名稱) 欄位中,輸入陣列項目的名稱。
- 選用:在「顯示名稱」欄位中,輸入陣列項目的顯示名稱。
- 選用:在「Description」(說明) 欄位中輸入陣列項目的說明。
在「類型」欄位中,選取陣列項目的資料類型。
系統會根據您的選擇,顯示下一組欄位和選項。這些選項與本節其他地方所述的「文字」、「列舉」、「對應」、「陣列」和「記錄」資料類型選項類似。
按一下 [完成]。
如果選取「地圖」做為資料類型,請在「地圖值」部分定義地圖中顯示的值類型:
- 按一下「新增對應值」。
- 在「名稱」欄位中,輸入地圖名稱。
- 選用:在「顯示名稱」欄位中,輸入地圖的顯示名稱。
- 選用:在「Description」(說明) 欄位中輸入地圖的說明。
在「類型」欄位中,選取地圖的資料類型。
系統會根據您的選擇,顯示下一組欄位和選項。這些選項與本節其他地方所述的「文字」、「列舉」、「對應」、「陣列」和「記錄」資料類型選項類似。
按一下 [完成]。
如果選取「記錄」做為資料類型,請輸入下列資訊:
- 在「記錄 ID」欄位中,輸入其他記錄欄位可用來參照這份記錄的專屬 ID。請參閱本文的「使用記錄 ID 和記錄參照欄位的範例」一節。
- 選用:如要從這個範本新增其他記錄的參照,請使用「記錄參照」欄位。建立構面類型後,就無法修改這個欄位。請參閱本文的「使用記錄 ID 和記錄參照欄位的範例」一節。
在「記錄欄位」部分,您可以定義具有多個巢狀欄位的複雜物件。如要這麼做,請點選「新增記錄欄位項目」,然後指定下列項目:
在「名稱」欄位中,輸入記錄欄位的名稱。
選用:在「顯示名稱」欄位中,輸入記錄欄位的顯示名稱。
選用:在「Description」(說明) 欄位中輸入記錄欄位的說明。
在「類型」欄位中,選取資料類型。
系統會根據您的選擇,顯示下一組欄位和選項。這些選項與本節稍早針對「Text」(文字)、「Enum」(列舉)、「Map」(對應)、「Array」(陣列) 和「Record」(記錄) 資料類型說明的選項類似。
按一下 [完成]。
如要將這類型的屬性設為必填欄位,請選取「必填」。如要進一步瞭解必要和選用層面,請參閱本文的層面類別一節。
按一下 [完成]。
如要新增多個欄位,請按一下「新增欄位」,然後重複上述步驟。
選用:在「標籤」部分,以鍵/值組合的形式為資源新增任意標籤:
- 按一下「新增標籤」。
- 在「Key」欄位中輸入金鑰。
- 在「Value」(值) 欄位中,輸入金鑰的值。
- 如要新增更多標籤,請按一下「新增標籤」並重複上述步驟。
按一下 [儲存]。
gcloud
如要建立自訂切面類型,請使用 gcloud dataplex aspect-types
create 指令。
C#
C#
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 C# 設定說明操作。詳情請參閱 Knowledge Catalog C# API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Go
Go
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Go 設定說明操作。詳情請參閱 Knowledge Catalog Go API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Java
Java
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Java 設定說明操作。詳情請參閱 Knowledge Catalog Java API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Python
Python
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Python 設定說明操作。詳情請參閱 Knowledge Catalog Python API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Ruby
Ruby
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Ruby 設定說明操作。詳情請參閱 Knowledge Catalog Ruby API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
REST
如要建立自訂切面類型,請使用 aspectType.create 方法。
建立自訂切面類型後,即可將切面新增至項目。
使用記錄 ID 和記錄參照欄位的範例
您可以使用「記錄 ID」和「記錄參照」欄位進行遞迴參照。以下範例說明如何使用這些欄位:
假設有一個名為 Employee 的切面類型,其中包含下列欄位:
- 名稱 (類型:
Text) - 開始日期 (類型:
Date & time) - 標示 (類型:
Text) - 目前地址 (類型:
Record) - 永久地址 (類型:
Record)
「現居地址」和「永久地址」這兩個地址欄位屬於相同的資料類型 Record。為避免重複,您可以在定義這些欄位時設定「記錄 ID」和「記錄參照」值。
定義「Current address」(目前地址) 欄位時,可以將「Record ID」(記錄 ID) 指定為 address-field。對於「永久地址」,您可以為「記錄參照」指定相同的值 (address-field)。例如:
- 名稱 (類型:
Text) - 開始日期 (類型:
Date & time) - 標示 (類型:
Text) - 目前地址 (類型:
Record,記錄 ID:address-field) - 永久地址 (類型:
Record,記錄參考資料:address-field)
這樣一來,您就不必複製其他地址的欄位。
為項目新增切面
建立自訂切面類型後,即可建立該類型的切面。如要為項目新增切面,必須更新項目,因為切面會儲存在項目中。
注意事項:
- 您可以為項目或項目的資料欄新增切面。
- 您只能編輯自訂項目的必要部分,無法刪除必要部分。
- 您可以編輯及刪除自訂項目和系統項目的選填部分。
控制台
在 Google Cloud 控制台,前往 Knowledge Catalog 的「Search」(搜尋) 頁面。
如果搜尋平台設為「Data Catalog」,請在「選擇搜尋平台」選單中選取「Dataplex Universal Catalog」。
搜尋要新增面向的項目,然後按一下該項目。系統會開啟項目詳細資料頁面。
如要為項目新增層面,請按照下列步驟操作:
- 點按「Details」(詳細資料) 分頁標籤。
- 如要為項目新增必要或選用切面,請在「標記和切面」部分,點選相應類別的「新增」。
如果所選項目的項目類型未定義任何必要切面,您就無法新增必要切面。 - 搜尋並選取要新增的面向。
- 在「新增面向」視窗中,輸入欄位值。
按一下 [儲存]。
如要為項目欄新增層面,請按照下列步驟操作:
在項目詳細資料頁面中,按一下「結構定義」分頁標籤。
選取要新增層面的資料欄。
點選「新增切面」。
搜尋並選取要新增的面向。
在「新增面向」視窗中,輸入欄位值。
按一下 [儲存]。
gcloud
如要為項目或項目資料欄新增切面,請使用 gcloud
dataplex entries update 指令。
C#
C#
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 C# 設定說明操作。詳情請參閱 Knowledge Catalog C# API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
如要將層面新增至項目物件,請參閱「層面」。
Go
Go
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Go 設定說明操作。詳情請參閱 Knowledge Catalog Go API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
如要為項目物件新增切面,請參閱「項目」。
Java
Java
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Java 設定說明操作。詳情請參閱 Knowledge Catalog Java API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Python
Python
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Python 設定說明操作。詳情請參閱 Knowledge Catalog Python API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Ruby
Ruby
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Ruby 設定說明操作。詳情請參閱 Knowledge Catalog Ruby API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
如要將切面新增至項目物件,請參閱 #required_aspects=。
REST
如要將切面新增至項目或項目的資料欄,請使用 entry.patch 方法。
如果項目和相應切面類型位於不同 Google Cloud 機構,系統就不支援在項目中建立及使用切面。
附加可重複使用的系統切面類型切面
您可以將可重複使用的系統切面類型切面附加至項目。
您可以在 Google Cloud 控制台中編輯可重複使用的構面類型,視其結構而定。含有巢狀欄位的構面類型不支援在 Google Cloud 控制台中編輯。您必須使用 gcloud指令列工具或 REST API,附加或更新這類型的構面。
資料品質評量表
資料品質評分表是提供資料品質摘要的層面,通常以資料品質掃描或其他程序為依據。您可以將資料品質評量表附加至項目,提供自訂資料品質資訊。方法是附加系統定義型別 data-quality-scorecard 的切面。
data-quality-scorecard 方面的 data 欄位可包含下列欄位:
job:選用。包含生成評分表的作業詳細資料記錄。name:資料品質工作的資源名稱。runTime:資料品質工作的執行時間。
score:選用。整體資料品質分數。分數範圍介於 [0, 100]。status:必填,資料品質評分表的狀態,指出是否通過品質門檻 (PASS或FAIL)。dimensions:選用。維度結果陣列。每項結果都包含:name:維度的名稱。可以是ACCURACY、COMPLETENESS、CONSISTENCY、FRESHNESS、UNIQUENESS、VALIDITY或VOLUME,也可以是自訂維度名稱。自訂維度名稱必須使用大寫字母,且不得超過 30 個字元。score:整體維度層級分數,範圍為 [0, 100]。status:維度的狀態,表示是否通過品質門檻 (PASS或FAIL)。
columns:選用。資料欄結果陣列。每項結果都包含:name:資料欄名稱。score:整體資料欄層級分數,範圍為 [0, 100]。status:欄的狀態,指出是否通過品質門檻 (PASS或FAIL)。dimensions:資料欄的維度分數陣列。每個維度分數都包含:name:維度的名稱。score:維度的分數,範圍為 [0, 100]。status:資料欄維度的狀態,指出是否通過品質門檻 (PASS或FAIL)。
執行附加構面的指令時,系統會取代該特定構面的所有現有資料。舉例來說,如果更新評分卡,將分數 80 的評分卡換成顯示分數 90 的新檔案,系統會覆寫 80,不會合併資料。
如要附加資料品質評分表,請按照下列步驟操作:
gcloud
如要更新項目的層面,請使用 gcloud dataplex entries
update-aspects 指令。
建立包含下列內容的 JSON 檔案 (
dq-aspect.json)。{ "dataplex-types.global.data-quality-scorecard": { "data": { "score": 0.8, "status": "PASS", "dimensions": [ { "name": "completeness", "score": 0.9, "status": "PASS" }, { "name": "uniqueness", "score": 0.7, "status": "FAIL" } ], "columns": [ { "name": "col1", "score": 0.85, "status": "PASS" } ] } } } }執行下列指令:
gcloud dataplex entries update-aspects ENTRY_ID --location=LOCATION --entry-group=ENTRY_GROUP_ID --project=PROJECT_ID --aspects=dq-aspect.json
請替換下列變數:
ENTRY_ID:項目的 ID,例如example-entryLOCATION:項目的位置,例如us-central1ENTRY_GROUP_ID:項目群組的 ID,例如example-entry-groupPROJECT_ID:專案 ID,例如:example-project
REST
如要更新項目的各個層面,請使用 entry.patch 方法。
建立名為
payload.json的檔案,然後將要求中的 JSON 內容貼到該檔案。{ "aspects": { "dataplex-types.global.data-quality-scorecard": { "data": { "score": 80, "status": "PASS", "dimensions": [ { "name": "completeness", "score": 90, "status": "PASS" }, { "name": "uniqueness", "score": 70, "status": "FAIL" } ], "columns": [ { "name": "col1", "score": 85, "status": "PASS" } ] } } } }在終端機中執行下列指令:
curl -X PATCH \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d @payload.json \ "https://dataplex.googleapis.com/v1/projects/<var>PROJECT_ID</var>/locations/<var>LOCATION</var>/entryGroups/<var>ENTRY_GROUP_ID</var>/entries/<var>ENTRY_ID</var>?updateMask=aspects"更改下列內容:
PROJECT_ID:專案 ID,例如example-projectLOCATION:項目的位置,例如us-central1ENTRY_GROUP_ID:項目群組的 ID,例如example-entry-groupENTRY_ID:項目的 ID,例如example-entry
其他可重複使用的切面類型
您也可以使用下列系統層面類型。您可以使用與資料品質評量表相同的 gcloud 或 REST API 方法附加這些指標。如果屬性類型沒有巢狀欄位,例如 generic,您可以使用控制台。
聯絡人。使用
contacts方面類型指派擁有權或管理權。欄位包括:identities(陣列):聯絡人清單。每個聯絡人都包含:role(字串):聯絡人的角色 (例如owner、steward、producer或admin)。name(字串):聯絡人名稱。id(字串):聯絡人的電子郵件地址或 ID。
按照下列方式建立
payload.json檔案:{ "aspects": { "dataplex-types.global.contacts": { "data": { "identities": [ { "role": "steward", "name": "Jane Doe", "id": "jane.doe@example.com" } ] } } } }資料剖析檔。使用
data-profile方面類型擷取資料剖析結果。詳情請參閱「關於資料剖析」。這些欄位包括:
sourceDataInfo(記錄):掃描來源資料以產生設定檔的相關資訊。scope(列舉):設定檔的範圍 (PREVIEW、SAMPLED或ALL)。PREVIEW值對應於輕量型剖析掃描的結果。scannedRows(整數):掃描的資料列數。samplingPercentage(double):使用的取樣百分比。
fields(對應):資料欄名稱對應至資料剖析的對應,包括uniqueness、nullness、topN值等指標,以及numeric、string、datetime和array資料欄的類型專屬統計資料。
按照下列方式建立
payload.json檔案:{ "aspects": { "dataplex-types.global.data-profile": { "data": { "sourceDataInfo": { "scope": "ALL", "scannedRows": 100 }, "fields": { "col1": { "nullness": 0.0, "uniqueness": 0.1, "string": { "length": { "min": 1, "max": 20, "avg": 12.54 } } } } } } }}圖表設定檔。
graph-profile方面類型 (dataplex-types.global.graph-profile) 是 AI 生成的系統方面,可擷取非結構化資料洞察結果推斷出的語意結構 (節點、邊緣和欄位)。雖然 Knowledge Catalog 會在掃描執行期間自動附加這個方面,但您可以使用 REST API 手動更新或修正推斷出的洞察資料。如需詳細操作說明和酬載範例,請參閱「更新推斷出的洞察資料」。一般。使用
generic方面類型,提供一般項目資訊。欄位包括:type(字串):可儲存使用者指定類型的任意形式欄位。system(字串):自訂項目的系統。
按照下列方式建立
payload.json檔案:{ "aspects": { "dataplex-types.global.generic": { "data": { "type": "custom-type", "system": "custom-system" } } } }總覽。使用
overview方面類型提供 RTF 說明。欄位包括:content(字串):條目總覽,支援 HTML 格式。links(陣列):來源系統連結清單。每個連結都包含:url(字串):連結的網址。title(字串):連結的標題。
按照下列方式建立
payload.json檔案:{ "aspects": { "dataplex-types.global.overview": { "data": { "content": "This is a <b>rich text</b> description.", "links": [ { "url": "https://example.com", "title": "Example Link" } ] } } }}結構定義:使用
schema方面類型描述資料結構。fields(陣列):結構定義欄位清單。這些欄位包括:name(字串):欄位名稱。dataType(字串):欄位的資料類型。metadataType(列舉):中繼資料類型 (例如STRING、BOOLEAN)。mode(列舉):欄位的模式 (NULLABLE、REQUIRED、REPEATED)。description(字串):欄位的說明。
按照下列方式建立
payload.json檔案:{ "aspects": { "dataplex-types.global.schema": { "data": { "fields": [ { "name": "id", "dataType": "string", "metadataType": "STRING", "mode": "REQUIRED" } ] } } }}用量:使用
usage方面類型追蹤用量指標。欄位包括:metrics(陣列):使用量指標清單。每個指標都包含:name(字串):指標名稱 (例如views、reads)。timeSeries(陣列):時間序列資料清單。每個項目都包含:interval(字串):匯總間隔 (例如30d)。value(整數):匯總值。
refreshTime(datetime):指標上次更新的時間。
按照下列方式建立
payload.json檔案:{ "aspects": { "dataplex-types.global.usage": { "data": { "metrics": [ { "name": "views", "timeSeries": [ { "interval": "30d", "value": 100 } ] } ], "refreshTime": "2025-01-01T12:00:00Z" } } }}
為項目連結新增切面
如要使用項目間的關係資訊擴充中繼資料,請在項目連結中新增切面。
您可以設定項目連結類型,要求特定切面。建立這類型的項目連結時,您必須提供必要切面。
為項目連結建立層面
項目連結的各個層面會做為 EntryLink 資源的一部分進行管理。
請注意,使用主題和進入連結時有下列限制:
- 不支援選用切面。
- 不支援資料層面。
- 不支援自訂型別的某些層面。
- 您只能管理系統切面類型定義的必要切面,例如
schema-join。 - 系統不支援根據項目內容搜尋進入連結。
系統不支援匯入或匯出項目連結。
REST
如要建立具有必要面向的項目連結,請使用 entryLinks.create 方法,並在要求主體中加入面向資料。
管理項目的現有面向
本節說明如何更新及刪除項目的現有面向。
更新切面
您可以編輯自訂項目和系統項目的選填部分。 您只能編輯自訂項目的必要方面。
如果是 BigQuery 資料表等第一方 (1P) 系統項目,您可以使用 modifyEntry API 更新切面。這樣一來,您就能使用來源系統的中繼資料更新權限 (例如 BigQuery 資料編輯者)。
控制台
在 Google Cloud 控制台,前往 Knowledge Catalog 的「Search」(搜尋) 頁面。
如果搜尋平台設為「Data Catalog」,請在「選擇搜尋平台」選單中選取「Dataplex Universal Catalog」。
搜尋要更新層面的項目,然後按一下該項目。
系統會開啟項目詳細資料頁面。
- 點按「Details」(詳細資料) 分頁標籤。
- 在「標記和切面」部分,展開要更新的切面或標記,然後按一下 「編輯」。
- 在「編輯面向」視窗中,更新必填欄位。
- 按一下 [儲存]。
gcloud
如要更新項目或項目資料欄的層面,請使用 gcloud
dataplex entries update 指令。
C#
C#
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 C# 設定說明操作。詳情請參閱 Knowledge Catalog C# API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Go
Go
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Go 設定說明操作。詳情請參閱 Knowledge Catalog Go API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Java
Java
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Java 設定說明操作。詳情請參閱 Knowledge Catalog Java API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Python
Python
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Python 設定說明操作。詳情請參閱 Knowledge Catalog Python API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Ruby
Ruby
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Ruby 設定說明操作。詳情請參閱 Knowledge Catalog Ruby API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
REST
如要更新項目或項目資料欄的層面,請使用 entry.patch 方法。
刪除切面
控制台
在 Google Cloud 控制台,前往 Knowledge Catalog 的「Search」(搜尋) 頁面。
如果搜尋平台設為「Data Catalog」,請在「選擇搜尋平台」選單中選取「Dataplex Universal Catalog」。
搜尋要刪除特定面向的項目,然後按一下該項目。
系統會開啟項目詳細資料頁面。
- 點按「Details」(詳細資料) 分頁標籤。
- 在「標記和切面」部分,展開要刪除的切面或標記,然後按一下 「刪除」。
- 按一下「確認」。
gcloud
如要刪除項目的層面,請使用 gcloud dataplex entries update 指令。
C#
C#
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 C# 設定說明操作。詳情請參閱 Knowledge Catalog C# API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Go
Go
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Go 設定說明操作。詳情請參閱 Knowledge Catalog Go API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Java
Java
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Java 設定說明操作。詳情請參閱 Knowledge Catalog Java API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Python
Python
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Python 設定說明操作。詳情請參閱 Knowledge Catalog Python API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Ruby
Ruby
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Ruby 設定說明操作。詳情請參閱 Knowledge Catalog Ruby API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
REST
如要刪除項目的層面,請使用 entry.patch 方法。
管理項目連結的現有層面
本節說明如何更新項目連結的現有層面。
更新切面
如果是進入連結,您只能更新使用可重複使用的系統切面類型之必要切面。
詳情請參閱「進入連結作業的 IAM 權限」。
REST
如要使用必要面向更新項目連結,請使用 entryLinks.patch 方法,並在要求主體中加入面向資料。
刪除切面
你無法刪除項目連結的必要顯示比例。
管理切面類型
本節說明如何查看面向類型,以及更新和刪除自訂面向類型。
查看可用切面類型和標記範本的清單
控制台
前往 Google Cloud 控制台的 Knowledge Catalog「Metadata types」(中繼資料類型) 頁面。
按一下「切面類型和標記範本」分頁標籤。
這個頁面會列出所有可用的 Knowledge Catalog 切面類型和 Data Catalog 標記範本。
- 如要查看自訂切面類型和標記範本,請按一下「Custom」(自訂) 分頁標籤。在「自訂」分頁中,「目錄來源」欄會顯示資源所在位置,也就是 Knowledge Catalog 或 Data Catalog。
如要查看系統切面類型,請按一下「System」分頁標籤。
如要進一步瞭解自訂和系統層面類型,請參閱本文的「層面類型類別」一節。
- 選用:如要查看所選專案中的切面類型和標記範本清單,請按一下「Custom」分頁標籤,然後將「Show from all projects」切換鈕設為關閉位置。
「顯示所有專案的資源」切換鈕預設為開啟,清單會包含所選機構的 Knowledge Catalog 資源,以及您可存取的所有機構的 Data Catalog 資源。
gcloud
如要列出所有可用的切面類型,請使用 gcloud dataplex
aspect-types list 指令。
C#
C#
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 C# 設定說明操作。詳情請參閱 Knowledge Catalog C# API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Go
Go
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Go 設定說明操作。詳情請參閱 Knowledge Catalog Go API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Java
Java
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Java 設定說明操作。詳情請參閱 Knowledge Catalog Java API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Python
Python
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Python 設定說明操作。詳情請參閱 Knowledge Catalog Python API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Ruby
Ruby
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Ruby 設定說明操作。詳情請參閱 Knowledge Catalog Ruby API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
REST
如要列出所有可用的切面類型,請使用 aspectTypes.list 方法。
查看切面類型或代碼範本的詳細資料
控制台
前往 Google Cloud 控制台的 Knowledge Catalog「Metadata types」(中繼資料類型) 頁面。
按一下「切面類型和標記範本」分頁標籤。
如要查看 Knowledge Catalog 構面類型的詳細資料,請按一下該構面類型。系統會開啟構面類型詳細資料頁面,您可以在這裡存取詳細資料,例如顯示名稱、構面類型 ID、說明、專案 ID、位置、標籤、建立日期和上次修改日期。
- 如要查看所選切面類型的結構,請按一下「範本」分頁標籤。
- 如要查看最近建立的 10 個相關項目清單,請按一下「範例項目」分頁標籤。
- 如要搜尋所有相關項目,請按一下「在搜尋結果顯示所有相關項目」。只有在至少有一個相關項目時,才會顯示這個按鈕。
如要查看 Data Catalog 標記範本的詳細資料,請按一下該標記範本。Data Catalog 會開啟標記範本詳細資料頁面,您可以在這裡存取顯示名稱、範本 ID、專案 ID、位置、可見度和標籤等詳細資料。
gcloud
如要取得構面類型的詳細資料,請使用 gcloud dataplex aspect-types
describe 指令。
C#
C#
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 C# 設定說明操作。詳情請參閱 Knowledge Catalog C# API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Go
Go
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Go 設定說明操作。詳情請參閱 Knowledge Catalog Go API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Java
Java
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Java 設定說明操作。詳情請參閱 Knowledge Catalog Java API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Python
Python
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Python 設定說明操作。詳情請參閱 Knowledge Catalog Python API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Ruby
Ruby
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Ruby 設定說明操作。詳情請參閱 Knowledge Catalog Ruby API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
REST
如要取得構面類型的詳細資料,請使用 aspectTypes.get 方法。
更新自訂切面類型
您可以更新自訂面向類型的顯示名稱、說明、範本欄位和標籤,但無法刪除範本中的現有欄位。
建立構面類型後,就無法更新構面類型 ID 和位置。
控制台
前往 Google Cloud 控制台的 Knowledge Catalog「Metadata types」(中繼資料類型) 頁面。
按一下「切面類型和標記範本」分頁標籤。
按一下要更新的面向類型。
在「構面類型詳細資料」頁面中,按一下「編輯」。
視需要編輯顯示名稱、說明、範本欄位和標籤。
選用:如要將某個欄位標示為已淘汰,請按照下列步驟操作:
- 在「範本」部分,展開欄位。
- 選取「已淘汰」。
- 在「淘汰原因」欄位中,輸入淘汰所選欄位的原因。
按一下 [完成]。
按一下 [儲存]。
gcloud
如要更新自訂切面類型,請使用 gcloud dataplex aspect-types
update 指令。
C#
C#
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 C# 設定說明操作。詳情請參閱 Knowledge Catalog C# API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Go
Go
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Go 設定說明操作。詳情請參閱 Knowledge Catalog Go API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Java
Java
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Java 設定說明操作。詳情請參閱 Knowledge Catalog Java API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Python
Python
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Python 設定說明操作。詳情請參閱 Knowledge Catalog Python API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Ruby
Ruby
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Ruby 設定說明操作。詳情請參閱 Knowledge Catalog Ruby API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
REST
如要更新自訂面向類型,請使用 aspectTypes.patch 方法。
刪除自訂切面類型
控制台
前往 Google Cloud 控制台的 Knowledge Catalog「Metadata types」(中繼資料類型) 頁面。
按一下「切面類型和標記範本」分頁標籤。
按一下要刪除的面向類型。
在「Aspect type details」(面向類型詳細資料) 頁面中,按一下「Delete」(刪除)。系統提示時,請確認刪除。
gcloud
如要刪除自訂層面類型,請使用 gcloud dataplex aspect-types
delete 指令。
C#
C#
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 C# 設定說明操作。詳情請參閱 Knowledge Catalog C# API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Go
Go
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Go 設定說明操作。詳情請參閱 Knowledge Catalog Go API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Java
Java
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Java 設定說明操作。詳情請參閱 Knowledge Catalog Java API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Python
Python
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Python 設定說明操作。詳情請參閱 Knowledge Catalog Python API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Ruby
Ruby
在試用這個範例之前,請先按照「使用用戶端程式庫的 Knowledge Catalog 快速入門導覽課程」中的 Ruby 設定說明操作。詳情請參閱 Knowledge Catalog Ruby API 參考文件。
如要向 Knowledge Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
REST
如要刪除現有的自訂面向類型,請使用 aspectTypes.delete 方法。
後續步驟
- 瞭解如何在 Knowledge Catalog 中搜尋資源。
- 瞭解如何管理項目及擷取自訂來源。
- 瞭解如何將中繼資料匯入 Knowledge Catalog。
- 進一步瞭解 Knowledge Catalog 中的中繼資料管理。
- 進一步瞭解如何從 Data Catalog 轉移至 Knowledge Catalog。
- 瞭解如何建構基礎資料治理。
- 參考 Knowledge Catalog 應用實例。