本文档介绍了如何创建和管理条目类型、条目组 和自定义条目,以便将自定义数据源集成到 Dataplex。
条目表示您要为其捕获元数据的资源。条目组是 包含一个或多个条目的容器,用于管理访问权限控制和区域级 位置。条目类型定义了条目所需的元数据。条目类型 将结构和规则引入自由流动和松散定义的条目资源, 使条目具有可扩展性
如需将自定义数据源集成到 Dataplex,您可以创建自定义数据源 自定义条目组下的自定义条目类型。 创建自定义条目涉及以下简要步骤:
- 创建一个条目组。
- 创建条目类型。
- 在条目组内为该条目类型创建自定义条目。
条目数
条目表示您捕获其元数据的数据资产。每个条目都是条目类型的实例。对条目的各个切面上的每个操作都需要
符合其条目类型的相关要求。例如,当您创建
必须为条目定义的所有切面类型,
条目类型。您无法删除标记为
required
。
参评申请类别
系统条目:Dataplex 会为 Google Cloud 资源(例如 BigQuery 数据集或表)创建条目。影响 Dataplex 创建过程称为系统条目。Dataplex 会通过从受支持的 Google Cloud 系统持续同步元数据,自动保持系统条目的最新状态。
您无法修改系统条目自动填充的元数据(称为“必需方面”)。您只能添加或修改其他元数据 通过使用可选切面来确定系统条目。如需了解详情,请参阅 切面的类别。
自定义条目:您可以创建和管理的条目 称为“自定义条目”自定义资源 托管在 Google Cloud 或外部的非 Google 服务中 (例如本地)。
条目组
条目组是一个或多个条目的容器。您可以使用条目组 管理条目的访问权限控制和区域位置。每个参赛作品 群组属于某个项目。
条目组的类别
系统条目组:对于 Google Cloud 资源,Dataplex 会自动为资源所在的每个项目和位置中的每个系统创建条目组。例如,
@bigquery
是系统条目 。自定义条目组:您为自定义资源创建的条目组。
条目类型
条目类型使用集合定义此类型的条目所需的元数据, 必需的切面类型。
您只能在条目上指定必需的方面类型,而不能在条目的列上指定。创建特定条目类型的条目时 您必须为由 条目类型。
条目类型中引用的必需切面类型必须属于 项目与条目类型相同。
条目类型的类别
自定义条目类型:您创建和管理的条目类型。您可以使用 以创建自定义条目
系统条目类型:Dataplex 提供以下条目类型 默认情况。系统条目类型进一步分为可重用和 受限。
下表介绍了系统条目类型的类别,以及 Dataplex 为每个类别提供的条目类型列表:
系统条目类型的类别 说明 Dataplex 提供的条目类型 可重复使用的系统条目类型 您可以使用此条目类型来创建自定义条目。 generic
受限系统条目类型 这些字段专供系统使用,例如为 Google Cloud 资源。
您无法使用这些条目类型创建条目,但可以修改条目 这些条目类型来添加可选切面。bigquery-connection
bigquery-dataset
bigquery-model
bigquery-routine
bigquery-table
bigquery-view
cloudsql-database
cloudsql-instance
cloudsql-schema
cloudsql-table
cloudsql-view
sql-access
storage
storage-bucket
storage-folder
您可以在特定区域位置创建自定义条目类型,也可以创建自定义条目类型, 全球性资源。系统条目类型始终是全局类型。容器的 条目类型会影响其适用范围。如需了解详情,请参阅 项目和位置限制条件。
准备工作
在管理条目和提取自定义数据源之前,请确保您已完成本部分中所述的任务。
所需的角色
如需获取创建和管理条目所需的权限, 请让管理员授予您 针对资源的以下 IAM 角色:
-
针对条目、条目组和条目类型的整套权限:
Dataplex Catalog Admin (
roles/dataplex.catalogAdmin
) -
创建和管理所有 Dataplex Catalog 资源,包括条目、条目组和条目类型:
Dataplex Catalog Editor (
roles/dataplex.catalogEditor
) -
拥有对条目相关操作的完全访问权限:
Dataplex Entry Owner (
roles/dataplex.entryOwner
) -
查看条目、条目组、条目类型以及与它们关联的 IAM 政策:
Dataplex Catalog Viewer (
roles/dataplex.catalogViewer
) -
创建自定义条目时,使用切面类型创建这些类型的切面:
Dataplex Aspect Type User (
roles/dataplex.aspectTypeUser
) -
创建和管理条目组:
Dataplex Entry Group Owner (
roles/dataplex.entryGroupOwner
) -
创建和管理条目类型:
Dataplex Entry Type Owner (
roles/dataplex.entryTypeOwner
) -
使用条目类型创建和修改这些类型的条目:
Dataplex Entry Type User (
roles/dataplex.entryTypeUser
)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
如需了解详情,请参阅 Dataplex IAM 角色。
启用 API
在 Dataplex 项目中启用 Dataplex API。
创建一个条目组
控制台
在 Google Cloud 控制台中,转到 Dataplex Catalog 页面。
点击条目组 > 自定义标签页。
点击创建。
在创建条目组窗口中,输入以下内容:
- 可选:在显示名称字段中,输入 条目组。
- 条目组 ID:输入条目组的唯一 ID。
- 可选:在说明字段中,输入您对 条目组。
- 地理位置:选择一个地理位置。创建条目组后,您将无法修改其位置。
可选:在标签部分中,添加任意标签作为键值对 资源对:
- 点击添加标签。
- 在密钥字段中,输入一个密钥。
- 在值字段中,输入键的值。
- 如需添加更多标签,请点击添加标签,然后重复上述步骤。
点击保存。
REST
如需创建条目组,请使用
entryGroups.Create
方法。
创建条目类型
如需注入新来源,您必须创建条目类型。
控制台
在 Google Cloud 控制台中,转到 Dataplex Catalog 页面。
依次点击条目类型 > 自定义标签页。
点击创建。
在创建条目类型窗口中,输入以下内容:
- 可选:在显示名称字段中,输入条目类型的显示名称。
- 条目类型 ID:为您的条目类型输入一个唯一 ID。禁止的行为 请在创建条目类型后修改此内容
- 可选:在说明字段中,输入您对 条目类型。
- 可选:在 System(系统)字段中,输入源系统。
- 可选:在平台字段中,输入此类条目所属的平台。例如
Google Cloud
。 - 在位置字段中,选择一个位置。您不能修改 位置。
可选:在类型别名部分,定义以下内容的数据类型 您的条目类型。数据类型可用于查询条目。
- 点击添加类型别名。
- 在 Type alias 字段中,选择一种数据类型。您可以添加多个 类型别名。
在必需的切面类型部分,选择此条目类型的必需切面类型。每个条目根据 系统将为此类型分配这些必需的切面类型。
- 点击选择切面类型。
- 在选择切面类型窗口中,选择切面类型。
- 点击选择。
您无法从条目中删除必需切面。
可选:在标签部分中,为资源添加键值对形式的任意标签:
- 点击添加标签。
- 在密钥字段中,输入一个密钥。
- 在值字段中,输入键的值。
- 如需添加更多标签,请点击添加标签,然后重复上述步骤。
点击保存。
REST
如需创建条目类型,请使用 entryType.create
方法。
创建自定义条目
在创建自定义条目之前,请确保您已 创建一个条目组和一个 条目类型。
控制台
Google Cloud 控制台不支持创建自定义条目。而应使用 Google Cloud CLI 或 API。
REST
如需创建自定义条目,请使用 entries.create
方法。
创建自定义条目后,您可以向该条目添加切面。对于 请参阅 向条目添加切面。
管理条目组
本部分介绍如何查看可用条目组的列表、 更新和删除条目组。
查看可用条目组的列表
控制台
REST
如需查看可用条目组的列表,请使用
entryGroups.list
方法。
查看条目组的详细信息
控制台
在 Google Cloud 控制台中,转到 Dataplex Catalog 页面。
点击条目组标签页。
点击要查看其详细信息的条目组。
系统会打开条目组详情页面。您可以访问一些信息 显示名称、条目组 ID、说明、项目 ID、位置、标签 所选条目组的创建日期和上次修改日期。
如果条目组来自 Data Catalog, 用后缀
(Data Catalog)
表示,您可以在 Data Catalog 和 Dataplex Catalog 界面。如需执行此操作,请在条目组详情页面中,选择 Data Catalog 或 Dataplex Catalog。如需查看最近创建的 10 个相关条目列表,请点击示例条目标签页。
REST
要检索条目组的详细信息,请使用
entryGroups.get
方法。
更新条目组
控制台
在 Google Cloud 控制台中,转到 Dataplex Catalog 页面。
点击条目组 > 自定义标签页。
点击要更新的条目组。
在条目组详细信息页面上,点击修改。
根据需要修改显示名称、说明和标签。
点击保存。
REST
要更新条目组,请使用
entryGroups.patch
方法。
删除条目组
控制台
在 Google Cloud 控制台中,转到 Dataplex Catalog 页面。
依次点击条目组 > 自定义标签页。
点击要删除的条目组。
在条目组详情页面上,点击删除。确认时间 。
REST
如需删除条目组,请使用 entryGroups.delete
方法。
管理条目类型
本部分介绍如何查看可用条目组的列表、 更新和删除条目类型
查看可用条目类型的列表
控制台
REST
如需查看可用条目类型的列表,请使用
entryTypes.list
方法。
查看条目类型的详细信息
控制台
在 Google Cloud 控制台中,转到 Dataplex Catalog 页面。
依次点击条目类型 > 自定义标签页。
点击要查看其详细信息的条目类型。
系统随即会打开条目类型详情页面。您可以访问一些信息 显示名称、条目类型 ID、说明、项目 ID、位置、平台 系统、类型别名、标签、创建日期和 条目类型。
如需查看最近创建的 10 个相关条目列表,请点击示例条目标签页。
REST
要检索条目类型的详细信息,请使用
entryTypes.get
方法。
更新条目类型
控制台
在 Google Cloud 控制台中,前往 Dataplex 的目录页面。
依次点击条目类型 > 自定义标签页。
点击要更新的条目类型。
在条目类型详细信息页面上,点击修改。
修改显示名称、说明、系统、平台、类型别名, 和标签。
点击保存。
REST
要更新条目类型,请使用
entryTypes.patch
方法。
删除条目类型
控制台
在 Google Cloud 控制台中,转到 Dataplex Catalog 页面。
依次点击条目类型 > 自定义标签页。
点击要删除的条目类型。
在条目类型详细信息页面上,点击删除。确认时间 。
REST
要删除条目类型,请使用
entryTypes.delete
方法。
后续步骤
- 了解如何在 Dataplex Catalog 中搜索数据资产。
- 了解如何管理切面和丰富元数据。
- 了解如何将元数据导入 Dataplex。
- 详细了解 Dataplex Catalog。