Usa la búsqueda en Dataplex Catalog para buscar recursos de datos como conjuntos de datos de BigQuery, instancias de Cloud SQL y otros. Para ver más información sobre los recursos de Google Cloud que se admiten Dataplex Catalog, consulta Fuentes de Google Cloud compatibles.
Alcance de la búsqueda
Los resultados de la búsqueda en Dataplex Catalog respetan los permisos que que tienes sobre los recursos correspondientes en los sistemas de origen.
Por ejemplo, si tienes acceso de lectura de metadatos de BigQuery a un objeto, este aparecerá en tu búsqueda de Dataplex Catalog resultados. Si tienes acceso a una tabla de BigQuery, pero no a la conjunto de datos que contiene esa tabla, esta sigue apareciendo como se espera en la Búsqueda de Dataplex Catalog.
Los resultados de la búsqueda incluyen solo aquellos recursos que pertenecen a la misma VPC-SC perímetro como el proyecto bajo el cual se realiza la búsqueda. Cuando uses de la consola de Google Cloud, este es el proyecto que se selecciona en la de Cloud.
Para ampliar el alcance de los resultados de la búsqueda más allá de los recursos dentro del perímetro de los Controles del servicio de VPC de tu proyecto, usa las reglas de entrada y salida de los Controles del servicio de VPC. Estas reglas facilitan el intercambio de datos privados y eficiente en toda tu organización. Puedes configurar las reglas de entrada y salida con la consola de Google Cloud o a través de archivos JSON o YAML. Consulta el siguiente ejemplo de YAML y la documentación de los Controles del servicio de VPC para adaptar la regla a tus requisitos específicos.
egressPolicies:
- egressFrom:
identityType: ANY_USER_ACCOUNT
egressTo:
# Specify which resources should be present in the search results. In this example,
# BigQuery.
operations:
- methodSelectors:
- method: '*'
serviceName: bigquery.googleapis.com
# Specify project ids under which the search is performed.
resources:
- projects/SEARCH_PROJECT_ID
ingressPolicies:
- ingressFrom:
identityType: ANY_USER_ACCOUNT
sources:
- accessLevel: '*'
ingressTo:
# Specify which resources should be present in the search results. In this example,
# BigQuery.
operations:
- methodSelectors:
- method: '*'
serviceName: bigquery.googleapis.com
# Specify project ids to expose in search results.
resources:
- projects/INGRESS_PROJECT_ID
Para obtener más información sobre los roles de IAM de Dataplex Catalog, consulta Funciones de IAM de Dataplex.
Limitaciones de recuperación en la búsqueda
Las búsquedas de Dataplex Catalog no garantizan la recuperación completa. Es posible que no se muestren resultados que coincidan con tu consulta, incluso en los resultados posteriores páginas. Además, los resultados devueltos (y no devueltos) pueden variar si los repites. en las búsquedas.
Filtros
Los filtros te permiten acotar los resultados de la búsqueda. Todos los filtros se agrupan en secciones:
- Sistemas como BigQuery, Cloud SQL y otros El El sistema de Dataplex contiene entradas personalizadas.
- En Aspectos (etiquetas), se enumeran todos los aspectos disponibles para ti.
- En Proyecto, se enumeran todos los proyectos disponibles para ti.
- Alias de tipo que describen tipos de recursos, como bases de datos, conjuntos de datos, modelos, tablas, vistas, servicios y tipos personalizados.
- Los conjuntos de datos provienen de BigQuery.
Puedes combinar filtros de varias secciones para encontrar recursos que coincidan en
al menos una condición de cada sección seleccionada. Múltiples filtros que son
seleccionados en una sola sección se evalúan usando el operador lógico OR
.
Por ejemplo, considera la combinación de filtros de la siguiente imagen (haz clic en la imagen
para ampliarlo). Se seleccionan estos filtros de búsqueda: sistemas
BigQuery
, alias de tipo table
y view
, aspectos My aspect
type 1
y My aspect type 2
, proyecto my-test-project
y conjuntos de datos
test_bq_dataset
Dataplex Catalog busca los siguientes recursos:
- Tablas de BigQuery en
test_bq_dataset
con el aspectoMy aspect type 1
- Tablas de BigQuery en
test_bq_dataset
con el aspectoMy aspect type 2
- Vistas de BigQuery en
test_bq_dataset
con el aspectoMy aspect type 1
- Vistas de BigQuery en
test_bq_dataset
con aspectoMy aspect type 2
Filtrar por valor de aspecto
Los filtros Aspectos te permiten consultar por recursos etiquetados usando un
plantilla. Puedes usar el menú Personalizar para definir aún mejor los resultados y
filtrar por valores de aspecto específicos. Las condiciones del filtro de valor de aspecto dependen del tipo de datos de ese campo de aspecto. Por ejemplo, para datetime
y number
puedes especificar una fecha o un período específicos.
Visibilidad del filtro
Los filtros Sistemas, Alias de tipo, Proyecto y Conjuntos de datos son los siguientes: que se muestran en función de la búsqueda actual en el campo Buscar.
Antes de comenzar
Antes de buscar recursos de datos, haz lo siguiente.
Roles obligatorios
En esta sección, se describen los roles y permisos necesarios para buscar datos y acceder a los resultados de la búsqueda.
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.
También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.
Roles obligatorios para buscar entradas
Para buscar entradas, necesitas al menos una de las Roles de IAM de Dataplex Catalog en el proyecto que se usa para la búsqueda. Los permisos en los resultados de la búsqueda son verificarse independientemente del proyecto seleccionado.
Roles obligatorios para acceder a los resultados de la búsqueda
El alcance de los resultados de la búsqueda en Dataplex Catalog se tu puesto. Para buscar un recurso en Dataplex Catalog, debes hacer lo siguiente: tienen permisos para acceder al recurso correspondiente en el sistema de origen. Para obtener más información, consulta la sección Alcance de la búsqueda. de este documento.
Por ejemplo, para buscar conjuntos de datos, tablas, vistas y necesitas los permisos respectivos para esas entradas. Para obtener más información, ver Permisos de BigQuery. En la siguiente lista, se describen los permisos mínimos necesarios:
- Para buscar una tabla, necesitas el permiso
bigquery.tables.get
para esa tabla. - Para buscar un conjunto de datos, necesitas el permiso
bigquery.datasets.get
de tu conjunto de datos. - Para buscar metadatos para un conjunto de datos o una tabla, necesitas BigQuery
Rol de visualizador de metadatos (
roles/bigquery.metadataViewer
).
Como otro ejemplo, para buscar instancias, bases de datos, esquemas, tablas y vistas, necesitas los permisos respectivos en esas entradas. Para ver más información, consulta Funciones y permisos de Cloud SQL.
Para buscar entradas personalizadas, necesitas el rol Visualizador de Dataplex Catalog
(roles/dataplex.catalogViewer
).
Habilita la API
Enable the Dataplex API.
Buscar recursos de datos
Console
Para buscar recursos de datos, sigue estos pasos:
En la consola de Google Cloud, ve a la página Búsqueda de Dataplex.
En Elegir plataforma de búsqueda, selecciona Catálogo de Dataplex como modo de búsqueda.
Si seleccionas Dataplex Catalog puedes buscar en el Almacenamiento de metadatos de Dataplex Catalog. Selección Data Catalog te permite buscar en tu Data Catalog si ya eres usuario de Data Catalog.
En el campo de búsqueda, ingresa tu consulta o usa el panel Filtros para definir mejor los parámetros de búsqueda.
Puedes agregar manualmente los siguientes filtros:
- Agrega un filtro de proyecto: en Proyecto, haz clic en Agregar proyecto. Búsqueda de un proyecto específico, selecciónalo y haz clic en Open.
- Agrega un filtro de tipos de aspecto: en Aspectos, haz clic en el Menú Agregar más tipos de aspecto. Busque una plantilla específica, seleccione y haz clic en OK.
Opcional: Además de los recursos disponibles para ti, puedes seleccionar Incluir conjuntos de datos públicos para buscar recursos de datos disponibles de forma pública en Google Cloud.
Usa las siguientes sugerencias para crear una búsqueda:
- Encierra tu expresión de búsqueda entre comillas si contiene espacios. Por ejemplo,
"search terms"
. Puedes anteponer
NOT
a una palabra clave para que coincida con la negación lógica delkeyword:term
. También puedes usar los operadores booleanosAND
yOR
para combinar expresiones de búsqueda. Los operadoresAND
,OR
yNOT
no se distingue mayúsculas de minúsculas.Por ejemplo,
NOT column:term
enumera todas las columnas, excepto las que coinciden el término especificado. Para obtener una lista de palabras clave y otros términos que puede usar en una expresión de búsqueda de Dataplex Catalog, consulta Sintaxis de búsqueda.
gcloud
Para buscar recursos de datos, usa el
Comando gcloud dataplex entries search
REST
Para buscar recursos de datos, usa el método searchEntries
.
Cómo ver los detalles de una entrada
Console
Usa la búsqueda de Dataplex Catalog para ver los detalles de una entrada.
En la consola de Google Cloud, ve a la página Búsqueda de Dataplex.
Selecciona Dataplex Catalog como el modo de búsqueda.
En el cuadro de búsqueda, ingresa el nombre de una entrada.
Haz clic en la entrada.
Se abrirá la página de detalles de las entradas. La página incluye las siguientes secciones:
- Detalles de las entradas: Incluyen información como el tipo de entrada, el sistema, nombre completamente calificado, hora de creación, hora de la última modificación, la descripción y los administradores.
- Overview: Una descripción general de la entrada (si está disponible).
- Aspectos: Son los aspectos obligatorios y opcionales definidos para la entrada. Para obtener más información, consulta Categorías de aspectos.
gcloud
Para ver los detalles de una entrada, usa el
Comando gcloud dataplex entries lookup
REST
Para ver los detalles de una entrada, usa el
Método lookupEntry
.
¿Qué sigue?
- Comprender la sintaxis de búsqueda para Dataplex Catalog
- Obtén más información sobre Dataplex Catalog.
- Obtén información para enriquecer entradas con metadatos mediante aspectos.
- Obtén más información sobre cómo administrar entradas y transferir fuentes personalizadas.