I log dei job Dataplex possono essere visualizzati, cercati, filtrati e archiviati in Cloud Logging.
Per conoscere i tuoi costi, consulta i prezzi di Google Cloud Observability.
Consulta Periodi di conservazione dei log per informazioni sulla conservazione dei log.
Consulta Filtri di esclusione per disattivare tutti i log o escludere i log di Logging.
Consulta la Panoramica su routing e archiviazione per eseguire il routing log da Logging a Cloud Storage, BigQuery o Pub/Sub.
Accedi ai log del servizio Dataplex in Logging
Dataplex pubblica i seguenti log di servizio su Cloud Logging.
Tipo di log | Nome log | logName query |
Descrizione log |
---|---|---|---|
Log degli eventi di analisi dei dati | dataplex.googleapis.com/data_scan |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) |
Log eventi per i job di scansione dei dati che indicano stato, risultati e statistiche del job |
Log dei risultati della regola di analisi della qualità dei dati | dataplex.googleapis.com/data_quality_scan_rule_result |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) |
Risultati delle regole di analisi della qualità dei dati in un job di qualità dei dati |
Log di rilevamento | dataplex.googleapis.com/discovery |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) |
Avanzamento e aggiornamenti della scoperta sugli asset in una zona |
(Anteprima) Log dei job di metadati | dataplex.googleapis.com/metadata_job |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) |
Log relativi ai job di importazione dei metadati e agli elementi di importazione nel file di importazione dei metadati |
Log di processo | dataplex.googleapis.com/process |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) |
Esecuzioni del job derivanti da attività di elaborazione dati |
Puoi accedere a Logging utilizzando
Esplora log nel
nella console Google Cloud,
i comandi gcloud logging
oppure
l'API Logging.
Esegui query sui log eventi di scansione dei dati
Quando utilizzi Dataplex per creare ed eseguire un'analisi dei dati, in Logging viene generato un log eventi di analisi dei dati per il job risultante.
Console
Nella console Google Cloud, vai alla pagina Esplora log.
Nella vista Esplora log, trova la scheda Query.
Fai clic sul menu Risorsa.
Seleziona Cloud Dataplex DataScan. Fai clic su Applica.
Fai clic sul menu Nome log.
Nel campo Nomi dei log di ricerca, inserisci
dataplex.googleapis.com%2Fdata_scan
. Seleziona data_scan e fai clic su Applica.(Facoltativo) Filtra i log in base a una località o un ID scansione dei dati specifici aggiungendo i seguenti filtri nella query del log:
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
Fai clic su Esegui query.
gcloud
Per leggere le voci del log eventi della scansione dei dati, utilizza
Comando gcloud logging read
con la seguente query:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/DataScan" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND resource.labels.location=LOCATION AND resource.labels.datascan_id=DATA_SCAN_ID' --limit 10
REST
Per elencare le voci di log, utilizza
Metodo entries.list
.
Esegui query sui log dei risultati della regola di scansione della qualità dei dati
Quando utilizzi Dataplex per creare ed eseguire un'analisi della qualità dei dati, in Logging viene generato un log dei risultati delle regole di analisi della qualità dei dati per il job risultante.
Console
Nella console Google Cloud, vai alla pagina Esplora log.
Nella vista Esplora log, trova la scheda Query.
Fai clic sul menu Risorsa.
Seleziona Cloud Dataplex DataScan. Fai clic su Applica.
Fai clic sul menu Nome log.
Nel campo Nomi dei log di ricerca, inserisci
dataplex.googleapis.com%2Fdata_quality_scan_rule_result
. Seleziona data_quality_scan_rule_result e fai clic su Applica.(Facoltativo) Filtra i log in base a un ID o a una posizione di scansione dei dati specifici aggiungendo i seguenti filtri nella query del log:
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
Fai clic su Esegui query.
gcloud
Per leggere le voci di log dei risultati della regola di analisi della qualità dei dati, utilizza
Comando gcloud logging read
con la seguente query:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/DataScan" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND resource.labels.location=LOCATION AND resource.labels.datascan_id=DATA_SCAN_ID' --limit 10
REST
Per elencare le voci di log, utilizza
Metodo entries.list
.
Log di rilevamento delle query
Quando usi Dataplex per rilevare i dati negli asset, viene generato un log di rilevamento viene generato in Logging.
Console
Nella console Google Cloud, vai alla pagina Esplora log.
Nella vista Esplora log, trova la scheda Query.
Fai clic sul menu Risorsa.
Seleziona Zona Cloud Dataplex. Fai clic su Applica.
Fai clic sul menu Nome log.
Nel campo Nomi log di ricerca, inserisci
dataplex.googleapis.com%2Fdiscovery
. Seleziona discovery e fai clic su Applica.(Facoltativo) Filtra i log in base a un asset specifico aggiungendo i seguenti filtri nella query del log:
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.zone_id="ZONE_ID" jsonPayload.assetId="ASSET_ID"
Fai clic su Esegui query.
gcloud
Per leggere le voci di log del rilevamento, utilizza il
Comando gcloud logging read
con la seguente query:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/Zone" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND resource.labels.location=LOCATION AND resource.labels.lake_id=LAKE_ID AND resource.labels.zone_id=ZONE_ID AND jsonPayload.assetId=ASSET_ID' --limit 10
REST
Per elencare le voci di log, utilizza il
metodo entries.list
.
Esegui query sui log dei job dei metadati
Quando esegui un job di importazione dei metadati, i log dei job di metadati vengono generati in Logging.
Console
Nella console Google Cloud, vai alla pagina Esplora log.
Nella visualizzazione Esplora log, individua la scheda Query.
Fai clic sul menu Risorsa.
Seleziona Job metadati Cloud Dataplex.
(Facoltativo) Per filtrare i log in base a una località specifica o a un ID job di metadati, seleziona una località o un ID job.
Fai clic su Applica.
Fai clic sul menu Nome log.
Digita
dataplex.googleapis.com%2Fmetadata_job
e poi seleziona metadata_job.Fai clic su Applica.
gcloud
Per leggere le voci di log dei job di metadati, utilizza
Comando gcloud logging read
con la seguente query:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/MetadataJob" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND resource.labels.location=LOCATION AND resource.labels.metadata_job_id=METADATA_JOB_ID --limit 10
REST
Per elencare le voci di log, utilizza
Metodo entries.list
.
Query sui log di processo
Quando utilizzi Dataplex per pianificare ed eseguire attività, un processo generato in Logging per il job risultante.
Console
Nella console Google Cloud, vai alla pagina Esplora log.
Nella vista Esplora log, trova la scheda Query.
Fai clic sul menu Risorsa.
Seleziona Attività Cloud Dataplex. Fai clic su Applica.
Fai clic sul menu Nome log.
Nel campo Nomi log di ricerca, inserisci
dataplex.googleapis.com%2Fprocess
. Seleziona Elabora e fai clic Applica.(Facoltativo) Filtra i log in base a un'attività specifica aggiungendo quanto segue filtri nella query del log:
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.task_id="TASK_ID"
Fai clic su Esegui query.
gcloud
Per leggere le voci di log dei processi, utilizza il
comando gcloud logging read
con la seguente query:
gcloud logging read \ 'resource.type="dataplex.googleapis.com/Task" AND logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND resource.labels.location=LOCATION AND resource.labels.lake_id=LAKE_ID AND resource.labels.task_id=TASK_ID' --limit 10
REST
Per elencare le voci di log, utilizza il
metodo entries.list
.
Passaggi successivi
- Scopri di più su Cloud Logging.
- Scopri di più sul monitoraggio di Dataplex.