Cette page a été traduite par l'API Cloud Translation.

Surveiller les journaux Dataplex

Vous pouvez consulter, rechercher, filtrer et archiver les journaux de jobs Dataplex dans Cloud Logging :

Consultez la page Tarifs de Google Cloud Observability pour comprendre vos coûts.
Consultez la section Durée de conservation des journaux pour obtenir plus d'informations sur la conservation des journaux.
Consultez la page Filtres d'exclusion pour désactiver tous les journaux ou en exclure de Logging.
Consultez la page Présentation du routage et du stockage pour acheminer des journaux de Logging vers Cloud Storage, BigQuery ou Pub/Sub.

Accéder aux journaux de service Dataplex dans Logging

Dataplex publie les journaux de service suivants dans Cloud Logging.

Type de journal	Nom du journal	Requête `logName`	Description du journal
Journaux des événements d'analyse de données	`dataplex.googleapis.com/data_scan`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan)`	Journaux d'événements pour les jobs d'analyse de données indiquant l'état, les résultats et les statistiques des jobs
Journaux des résultats de la règle d'analyse de la qualité des données	`dataplex.googleapis.com/data_quality_scan_rule_result`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result)`	Résultats des règles d'analyse de la qualité des données dans un job d'analyse de la qualité des données
Journaux de découverte	`dataplex.googleapis.com/discovery`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery)`	Progression de la découverte et mises à jour des éléments d'une zone
(Aperçu) Journaux du job de métadonnées	`dataplex.googleapis.com/metadata_job`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job)`	Journaux sur les jobs d'importation de métadonnées et les éléments d'importation dans le fichier d'importation de métadonnées
Journaux de processus	`dataplex.googleapis.com/process`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess)`	Exécutions de job résultant de tâches de traitement de données

Vous pouvez accéder à Logging à l'aide de l'explorateur de journaux de la console Google Cloud, des commandes gcloud logging ou de l'API Logging.

Interroger les journaux des événements d'analyse des données

Lorsque vous utilisez Dataplex pour créer et exécuter une analyse des données, un journal des événements d'analyse des données est généré dans la journalisation pour la tâche générée.

Console

Dans la console Google Cloud, accédez à la page Explorateur de journaux.

Accéder à l'explorateur de journaux
Dans la vue Explorateur de journaux, accédez à l'onglet Requête.
Cliquez sur le menu Ressource.
Sélectionnez Cloud Dataplex DataScan. Cliquez sur Apply (Appliquer).
Cliquez sur le menu Nom du journal.
Dans le champ Search log names (Rechercher des noms de journaux), saisissez dataplex.googleapis.com%2Fdata_scan Sélectionnez data_scan et cliquez sur Appliquer.
Facultatif: Filtrez les journaux selon un ID d'analyse de données ou un emplacement spécifique en ajoutant les filtres suivants dans la requête de journal:
```
resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"
```
Cliquez sur Exécuter la requête.

gcloud

Pour lire les entrées de journal des événements d'analyse de données, utilisez la classe Commande gcloud logging read en exécutant la requête suivante:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Pour répertorier les entrées de journal, utilisez la Méthode entries.list.

Interroger les journaux des résultats des règles d'analyse de la qualité des données

Lorsque vous utilisez Dataplex pour créer et exécuter une analyse de la qualité des données, un journal des résultats d'une règle d'analyse de la qualité des données est généré dans Logging pour le job obtenu.

Console

Dans la console Google Cloud, accédez à la page Explorateur de journaux.

Accéder à l'explorateur de journaux
Dans la vue Explorateur de journaux, recherchez l'onglet Requête.
Cliquez sur le menu Ressource.
Sélectionnez Cloud Dataplex DataScan. Cliquez sur Apply (Appliquer).
Cliquez sur le menu Nom du journal.
Dans le champ Search log names (Rechercher des noms de journaux), saisissez dataplex.googleapis.com%2Fdata_quality_scan_rule_result. Sélectionner data_quality_scan_rule_result, puis cliquez sur Appliquer.
Facultatif: Filtrez les journaux selon un ID d'analyse de données ou un emplacement spécifique en ajoutant les filtres suivants dans la requête de journal:
```
resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"
```
Cliquez sur Exécuter la requête.

gcloud

Pour lire les entrées de journal des résultats de la règle d'analyse de la qualité des données, utilisez la méthode Commande gcloud logging read en exécutant la requête suivante:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Pour répertorier les entrées de journal, utilisez la Méthode entries.list.

Journaux de découverte de requêtes

Lorsque vous utilisez Dataplex pour découvrir des données dans des éléments, un journal de découverte est généré dans Logging.

Console

Dans la console Google Cloud, accédez à la page Explorateur de journaux.

Accéder à l'explorateur de journaux
Dans la vue Explorateur de journaux, accédez à l'onglet Requête.
Cliquez sur le menu Ressource.
Sélectionnez Cloud Dataplex Zone (Zone Cloud Dataplex). Cliquez sur Apply (Appliquer).
Cliquez sur le menu Nom du journal.
Dans le champ Search log names (Rechercher des noms de journaux), saisissez dataplex.googleapis.com%2Fdiscovery Sélectionnez discovery et cliquez sur Appliquer.

Facultatif: Filtrez les journaux sur un élément spécifique en ajoutant les filtres suivants dans la requête de journal:

resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

Cliquez sur Exécuter la requête.

gcloud

Pour lire les entrées de journal de découverte, utilisez la méthode Commande gcloud logging read en exécutant la requête suivante:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

Pour répertorier les entrées de journal, utilisez la Méthode entries.list.

Journaux des jobs de métadonnées de requête

Lorsque vous exécutez un job d'importation de métadonnées, les métadonnées sont générés dans Logging.

Console

Dans la console Google Cloud, accédez à la page Explorateur de journaux.

Accéder à l'explorateur de journaux
Dans la vue Explorateur de journaux, accédez à l'onglet Requête.
Cliquez sur le menu Ressource.
Sélectionnez Job de métadonnées Cloud Dataplex.
Facultatif: Pour filtrer les journaux selon un emplacement ou un ID de job de métadonnées spécifique, sélectionnez un lieu ou un ID de job.
Cliquez sur Appliquer.
Cliquez sur le menu Nom du journal.
Saisissez dataplex.googleapis.com%2Fmetadata_job, puis sélectionnez metadata_job.
Cliquez sur Appliquer.

gcloud

Pour lire les entrées de journal de votre job de métadonnées, utilisez la méthode Commande gcloud logging read en exécutant la requête suivante:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID
    --limit 10

REST

Pour répertorier les entrées de journal, utilisez la méthode entries.list.

Journaux de traitement des requêtes

Lorsque vous utilisez Dataplex pour planifier et exécuter des tâches, un processus journal est généré dans Logging pour le job obtenu.

Console

Dans la console Google Cloud, accédez à la page Explorateur de journaux.

Accéder à l'explorateur de journaux
Dans la vue Explorateur de journaux, recherchez l'onglet Requête.
Cliquez sur le menu Ressource.
Sélectionnez Tâche Cloud Dataplex. Cliquez sur Apply (Appliquer).
Cliquez sur le menu Nom du journal.
Dans le champ Search log names (Rechercher des noms de journaux), saisissez dataplex.googleapis.com%2Fprocess. Sélectionnez process (traitement), puis cliquez sur Apply (Appliquer).
Facultatif : Filtrez les journaux pour une tâche spécifique en ajoutant le code suivant : dans la requête de journal:
```
resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"
```
Cliquez sur Exécuter la requête.

gcloud

Pour lire les entrées de journal de processus, utilisez la méthode Commande gcloud logging read en exécutant la requête suivante:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

Pour répertorier les entrées de journal, utilisez la Méthode entries.list.

Étape suivante

Apprenez-en plus sur Cloud Logging.
Découvrez la surveillance de Dataplex.