À propos de la traçabilité des données

La traçabilité des données est un Dataplex Fonctionnalité qui vous permet de suivre la façon dont les données circulent dans vos systèmes et leur provenance l'endroit où elles sont transmises et les transformations qui leur sont appliquées.

Pourquoi avez-vous besoin de la traçabilité des données ?

Le traitement de grands jeux de données implique souvent de transformer les données en entités adaptées aux besoins d'un projet spécifique: fichiers texte, tableaux, rapports, tableaux de bord, modèles.

Par exemple, imaginez que vous avez une boutique en ligne dans laquelle vous enregistrez chaque achat dans une seule table SQL. Pour permettre à vos analystes de travailler plus facilement avec les données, vous commencez à exécuter des jobs qui extraient des informations de cette table unique et produire des tables plus petites par région, par marque ou par prix soldé. Vos analystes commencent ensuite à faire de même : ils effectuent d'autres transformations, en fusionnant ces petites tables avec d'autres sources de données pour produire encore plus de tables.

Cela peut devenir un défi de taille pour vos partenaires :

  • Les consommateurs de données ne peuvent pas utiliser un outil en libre-service pour comprendre si les données provenant d'une source faisant autorité.
  • Les ingénieurs de données ne peuvent pas causer les problèmes en raison d'un manque de moyens fiables pour suivre toutes les transformations de données.
  • Avant, les ingénieurs et analystes de données ne peuvent pas évaluer pleinement l'impact potentiel modifier ou supprimer des tableaux.
  • Les responsables de la gouvernance des données ne peuvent pas comprendre comment les données sensibles sont utilisées dans l'ensemble de l'organisation et s'assurer du respect des exigences réglementaires.

La traçabilité des données est une solution qui offre un moyen pratique de:

  • Comprendre comment les données sont extraites et transformées grâce à la traçabilité des visualisations graphiques.
  • Retracer les erreurs liées aux entrées et aux opérations de données jusqu'à leur racine causes.
  • Améliorez la gestion du changement grâce à l'analyse d'impact: évitez les temps d'arrêt les erreurs inattendues, identifier les entrées dépendantes et collaborer avec les partenaires concernés.

Modèle d'informations sur la traçabilité des données

Dans sa forme de base, la traçabilité est un enregistrement des données transformées de sources à targets. L'API Data Lineage collecte ces informations et les organise dans un modèle de données hiérarchique à l'aide des concepts de processus, d'exécutions et d'événements.

Processus

Un processus est la définition d'une opération de transformation de données prise en charge pour un système spécifique. Dans le contexte de la traçabilité BigQuery, process est l'un des types de tâches compatibles.

Exécuter

Une exécution correspond à une exécution d'un processus. Les processus peuvent avoir plusieurs exécutions. Les exécutions contiennent des informations telles que les heures de début et de fin, l'état ou des attributs supplémentaires. Pour en savoir plus, consultez la documentation de référence sur la ressource run.

Événement

Un événement représente un point dans le temps où une opération de transformation de données a eu lieu et a entraîné le transfert de données entre une source et une entité cible.

Les événements contiennent une liste de maillons qui définissent quelle entrée était la source et quelle était la cible d'un événement particulier. Les événements sont utilisés pour calculer graphiques de visualisation de la traçabilité, ils ne sont pas directement exposés dans la console Google Cloud. Vous pouvez les créer, les lire et les supprimer (mais pas les mettre à jour) à l'aide de l'API Data Lineage.

Exemple

Prenons l'exemple suivant, où des données sont copiées entre des tables BigQuery :

L'exemple extrait les données de tables appelées customer_year et customers pour vous obtenez une table appelée "top_customer".
Figure 1. Exemple de graphique montrant les sources des données d'une table.

Le processus de traçabilité décrit la manière dont les données se déplacent entre les tables (représenté sur le graphique par la Icône du processus de traçabilité BigQuery. ): il peut s'agir d'une requête SQL CREATE TABLE AS SELECT ou d'une instruction INSERT.

Chaque exécution de cette instruction SQL constitue une exécution individuelle. Les exécutions contiennent des événements, qui enregistrent les tables utilisées comme sources et comme cibles. Dans cet exemple, les tables customer_year et customers sont tous deux la source. pour la table cible top_customer.

Graphique de visualisation de la traçabilité

Les graphiques de traçabilité représentent les informations collectées par l'API Data Lineage pour une entrée Data Catalog spécifique. Root est l'entrée que vous afficher la traçabilité.

L'exemple de graphique montre les données de deux tables en cours de transformation, puis de fusion dans une nouvelle table, avec un panneau de détails affichant le code SQL ancré en bas.
Figure 2. Exemple de graphique de visualisation de la traçabilité dans l'interface utilisateur de Dataplex.

Dataplex utilise l'API Data Lineage pour identifier les entrées dont le nom complet correspond aux entités reconnues par la traçabilité des données. Pour les entrées Dataplex correspondantes, vous pouvez accéder à l'onglet Lignée sur leur page d'informations et afficher le graphique.

Les graphiques de traçabilité affichent deux types d'éléments:

  • Boutons larges et rectangulaires qui représentent les entités impliquées dans la construction les informations de traçabilité en tant que sources ou cibles d'un événement de traçabilité ;

  • Des boutons carrés plus petits représentant les processus responsables de la création ou en mettant à jour les entités source ou cibles. Les boutons de processus utilisent des icônes spécifiques au système source qui les a signalés à l'API Data Lineage. Par exemple, les jobs BigQuery utilisent Icône Icône du processus de lignée BigQuery..

Vue sous forme de liste de traçabilité

La vue de liste de la généalogie affiche des informations détaillées sur la généalogie des entités dans un seul tableau.

Par rapport au graphique de visualisation de la traçabilité, qui est plus adapté à la visualisation graphiques de traçabilité relativement petits, la vue sous forme de liste de traçabilité vous permet d'afficher la traçabilité des informations sur les entités avec de nombreuses connexions.

L'image suivante présente un exemple de liste de traçabilité dans console Google Cloud. La liste suivante décrit l'image plus en détail.

Exemple de liste de traçabilité dans la console Google Cloud.
Figure 3. Exemple d'affichage sous forme de liste de traçabilité dans console Google Cloud.

  • Chaque ligne du tableau représente un seul lien de traçabilité entre deux entrées. Dans le graphique, ces noms sont représentés comme des liens de traçabilité entre deux d'entrée, y compris tous les nœuds de processus intermédiaires. Par exemple, Source et Les Target sont des nœuds d'éléments, parfois séparés par plusieurs nœuds de processus.

  • L'option Direction spécifie la partie du flux de données à afficher dans la liste, par rapport à l'élément racine :

    • En amont: affiche des informations de traçabilité pour les entrées qui sont des sources de données. pour l'entrée sélectionnée. Sur le graphique de traçabilité, ces entrées correspondent aux entrées qui apparaissent à gauche de l'entrée sélectionnée.

    • En aval: affiche des informations de traçabilité pour les entrées qui utilisent ou sont issues de l'entrée sélectionnée. Sur le graphique de traçabilité, ces entrées qui apparaissent à droite de l'entrée sélectionnée.

  • La profondeur indique à quel point elle est éloignée de la ressource racine, d'une source ou ressource dérivée. La vue Liste affiche jusqu'à 1 000 liens de traçabilité, avec la profondeur maximale à partir de la racine sous la forme de 10 liens de traçabilité. S'il existe une traçabilité en dehors de cette plage, vous en êtes informé. Vous pouvez voir la traçabilité en dehors de cette plage en sélectionnant le nom d'une autre entité dans la liste.

  • Le panneau Détails affiche des informations sur la source du lien, la cible du lien et tous les processus ayant créé ce lien.

  • Vous pouvez personnaliser les colonnes affichées dans le tableau et filtrer les résultats. Vous pouvez également exporter les résultats dans un fichier CSV.

Suivi automatisé de la traçabilité des données

Lorsque vous activez l'API Data Lineage, les systèmes Google Cloud compatibles avec la généalogie des données commencent à signaler leur transfert de données. Chaque système intégré peut envoyer des informations de traçabilité pour différentes sources de données. Consultez les sections suivantes pour en savoir plus sur tous les produits compatibles.

BigQuery

Causes de l'activation de la traçabilité des données dans votre projet BigQuery Dataplex enregistre automatiquement les informations de traçabilité pour:

Les jobs de copie, de requête et de chargement BigQuery sont représentés en tant que processus (cliquez sur l'icône en forme de verre sur le graphique de visualisation de la traçabilité détails). Chaque processus contient le job_id BigQuery dans attributs pour le job BigQuery le plus récent.

Autres services

La traçabilité des données peut être intégrée aux éléments suivants : Services Google Cloud:

Traçabilité des données pour les sources de données personnalisées

Vous pouvez utiliser l'API Data Lineage. dans Dataplex afin d'enregistrer manuellement les informations de traçabilité pour toutes les sources de données. qui n'est pas pris en charge par les systèmes intégrés.

Dataplex peut créer des graphiques de visualisation pour les enregistrements manuels la traçabilité si vous utilisez fullyQualifiedNames correspondant aux valeurs des entrées Data Catalog existantes. Si vous voulez enregistrer la traçabilité d'une source de données personnalisée, commencez par créer entrée Data Catalog personnalisée.

Les attributs de chaque processus de source de données personnalisées peuvent contenir la clé sql liste. La valeur de cette clé sera utilisée pour mettre en surbrillance le code dans les détails du graphique de traçabilité des données. L'instruction SQL s'affichera telle qu'elle a été fournie. L'utilisateur est chargé de filtrer les informations sensibles. Le nom de clé sql est sensible à la casse.

OpenLineage

Si vous utilisez déjà OpenLineage pour collecter des informations sur la lignée à partir d'autres sources de données, vous pouvez importer des événements OpenLineage dans Dataplex et les afficher dans la console Google Cloud. Pour en savoir plus, consultez la section Intégrer à OpenLineage.

Limites

  • Toutes les informations de traçabilité sont conservées dans le système pendant 30 jours uniquement.
  • Les informations de traçabilité sont conservées une fois que vous avez supprimé la source de données associée. Autrement dit, si vous supprimez une table BigQuery et son entrée dans Data Catalog, vous pouvez toujours lire la lignée de cette table à l'aide de l'API pendant 30 jours maximum.

Accéder à la traçabilité des données

Vous pouvez accéder aux fonctionnalités de traçabilité des données à l'aide des éléments suivants:

Tarifs

  • Dataplex utilise le SKU de traitement Premium pour facturer la traçabilité des données. Pour en savoir plus, reportez-vous à la section Tarification.

  • Pour séparer les frais de traçabilité des données des autres frais dans le SKU de traitement Dataplex Premium, disponible sur le rapport Cloud Billing, utilisez le libellé goog-dataplex-workload-type avec la valeur LINEAGE

Étape suivante