Gérer le package principal Dataform

Ce document explique comment gérer le framework de base Dataform. et le mettre à jour vers la dernière version.

Dataform Core est le framework Dataform Open Source développer des workflows SQL avec SQL, SQLX et JavaScript. Nous vous recommandons toujours utiliser la dernière version disponible du framework de base Dataform. Pour en savoir plus sur les versions du framework de base Dataform, consultez les versions de Dataform sur GitHub.

Avant de commencer

  1. Créez un dépôt.
  2. Créez et initialisez un espace de travail de développement.

Rôles requis

Pour obtenir les autorisations nécessaires pour gérer et mettre à jour Dataform Core, demandez à votre administrateur de vous accorder le rôles IAM suivants:

  • Gérez l'emplacement du package principal Dataform: Administrateur Dataform (roles/dataform.admin) sur les dépôts
  • Mettez à jour le package principal Dataform: Éditeur Dataform (roles/dataform.editor) sur les espaces de travail

Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Gérer l'emplacement du package Dataform principal

Lorsque vous initialisez le premier espace de travail dans un dépôt, Dataform définit automatiquement Dataform Core en tant que package de dépendances. Depuis Dataform Core 3.0.0, Dataform installe le package principal Dataform dans workflow_settings.yaml par défaut. Dans les versions précédentes de Dataform Core, Dataform Core a été configuré le fichier package.json.

Dans Dataform Core 3.0.0 et versions ultérieures, si Dataform Core est dans votre dépôt, vous devez le définir le fichier workflow_settings.yaml. Pour les dépôts créés avec des API de Dataform Core, Déplacez le package principal Dataform vers workflow_settings.yaml.

Le fichier package.json est pour installer des packages supplémentaires dans Dataform. Si votre dépôt utilise des packages supplémentaires, définissez le Package principal Dataform dans package.json afin que tous les packages sont configurés en un seul endroit. Si votre dépôt ne contient pas package.json, Créer package.json et déplacer le package principal Dataform pour installer des packages supplémentaires.

Déplacer Dataform Core vers workflow_settings.yaml

Pour les dépôts créés avec des versions de Dataform Core antérieures à 3.0.0, si vous n'avez aucun package de dépendances autre que Dataform Core vous devez déplacer le package principal Dataform de package.json à workflow_settings.yaml, puis supprimez les données package.json.

Pour migrer le package principal Dataform de package.json vers workflow_settings.yaml, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Dataform page.

    Accéder à la page Dataform

  2. Sélectionnez un dépôt, puis un espace de travail.

  3. Dans le volet Fichiers, sélectionnez le fichier workflow_settings.yaml.

  4. Dans le fichier workflow_settings.yaml, ajoutez Dataform Core. au format suivant:

    dataformCoreVersion: "VERSION"

    Remplacez VERSION par la dernière version de Dataform. Exemple : 3.0.0.

  5. Dans le volet Fichiers, cliquez sur le menu Plus à côté de package.json. puis cliquez sur Supprimer.

  6. Pour confirmer la suppression de dataform.json, cliquez sur Supprimer.

  7. Cliquez sur Install packages (Installer les packages).

Déplacer Dataform Core vers package.json

Le fichier package.json est nécessaire pour installer des packages supplémentaires dans un dépôt. Si votre dépôt utilise des packages supplémentaires, vous devez alors stocker tous les packages, y compris le package principal Dataform, dans package.json.

Si votre dépôt ne contient pas le fichier package.json, car le Le package principal Dataform est défini dans la workflow_settings.yaml, vous devez créer le fichier package.json pour installer des packages supplémentaires, puis déplacez le noyau Dataform package de workflow_settings.yaml vers le nouveau package.json.

Pour créer le fichier package.json et déplacer la Procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Dataform page.

    Accéder à la page Dataform

  2. Sélectionnez un dépôt, puis un espace de travail.

  3. Dans le volet Fichiers, cliquez sur addAdd, puis cliquez sur Créer un fichier.

  4. Dans le champ Ajouter un chemin d'accès au fichier, saisissez package.json.

  5. Cliquez sur Créer un fichier.

  6. Dans le fichier package.json, ajoutez Dataform Core. au format suivant:

    {
    "dependencies": {
        "@dataform/core": "VERSION"
    }
}

    Remplacez VERSION par la dernière version de Dataform. Exemple : 3.0.0.

  7. Cliquez sur Install packages (Installer les packages).

  8. Dans le volet Fichiers, sélectionnez workflow_settings.yaml.

  9. Dans le fichier workflow_settings.yaml, supprimez la dataformCoreVersion.

Mettre à jour Dataform Core

Testez toujours les nouvelles versions de package dans un environnement hors production avant le déploiement dans l'environnement de production.

Pour mettre à jour le package de dépendances de base Dataform, procédez comme suit:

  1. Recherchez la dernière version de @dataform/core sur le Page des versions de Dataform sur GitHub

  2. Dans la console Google Cloud, accédez à la page Dataform page.

    Accéder à la page Dataform

  3. Sélectionnez un dépôt, puis un espace de travail.

  4. Dans le volet Fichiers, sélectionnez le fichier package.json ou le workflow_settings.yaml.

    Emplacement où le package de dépendances de base Dataform est défini dépend de votre version de Dataform Core et de votre utilisation des packages. Pour en savoir plus, consultez Gérer l'emplacement du package principal Dataform

  5. Mettez à jour le package de dépendances principal Dataform avec la dernière version version:

    package.json

    {
    "dependencies": {
        "@dataform/core": "VERSION"
    }
}

    Remplacez VERSION par la dernière version de Dataform. Exemple : 3.0.0. Pour éviter les problèmes d’installation de packages, spécifier explicitement la version du package Dataform principal. Ne pas utiliser d'autres dependencies options de package.json (par exemple, >version).

    1. Cliquez sur Install packages (Installer les packages).

    workflow_settings.yaml

    dataformCoreVersion: "VERSION"

    Remplacez VERSION par la dernière version de Dataform. Exemple : 3.0.0.

    1. Cliquez sur Install packages (Installer les packages).

  6. Valider les modifications

  7. Déployez les modifications dans votre dépôt.

L'exemple de code suivant montre la dépendance @dataform/core mise à jour vers la version 3.0.0 dans le fichier package.json:

{
    "dependencies": {
        "@dataform/core": "3.0.0"
    }
}

Étape suivante