Gérer les pipelines à l'aide de la gestion du contrôle des sources

Console

1. Dans Cloud Data Fusion Studio, cliquez sur Menu menu.
2. Cliquez sur Administrateur de l'espace de noms.
3. Sur la page Administrateur d'espaces de noms, cliquez sur Gestion du contrôle des sources. .
4. Cliquez sur Associer le dépôt.

5. Saisissez les informations suivantes :

   • Fournisseur: choisissez un fournisseur de services Git, tel que GitHub ou GitLab :
   • URL du dépôt: saisissez l'URL de votre dépôt. y accéder. Pour GitHub, l'URL du dépôt est https://github.com/HOST/REPO
   • Default branch (Branche par défaut) (facultatif): saisissez la branche initiale du Git. Ce peut être différente de la branche par défaut configurée sur GitHub. Cette branche est utilisée pour synchroniser les pipelines, quelle que soit la branche par défaut sur GitHub.
   • Préfixe de chemin (facultatif) : saisissez un préfixe pour le nom de votre pipeline enregistré dans le dépôt Git. Par exemple, si le nom de votre pipeline est DataFusionQuickStart. Si vous spécifiez le préfixe comme namespaceName, le pipeline est enregistré en tant que namespaceName/DataFusionQuickStart dans le dépôt Git.
   • Type d'authentification: Cloud Data Fusion vous permet d'utiliser le un jeton d'accès personnalisé comme type d'authentification. C'est sélectionné automatiquement.
   • Nom du jeton : saisissez un nom pouvant être associé au jeton.
   • Jeton: saisissez le jeton fourni par le dépôt GitHub.
   • Facultatif: Nom d'utilisateur: saisissez un nom d'utilisateur ou un propriétaire pour le jeton.

6. Cliquez sur Valider. Attendez que la connexion soit validée.

7. Une fois la configuration terminée, cliquez sur Enregistrer et fermer pour confirmer la configuration.

API REST

1. Créer une clé secrète dans Cloud Data Fusion contenant le jeton d'accès personnel.

2. Exécutez la commande suivante :

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/securekeys/PASSWORD_SECRET_KEY -X PUT -d '{ "description": "Example Secure Key","data": "PERSONAL_ACCESS_TOKEN"}'
   

   Remplacez les éléments suivants :

   • NAMESPACE_ID: ID de l'espace de noms.
   • PASSWORD_SECRET_KEY: nom du secret contenant un jeton d'accès personnel.
   • PERSONAL_ACCESS_TOKEN : jeton d'accès personnel GitHub.

3. Exécutez la commande suivante :

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/repository -X PUT -d '{"test": "TEST_ONLY", "config": {"provider": "PROVIDER_TYPE", "link": "REPO_URL", "defaultBranch": "DEFAULT_BRANCH", "pathPrefix": "PATH_TO_DIRECTORY", "auth": {"type": "AUTH_TYPE", "patConfig": {"passwordName": "PASSWORD_SECRET_KEY", "username": "USER_NAME"}}}}'
   

   Remplacez les éléments suivants :

   • NAMESPACE_ID : ID de l'espace de noms.
   • TEST_ONLY: définissez-la sur true si vous le souhaitez. valider uniquement la configuration et ne pas y ajouter.
   • PROVIDER_TYPE: nom du fournisseur Git, est GITHUB.
   • REPO_URL: URL du dépôt à associer. Utilisez une URL https, par exemple https://github.com/user/repo.git.
   • DEFAULT_BRANCH: branche utilisée pour les transferts et les opérations d'extraction. Si elle est omise, la branche configurée par défaut du dépôt est utilisée (par exemple, la branche principale).
   • PATH_TO_DIRECTORY : chemin d'accès au répertoire du dépôt où les fichiers de configuration sont stockés.
   • AUTH_TYPE : type d'authentification. Seul PAT est accepté. Consultez Jeton d'accès personnel précis dans GitHub.
   • PASSWORD_SECRET_KEY: nom du secret Clé contenant le jeton d'accès personnel pour le type d'authentification PAT.
   • USER_NAME : vous pouvez omettre cette valeur pour le type d'authentification PAT.

Console

1. Dans Cloud Data Fusion Studio, cliquez sur Menu menu.
2. Cliquez sur Administrateur de l'espace de noms.
3. Sur la page Administrateur de l'espace de noms, cliquez sur l'onglet Gestion du contrôle des sources.
4. Recherchez le dépôt Git avec lequel vous souhaitez synchroniser, puis cliquez sur Synchroniser les pipelines.
5. Cliquez sur l'onglet Pipelines d'espaces de noms.

6. Recherchez et sélectionnez les pipelines que vous souhaitez transférer vers le un dépôt de clés.

   Si la dernière version du pipeline est transférée vers ou extraite de Git l'état Connecté à Git indique Connected. Si le pipeline n'a jamais été transféré vers GitHub, l'état Connecté à Git (-) est vide.

   Si vous déployez une version plus récente d'un pipeline déjà synchronisé avec dépôt Git, l'état Connecté à Git passe de Connected à vide (-).

7. Cliquez sur Transférer vers le dépôt.

8. Saisissez un message de commit, puis cliquez sur OK.

   L'opération d'envoi push démarre et un message s'affiche pour indiquer que les pipelines sélectionnés sont transférés vers le dépôt distant.

Une fois l'opération d'envoi réussie, un message de réussite est envoyé affiché indiquant le nombre de pipelines transmis à l'instance distante un dépôt de clés.

Si l'opération push échoue, vérifiez le pipeline dans GitHub pour voir s'il s'agit du la dernière version. Pour chaque opération push ayant échoué, un message d'erreur est renvoyé affiché. Pour afficher les détails de l'erreur, développez le message d'erreur.

Vous pouvez également déployer des pipelines individuels dans un dépôt Git à partir du studio de conception de pipeline :

1. Dans Cloud Data Fusion Studio, cliquez sur Menu menu.
2. Cliquez sur Liste.
3. Cliquez sur le pipeline que vous souhaitez transférer vers le dépôt Git.
4. Sur la page du pipeline, cliquez sur Actions > Transférer vers le dépôt.
5. Saisissez un message de commit, puis cliquez sur OK.

API REST

1. Transférez un ensemble de pipelines depuis Cloud Data Fusion vers le dépôt Git:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json"
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/repository/apps/push -X POST
   -d '{"apps": ["PIPELINE_NAME_1", "PIPELINE_NAME_2"]}, "commitMessage": "COMMIT_MESSAGE"'
   

   Remplacez les éléments suivants :

   • NAMESPACE_ID : ID de l'espace de noms.
   • PIPELINE_NAME_1, PIPELINE_NAME_2: les noms des pipelines à transmettre.
   • COMMIT_MESSAGE : message de commit pour le commit Git.

   La réponse contient l'ID de l'opération d'envoi. Exemple :

   RESPONSE
   {
   "id": OPERATION_ID
   }
   

2. Pour interroger l'état de l'opération d'envoi, exécutez la commande suivante:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/operations/OPERATION_ID
   

   Remplacez les éléments suivants :

   • NAMESPACE_ID: ID de l'espace de noms.
   • OPERATION_ID : ID de l'opération reçu de l'opération d'envoi.

   La réponse contient l'état de l'opération d'envoi. Exemple :

   RESPONSE
   {
   "id": OPERATION_ID
   "done": True/False
   "status": STARTING/RUNNING/SUCCEEDED/FAILED
   "error": {"message": ERROR_MESSAGE, "details":[{"resourceUri": RESOURCE, "message": ERROR_MESSAGE}]}
   }
   

   Pour vérifier si l'opération d'envoi est terminée, vérifiez le done. dans la réponse. Si l'opération a échoué, consultez la propriété error pour en savoir plus.

Console

1. Dans Cloud Data Fusion Studio, cliquez sur Menu menu.
2. Cliquez sur Administrateur de l'espace de noms.
3. Sur la page Administrateur d'espaces de noms, cliquez sur Gestion du contrôle des sources. .
4. Recherchez le dépôt Git que vous souhaitez synchroniser, puis cliquez sur Pipelines de synchronisation.
5. Cliquez sur l'onglet Dépôts pipelines. Tous les pipelines stockés dans le dépôt Git sont affichés.
6. Recherchez et sélectionnez les pipelines que vous souhaitez extraire de la dans votre espace de noms Cloud Data Fusion.

7. Cliquez sur Extraire du dépôt.

   L'opération d'extraction démarre et un message s'affiche pour indiquer que les pipelines sélectionnés sont extraits du dépôt distant. Cloud Data Fusion recherche les fichiers JSON sous le chemin d'accès configuré. les extrait et les déploie en tant que pipelines vers Cloud Data Fusion.

Une fois l'opération de récupération terminée, un message de réussite s'affiche, indiquant le nombre de pipelines extraits du dépôt distant.

Si l'opération de récupération échoue, un message d'erreur s'affiche. Pour afficher les les détails de l'erreur, développez le message d'erreur.

Vous pouvez également extraire des pipelines individuels d'un dépôt Git vers un espace de noms. du studio de conception de pipeline:

1. Dans Cloud Data Fusion Studio, cliquez sur Menu menu.
2. Cliquez sur Liste.
3. Cliquez sur le pipeline que vous souhaitez extraire du dépôt Git.
4. Sur la page du pipeline, cliquez sur Actions > Extraire du dépôt.

API REST

1. Extrayez un ensemble de pipelines du dépôt Git vers Cloud Data Fusion:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/repository/apps/pull -X POST -d '{"apps": ["PIPELINE_NAME_1", "PIPELINE_NAME_2"]}'
   

   Remplacez les éléments suivants :

   • NAMESPACE_ID: ID de l'espace de noms.
   • PIPELINE_NAME_1, PIPELINE_NAME_2: les noms des pipelines à extraire.

   La réponse contient l'ID de l'opération d'extraction. Exemple :

   RESPONSE
   {
   "id": OPERATION_ID
   }
   

2. Pour interroger l'état de l'opération d'extraction, exécutez la commande suivante:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/operations/OPERATION_ID
   

   Remplacez les éléments suivants :

   • NAMESPACE_ID: ID de l'espace de noms.
   • OPERATION_ID: ID d'opération reçu de l'opération d'extraction.

   La réponse contient l'état de l'opération d'extraction. Exemple :

   RESPONSE
   {
   "id": OPERATION_ID
   "done": True/False
   "status": STARTING/RUNNING/SUCCEEDED/FAILED
   "error": {"message": ERROR_MESSAGE, "details":[{"resourceUri": RESOURCE, "message": ERROR_MESSAGE}]}
   }
   

   Pour vérifier si l'opération d'extraction est terminée, vérifiez le done. dans la réponse. Si l'opération a échoué, vérifiez le error pour en savoir plus.

Console

1. Dans Cloud Data Fusion Studio, cliquer sur menu Menu.
2. Cliquez sur Administrateur d'espaces de noms.
3. Sur la page Administrateur d'espaces de noms, cliquez sur Gestion du contrôle des sources. .
4. Pour la configuration du dépôt Git que vous souhaitez supprimer, cliquez sur more_vert > Supprimer.

API REST

Supprimez la configuration du dépôt Git:

curl -H "Authorization: Bearer $(gcloud auth print-access-token)"
${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/repository -X DELETE

Remplacez NAMESPACE_ID par l'ID de espace de noms.