Cloud Run-Job mit Workflows ausführen

Cloud Run-Job erstellen

In dieser Anleitung wird ein Cloud Run-Beispieljob aus GitHub verwendet. Der Job liest Daten aus einer Eingabedatei in Cloud Storage und führt einige jede Zeile in der Datei zu verarbeiten.

1. Rufen Sie den Beispielcode ab, indem Sie das Repository der Beispiel-App in Ihr lokales Computer:

   git clone https://github.com/GoogleCloudPlatform/jobs-demos.git

   Alternativ können Sie Beispiel als ZIP-Datei herunterladen und extrahieren sie.

2. Wechseln Sie zu dem Verzeichnis, das den Beispielcode enthält:

   cd jobs-demos/parallel-processing

3. Erstellen Sie einen Cloud Storage-Bucket zum Speichern einer Eingabedatei, in die geschrieben werden kann und die ein Ereignis auslöst:

   Console

   1. Wechseln Sie in der Cloud Console zur Seite Cloud Storage-Buckets.
      

      Buckets aufrufen

   2. Klicken Sie auf Hinzufügen Erstellen.
   3. Geben Sie auf der Seite Bucket erstellen einen Namen für den Bucket ein:

      input-PROJECT_ID

      Ersetzen Sie PROJECT_ID durch die ID Ihres Google Cloud-Projekt
   4. Behalten Sie die anderen Standardeinstellungen bei.
   5. Klicken Sie auf Erstellen.

   gcloud

   Führen Sie den gcloud storage buckets create-Befehl:

   gcloud storage buckets create gs://input-PROJECT_ID

   Wenn die Anfrage erfolgreich ist, gibt der Befehl die folgende Meldung zurück:

   Creating gs://input-PROJECT_ID/...

   Terraform

   Verwenden Sie zum Erstellen eines Cloud Storage-Bucket die Methode google_storage_bucket Ressource und ändern Sie die Datei main.tf wie in der folgenden Beispiel.

   Informationen zum Anwenden oder Entfernen einer Terraform-Konfiguration finden Sie unter Grundlegende Terraform-Befehle

   In einem typischen Terraform-Workflow wird der gesamte Plan angewendet. auf einmal. In dieser Anleitung können Sie jedoch zu einer bestimmten Ressource. Beispiel:

   terraform apply -target="random_id.bucket_name_suffix"
   und
   terraform apply -target="google_storage_bucket.default"

   # Cloud Storage bucket names must be globally unique
   resource "random_id" "bucket_name_suffix" {
     byte_length = 4
   }
   
   # Create a Cloud Storage bucket
   resource "google_storage_bucket" "default" {
     name                        = "input-${data.google_project.project.name}-${random_id.bucket_name_suffix.hex}"
     location                    = "us-central1"
     storage_class               = "STANDARD"
     force_destroy               = false
     uniform_bucket_level_access = true
   }

4. Erstellen Sie ein Artifact Registry-Standard-Repository zum Speichern Ihrer Container-Image:

   Console

   1. Rufen Sie in der Google Cloud Console Artifact Registry auf Seite Repositories:

      Zu Repositories

   2. Klicken Sie auf add. Repository erstellen

   3. Geben Sie einen Namen für das Repository ein, z. B. my-repo. Repository-Namen können für jeden Repository-Speicherort in einem Projekt nur einmal vorkommen.

   4. Behalten Sie das Standardformat bei, das Docker sein sollte.

   5. Behalten Sie den Standardmodus bei, der Standard sein sollte.

   6. Wählen Sie als Region us-central1 (Iowa) aus.

   7. Behalten Sie alle anderen Standardeinstellungen bei.

   8. Klicken Sie auf Erstellen.

   gcloud

   Führen Sie diesen Befehl aus:

   gcloud artifacts repositories create REPOSITORY \
       --repository-format=docker \
       --location=us-central1

   Ersetzen Sie REPOSITORY durch einen eindeutigen Namen für die Repository, z. B. my-repo. Repository-Namen können für jeden Repository-Speicherort in einem Projekt nur einmal vorkommen.

   Terraform

   Verwenden Sie zum Erstellen eines Artifact Registry-Repositories die Ressource google_artifact_registry_repository und ändern Sie die Datei main.tf wie im folgenden Beispiel gezeigt.

   In einem typischen Terraform-Workflow wenden Sie den gesamten Plan einmal. In dieser Anleitung können Sie jedoch zu einer bestimmten Ressource. Beispiel:

   terraform apply -target="google_artifact_registry_repository.default"

   # Create an Artifact Registry repository
   resource "google_artifact_registry_repository" "default" {
     location      = "us-central1"
     repository_id = "my-repo"
     format        = "docker"
   }

5. Erstellen Sie das Container-Image mit einem standardmäßigen Google Cloud-Buildpack:

   export SERVICE_NAME=parallel-job
   gcloud builds submit \
       --pack image=us-central1-docker.pkg.dev/PROJECT_ID/REPOSITORY/${SERVICE_NAME}

   Ersetzen Sie REPOSITORY durch den Namen Ihres Artifact Registry-Repository.

   Es kann einige Minuten dauern, bis der Build abgeschlossen ist.

6. Erstellen Sie einen Cloud Run-Job, der das Container-Image bereitstellt:

   Console

   1. Rufen Sie in der Google Cloud Console Cloud Run auf. Seite:

      Zu Cloud Run

   2. Klicken Sie auf Job erstellen, um das Formular Job erstellen aufzurufen.

      1. Wählen Sie im Formular us-central1-docker.pkg.dev/PROJECT_ID/REPOSITORY/parallel-job:latest als Artifact Registry-Container-Image-URL.
      2. Optional: Geben Sie als Jobnamen parallel-job ein.
      3. Optional: Wählen Sie für die Region us-central1 (Iowa) aus.
      4. Geben Sie für die Anzahl der Tasks, die Sie in dem Job ausführen möchten, 10 Ein Job ist erst erfolgreich, wenn alle Aufgaben erfolgreich ausgeführt werden. Die Aufgaben werden standardmäßig parallel ausgeführt.

   3. Maximieren Sie den Bereich Container, Variablen und Secrets, Verbindungen, Sicherheit und behalten alle Standardeinstellungen bei, mit Ausnahme der folgenden: Einstellungen:

      1. Klicken Sie auf den Tab Allgemein.

         1. Geben Sie für den Containerbefehl python ein.
         2. Geben Sie für das Containerargument process.py ein.

      2. Klicken Sie auf den Tab Variablen und Secrets.

         1. Klicken Sie auf Variable hinzufügen und geben Sie INPUT_BUCKET für das Name und input-PROJECT_ID für den Wert.
         2. Klicken Sie auf Variable hinzufügen und geben Sie INPUT_FILE für das name und input_file.txt für den Wert.

   4. Klicken Sie auf Erstellen, um den Job zu erstellen.

   gcloud

   1. Legen Sie die Cloud Run-Standardregion fest:

      gcloud config set run/region us-central1

   2. Erstellen Sie den Cloud Run-Job:

      gcloud run jobs create parallel-job \
          --image us-central1-docker.pkg.dev/PROJECT_ID/REPOSITORY/parallel-job:latest \
          --command python \
          --args process.py \
          --tasks 10 \
          --set-env-vars=INPUT_BUCKET=input-PROJECT_ID,INPUT_FILE=input_file.txt

      Wenn Sie kein Tag für Image-Tag, Artifact Registry sucht nach dem Image mit dem Standard-latest-Tag.

      Eine vollständige Liste der beim Erstellen eines Jobs verfügbaren Optionen finden Sie unter den Befehl gcloud run Jobs create Befehlszeilendokumentation.

      Sobald der Job erstellt wurde, sollten Sie eine Meldung mit dem Hinweis sehen, Erfolg haben.

   Terraform

   Verwenden Sie zum Erstellen eines Cloud Run-Jobs die Methode google_cloud_run_v2_job-Ressource und ändern Sie die Datei main.tf wie im folgenden Beispiel gezeigt.

   In einem typischen Terraform-Workflow wenden Sie den gesamten Plan einmal. In dieser Anleitung können Sie jedoch zu einer bestimmten Ressource. Beispiel:

   terraform apply -target="google_cloud_run_v2_job.default"

   # Create a Cloud Run job
   resource "google_cloud_run_v2_job" "default" {
     name     = "parallel-job"
     location = "us-central1"
   
     template {
       task_count = 10
       template {
         containers {
           image   = "us-central1-docker.pkg.dev/${data.google_project.project.name}/${google_artifact_registry_repository.default.repository_id}/parallel-job:latest"
           command = ["python"]
           args    = ["process.py"]
           env {
             name  = "INPUT_BUCKET"
             value = google_storage_bucket.default.name
           }
           env {
             name  = "INPUT_FILE"
             value = "input_file.txt"
           }
         }
       }
     }
   }

Workflow bereitstellen, der den Cloud Run-Job ausführt

Workflow definieren und bereitstellen, der den Cloud Run-Job ausführt die Sie gerade erstellt haben. Eine Workflow-Definition besteht aus einer Reihe von Schritten mit der Workflows-Syntax:

# Create a workflow
resource "google_workflows_workflow" "default" {
  name        = "cloud-run-job-workflow"
  region      = "us-central1"
  description = "Workflow that routes a Cloud Storage event and executes a Cloud Run job"

  # Note that $$ is needed for Terraform
  source_contents = <<EOF
  main:
      params: [event]
      steps:
          - init:
              assign:
                  - project_id: $${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                  - event_bucket: $${event.data.bucket}
                  - event_file: $${event.data.name}
                  - target_bucket: "${google_storage_bucket.default.name}"
                  - job_name: parallel-job
                  - job_location: us-central1
          - check_input_file:
              switch:
                  - condition: $${event_bucket == target_bucket}
                    next: run_job
                  - condition: true
                    next: end
          - run_job:
              call: googleapis.run.v1.namespaces.jobs.run
              args:
                  name: $${"namespaces/" + project_id + "/jobs/" + job_name}
                  location: $${job_location}
                  body:
                      overrides:
                          containerOverrides:
                              env:
                                  - name: INPUT_BUCKET
                                    value: $${event_bucket}
                                  - name: INPUT_FILE
                                    value: $${event_file}
              result: job_execution
          - finish:
              return: $${job_execution}
  EOF
}

Der Workflow umfasst folgende Schritte:

1. Schritt init: Akzeptiert ein Cloud Storage-Ereignis als Argument und dann legt die notwendigen Variablen fest.

2. Schritt check_input_file: Prüft, ob der im Ereignis angegebene Cloud Storage-Bucket der Bucket ist, der vom Cloud Run-Job verwendet wird.

   • Wenn ja, fährt der Workflow mit Schritt run_job fort.
   • Andernfalls wird der Workflow beendet und die weitere Verarbeitung unterbrochen.

3. Schritt run_job: Hier wird die googleapis.run.v1.namespaces.jobs.run-Methode des Cloud Run Admin API-Connectors verwendet, um den Job auszuführen. Die Namen des Cloud Storage-Bucket und der Datendatei lauten: werden als Überschreibungsvariablen vom Workflow an den Job übergeben.

4. Schritt finish: Gibt Informationen zur Jobausführung als Ergebnis von des Workflows.

Eventarc-Trigger für den Workflow erstellen

Damit der Workflow automatisch ausgeführt wird und Cloud Run wird bei jeder Aktualisierung der Eingabedatendatei ein Eventarc erstellt. Trigger, der auf Cloud Storage-Ereignisse im Bucket reagiert mit der Eingabedatendatei.

gcloud eventarc triggers create cloud-run-job-workflow-trigger \
    --location=us \
    --destination-workflow=cloud-run-job-workflow  \
    --destination-workflow-location=us-central1 \
    --event-filters="type=google.cloud.storage.object.v1.finalized" \
    --event-filters="bucket=input-PROJECT_ID" \
    --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

# Create an Eventarc trigger that routes Cloud Storage events to Workflows
resource "google_eventarc_trigger" "default" {
  name     = "cloud-run-job-trigger"
  location = google_workflows_workflow.default.region

  # Capture objects changed in the bucket
  matching_criteria {
    attribute = "type"
    value     = "google.cloud.storage.object.v1.finalized"
  }
  matching_criteria {
    attribute = "bucket"
    value     = google_storage_bucket.default.name
  }

  # Send events to Workflows
  destination {
    workflow = google_workflows_workflow.default.id
  }

  service_account = google_service_account.workflows.email

}

Jedes Mal, wenn eine Datei in den Cloud Storage-Bucket mit der Eingabedatendatei hochgeladen oder überschrieben wird, wird der Workflow mit dem entsprechenden Cloud Storage-Ereignis als Argument ausgeführt.

Workflow auslösen

Testen Sie das End-to-End-System, indem Sie die Eingabedatendatei in Cloud Storage

1. Neue Daten für die Eingabedatei generieren und in Cloud Storage hochladen an dem vom Cloud Run-Job erwarteten Standort:

   base64 /dev/urandom | head -c 100000 >input_file.txt
   gcloud storage cp input_file.txt gs://input-PROJECT_ID/input_file.txt

   Wenn Sie einen Cloud Storage-Bucket mit Terraform erstellt haben, können Sie Rufen Sie den Namen des Buckets ab, indem Sie den folgenden Befehl ausführen:

   gcloud storage buckets list gs://input*

   Die Ausführung des Cloud Run-Jobs kann einige Minuten dauern.

2. Prüfen Sie, ob der Cloud Run-Job wie erwartet ausgeführt wurde, indem Sie die Jobausführungen:

   gcloud config set run/region us-central1
   gcloud run jobs executions list --job=parallel-job

   In der Ausgabe sollte eine erfolgreiche Jobausführung angezeigt werden, die darauf hinweist, 10/10 Aufgaben wurden abgeschlossen.

Weitere Informationen über Einen Workflow mit Ereignissen oder Pub/Sub-Nachrichten auslösen