Dataform-Kernpaket verwalten

In diesem Dokument erfahren Sie, wie Sie das Core-Framework von Dataform verwalten Abhängigkeitspaket erstellt und auf die neueste Version aktualisiert.

Dataform Core ist das Open-Source-Dataform-Framework für SQL-Workflows mit SQL, SQLX und JavaScript entwickeln. Als Best Practice Sie verwenden immer die neueste verfügbare Version des Dataform Core Framework. Informationen zu Releases des Dataform Core Framework Siehe Dataform-Releases auf GitHub.

Hinweise

  1. Erstellen Sie ein Repository.
  2. Entwicklungsarbeitsbereich erstellen und initialisieren

Erforderliche Rollen

Um die Berechtigungen zu erhalten, die Sie zum Verwalten und Aktualisieren von Dataform Core benötigen, bitten Sie Ihren Administrator, Ihnen folgenden IAM-Rollen:

  • Verwalten Sie den Speicherort des Dataform-Kernpakets: Dataform-Administrator (roles/dataform.admin) für Repositories
  • Aktualisieren Sie das Dataform-Kernpaket: Dataform Editor (roles/dataform.editor) zu Arbeitsbereichen

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Speicherort von Dataform-Kernpaketen verwalten

Wenn Sie den ersten Arbeitsbereich in einem Repository initialisieren, Dataform Core automatisch als Abhängigkeitspaket festgelegt. Seit Dataform Core 3.0.0 Dataform installiert das Dataform-Kernpaket in der workflow_settings.yaml-Datei standardmäßig entfernt. In früheren Versionen von Dataform Core, Dataform Core wurde in die Datei package.json.

In Dataform Core 3.0.0 und höher, wenn Dataform Core der in Ihrem Repository enthalten ist, sollten Sie es die Datei workflow_settings.yaml. Für Repositories, die mit zuvor erstellt wurden Versionen von Dataform Core, Verschieben Sie das Dataform-Kernpaket nach workflow_settings.yaml.

Die Datei package.json ist erforderlich, um zusätzliche Pakete in Dataform zu installieren. Wenn Ihr Repository zusätzliche Pakete verwendet, legen Sie den Parameter Dataform-Kernpaket in package.json, sodass alle Pakete an einem Ort. Wenn Ihr Repository package.json nicht enthält, Erstellen Sie package.json und verschieben Sie das Dataform-Kernpaket. um zusätzliche Pakete zu installieren.

Dataform-Kern auf workflow_settings.yaml verschieben

Für Repositories, die mit Versionen von Dataform Core erstellt wurden, die älter sind als 3.0.0, wenn Sie keine anderen Abhängigkeitspakete als Dataform Core haben, sollten Sie das Dataform-Kernpaket von package.json in workflow_settings.yaml und löschen Sie die package.json-Datei.

So migrieren Sie das Dataform-Kernpaket von package.json zu workflow_settings.yaml, gehen Sie so vor:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataform.

    Zur Seite „Dataform“

  2. Wählen Sie ein Repository und dann einen Arbeitsbereich aus.

  3. Wählen Sie im Bereich Dateien die Datei workflow_settings.yaml aus.

  4. Fügen Sie den Dataform Core in die Datei workflow_settings.yaml ein. im folgenden Format:

    dataformCoreVersion: "VERSION"

    Ersetzen Sie VERSION durch die neueste Version von Dataform. z. B. 3.0.0.

  5. Klicken Sie im Bereich Dateien neben package.json auf das Dreipunkt-Menü. und klicken Sie dann auf Löschen.

  6. Klicken Sie auf Löschen, um das Löschen von dataform.json zu bestätigen.

  7. Klicken Sie auf Pakete installieren.

Dataform-Kern auf package.json verschieben

Die Datei package.json ist erforderlich, um Zusätzliche Pakete in einem Repository installieren Wenn Ihr Repository zusätzliche Pakete verwendet, sollten Sie alle Pakete speichern, einschließlich des Dataform-Kernpakets in package.json.

Wenn Ihr Repository die Datei package.json nicht enthält, weil das Dataform-Kernpaket wird in der workflow_settings.yaml-Datei müssen Sie die Datei package.json erstellen. Datei, um zusätzliche Pakete zu installieren und dann den Dataform Core zu verschieben Paket von workflow_settings.yaml in die neu erstellte package.json.

Um die Datei package.json zu erstellen und den Dataform-Kernpaket führen Sie die folgenden Schritte aus:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataform.

    Zur Seite „Dataform“

  2. Wählen Sie ein Repository und dann einen Arbeitsbereich aus.

  3. Klicken Sie im Bereich Dateien auf addAdd, und klicken Sie dann auf Datei erstellen.

  4. Geben Sie im Feld Dateipfad hinzufügen den Wert package.json ein.

  5. Klicken Sie auf Datei erstellen.

  6. Fügen Sie den Dataform Core in die Datei package.json ein. im folgenden Format:

    {
    "dependencies": {
        "@dataform/core": "VERSION"
    }
}

    Ersetzen Sie VERSION durch die neueste Version von Dataform. z. B. 3.0.0.

  7. Klicken Sie auf Pakete installieren.

  8. Wählen Sie im Bereich Dateien die Option workflow_settings.yaml aus.

  9. Löschen Sie in der Datei workflow_settings.yaml Folgendes: dataformCoreVersion-Property.

Dataform Core aktualisieren

Testen Sie neue Paketversionen immer in einer Nicht-Produktionsumgebung, in Ihrer Produktionsumgebung bereitgestellt werden.

So aktualisieren Sie das Dataform-Core-Abhängigkeitspaket:

  1. Die aktuelle Version von @dataform/core findest du im Seite mit Dataform-Releases auf GitHub.

  2. Öffnen Sie in der Google Cloud Console die Seite Dataform.

    Zur Seite „Dataform“

  3. Wählen Sie ein Repository und dann einen Arbeitsbereich aus.

  4. Wählen Sie im Bereich Dateien die Datei package.json oder den workflow_settings.yaml-Datei.

    Der Ort, an dem das Dataform Core-Abhängigkeitspaket festgelegt wird hängt von Ihrer Dataform Core-Version und Ihrer Verwendung von Paketen ab. Weitere Informationen finden Sie unter Speicherort von Dataform-Kernpaketen verwalten

  5. Dataform-Kernabhängigkeitspaket mit der neuesten Version aktualisieren Version:

    package.json

    {
    "dependencies": {
        "@dataform/core": "VERSION"
    }
}

    Ersetzen Sie VERSION durch die neueste Version von Dataform. z. B. 3.0.0. Um Probleme bei der Paketinstallation zu vermeiden, explizit die Version des Dataform-Kernpakets an. Keine anderen dependencies Optionen von package.json, z. B. >version.

    1. Klicken Sie auf Pakete installieren.

    workflow_settings.yaml

    dataformCoreVersion: "VERSION"

    Ersetzen Sie VERSION durch die neueste Version von Dataform. z. B. 3.0.0.

    1. Klicken Sie auf Pakete installieren.

  6. Commit für Änderungen durchführen

  7. Übertragen Sie Änderungen per Push in Ihr Repository.

Das folgende Codebeispiel zeigt, wie die Abhängigkeit @dataform/core in Version 3.0.0 in der Datei package.json:

{
    "dependencies": {
        "@dataform/core": "3.0.0"
    }
}

Nächste Schritte