Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Für das Ausführen geschäftskritischer Anwendungen in Cloud Composer sind mehrere Parteien erforderlich. In diesem Dokument sind die Verantwortlichkeiten für Google und den Kunden aufgeführt. Die Liste ist jedoch nicht vollständig.
Verantwortlichkeiten von Google
Härtung und Patchen der Komponenten und der zugrunde liegenden Infrastruktur der Cloud Composer-Umgebung, einschließlich Google Kubernetes Engine-Cluster, Cloud SQL-Datenbank (die die Airflow-Datenbank hostet), Pub/Sub, Artifact Registry und anderer Umgebungselemente. Hierzu gehört insbesondere das automatische Upgrade des zugrunde liegenden Infrastruktur, einschließlich GKE-Cluster und Cloud SQL-Instanz einer Umgebung.
Schutz des Zugriffs auf Cloud Composer-Umgebungen durch Zugriffssteuerung von IAM, inaktive Daten standardmäßig verschlüsseln, zusätzliche vom Kunden verwaltete Speicherverschlüsselung Daten bei der Übertragung verschlüsseln
Bereitstellung von Google Cloud-Integrationen für Identity and Access Management, Cloud-Audit-Logs und Cloud Key Management Service.
Beschränken und Protokollieren des administrativen Zugriffs von Google auf Kundencluster mit Access Transparency und Access Approval für vertragliche Supportzwecke.
Das Veröffentlichen von Informationen über nicht abwärtskompatible Änderungen zwischen Cloud Composer- und Airflow-Versionen in Versionshinweise zu Cloud Composer
Cloud Composer-Dokumentation auf dem neuesten Stand halten:
Beschreibung aller Funktionen von Cloud Composer.
Anleitungen zur Fehlerbehebung zur Verfügung stellen, die dazu beitragen, die Umgebungen in ein fehlerfreier Zustand ist.
Veröffentlichung von Informationen zu bekannten Problemen mit Behelfslösungen (wenn sie existieren).
Kritische Sicherheitsvorfälle im Zusammenhang mit Cloud Composer beheben Umgebungen und Airflow-Images, die von Cloud Composer bereitgestellt werden (ausgenommen vom Kunden installierte Python-Pakete) durch die Bereitstellung neuer und Umgebungsversionen zur Behebung von Vorfällen.
Je nach Supportplan des Kunden Fehlerbehebung bei Problemen mit der Verfügbarkeit der Cloud Composer-Umgebung.
Die Wartung und Erweiterung der Funktionalität der Terraform-Anbieter für Cloud Composer
Zusammenarbeit mit der Apache Airflow-Community zur Pflege und Entwicklung von Google Airflow-Operatoren
Fehlerbehebung und Behebung von Problemen mit den Hauptfunktionen von Airflow
Pflichten der Kunden
Upgrade auf neue Cloud Composer- und Airflow-Versionen durchführen, um Support für das Produkt zu erhalten und Sicherheitsprobleme einmal Der Cloud Composer-Dienst veröffentlicht einen Cloud Composer-Dienst die die Probleme behebt.
Pflegen des DAGs-Codes, damit er mit der verwendeten Airflow-Version kompatibel bleibt.
Die GKE-Clusterkonfiguration der Umgebung bleibt intakt, insbesondere die Funktion für automatische Upgrades.
Die richtigen Berechtigungen in IAM für die Dienstkonto. Insbesondere müssen die Berechtigungen für den Cloud Composer-Agenten und das Dienstkonto der Umgebung beibehalten werden. Wird beibehalten erforderliche Berechtigung für den für Cloud Composer verwendeten CMEK-Schlüssel Umgebungsverschlüsselung und -rotation entsprechend Ihren Anforderungen.
Die richtigen Berechtigungen in IAM für die Bucket und Artifact Registry-Repository, in dem die Komponenten-Images des Composers gespeichert werden.
Die richtigen Endnutzerberechtigungen in der IAM- und Airflow-UI-Zugriffssteuerungskonfiguration beibehalten
Airflow-Datenbankgröße unter 16 GB halten, indem der Wartungs-DAG verwendet wird.
Beheben aller DAG-Parsing-Probleme, bevor Supportanfragen an gesendet werden Cloud Customer Care
Cloud Composer-Umgebungsparameter anpassen (z. B. CPU und Arbeitsspeicher für Airflow-Komponenten) und Airflow-Konfigurationen, Leistungs- und Lasterwartungen von Cloud Composer-Umgebungen mit Optimierungsleitfaden für Cloud Composer und im Leitfaden zur Skalierung der Umgebung.
Vermeiden Sie das Entfernen von Berechtigungen, die für den Cloud Composer-Agent und Dienstkonten der Umgebung verwalten. Das Entfernen dieser Berechtigungen kann dazu führen, auf fehlgeschlagene Verwaltungsvorgänge oder DAG- und Aufgabenfehler).
Wird beibehalten alle für Cloud Composer erforderlichen Dienste und APIs immer aktiviert. Für diese Abhängigkeiten müssen Kontingente auf Ebenen konfiguriert sein für Cloud Composer erforderlich.
Artifact Registry-Repositories beibehalten, die Container-Images hosten, die von Cloud Composer-Umgebungen.
Empfehlungen und Best Practices für DAGs implementieren können.
Informationen zur Diagnose von DAG- und Aufgabenfehlern mithilfe der Anleitungen zur Fehlerbehebung beim Planer, zur Fehlerbehebung bei DAGs und zur Fehlerbehebung bei Triggern
Vermeiden Sie es, zusätzliche Komponenten im GKE-Cluster, die Cloud Composer beeinträchtigen und verhindern, dass sie ordnungsgemäß funktionieren.