Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Das Ausführen einer geschäftskritischen Anwendung in Cloud Composer erfordert die unterschiedliche Verantwortlichkeiten übernehmen. Auch wenn keine vollständige Liste listet dieses Dokument die Pflichten von Google und dem Kunden auf, Seiten.
Verantwortlichkeiten von Google
Härtung und Patchen der Komponenten und der zugrunde liegenden Infrastruktur der Cloud Composer-Umgebung, einschließlich Google Kubernetes Engine-Cluster, Cloud SQL-Datenbank (die die Airflow-Datenbank hostet), Pub/Sub, Artifact Registry und anderer Umgebungselemente. Hierzu gehört insbesondere das automatische Upgrade des zugrunde liegenden Infrastruktur, einschließlich GKE-Cluster und Cloud SQL-Instanz einer Umgebung.
Schutz des Zugriffs auf Cloud Composer-Umgebungen durch Einbindung der Zugriffssteuerung von IAM, Verschlüsselung inaktiver Daten standardmäßig, zusätzliche vom Kunden verwaltete Speicherverschlüsselung und Verschlüsselung von Daten während der Übertragung.
Bereitstellung von Google Cloud-Integrationen für Identity and Access Management, Cloud-Audit-Logs und Cloud Key Management Service.
Beschränkung und Protokollierung des Administratorzugriffs von Google auf die Cluster zu vertraglichen Supportzwecken mit Access Transparency und Access Approval (Zugriffsgenehmigung).
Das Veröffentlichen von Informationen über nicht abwärtskompatible Änderungen zwischen Cloud Composer- und Airflow-Versionen in Versionshinweise zu Cloud Composer
Cloud Composer-Dokumentation auf dem neuesten Stand halten:
Beschreibung aller Funktionen von Cloud Composer.
Anleitungen zur Fehlerbehebung zur Verfügung stellen, die dazu beitragen, die Umgebungen in ein fehlerfreier Zustand ist.
Veröffentlichung von Informationen zu bekannten Problemen mit Behelfslösungen (wenn sie existieren).
Behebung kritischer Sicherheitsvorfälle im Zusammenhang mit Cloud Composer-Umgebungen und von Cloud Composer bereitgestellten Airflow-Images (ausgenommen vom Kunden installierte Python-Pakete) durch Bereitstellung neuer Umgebungsversionen, die die Vorfälle beheben.
Abhängig vom Supportplan des Kunden Systemprobleme mit der Cloud Composer-Umgebung.
Die Wartung und Erweiterung der Funktionalität der Terraform-Anbieter für Cloud Composer
Zusammenarbeit mit der Apache Airflow-Community zur Wartung und Entwicklung Google Airflow-Operatoren:
Probleme im Airflow Core beheben (wenn möglich) Funktionalitäten.
Pflichten der Kunden
Upgrade auf neue Cloud Composer- und Airflow-Versionen durchführen, um Support für das Produkt zu erhalten und Sicherheitsprobleme einmal Der Cloud Composer-Dienst veröffentlicht einen Cloud Composer-Dienst die die Probleme behebt.
Pflegen des DAGs-Codes, damit er mit der verwendeten Airflow-Version kompatibel bleibt.
Die GKE-Clusterkonfiguration der Umgebung bleibt erhalten, insbesondere die automatische Upgradefunktion.
Die richtigen Berechtigungen in IAM für das Dienstkonto der Umgebung verwalten Insbesondere müssen die Berechtigungen für den Cloud Composer-Agenten und das Dienstkonto der Umgebung beibehalten werden. Wird beibehalten erforderliche Berechtigung für den für Cloud Composer verwendeten CMEK-Schlüssel Umgebungsverschlüsselung und -rotation entsprechend Ihren Anforderungen.
Die richtigen Berechtigungen in IAM für die Bucket und Artifact Registry-Repository, in dem die Komponenten-Images des Composers gespeichert werden.
Korrekte Endnutzerberechtigungen in IAM und Airflow verwalten Konfiguration der UI-Zugriffssteuerung
Die Größe der Airflow-Datenbank unter 16 GB zu halten, den Wartungs-DAG
Beheben Sie alle Probleme beim DAG-Parsing, bevor Sie Supportanfragen an den Cloud-Kundenservice senden.
Cloud Composer-Umgebungsparameter anpassen (z. B. CPU und Arbeitsspeicher für Airflow-Komponenten) und Airflow-Konfigurationen, Leistungs- und Lasterwartungen von Cloud Composer-Umgebungen mit Optimierungsleitfaden für Cloud Composer und im Leitfaden zur Skalierung der Umgebung.
Vermeiden Sie das Entfernen von Berechtigungen, die für den Cloud Composer-Agent und Dienstkonten der Umgebung verwalten. Das Entfernen dieser Berechtigungen kann dazu führen, auf fehlgeschlagene Verwaltungsvorgänge oder DAG- und Aufgabenfehler).
Alle von Cloud Composer erforderlichen Dienste und APIs müssen immer aktiviert sein. Für diese Abhängigkeiten müssen Kontingente auf Ebenen konfiguriert sein für Cloud Composer erforderlich.
Artifact Registry-Repositories beibehalten, die Container-Images hosten, die von Cloud Composer-Umgebungen.
Empfehlungen und Best Practices für DAGs implementieren können.
Diagnose von DAG- und Aufgabenfehlern mithilfe von Anweisungen für Fehlerbehebung bei Planungsprogrammen DAG-Fehlerbehebung und Fehlerbehebung für Trigger
Vermeiden Sie es, zusätzliche Komponenten im GKE-Cluster, die Cloud Composer beeinträchtigen und verhindern, dass sie ordnungsgemäß funktionieren.