Zonen hinzufügen

Auf dieser Seite werden Zonen vorgestellt und erklärt, wie Sie Ihren Dataplex-Lake.

Konzepte für Dataplex-Zonen

Datenzonen sind benannte Entitäten in einem Dataplex-Lake. Sie sind logische Gruppierungen unstrukturierter, semistrukturierter und strukturierter Daten. bestehend aus mehreren Assets wie Cloud Storage-Buckets, BigQuery Datasets und BigQuery-Tabellen.

Ein See kann eine oder mehrere Zonen umfassen. Eine Zone kann nur Teil eines Lake sein, aber Assets enthalten, die auf Ressourcen verweisen, die zu Projekten außerhalb des übergeordneten Projekts gehören.

Sie können in Dataplex Konfigurationen für eine Zone auswählen. Sie können zwischen zwei Zonentypen wählen: Rohdatenzonen und kuratierte Zonen.

Rohzonen

In Rohzonen werden strukturierte Daten, semistrukturierte Daten wie CSV-Dateien und JSON-Dateien und unstrukturierte Daten in jedem Format aus externen Quellen. Dies ist nützlich, um Rohdaten zu verwalten, bevor Transformationen durchgeführt werden. Daten können in Cloud Storage-Buckets oder BigQuery-Datasets

Rohzonen unterstützen Lese- und Schreibvorgänge auf Bucket- oder Dataset-Ebene Berechtigungen. Weitere Informationen finden Sie unter IAM und Zugriffssteuerung.

Es gibt keine Einschränkungen im Hinblick auf die Art der Daten, die in Rohzonen gespeichert werden können.

Ausgewählte Zonen

In ausgewählten Zonen werden strukturierte Daten gespeichert. Daten können in Cloud Storage-Buckets gespeichert werden oder BigQuery-Datasets.

Zu den unterstützten Formaten für Cloud Storage-Buckets gehören Parquet, Avro und ORC. Dies ist nützlich für das Staging von Daten, die vor ihrer Verwendung verarbeitet werden müssen. oder Daten bereitstellen, die für die Analyse bereit sind.

Für BigQuery-Tabellen benötigen Sie ein klar definiertes Schema und Partitionen im Hive-Stil Wenn Sie ein Schema für eine bestimmte Tabelle in einer Zone, müssen die Daten dem Schema entsprechen, das für die Tabelle ohne Schema definiert wurde. Drift.

Das bedeutet, dass die Daten mit dem Schema kompatibel sein sollten, für die Tabelle definiert wurde und neue Partitionen kein Schema haben sollten, mit dem Tabellenschema steht.

Für Lese- und Schreibberechtigungen werden in kuratierten Zonen die Detailebenen „Cloud Storage-Bucket“ oder „BigQuery-Dataset“ unterstützt. Weitere Informationen finden Sie unter Zugriffssteuerung mit IAM.

Hinweise

Bevor Sie einem See Zonen hinzufügen können, müssen Sie einen See haben. Wenn Sie noch nicht erstellen Sie einen Lake.

Für die meisten gcloud lake-Befehle ist ein Speicherort erforderlich. Sie können den Standort angeben, indem Sie indem Sie den Parameter --location festlegen.

Zugriffssteuerung

  • Zum Hinzufügen einer Zone benötigen Sie IAM-Rollen mit folgendem Inhalt: die IAM-Berechtigung dataplex.lakes.create Dataplex roles/dataplex.admin kann verwendet werden, um Berechtigungen zum Hinzufügen zu gewähren.

Weitere Informationen finden Sie unter Dataplex-Zugriffssteuerung mit IAM.

Zonen hinzufügen

Sie können eine neue Zone erstellen und einem vorhandenen Lake hinzufügen, indem Sie den Dataplex API-Methode lakes.zones.create oder in der Google Cloud Console eine Zone hinzufügen.

Sie können Ihrem Lake mehrere Zonen hinzufügen. Sie können jeweils eine Zone hinzufügen, während die Zone erstellt wird.

Console

  1. Rufen Sie in der Google Cloud Console Dataplex auf:

    Zu Dataplex

  2. Rufen Sie die Ansicht Verwalten auf.

  3. Klicken Sie in der Ansicht Manage (Verwalten) auf den Namen des Lakes, dem Sie einen in den Bereich.

  4. Klicken Sie auf dem Tab Zonen auf . Zone hinzufügen:

  5. Geben Sie einen Anzeigenamen für die Zone ein.

  6. Klicken Sie auf das Drop-down-Menü Typ. Wählen Sie Raw Zone oder Curated Zone aus. Weitere Informationen Unterstützte Zonentypen

  7. Optional: Geben Sie eine Beschreibung ein.

  8. Wählen Sie unter Speicherorte für Daten entweder Regional oder Multiregional aus. Ihre Auswahl kann später nicht mehr geändert werden. Einzelne Region und multiregional Daten können nicht in derselben Zone gemischt werden.

  9. Optional: Aktivieren Sie die Metadatenerkennung, damit Dataplex Metadaten automatisch aus den Daten in Ihrer Zone scannen und extrahieren kann:

    1. Klicken Sie auf Discovery-Einstellungen.

    2. Achten Sie darauf, dass Metadatenerkennung aktivieren ausgewählt ist.

    3. Optional: Geben Sie unter Muster einschließen die Dateien an, die in die Discovery-Scans einbezogen werden sollen.

    4. Optional: Listen Sie unter Muster ausschließen die Dateien auf, die ausgeschlossen werden sollen. Erkennungsscans. Wenn Sie sowohl Einschluss- als auch Ausschlussmuster eingeben, werden Ausschlussmuster zuerst angewendet.

    5. Klicken Sie auf das Drop-down-Menü Wiederholungen und wählen Sie eine Häufigkeit aus.

    6. Klicken Sie auf das Drop-down-Menü Zeitzone und wählen Sie eine Zeitzone aus.

    7. Wenn Sie unter Wiederholungen Benutzerdefiniert ausgewählt haben, geben Sie unter Planen Folgendes ein: einen Jobzeitplan Andernfalls wird der Wert für Zeitplan automatisch für Sie ausgefüllt.

  10. Klicken Sie auf Erstellen.

Das Erstellen der Zone kann einige Minuten dauern.

REST

Folgen Sie der API-Anleitung, um eine Zone mithilfe des APIs Explorers hinzuzufügen.

Wenn die Zone erfolgreich erstellt wurde, wechselt sie automatisch in den aktiven Status. Wenn schlägt er fehl, wird der Lake auf den vorherigen Zustand zurückgesetzt.

Nachdem Sie Ihre Zone erstellt haben, können Sie Daten zuordnen, die in Cloud Storage-Buckets gespeichert sind und BigQuery-Datasets als Assets in Ihrem .

Nächste Schritte