Auf dieser Seite wird erläutert, wie Sie Cloud Storage-Buckets hinzufügen, aktualisieren und entfernen. BigQuery-Datasets als Assets in vorhandenen Dataplex-Zonen.
Übersicht
Ein Asset ist Daten zugeordnet, die entweder in Cloud Storage oder BigQuery gespeichert sind. Ich Daten, die in separaten Google Cloud-Projekten gespeichert sind, einem einzigen in einem Lake liegt. Sie können vorhandene Cloud Storage-Buckets anhängen oder BigQuery-Datasets, die aus dem Lake verwaltet werden sollen.
Hinweise
Falls noch nicht geschehen, erstellen Sie einen Lake und eine Zone in diesem Lake.
Für die meisten
gcloud lakes-Befehle ist ein Speicherort erforderlich. Sie können den Speicherort mit dem Flag--locationangeben.
Zugriffssteuerung
Wenn Sie Assets entfernen möchten, gewähren Sie den IAM-Rollen die Berechtigungen
dataplex.lakes.delete,dataplex.zones.deleteoderdataplex.assets.delete. Mit den Dataplex-spezifischen Rollenroles/dataplex.adminundroles/dataplex.editorkönnen Sie diese Berechtigungen erteilen.Gewähren Sie die IAM-Rollen mit den Berechtigungen
create, um Assets hinzuzufügen.dataplex.lakes.create,dataplex.zones.createoderdataplex.assets.create. Die Rollenroles/dataplex.adminundroles/dataplex.editorenthalten Folgendes: Berechtigungen.Sie können Nutzern oder Gruppen auch Berechtigungen über die
roles/ownererteilen. undroles/editorLegacy-Rollen.Sie müssen den Dataplex-Dienst für Ressourcen autorisieren, an den Dataplex-Lake angehängt. Die Autorisierung erfolgt automatisch implizit für Ressourcen in dem Projekt gewährt, in dem der Lake erstellt wird. Dataplex-Dienst für andere Projekte autorisieren explizit auf Ressourcen.
Weitere Informationen finden Sie unter Dataplex-IAM und -Zugriffssteuerung.
Rollen für Cloud Storage-Buckets gewähren
Wenn Sie Ihrem Data Lake einen Cloud Storage-Bucket aus einem anderen Projekt anhängen möchten, müssen Sie dem Dataplex-Dienstkonto (service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com, in der Console auf der Seite mit den Details zum Data Lake abgerufen) die Rolle „Dataplex-Dienstkonto“ (roles/dataplex.serviceAgent) im Projekt zuweisen, das den Bucket enthält. Diese Rolle bietet
Dataplex-Dienst mit der erforderlichen Rolle auf Administratorebene für den Bucket, damit
Berechtigungen können für den Bucket selbst festgelegt werden.
Rollen für BigQuery-Datasets gewähren
Wenn Sie ein BigQuery-Dataset aus einem anderen Projekt an Ihren Data Lake anhängen möchten, müssen Sie dem Dataplex-Dienstkonto die Rolle „BigQuery-Administrator“ für das Dataset zuweisen.
Überlegungen zu VPC Service Controls
Dataplex verstößt nicht gegen VPC Service Controls-Perimeter. Vorher dem Lake ein Asset hinzufügen, achten Sie darauf, dass sich der zugrunde liegende Bucket oder das Dataset dem gleichen VPC Service Controls-Netzwerk wie der Lake.
Weitere Informationen finden Sie unter VPC Service Controls mit Dataplex.
Asset hinzufügen
Sie können einen Cloud Storage-Bucket oder ein BigQuery-Dataset hinzufügen
Asset durch Ausstellen einer Dataplex API-Methode
lakes.zones.assets.create
oder auf der in einem lokalen Browser geöffneten Seite „Datenzone“ einen Bucket oder ein Dataset hinzufügen.
Wenn sich die Region des Data Lake nicht mit der Region eines Cloud Storage-Buckets überschneidet, können Sie den Bucket keiner Zone in Ihrem Data Lake hinzufügen.
Weitere Informationen zum Speicherort einer Cloud Storage-Ressource und dazu, wie Dataplex den Speicherort eines Buckets beim Erstellen des Veröffentlichungsdatensatzes behandelt, finden Sie unter Regionale Ressourcen.
Console
Öffnen Sie in der Google Cloud Console die Dataplex-Seite:
Klicken Sie auf der Seite Verwalten auf den Datensee, dem Sie einen Cloud Storage-Bucket oder BigQuery-Datensatz hinzufügen möchten. Die Seite des Sees wird geöffnet.
Klicken Sie auf dem Tab Zonen auf den Namen der Datenzone, zu der Sie Sie das Asset hinzufügen möchten. Die Seite „Datenzone“ für diese Datenzone wird geöffnet.
Klicken Sie auf dem Tab Assets auf + Assets hinzufügen. Die Seite Assets hinzufügen wird geöffnet.
Klicken Sie auf Asset hinzufügen.
Wählen Sie im Feld Typ entweder BigQuery-Dataset oder Cloud Storage-Bucket.
Geben Sie im Feld Anzeigename einen Namen für das neue Asset ein.
Geben Sie im Feld ID eine eindeutige ID für das Asset ein.
Optional: Geben Sie eine Beschreibung ein.
Je nach Asset-Typ im Feld Dataset oder Bucket: Klicken Sie auf Durchsuchen, um den Cloud Storage-Bucket zu suchen und auszuwählen, oder BigQuery-Dataset
Optional: Wenn der Asset-Typ Cloud Storage-Bucket ist und Sie möchten, dass Dataplex das Asset verwaltet. Wählen Sie dann Kästchen Upgrade auf „verwaltet“ ausführen. Wenn Sie diese Option auswählen, das Asset separat aktualisieren. Diese Option ist für BigQuery-Datasets nicht verfügbar.
Klicken Sie auf Weiter.
Wählen Sie die restlichen Parameterwerte aus. Weitere Informationen zu finden Sie unter Lake-Sicherheit.
Klicken Sie auf Senden, um das Asset hinzuzufügen.
Vergewissern Sie sich, dass Sie wieder auf die Seite "Data Zone" (Datenzone) zurückgekehrt sind und dass Ihr neuer in der Asset-Liste angezeigt wird.
REST
Folgen Sie der API-Anleitung, um einen Bucket hinzuzufügen. mit APIs Explorer.
Wenn die Datenzone erfolgreich hinzugefügt wurde, wechselt sie automatisch in den aktiven Zustand. Bei einem Ausfall wird für die Datenzone ein Rollback auf die vorherige Datenzone durchgeführt. und fehlerfrei ist.
Cloud Storage-Bucket-Asset upgraden
Wenn Sie ein Asset vom Typ „Cloud Storage-Bucket“ hinzufügen, veröffentlicht Dataplex automatisch externe BigQuery-Tabellen für die im Asset gehosteten Tabellen.
Wenn Sie ein Cloud Storage-Bucket-Asset aktualisieren, entfernt Dataplex die angehängten externen Tabellen und erstellt BigLake-Tabellen. BigLake-Tabellen bieten bessere, detaillierte Sicherheitsfunktionen, einschließlich der Maskierung auf Zeilen- und Spaltenebene sowie der dynamischen Datenmaskierung.
Sie können ein Cloud Storage-Bucket-Asset in der Google Cloud Console aktualisieren oder durch Ausführen der Dataplex API-Methode Patch:
Console
Öffnen Sie in der Google Cloud Console die Dataplex-Seite:
Klicken Sie auf der Seite Verwalten auf den Namen des Lakes. Die Lake-Seite wird geöffnet.
Klicken Sie auf dem Tab Zonen auf den Namen der Datenzone. Die Seite „Datenzone“ wird geöffnet.
Klicken Sie auf dem Tab Assets auf den Namen des Assets, das Sie aktualisieren möchten.
Klicken Sie auf Upgrade auf „verwaltet“.
REST
Folgen Sie der API-Anleitung, um ein Bucket-Asset mithilfe des Cloud Explorers zu aktualisieren.
Downgrade eines Cloud Storage-Bucket-Assets ausführen
Wenn Sie ein Downgrade für ein Cloud Storage-Bucket-Asset ausführen, geschieht Folgendes: Dataplex entfernt die angehängten BigLake-Tabellen und erstellt externe Tabellen.
Sie können ein Cloud Storage-Bucket-Asset in der Google Cloud Console oder durch Ausführen der Dataplex API-Methode Patch downgraden. Dabei muss das Feld readAccessMode in ResourceSpec auf DIRECT festgelegt sein.
Console
Öffnen Sie in der Google Cloud Console die Dataplex-Seite:
Klicken Sie auf der Seite Verwalten auf den Namen des Lakes. Die Lake-Seite wird geöffnet.
Klicken Sie auf dem Tab Zonen auf den Namen der Datenzone. Die Seite „Datenzone“ wird geöffnet.
Klicken Sie auf dem Tab Assets auf den Namen des Assets, das Sie aktualisieren möchten.
Klicken Sie auf Downgrade vom verwalteten Dienst ausführen.
REST
Folgen Sie der API-Anleitung zum Downgrade eines Bucket-Assets.
mit Cloud Explorer. Achten Sie darauf, dass Sie das Feld readAccessMode in ResourceSpec auf DIRECT setzen.
Asset entfernen
Sie können einen Cloud Storage-Bucket oder ein BigQuery-Dataset entfernen
in der Google Cloud Console oder durch Ausstellen der Dataplex API
lakes.zones.assets.delete-Methode.
Entfernen Sie das Asset aus der Datenzone oder dem Data Lake, bevor Sie es an einen
eine andere.
In der folgenden Anleitung wird gezeigt, wie Sie ein Dataplex entfernen. mithilfe der Google Cloud Console oder der Dataplex API.
Console
Öffnen Sie in der Google Cloud Console die Dataplex-Seite:
Klicken Sie auf der Seite Verwalten auf den Datensee, aus dem Sie einen Cloud Storage-Bucket oder ein BigQuery-Dataset entfernen möchten. Die Lake-Seite für diesen Lake wird geöffnet.
Klicken Sie auf dem Tab Zonen auf den Namen der Datenzone, die Sie z. B. den Cloud Storage-Bucket oder BigQuery, des Datasets. Die Seite „Datenzone“ für diese Datenzone wird geöffnet.
Wähle auf dem Tab Assets das gewünschte Asset aus, indem du das Kästchen links anklickst. des Asset-Namens ein.
Klicken Sie auf Asset löschen, um das Asset zu entfernen.
Klicken Sie im Dialogfeld auf Löschen, um die Verknüpfung aufzuheben.
REST
Folgen Sie der API-Anleitung, um einen Bucket mithilfe des Cloud Explorers zu entfernen.
Nächste Schritte
- Weitere Informationen zum Ermitteln von Daten
- Weitere Informationen zum Erstellen eines Sees
- Cloud-Audit-Logs