Projektübergreifende Bereitstellung einrichten

Sie können eine projektübergreifende Bereitstellung für Dataproc Metastore einrichten, um die folgenden Ressourcen zu trennen:

  • Der Dataproc Metastore-Dienst.
  • Der Dataproc-Cluster, der an Dataproc Metastore angehängt ist Service.
  • Das vom Dataproc-Cluster verwendete Netzwerk.

Hinweise

Erforderliche Rollen

Um die Berechtigungen zu erhalten, die Sie zum Erstellen eines Dataproc Metastore und eines Dataproc-Clusters benötigen, bitten Sie Ihren Administrator, Ihnen folgenden IAM-Rollen:

  • So gewähren Sie die vollständige Kontrolle über Dataproc Metastore-Ressourcen: Dataproc Metastore-Bearbeiter (roles/metastore.editor) für das Metastore-Projekt.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Weitere Informationen zu bestimmten Rollen und Berechtigungen für Dataproc Metastore finden Sie unter Zugriff mit IAM verwalten.

Projektübergreifende Bereitstellungen

Eine projektübergreifende Bereitstellung für Dataproc Metastore kann aus den folgenden Konfigurationen bestehen:

  • Zwei Projekte:

    • Projekt 1 enthält den Dataproc-Cluster (Cluster Projekt).
    • Projekt zwei enthält den Dataproc Metastore-Dienst und Das Netzwerk (Metastore-Projekt und Netzwerkprojekt)

  • Zwei Projekte:

    • Projekt 1 enthält den Dataproc-Cluster.
    • Projekt zwei enthält den Dataproc Metastore-Dienst und Das Netzwerk (Metastore-Projekt und Netzwerkprojekt)

  • Zwei Projekte:

    • Projekt 1 enthält den Dataproc-Cluster und den Dataproc Metastore-Dienst (Clusterprojekt und Metastore Projekt).
    • Projekt 2 enthält das Netzwerk (Netzwerkprojekt).

  • Drei Projekte:

    • Projekt 1 enthält den Dataproc-Cluster (Cluster Projekt).
    • Projekt 2 enthält den Dataproc Metastore-Dienst (Metastore-Projekt).
    • Projekt drei enthält das Netzwerk (Netzwerkprojekt).

Das folgende Diagramm bietet einen Überblick über das mögliche Projekt Konfigurationen, die Sie verwenden können.

Übersicht über die möglichen Projektkonfigurationen bei der Bereitstellung eines Dataproc Metastore- und eines Dataproc-Clusters

Projektübergreifende Berechtigungen

Ermitteln Sie vor dem Einrichten von projektübergreifenden Berechtigungen, Ihre Konfiguration:

Sie müssen zusätzliche projektübergreifende Berechtigungen einrichten

  • Wenn Ihr Dataproc-Cluster und Dataproc Metastore befinden sich in separaten Projekten.

  • Wenn sich der Dataproc Metastore-Dienst und das Netzwerk in separaten Bereichen befinden Projekten.

Projektübergreifende Berechtigungen einrichten

Wenn sich das Clusterprojekt und das Metaspeicherprojekt in separaten Projekten befinden, gewähren Sie folgende Rollen:

  • roles/metastore.user zum Dataproc des Clusterprojekts Dienst-Agent-Konto (in der IAM-Richtlinie des Metaspeicherprojekts enthalten). Dieses Konfiguration gilt sowohl für die Thrift- als auch für die gRPC-Endpunktprotokolle.

Wenn sich das Netzwerkprojekt und das Metaspeicherprojekt in separaten Projekten befinden, gewähren Sie folgende Rollen:

  • roles/metastore.serviceAgent an den Dienst-Agent des Metastore-Projekts (in der IAM-Richtlinie des Netzwerkprojekts enthalten). Nur diese Konfiguration gilt für das Thrift-Endpunktprotokoll.

Console

So finden Sie Ihre Projektnummer:

  1. Rufen Sie die IAM- und Verwaltung Einstellungen:

  2. Wählen Sie aus der Projektliste oben auf der Seite das Projekt aus, mit denen der Dataproc-Cluster erstellt werden soll.

  3. Notieren Sie die Projektnummer.

Konfigurieren Sie die Berechtigungen:

  1. Gehen Sie zum Tab IAM.

  2. Wählen Sie aus der Projektliste oben auf der Seite den Metastore aus Projekt arbeiten.

  3. Klicken Sie auf Hinzufügen.

  4. Geben Sie das Dienstkonto in das Feld Neue Hauptkonten ein.

  5. Wählen Sie im Menü „Rollen“ die Option Dataproc Metastore > Dataproc Metastore-Betrachter

  6. Klicken Sie auf Hinzufügen.

Nachdem Sie die vorherigen Schritte ausgeführt haben, können Sie einen Dataproc-Cluster erstellen, der an einen Dataproc Metastore-Dienst angehängt ist. Beachten Sie, dass die Netzwerk- oder Subnetzwerkkonfiguration des Dataproc-Clusters muss mit dem Dataproc Metastore-Netzwerk oder -Subnetzwerk übereinstimmen.

Beispiel:

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

Nächste Schritte