Dataproc-Cluster oder selbstverwalteten Cluster anhängen

Nachdem Sie einen Dataproc Metastore-Dienst erstellt haben, können Sie die folgenden Dienste:

• Ein Dataproc-Cluster.
• eine selbstverwaltete Apache Hive-Instanz, eine Apache Spark-Instanz, oder einen Presto-Cluster.

Nachdem Sie eine Verbindung zu einem dieser Dienste hergestellt haben, verwendet er Ihre Dataproc Metastore-Dienst als Hive-Metastore während der Abfrageausführung.

Hinweise

• Aktivieren Sie Dataproc Metastore in Ihrem Projekt.
• Erstellen Sie einen Dataproc Metastore-Dienst.
• Informieren Sie sich über die Netzwerkanforderungen, die für Ihr Projekt spezifisch sind.

Erforderliche Rollen

Um die Berechtigungen zu erhalten, die Sie zum Erstellen eines Dataproc Metastore und eines Dataproc-Clusters benötigen, bitten Sie Ihren Administrator, Ihnen folgenden IAM-Rollen:

• Sie haben folgende Möglichkeiten, um die vollständige Kontrolle über Dataproc Metastore-Ressourcen zu gewähren: <ph type="x-smartling-placeholder">
  </ph>
  • Dataproc Metastore-Bearbeiter (roles/metastore.editor) für das Nutzer- oder Dienstkonto
  • Dataproc Metastore-Administrator (roles/metastore.admin) für das Nutzer- oder Dienstkonto
• So erstellen Sie einen Dataproc-Cluster: (roles/dataproc.worker) für das Dataproc-VM-Dienstkonto
• So gewähren Sie Lese- und Schreibberechtigungen für das Hive-Warehouse-Verzeichnis: (roles/storage.objectAdmin) für das Dataproc-VM-Dienstkonto

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten Die Berechtigungen, die zum Erstellen eines Dataproc Metastores und eines Dataproc-Clusters erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Dataproc-Cluster

Dataproc ist ein verwalteter Apache Spark- und Apache Hadoop-Dienst, der können Sie Open-Source-Datentools für die Batchverarbeitung nutzen, Abfragen, Streaming und maschinelles Lernen.

Hinweise

Bevor Sie einen Dataproc-Cluster erstellen und anhängen, prüfen Sie, welches Endpunktprotokoll der Dataproc Metastore-Dienst verwendet. Mit diesem Protokoll wird definiert, Ihre Hive Metastore-Clients greifen auf Metadaten zu, die in Dataproc Metastore gespeichert sind. Das kann sich auch auf die Funktionen auswirken, die Sie integrieren und verwenden können mit Ihrer Dienstleistung.

Cluster erstellen und Dataproc Metastore anhängen

In der folgenden Anleitung wird gezeigt, wie Sie einen Dataproc-Dienst erstellen. und stellen über einen Dataproc Metastore-Dienst eine Verbindung zu ihm her. Diese Es wird vorausgesetzt, dass Sie bereits einen Dataproc Metastore-Dienst erstellt haben.

• Prüfen Sie vor dem Erstellen des Dataproc-Clusters, ob die Das ausgewählte Dataproc-Image ist mit der Hive-Metastore-Version kompatibel die Sie beim Erstellen des Dataproc Metastores ausgewählt haben. Weitere Informationen finden Sie in der Liste der Dataproc-Image-Versionen.

• Dataproc-Cluster erstellen, um die Netzwerkverbindung zu optimieren sich in derselben Region wie Ihr Dataproc Metastore-Dienst befindet.

gcloud dataproc clusters create CLUSTER_NAME \
    --dataproc-metastore=projects/PROJECT_ID/locations/LOCATION/services/SERVICE \
    --region=LOCATION \
    --scopes=SCOPES

Cluster mithilfe von Dataproc-Clusterattributen anhängen

Sie können einen Dataproc-Cluster auch an einen Dataproc Metastore anhängen mit Dataproc-Attributen. Zu diesen Attributen gehören der Dataproc Metastore ENDPOINT_URI und WAREHOUSE_DIR.

Folgen Sie dieser Anleitung, wenn Ihr Dataproc Metastore Dienst verwendet Private Service Connect oder wenn Sie einen Dataproc-Cluster an die Hilfsversion anhängen möchten Ihres Dataproc Metastore-Dienstes.

Es gibt zwei Möglichkeiten, einen Dataproc-Cluster mithilfe der ENDPOINT_URI- und WAREHOUSE_DIR-Properties:

Option 1: Beim Erstellen eines Dataproc-Clusters

Verwenden Sie beim Erstellen eines Dataproc-Clusters das Attribut „Properties“ mit die folgende Hive-Konfiguration an:

gcloud dataproc clusters create CLUSTER_NAME \
     --properties="hive:hive.metastore.uris=ENDPOINT_URI,hive:hive.metastore.warehouse.dir=WAREHOUSE_DIR/hive-warehouse"

Ersetzen Sie Folgendes:

• CLUSTER_NAME: der Name Ihres neuen Dataproc Cluster.
• ENDPOINT_URI: Der Endpunkt-URI Ihres Dataproc Metastore-Dienstes.
• WAREHOUSE_DIR: Der Speicherort Ihres Hive-Warehouse-Verzeichnisses.

Option 2: Datei hive-site.xml aktualisieren

Sie können einen Dataproc-Cluster auch anhängen, indem Sie das Datei hive-site.xml des Clusters.

1. Stellen Sie über SSH eine Verbindung zum Cluster .*-m her.

2. Öffnen Sie die Datei /etc/hive/conf/hive-site.xml und ändern Sie die folgenden Zeilen:

   <property>
      <name>hive.metastore.uris</name>
      <!-- Update this value. -->
      <value>ENDPOINT_URI</value>
   </property>
   <!-- Add this property entry. -->
   <property>
      <name>hive.metastore.warehouse.dir</name>
      <value>WAREHOUSE_DIR</value>
   </property>
   

   Ersetzen Sie Folgendes:

   • ENDPOINT_URI: Der Endpunkt-URI Ihres Dataproc Metastore-Dienstes.
   • WAREHOUSE_DIR: Der Standort Ihres Hive-Warehouse-Verzeichnis.

3. Starten Sie HiveServer2 neu:

   sudo systemctl restart hive-server2.service
   

Selbstverwaltete Cluster

Ein selbstverwalteter Cluster kann eine Apache Hive-Instanz sein, eine Apache Spark-Instanz, oder einen Presto-Cluster.

Selbstverwalteten Cluster anhängen

Legen Sie in der Clientkonfigurationsdatei die folgenden Werte fest:

hive.metastore.uris=ENDPOINT_URI
hive.metastore.warehouse.dir=WAREHOUSE_DIR

Ersetzen Sie Folgendes:

• ENDPOINT_URI: Der Endpunkt-URI Ihres Dataproc Metastore-Dienstes.
• WAREHOUSE_DIR: Der Standort Ihres Hive-Warehouse-Verzeichnis.

Nächste Schritte

• Kurzanleitung zur Bereitstellung von Dataproc Metastore
• Dataproc Metastore – Übersicht
• Übersicht zu Dataproc