Memigrasikan metastore MySQL yang dikelola sendiri ke Dataproc Metastore

Halaman ini menunjukkan cara memigrasikan metastore MySQL eksternal yang dikelola sendiri ke Dataproc Metastore dengan membuat file dump MySQL dan mengimpor metadata ke layanan Dataproc Metastore yang sudah ada.

Sebelum memulai

  1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
  2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

  4. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

    Buka pemilih project

  5. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

  6. Aktifkan API Dataproc Metastore.

    Mengaktifkan API

Peran yang Diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat Dataproc Metastore dan mengimpor metastore MYSQL, minta administrator untuk memberi Anda peran IAM berikut:

  • Untuk membuat layanan dan mengimpor metadata:
  • Agar dapat menggunakan objek Cloud Storage (file dump SQL) untuk impor:
    • Storage Object Viewer (roles/storage.objectViewer) pada agen layanan Dataproc Metastore. Misalnya, service-CUSTOMER_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com.
    • Storage Object Viewer (roles/storage.objectViewer) pada akun pengguna.

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk membuat Metastore Dataproc dan mengimpor metastore MYSQL. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat Metastore Dataproc dan mengimpor metastore MYSQL:

  • Untuk membuat layanan: metastore.services.create pada project.
  • Untuk mengimpor metadata: metastore.imports.create pada project.
  • Agar dapat menggunakan objek Cloud Storage (file dump SQL) untuk impor:
    • storage.objects.get pada agen layanan Dataproc Metastore. Misalnya, service-CUSTOMER_PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com
    • storage.objects.get di akun pengguna.

Anda mung juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaanlainnya.

Untuk informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Mengelola akses Dataproc dengan IAM.

Membuat layanan Dataproc Metastore

Petunjuk berikut menunjukkan cara membuat layanan Dataproc Metastore yang dapat Anda gunakan untuk memigrasikan file dump SQL.

Konsol

  1. Di Konsol Google Cloud, buka halaman Create service:

    Buka Create service

    Halaman Create service.
    Halaman Metastore Dataproc Buat layanan
  2. Di kolom Nama layanan, masukkan example-service.

  3. Pilih Lokasi data. Untuk mengetahui informasi tentang cara memilih region, lihat Lokasi cloud.

  4. Untuk opsi konfigurasi layanan lainnya, gunakan nilai default yang disediakan.

  5. Untuk membuat dan memulai layanan, klik tombol Kirim.

Layanan baru Anda akan muncul di daftar Layanan.

gcloud

Jalankan perintah gcloud metastore services create berikut untuk membuat layanan:

 gcloud metastore services create example-service \
     --location=LOCATION
 

Ganti LOCATION dengan region Compute Engine tempat Anda berencana membuat layanan. Pastikan Dataproc Metastore tersedia di region tersebut.

REST

Ikuti petunjuk API untuk membuat layanan menggunakan API Explorer.

Mempersiapkan untuk migrasi

Sekarang Anda harus menyiapkan metadata yang tersimpan di database metastore Hive untuk diimpor dengan membuat file dump MySQL dan menempatkannya ke dalam bucket Cloud Storage.

Lihat Menyiapkan file impor sebelum diimpor untuk mengetahui langkah-langkah persiapan migrasi.

Mengimpor metadata

Setelah Anda menyiapkan file dump, impor file tersebut ke layanan Dataproc Metastore.

Lihat Mengimpor file ke Dataproc Metastore untuk mengetahui langkah-langkah mengimpor metadata ke layanan example-service.

Membuat dan melampirkan cluster Dataproc

Setelah mengimpor metadata ke layanan example-service Dataproc Metastore, buat dan lampirkan cluster Dataproc yang menggunakan layanan tersebut sebagai metastore Hive-nya.

Pembersihan

Agar akun Google Cloud Anda tidak dikenakan biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

  1. Di konsol Google Cloud, buka halaman Manage resource.

    Buka Manage resource

  2. Jika project yang ingin Anda hapus tertaut ke organisasi, buka daftar Organization di kolom Name.
  3. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
  4. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Atau, Anda dapat menghapus resource yang digunakan dalam tutorial ini:

  1. Hapus layanan Dataproc Metastore.

    Konsol

    1. Di konsol Google Cloud, buka halaman Metastore Dataproc:

      Buka Dataproc Metastore di Konsol Google Cloud

    2. Di sebelah kiri nama layanan, pilih example-service dengan mencentang kotak.

    3. Di bagian atas halaman Metastore Dataproc, klik Delete untuk menghapus layanan.

    4. Pada dialog, klik Hapus untuk mengonfirmasi penghapusan.

    Layanan Anda tidak lagi muncul dalam daftar Layanan.

    gcloud

    Jalankan perintah gcloud metastore services delete berikut untuk menghapus layanan:

     gcloud metastore services delete example-service \
         --location=LOCATION

    Ganti LOCATION dengan region Compute Engine tempat Anda membuat layanan.

    REST

    Ikuti petunjuk API untuk menghapus layanan menggunakan API Explorer.

    Semua penghapusan akan segera berhasil.

  2. Hapus bucket Cloud Storage untuk layanan Dataproc Metastore.

Langkah selanjutnya