Namespace Hierarkis

Halaman ini memberikan ringkasan namespace hierarkis, fitur utama, umum kasus penggunaan, manfaat, dan batasan yang perlu dipertimbangkan.

Ringkasan

Namespace hierarkis adalah kemampuan yang ditawarkan oleh Cloud Storage yang memungkinkan Anda mengatur objek ke dalam folder. Dengan namespace hierarkis, Anda dapat menyimpan data Anda dalam struktur sistem file yang logis. Menata data Anda secara struktur sistem file meningkatkan kinerja, memastikan konsistensi, dan menyederhanakan manajemen beban kerja yang intensif data dan berorientasi pada file.

Operasi pengelolaan folder memberikan keandalan dan pengelolaan termasuk membuat, menghapus, mencantumkan, dan mengganti nama folder. Tujuan organisasi hierarkis objek menyederhanakan organisasi data dan mengefisienkan tugas-tugas manajemen data. Folder dalam bucket dengan namespace hierarkis yang diaktifkan dapat berisi objek, folder lain, atau sebuah kombinasi dari keduanya.

Anda hanya dapat mengaktifkan namespace hierarkis saat membuat bucket. Untuk informasi tentang cara mengaktifkan untuk bucket Anda, lihat Membuat dan mengelola bucket dengan namespace hierarkis diaktifkan.

Diagram berikut menampilkan contoh bucket dengan namespace hierarkis diaktifkan, tempat objek diatur dalam struktur hierarki dari {i>folder<i}.

Fitur utama

Namespace hierarki menyediakan fitur berikut:

• Kueri awal per detik (QPS) yang lebih tinggi: Bucket dengan namespace hierarkis yang diaktifkan menawarkan QPS awal yang lebih tinggi untuk operasi tulis dibandingkan dengan bucket tanpa namespace hierarkis mengaktifkan pembuatan versi. QPS awal yang lebih tinggi memudahkan penskalaan yang sarat data workload interaktif dan memberikan throughput yang lebih baik.

• Folder: Folder berfungsi sebagai penampung untuk objek dan folder lainnya, dengan dukungan untuk operasi seperti membuat, menghapus, dan mendapatkan folder.

• Mengganti nama folder: Operasi penggantian nama folder membantu Anda mengganti nama folder secara atomik mengganti nama jalur folder dan folder yang mendasarinya tanpa menghapus objek terstruktur dalam jumlah besar. Teknik ini efisien dan menghemat waktu, terutama untuk folder dengan beberapa objek.

• Buat daftar folder: Operasi daftar folder mencantumkan semua folder dalam bucket atau di bawah folder tertentu, yang membantu Anda mengelola dan memahami struktur data yang disimpan dalam sebuah bucket.

Kapan namespace hierarkis harus diaktifkan untuk bucket Anda

Sebaiknya pertimbangkan untuk mengaktifkan namespace hierarkis saat menggunakan aplikasi yang mengharapkan hierarki seperti sistem file dan semantik. Namespace hierarkis bermanfaat untuk tugas-tugas intensif data seperti workload analisis, AI, dan ML. Berikut adalah beberapa skenario umum yang harus dipertimbangkan untuk digunakan namespace hierarkis:

• Pemrosesan berbasis Hadoop: Workload Hadoop dan Spark secara tradisional diharapkan struktur penyimpanan seperti sistem file dan penamaan berbasis waktu untuk file dan folder. Namespace hierarki terintegrasi dengan konektor Cloud Storage untuk memberikan throughput yang ditingkatkan dan penggantian nama folder atomik, meningkatkan kualitas data integritas dan konsistensi bagi banyak pipeline pemrosesan data.

• Pemrosesan workload berorientasi file: Beban kerja seperti analisis batch pengolahan data, jasa keuangan, atau komputasi berperforma tinggi, merupakan menjadi partisi berdasarkan hierarki folder dan file. Namespace hierarki membantu mengelola lingkungan ini dengan API untuk pengelolaan folder. Selain itu, namespace hierarkis menyederhanakan mengelola folder yang berisi folder dan objek lain. Dengan satu API Anda dapat dengan cepat mengganti nama folder beserta semua isinya, menghemat waktu dan sumber daya yang berharga.

• Pemrosesan AI dan ML: Alat AI dan ML seperti TensorFlow, Panda, dan PyTorch mengharapkan akses dan semantik seperti sistem file. Namespace hierarkis , terutama jika dikombinasikan dengan Cloud Storage FUSE, memberikan peningkatan throughput dan akses data yang efisien. Hasilnya, namespace hierarkis meningkatkan performa dan keandalan ML iterasi model.

Sebelum mengaktifkan namespace hierarkis untuk bucket, Anda harus mempertimbangkan keterbatasan namespace hierarkis. Untuk mengetahui informasi tentang batasan namespace hierarkis, lihat Batasan.

Manfaat namespace hierarkis

Saat mengaktifkan namespace Hierarkis untuk bucket, Anda dapat melakukan berikut ini:

• Optimalkan pengaturan: Anda dapat mengatur data ke dalam hierarki struktur folder, yang membantu Anda mengelola dan menemukan file atau {i>dataset<i}.

• Membangun ekosistem seperti sistem file: Namespace hierarkis memperkenalkan fitur seperti sistem file seperti folder, penggantian nama folder, dan daftar folder, yang bermanfaat untuk aplikasi berorientasi file, termasuk ekosistem Hadoop serta workload AI dan ML.

• Peningkatan performa: Dengan menskalakan workload yang sarat data untuk ditangani throughput yang lebih tinggi, Anda dapat meningkatkan keseluruhan performa aplikasi.

Dukungan platform

Bucket dengan namespace hierarki mendukung hal berikut Kemampuan platform Cloud Storage:

• Semua API objek Cloud Storage dan banyak digunakan fitur Cloud Storage. Untuk mengetahui detail tentang fitur yang tidak didukung, lihat Batasan.

• Transfer data dari bucket standar ke bucket dengan namespace hierarkis menggunakan Storage Transfer Service.

• Integrasi dengan produk berikut:

  • Cloud Storage Connector, dikelola oleh Dataproc untuk workload Hadoop. Untuk informasi selengkapnya, lihat Menggunakan namespace hierarkis bucket yang diaktifkan untuk workload Hadoop

  • Cloud Storage FUSE untuk akses bucket seperti sistem file menggunakan klien.

Batasan

Berikut ini adalah batasan namespace hierarkis:

• Anda hanya dapat mengaktifkan namespace hierarkis saat membuat direktori VM dengan bucket. Anda tidak bisa memodifikasi bucket dengan namespace datar untuk menyertakan namespace hierarkis.

• Kemampuan Cloud Storage berikut tidak didukung di preview untuk bucket yang menggunakan namespace hierarkis:

  • Hapus untuk sementara
  • Autoclass
  • Pembuatan versi objek
  • ACL Objek
  • Kunci retensi objek
  • Kunci bucket

• Meskipun Anda bisa melihat bucket yang dibuat dengan namespace hierarkis dalam Konsol Google Cloud, Anda tidak dapat mengelola folder mereka menggunakan Konsol Google Cloud Anda. Sebaiknya gunakan command line, REST API, atau klien {i>library<i} untuk pengelolaan folder.

Langkah selanjutnya

• Buat dan kelola bucket dengan namespace hierarkis diaktifkan.
• Membuat dan mengelola folder.
• Mengganti nama folder.
• Menggunakan namespace hierarkis untuk workload Hadoop.