Dataproc Serverless untuk versi runtime Spark

Versi runtime Dataproc Serverless untuk Spark yang didukung

Versi Terakhir Diperbarui Dirilis Pada Didukung Hingga Tersedia Hingga Catatan
Runtime Spark 2.2 LTS 22/08/2024 27/03/2024 30/09/2026 30/09/2028 Rilis Ketersediaan Umum. Ini adalah versi default.
Runtime Spark 1.2 LTS 22/08/2024 27/03/2024 30/09/2026 30/09/2028 Rilis Ketersediaan Umum.
Runtime Spark 1.1 LTS 22/08/2024 27/01/2023 31/07/2025 31/07/2027 Rilis Ketersediaan Umum.

Cara memilih versi runtime Dataproc Serverless untuk Spark

Versi runtime Dataproc Serverless default saat ini tercantum di Versi runtime Dataproc Serverless untuk Spark yang didukung. Anda dapat menggunakan konsol Google Cloud, gcloud CLI, dan Dataproc API untuk memilih versi runtime yang berbeda saat Anda mengirimkan beban kerja batch.

Konsol

  1. Buka halaman Buat batch Dataproc di konsol Google Cloud.
  2. Pada Container, di bagian Runtime version, pilih salah satu mencantumkan versi runtime Dataproc Serverless.

gcloud

Gunakan flag dataproc batches submit --version untuk menentukan Versi runtime Dataproc Serverless.

Contoh:

gcloud dataproc batches submit SPARK_WORKLOAD_TYPE \
    --region=REGION \
    --version=VERSION \
    other args ...

Ganti kode berikut:

API

Menggunakan RuntimeConfig.version sebagai bagian dari batches.create Panggilan API untuk menentukan versi runtime Dataproc Serverless.

Versi runtime Dataproc Serverless untuk Spark yang tidak didukung

Versi Dataproc Serverless berikut tidak didukung.

Versi Mencakup Dirilis Pada Terakhir Diperbarui Tersedia Hingga Catatan
Runtime Spark 2.1 Apache Spark 3.4.0
Konektor Cloud Storage 2.2.20
Konektor BigQuery 0.28.1
Java 17
Conda 23.3
Python 3.11
R 4.2
Scala 2.13
19/01/2022 30/5/2024 30/04/2026 Tidak didukung mulai 30/05/2024. 2.1.50 adalah versi rilis final.
Runtime Spark 2.0 Apache Spark 3.3.4
Konektor Cloud Storage 2.2.20
Java 17
Conda 22.9
Python 3.10
R 4.1
Scala 2.13
21/10/2022 22/08/2024 31/08/2026 Tidak didukung mulai 22/08/2024. 2.0.85 adalah versi rilis final.
Runtime Spark 1.0 Apache Spark 3.2.3
Konektor Cloud Storage 2.2.11
Conda 4.11
Java 11
Python 3.9
R 4.1
Scala 2.12.17
19/01/2022 03/2/2023 31/01/2025 Tidak didukung mulai 03/02/2023. 1.0.29 adalah versi rilis final.