지원되는 Dataproc 서버리스 버전
버전 | 최종 업데이트 | 출시 날짜 | 지원 만료일 | 사용 가능 기한 | 참고 |
---|---|---|---|---|---|
Spark 런타임 2.2 LTS | 2024/05/22 | 2024/03/27 | 2026/09/30 | 2028/09/30 | 일반 안정화 출시 버전. |
Spark 런타임 2.1 | 2024/05/22 | 2023/05/05 | 2024/05/31 | 2026/05/31 | 일반 안정화 출시 버전. |
Spark 런타임 2.0 | 2024/05/22 | 2022/10/21 | 2024/06/30 | 2026/06/30 | 일반 안정화 출시 버전. 이 버전은 기본 버전입니다. |
Spark 런타임 1.2 LTS | 2024/05/22 | 2024/03/27 | 2026/09/30 | 2028/09/30 | 일반 안정화 출시 버전. |
Spark 런타임 1.1 LTS | 2024/05/22 | 2023/01/27 | 2025/07/31 | 2027/07/31 | 일반 안정화 출시 버전. |
Dataproc Serverless 런타임 버전을 선택하는 방법
현재 기본 Dataproc 서버리스 런타임 버전은 지원되는 서버리스 Dataproc 버전에 나열되어 있습니다. 일괄 워크로드를 제출할 때 Google Cloud 콘솔, gcloud CLI, Dataproc API를 사용하여 다른 런타임 버전을 선택할 수 있습니다.
콘솔
- Google Cloud 콘솔에서 Dataproc 일괄 만들기 페이지를 엽니다.
- 컨테이너의 런타임 버전 섹션에서 나열된 서버리스 Dataproc 런타임 버전 중 하나를 선택합니다.
gcloud
dataproc batches submit --version
플래그를 사용하여 서버리스 Dataproc 런타임 버전을 지정합니다.
예를 들면 다음과 같습니다.
gcloud dataproc batches submit JOB_TYPE \ --region=REGION \ --version=VERSION (for example, 2.1) other args ...<>
API
batches.create
API 호출의 일부로 RuntimeConfig.version 필드를 사용하여 서버리스 Dataproc 런타임 버전을 지정합니다.
지원되지 않는 Dataproc 서버리스 버전
다음 Dataproc 서버리스 버전은 지원되지 않습니다.
버전 | 포함 항목 | 출시 날짜 | 최종 업데이트 | 사용 가능 기한 | 참고 |
---|---|---|---|---|---|
Spark 런타임 1.0 | Apache Spark 3.2.3 Cloud Storage 커넥터 2.2.11 Conda 4.11 자바 11 Python 3.9 R 4.1 Scala 2.12.17 |
2022/01/19 | 2023/2/03 | 2025/01/31 | 2023년 2월 3일부터 지원되지 않습니다. 1.0.29가 최종 출시 버전입니다. |