Precios de Dataproc sin servidor

Los precios de Dataproc sin servidor para Spark se basan en la cantidad de recursos de computación de datos Unidades (DCUs), el número de aceleradores utilizados y la cantidad de almacenamiento aleatorio utilizado. Las DCUs, los aceleradores y el almacenamiento aleatorio se facturan por segundo, con un Carga mínima de 1 minuto para DCUs y almacenamiento aleatorio, y un mínimo de 5 minutos a pagar por los aceleradores.

Cada vCPU de Dataproc cuenta como 0,6 DCU. La RAM se carga de otra forma por debajo o por encima de 8 GB. Cada gigabyte de RAM por debajo de 8 GB por vCPU se contabiliza como 0,1 DCU, y cada gigabyte de RAM por encima de 8 GB por vCPU cuenta como 0,2 DCU. Se contabiliza la memoria utilizada por los controladores y ejecutores de Spark, así como el uso de memoria del sistema. para el uso de DCU.

De forma predeterminada, las cargas de trabajo interactivas y por lotes de Dataproc Serverless para Spark consume un mínimo de 12 DCUs mientras dura la carga de trabajo: el controlador utiliza 4 vCPUs y 16 GB de RAM, y utiliza 4 DCUs y cada uno de los dos ejecutores utiliza 4 vCPUs y 16 GB de RAM, y consume 4 DCUs. Puedes personalizar el número de vCPUs y la cantidad de memoria por vCPU al configurar Propiedades de Spark. No se aplican cargos adicionales por las máquinas virtuales de Compute Engine ni los discos persistentes.

Precios de las unidades de computación de datos (DCU)

La tarifa de DCU que se muestra a continuación es una tarifa por horas. Se prorratea y factura según segundo, con una carga mínima de un minuto. Si pagas en una moneda que no sea el dólar estadounidense, los precios que figuran para tu divisa en SKUs de Cloud Platform .

El modelo sin servidor de Dataproc para las cargas de trabajo interactivas de Spark se cobra por el servicio Premium.

Precios de almacenamiento de Shuffle

La tasa de almacenamiento aleatorio que se muestra a continuación es una tarifa mensual. Se trata de un coste prorrateado y se factura por segundo, con un cargo mínimo de 1 minuto por el almacenamiento estándar de reproducción aleatoria y un cargo mínimo de 5 minutos por el almacenamiento aleatorio premium. Reproducción aleatoria premium de almacenamiento solo se puede usar con la unidad de computación premium.

Si pagas en una moneda que no sea el dólar estadounidense, los precios que figuran para tu divisa en SKUs de Cloud Platform .

Precios de Accelerator

La frecuencia del acelerador que se muestra a continuación es una tarifa por horas. Se prorratea y factura según con una carga mínima de 5 minutos. Si pagas en una moneda que no sea el dólar estadounidense, los precios que figuran para tu divisa en SKUs de Cloud Platform .

Ejemplo de precios

Si la carga de trabajo por lotes de Dataproc sin servidor para Spark se ejecuta con 12 DCUs (spark.driver.cores=4, spark.executor.cores=4 y spark.executor.instances=2) durante 24 horas en la región us-central1 y consume 25 GB de almacenamiento aleatorio, el A continuación se muestra el cálculo de precios.

Total compute cost = 12 * 24 * $0.060000 = $17.28
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $17.28 + $0.03 = $17.31

Notas:

  1. En el ejemplo se supone un mes de 30 días. Dado que la duración de la carga de trabajo por lotes es de uno día, la tarifa de almacenamiento aleatorio se divide entre 30.

Si la carga de trabajo por lotes de Dataproc sin servidor para Spark se ejecuta con 12 DCUs y 2 GPUs L4 (spark.driver.cores=4,spark.executor.cores=4, spark.executor.instances=2,spark.dataproc.driver.compute.tier=premium, spark.dataproc.executor.compute.tier=premium, spark.dataproc.executor.disk.tier=premium, spark.dataproc.executor.resource.accelerator.type=l4) durante 24 horas en el región us-central1 y consume 25 GB de almacenamiento aleatorio, el cálculo del precio es la siguiente:

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.1/301) = $0.083
Total accelerator cost = 2 * 24 * $0.6720 = $48.39
------------------------------------------------
Total cost = $25.632 + $0.083 + $48.39 = $74.105

Notas:

  1. En el ejemplo se supone un mes de 30 días. Dado que la duración de la carga de trabajo por lotes es de uno día, la tarifa de almacenamiento aleatorio se divide entre 30.

Si la carga de trabajo interactiva de Dataproc sin servidor para Spark se ejecuta con 12 DCUs (spark.driver.cores=4, spark.executor.cores=4 y spark.executor.instances=2) durante 24 horas en la región us-central1 y consume 25 GB de almacenamiento aleatorio, el El cálculo de precios es el siguiente:

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $25.632 + $0.03 = $25.662

Notas:

  1. En el ejemplo se supone un mes de 30 días. Dado que la duración de la carga de trabajo por lotes es de uno día, la tarifa de almacenamiento aleatorio se divide entre 30.

Ejemplo de estimación de precios

Cuando se completa una carga de trabajo por lotes, se calcula el valor de Dataproc Serverless para Spark UsageMetrics y que contienen una aproximación de las DCUs totales, el acelerador y las operaciones aleatorias de almacenamiento consumidos por la carga de trabajo completada. Después de ejecutar una carga de trabajo, puedes ejecutar la gcloud dataproc batches describe BATCH_ID para ver las métricas de uso de las cargas de trabajo que te ayudarán a estimar el coste de ejecutar la carga de trabajo.

Ejemplo:

Dataproc sin servidor para Spark ejecuta una carga de trabajo en un clúster efímero con un maestro y dos trabajadores. Cada nodo consume 4 DCUs (el valor predeterminado es de 4 DCUs por principal, consulta spark.dataproc.driver.disk.size). y 400 GB de almacenamiento en modo aleatorio (el valor predeterminado es 100 GB por núcleo; consulta spark.driver.cores). La carga de trabajo tiene un tiempo de ejecución de 60 segundos. Además, cada trabajador tiene una GPU, lo que supone un total de de 2 en el clúster.

El usuario ejecuta gcloud dataproc batches describe BATCH_ID --region REGION para obtener métricas de uso. El resultado de los comandos incluye el siguiente fragmento (milliDcuSeconds: 4 DCUs x 3 VMs x 60 seconds x 1000 = 720000, milliAcceleratorSeconds: 1 GPU x 2 VMs x 60 seconds x 1000 = 120000 y shuffleStorageGbSeconds: 400GB x 3 VMs x 60 seconds = 72000):

runtimeInfo:
  approximateUsage:
    milliDcuSeconds: '720000'
    shuffleStorageGbSeconds: '72000'
    milliAcceleratorSeconds: '120000'

Uso de otros recursos de Google Cloud

Si lo prefieres, tus cargas de trabajo de Dataproc sin servidor para Spark pueden usar la recursos siguientes, cada uno con su propio precio, entre los que se incluyen:

Siguientes pasos

Solicitar un presupuesto personalizado

Gracias al modelo de pago por uso de Google Cloud, solo pagas por los servicios que usas. Ponte en contacto con nuestro equipo de Ventas para solicitar un presupuesto personalizado para tu empresa.
Contactar con Ventas