Métricas do Dataproc

O Cloud Monitoring mostra o desempenho, o tempo de atividade e a integridade geral de aplicativos com tecnologia de nuvem. O Google Cloud Observability coleta e ingere métricas, eventos e metadados dos clusters do Dataproc, inclusive por cluster HDFS, YARN, jobs e métricas de operação para gerar insights por painéis e gráficos (consulte métricas Dataproc do Cloud Monitoring).

• Veja os preços do Cloud Monitoring para entender seus custos.

• Consulte Como monitorar cotas e limites para informações sobre retenção de dados de métricas.

Coleta de métricas de recursos do Dataproc

O Cloud Monitoring coleta métricas relacionadas aos seguintes Dataproc recursos:

• Cluster do Cloud Dataproc
• Job do Cloud Dataproc
• Lote do Cloud Dataproc
• Sessão do Cloud Dataproc

As métricas de recursos do Dataproc são coletadas no seguinte formato: dataproc.googleapis.com/RESOURCE/METRIC, e incluem a coleta de várias métricas do OSS.

Ver métricas de recursos do Dataproc

É possível selecionar e visualizar as métricas de recursos do Dataproc na Metrics Explorer (em inglês) digitando "dataproc" na caixa Filter by resource or metric name e selecionando com o aplicativo "Cloud Dataproc", recurso.

Coleta de métricas personalizadas

Ao criar um cluster do Dataproc, você pode ativar a coleta de métricas de uma ou mais origens de métricas personalizadas. Um conjunto padrão de métricas é coletado de cada origem de métrica ativada, a menos que você especifique as métricas a serem coletadas de uma origem de métrica (métricas especificadas pelo usuário são chamadas de "substituições" de métricas).

As métricas de OSS personalizadas são coletadas no seguinte formato: custom.googleapis.com/OSS_COMPONENT/METRIC

Exemplos de métrica de OSS personalizada:

custom.googleapis.com/spark/driver/DAGScheduler/job/allJobs
custom.googleapis.com/hiveserver2/memory/MaxNonHeapMemory

Ativar a coleta de métrica personalizada

Use a CLI gcloud ou a API Dataproc para ativar a coleta de métricas personalizadas de uma ou mais origens de métricas.

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    ... other flags

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    --metric-overrides=LIST_OF_METRIC_OVERRIDES \
    ... other flags

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC-SOURCE(s) \
    --metric-overrides-file=METRIC_OVERRIDES_FILENAME \
    ... other flags

Ver métricas personalizadas

Para selecionar e visualizar as métricas do recurso do Dataproc no Metrics Explorer, selecione o recurso VM Instance e, em seguida, Custom metrics.

Métricas personalizadas

É possível ativar o Dataproc para coletar as métricas personalizadas listadas nas tabelas a seguir.

• A coluna Métricas ativadas é marcada com "y" se o Dataproc coletar a métrica quando você ativar a origem de métrica associada.

• Qualquer uma das métricas listadas para uma origem de métrica, e todas métricas do Spark) poderá ser ativado para coleta se você substituir a coleta do conjunto padrão de para a origem da métrica (consulte a seção Ativar métrica personalizada personalizadas).

• O Dataproc usa o agente de monitoramento para coletar métricas. Ativar qualquer origem de métricas permite a coleta de métricas do agente. Essas métricas não são cobradas dos usuários. Elas são usadas pelo Dataproc para diagnosticar problemas de coleta de métricas.

Métricas do Hadoop

Métricas do HDFS

Métricas YARN

Métricas do Spark

Métricas do driver do Spark

Métricas do executor do Spark

Métricas do Flink

Métricas do servidor de histórico do Spark

O Dataproc coleta as seguintes métricas de memória da JVM do serviço de histórico do Spark:

Métricas do HiveServer 2

Métricas do metastore Hive

Medidas de métricas do Hive Metastore

Métricas do agente de monitoramento do Dataproc

O Dataproc coleta o seguinte Métricas do agente de monitoramento do Dataproc quando você define --metric-sources=monitoring-agent-defaults. Essas métricas são publicadas com o prefixo agent.googleapis.com.

CPU
agent.googleapis.com/cpu/load_15m
agent.googleapis.com/cpu/load_1m
agent.googleapis.com/cpu/load_5m
agent.googleapis.com/cpu/usage_time*
agent.googleapis.com/cpu/utilization*

Disco
agent.googleapis.com/disk/bytes_used
agent.googleapis.com/disk/io_time
agent.googleapis.com/disk/merged_operations
agent.googleapis.com/disk/operation_count
agent.googleapis.com/disk/operation_time
agent.googleapis.com/disk/pending_operations
agent.googleapis.com/disk/percent_used
agent.googleapis.com/disk/read_bytes_count

Trocar
agent.googleapis.com/swap/bytes_used
agent.googleapis.com/swap/io
agent.googleapis.com/swap/percent_used

Memória
agent.googleapis.com/memory/bytes_used
agent.googleapis.com/memory/percent_used

Processos: segue uma política de cotas um pouco diferente para alguns atributos.
agent.googleapis.com/processes/count_by_state
agent.googleapis.com/processes/cpu_time
agent.googleapis.com/processes/disk/read_bytes_count
agent.googleapis.com/processes/disk/write_bytes_count
agent.googleapis.com/processes/fork_count
agent.googleapis.com/processes/rss_usage
agent.googleapis.com/processes/vm_usage

Interface
agent.googleapis.com/interface/errors
agent.googleapis.com/interface/packets
agent.googleapis.com/interface/traffic

Rede
agent.googleapis.com/network/tcp_connections

Criar um painel do Monitoring

É possível criar um painel do Monitoring que mostra gráficos das métricas selecionadas do Dataproc.

1. Selecione + CREATE DASHBOARD na página Dashboards Overview do Monitoring. Forneça um nome para o painel e clique em Add Chart no menu superior direito para abrir a janela Add Chart. Selecione “Cloud Dataproc Cluster” como o tipo de recurso. Selecione uma ou mais métricas e propriedades para métricas e gráficos. Em seguida, salve o gráfico.

   

2. É possível adicionar gráficos ao seu painel. Depois que você salvar o painel, seu título aparecerá na página Dashboards Overview do Monitoring. Os gráficos do painel podem ser exibidos, atualizados e excluídos a partir da página de exibição do painel.

   

A seguir

• Consulte a documentação do Cloud Monitoring
• Saiba como criar alertas de métricas do Dataproc.