Quando você cria um cluster, os componentes padrão do ecossistema Apache Hadoop são instalados automaticamente. Para saber mais, consulte Lista de versões do Dataproc. É possível instalar outros componentes, chamados de "componentes opcionais", no cluster quando ele é criado. Adicionar componentes opcionais a um cluster é semelhante a usar ações de inicialização, mas com as seguintes vantagens:
- Mais velocidade nos tempos de inicialização do cluster
- Compatibilidade testada com versões específicas do Dataproc
- Uso de um parâmetro de cluster em vez de um script de ação de inicialização
Componentes opcionais disponíveis
| Componente opcional | COMPONENT_NAME em comandos gcloud e solicitações de API |
Versão de imagem | Etapa da versão |
|---|---|---|---|
| Docker | DOCKER | 1.5 ou superior | GA |
| Flink | FLINK | 1.5 ou superior | GA |
| HBase | HBASE | 1.5 ou mais recente (não disponível na versão 2.1 e mais recentes) |
Beta |
| Hive WebHCat | HIVE_WEBHCAT | 1.3 ou superior | GA |
| Hudi | Hudi | 1.5 ou superior | GA |
| Jupyter Notebook | JUPYTER | 1.3 ou superior | GA |
| Presto | PRESTO | 1.3 ou superior (indisponível na versão 2.1 e posteriores) |
GA |
| Ranger | RANGER | 1.3 ou superior | GA |
| Solr | SOLR | 1.3 ou superior | GA |
| Trino | TRINO | 2.1 e mais recentes | GA |
| Zeppelin Notebook | ZEPPELIN | 1.3 ou superior | GA |
| Zookeeper | ZOOKEEPER | 1.0 ou superior | GA |
Como adicionar componentes opcionais
Comando gcloud
Para criar um cluster do Dataproc e instalar um ou mais
componentes opcionais no cluster, use o comando
gcloud beta dataproc clusters create cluster-name
com a sinalização --optional-components.
gcloud dataproc clusters create cluster-name \ --optional-components=COMPONENT-NAME(s) \ ... other flags
API REST
Especifique componentes opcionais por meio da API do Dataproc usando o SoftwareConfig.Component como parte de uma solicitação clusters.create.Console
No console do Google Cloud, abra a página Criar um cluster do Dataproc. O painel "Configurar cluster" está selecionado. Em "Componentes opcionais", na seção "Componentes", selecione um ou mais componentes para instalar no cluster.