Atualizar um serviço do metastore do Dataproc

Esta página explica como atualizar um serviço do metastore do Dataproc.

Você pode atualizar seu serviço Metastore do Dataproc para alterar ou para ativar ou desativar recursos opcionais.

Antes de começar

Funções exigidas

Para ter a permissão necessária para atualizar um serviço do metastore do Dataproc, peça ao administrador para conceder a você papéis do IAM a seguir no projeto, com base no princípio de privilégio mínimo:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém metastore.services.update permissão, que é necessário para atualizar um serviço do metastore do Dataproc.

Também é possível conseguir essa permissão com papéis personalizados ou outros papéis predefinidos.

Para mais informações sobre papéis e permissões específicos do metastore do Dataproc, consulte Visão geral do IAM do metastore do Dataproc.

Sobre a atualização de um serviço

É possível atualizar os seguintes parâmetros do metastore do Dataproc.

  • Número da porta. Atualize o número da porta TCP da interface Apache Thrift.
  • Nível de serviço. Alterne entre o nível de serviço de Desenvolvedor ou Enterprise. Essas camadas influenciam a capacidade do serviço.
  • Sincronização do Data Catalog. Ative ou desative o recurso de sincronização do Data Catalog.
  • Janela de manutenção. Mude a frequência da janela de manutenção, incluindo Dia da semana e Hora do dia.
  • Kerberos Ativar ou desativar a autenticação do Kerberos. Caso já tenha sido ativado, você poderá atualizar os arquivos de configuração do Kerberos.
  • Configurações do metastore do Hive. Atualize o local do diretório do warehouse do Hive.
  • Configuração da versão auxiliar (Visualização). Ative, desative ou adicione outras versões auxiliares.
  • Rótulos. Adicione ou remova rótulos opcionais que descrevem seus metadados.
  • Fator de escalonamento. Altere o fator de escalonamento. É possível ativar ou desativar o escalonamento automático e atualizar os fatores de escalonamento mínimo ou máximo.

Atualizar um serviço

Antes de executar uma atualização, observe as seguintes considerações:

  • Só é possível executar um único job de atualização por vez (para cada serviço do Dataproc Metastore).
  • É possível atualizar vários parâmetros em um único job de atualização.
  • Você ainda pode usar a metastore do Dataproc enquanto ela está sendo atualizada.

Quando a atualização é bem-sucedida, o metastore do Dataproc entra automaticamente em um estado ativo. Se a atualização falhar, o serviço do metastore do Dataproc será revertido para o estado íntegro anterior.

As instruções a seguir mostram como atualizar um metastore do Dataproc serviço.

Console

  1. No console do Google Cloud, abra a página Metastore do Dataproc:

    Abra o metastore do Dataproc

  2. Na página Metastore do Dataproc, clique no nome do serviço que você quer atualizar.

    A página Detalhes do serviço é aberta.

    Página de detalhes do serviço
    Página de detalhes do serviço do Dataproc Metastore

  3. Na guia Configuração, clique em Editar.

    A página Editar serviço é aberta.

  4. Escolha os valores que você quer atualizar para o serviço.

  5. Clique em Enviar.

    Volte para a página Metastore do Dataproc e verifique se o serviço foi atualizado.

CLI da gcloud

  1. Para atualizar um serviço, execute o seguinte comando gcloud metastore services update:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --port=PORT \
    --tier=TIER \
    --maintenance-window-day=MAINTENANCE_WINDOW_DAY \
    --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \
    --kerberos_principal=KERBEROS_PRINCIPAL \
    --keytab=KEYTAB \
    --krb5-config=KRB5_CONFIG \
    --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \
    --clear-hive-metastore-configs \
    --remove-hive-metastore-configs=[KEY, ...] \
    --update-labels=[KEY=VALUE, ...] \
    --clear-labels \
    --remove-labels=[KEY, ...]

    Substitua:

    • SERVICE: o nome do serviço do metastore do Dataproc.
    • LOCATION: a região do Google Cloud em que o serviço do metastore do Dataproc reside.
    • PORT: opcional: a porta TCP da interface Thrift que você está usando com o serviço do metastore do Dataproc.
    • TIER: opcional: a capacidade do nível do serviço do metastore do Dataproc.
    • MAINTENANCE_WINDOW_DAY (opcional): o dia da semana em que a janela do serviço será iniciada.
    • MAINTENANCE_WINDOW_HOUR (opcional): a hora do dia em que a janela do serviço será iniciada.
    • KERBEROS_PRINCIPAL: opcional: um princípio Kerberos que existe na guia key e no KDC. Uma configuração típica principal está no formato "primary/instance@REALM", mas não há formato exato.
    • KEYTAB (opcional): um arquivo keytab do Kerberos que é usado para autenticar um principal de serviço com uma chave Kerberos Central de distribuição.
    • KRB5_CONFIG (opcional): o arquivo krb5.config especifica as informações de domínio do KDC e do Kerberos, que incluem locais de KDCs e padrões para os aplicativos real e Kerberos.
    • [KEY, ...] (opcional): o metastore Hive configurações que você quer atualizar. Se uma variável existir nesse campo, o valor dela será atualizado. Caso contrário, uma nova variável será criada. Se essa flag for definida, -clear-hive-metastore-configs também será definido automaticamente.
    • [KEY, ...] (opcional): o metastore Hive configurações que você quer remover.
    • [KEY=VALUE, ...]: opcional: os rótulos ou as configurações de par de chave-valor do Hive que você quer atualizar.
    • [KEY, ...] (opcional): os rótulos ou Configurações do par de chave-valor do metastore Hive que você quer remover.

  2. Verifique se a atualização foi concluída.

REST

Siga as instruções da API para atualizar um serviço usando o APIs Explorer.

Atualizar a configuração do warehouse do Hive Metastore

Se o diretório do armazenamento do Hive estiver no Cloud Storage, defina uma substituição de configuração do Metastore. Essa substituição define seu data warehouse específico como o Diretório de warehouse padrão para o metastore do Dataproc

Antes de definir essa substituição, verifique se o serviço Metastore do Dataproc tem permissões de leitura e gravação de objetos para acessar o diretório do warehouse. Saiba mais em Diretório de armazenamento do Hive.

As instruções a seguir mostram como atualizar uma substituição de configuração do metastore do Hive.

Console

  1. No console do Google Cloud, abra a página do metastore do Dataproc:

    Abra o metastore do Dataproc

  2. Na página Metastore do Dataproc, clique no nome do serviço do serviço deseja atualizar.

    A página Detalhes do serviço é aberta.

  3. Na guia Configuração, clique em Editar.

    A página Editar serviço é aberta.

  4. Em Substituições de configuração do Metastore, insira o seguinte:

    • Chave: insira o seguinte valor: hive.metastore.warehouse.dir.
    • Valor: o local do Cloud Storage do diretório do warehouse. Por exemplo: gs://my-bucket/path/to/location.

  5. Clique em Enviar.

    Volte para a página Metastore do Dataproc e Verifique se o serviço foi atualizado.

gcloud

  1. Para atualizar um serviço, execute o seguinte comando gcloud metastore services update:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"

    Substitua:

    • SERVICE: o nome do serviço do metastore do Dataproc.
    • LOCATION: a região do Google Cloud em que o serviço do Dataproc Metastore está localizado.
    • CUSTOMER_DIR: o local do Cloud Storage do diretório do warehouse. Por exemplo: gs://my-bucket/path/to/location

  2. Verifique se a atualização foi concluída.

A seguir