Implantar um serviço do metastore do Dataproc

Papéis necessários

Para ter as permissões necessárias para criar um metastore do Dataproc e um cluster do Dataproc, peça ao administrador para conceder a você os seguintes papéis do IAM:

• Para conceder acesso total a todos os recursos do metastore do Dataproc, incluindo a configuração de permissões do IAM: (roles/metastore.admin) na conta de usuário ou de serviço
• Para conceder controle total dos recursos do metastore do Dataproc: Editor do metastore do Dataproc (roles/metastore.editor) na conta de usuário ou de serviço
• Para criar um cluster do Dataproc: (roles/dataproc.worker) na conta de serviço

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para criar uma metastore e um cluster do Dataproc. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Criar um serviço Metastore do Dataproc

As instruções a seguir mostram como criar um serviço básico do metastore do Dataproc usando as configurações padrão fornecidas.

 gcloud metastore services create example-service \
     --location=us-central1 \
     --instance-size=MEDIUM

Crie um cluster do Dataproc e conecte-se ao metastore do Dataproc

Em seguida, crie um cluster do Dataproc e conecte-se ao seu metastore do cluster. Depois disso, o cluster usará o serviço metastore como ele é HMS. O cluster criado aqui usa as configurações padrão fornecidas.

 gcloud dataproc clusters create example-cluster \
    --dataproc-metastore=projects/PROJECT_ID/locations/us-central1/services/example-service \
    --region=us-central1

Conectar-se ao Apache Hive com um cluster do Dataproc

As próximas etapas mostram como executar alguns exemplos de comandos no Apache Hive para criar banco de dados e tabela.

Em seguida, abra uma sessão SSH no cluster do Dataproc e inicie uma do Hive.

1. No console do Google Cloud, acesse a VM instâncias.
2. Na lista de instâncias de máquina virtual, clique em SSH ao lado de example-cluster.

Uma janela do navegador é aberta no diretório principal do nó, com uma saída semelhante para o seguinte:

Connected, host fingerprint: ssh-rsa ...
Linux cluster-1-m 3.16.0-0.bpo.4-amd64 ...
...
example-cluster@cluster-1-m:~$

Para iniciar o Hive e criar um banco de dados e uma tabela, execute os seguintes comandos na sessão SSH:

1. Inicie o Hive.

   hive
   

2. Crie um banco de dados denominado myDatabase.

   create database myDatabase;
   

3. Mostre o banco de dados que você criou.

   show databases;
   

4. Use o banco de dados que você criou.

   use myDatabase;
   

5. Crie uma tabela chamada myTable.

   create table myTable(id int,name string);
   

6. Liste as tabelas em myDatabase.

   show tables;
   

7. Descreva o esquema da tabela que você criou.

   desc MyTable;
   

A execução desses comandos mostra uma saída semelhante a esta:

$hive

hive> show databases;
OK
default
hive> create database myDatabase;
OK
hive> use myDatabase;
OK
hive> create table myTable(id int,name string);
OK
hive> show tables;
OK
myTable
hive> desc myTable;
OK
id                      int
name                    string