Você pode usar essa fonte genérica sempre que precisar ler de um banco de dados. Para exemplo, ele pode ser usado para criar snapshots diários de uma tabela genérica de banco de dados e gravar a saída no BigQuery.
Configurar o plug-in
- Acessar a interface da Web do Cloud Data Fusion e clique em Studio.
- Verifique se Pipeline de dados - Lote está selecionado (não Tempo real).
- No menu Origem, clique em Banco de dados.
- Para configurar o plug-in, mantenha o ponteiro do mouse sobre o nó do plug-in e clique Propriedades:
Insira as propriedades a seguir. Para mais informações sobre cada propriedade, consulte Propriedades.
- Digite um Rótulo para o nó do banco de dados:
exemplo:
database tables
. Insira os detalhes da conexão. Você pode configurar uma nova conexão única, ou uma conexão atual e reutilizável.
Nova conexão
Para adicionar uma conexão única ao banco de dados, siga estas etapas:
- Mantenha a opção Usar conexão desativada.
- Digite as seguintes propriedades de conexão:
- No campo "Nome do driver JDBC", insira o nome do driver, se houver. Caso contrário, mantenha a opção Nenhum plug-in do JDBC selecionado.
- No campo String de conexão, insira a conexão JDBC incluindo o nome do banco de dados.
- Opcional: se o banco de dados exigir autenticação, digite nome de usuário e senha do banco de dados.
- Opcional: se o driver JDBC precisar de mais configurações, No campo Argumentos de conexão, insira a chave-valor da conexão.
Conexão reutilizável
Para reutilizar uma conexão existente, siga estas etapas:
- Ative a opção Usar conexão.
- Clique em Procurar conexões.
Selecione a conexão.
Opcional: se não houver uma conexão e você quiser criar uma nova conexão reutilizável, clique em Adicionar conexão e consulte Confira as etapas na guia Nova conexão nesta página.
Opcional: para testar a conectividade, clique em Ver esquema. Este esquema é usada no lugar de qualquer esquema retornado da consulta. Ele deve corresponder ao esquema retornado da consulta, mas é possível marca os campos como anuláveis e pode conter um subconjunto deles.
No campo Importar consulta, digite uma consulta
SELECT
para importar dados. da tabela especificada, por exemplo,select id, name, email, phone from users;
.Opcional: no campo Consulta de limite, insira os valores mínimo e máximo a serem lidos, por exemplo,
SELECT * FROM table WHERE $CONDITIONS
.Opcional: no campo Nome do campo de divisão, insira o nome do campo que gera as divisões.
Opcional: no campo Número de divisões a serem geradas, insira um número, por exemplo,
2
.Opcional: no campo Tamanho da busca, insira um número, por exemplo,
1000
.Opcional: insira Propriedades avançadas, como alterar a maiúscula e minúscula dos nomes das colunas.
- Digite um Rótulo para o nó do banco de dados:
exemplo:
Opcional: clique em Validar e resolva os erros encontrados.
Clique em Fechar. As propriedades são salvas, e você pode continuar criando seu pipeline de dados no Cloud Data Fusion Studio.
Propriedades
Propriedade | Macro ativada | Obrigatório | Descrição |
---|---|---|---|
Rótulo | Não | Sim | O nome do nó no pipeline de dados. |
Usar conexão | Não | Não | Procure uma conexão com a origem. Se Usar conexão está selecionado, você não precisa fornecer credenciais. |
Conexão | Sim | Sim | Nome da conexão a ser usada. Se Usar conexão estiver selecionada, esse campo será exibido. As informações do banco de dados e da tabela são fornecidos pela conexão. |
Nome do driver JDBC | Sim | Sim | O driver JDBC a ser usado. O padrão é Nenhum plug-in do JDBC. |
String de conexão | Sim | Sim | String de conexão do JDBC, incluindo o nome do banco de dados. |
Nome de usuário | Sim | Não | Identidade do usuário para conexão com o banco de dados. Obrigatório para bancos de dados que precisam de autenticação. Opcional para bancos de dados que não exigem autenticação. |
Senha | Sim | Não | Senha a ser usada para se conectar ao banco de dados especificado. Obrigatório para bancos de dados que precisam de autenticação. Opcional para bancos de dados que não que exigem autenticação. |
Argumentos de conexão | Sim | Não | Uma lista de pares de tag/valor de string arbitrários como argumentos de conexão.
Para drivers JDBC que precisam de configuração adicional, esses argumentos são
passados para o driver JDBC como argumentos de conexão no
formato: key1=value1;key2=value . |
Nome de referência | Não | Sim | Um nome que identifica exclusivamente essa origem para linhagem e anotação metadados. Geralmente é o nome da tabela ou da visualização. |
Receber esquema | Não | Não | O esquema de registros gerado pela origem. Ele é usado no lugar do esquema retornado pela consulta. Ele precisa corresponder ao esquema que vem da consulta, exceto que permite marcar campos como anuláveis e e pode conter um subconjunto dos campos. |
Importar consulta | Sim | Sim | A consulta SELECT para importar dados da tabela especificada. Você pode especificar um número arbitrário de colunas para importar ou
importar todas as colunas usando * . A consulta precisa conter a string $CONDITIONS . Por exemplo:
SELECT * FROM table WHERE $CONDITIONS : O
A string $CONDITIONS foi substituída pelo campo splitBy
limite especificado no campo Consulta delimitadora. A
string $CONDITIONS não é necessária se o campo Número de
divisões estiver definido como 1. |
Consulta delimitadora | Sim | Não | A consulta delimitadora que retorna o mínimo e o máximo dos valores
da coluna de divisão. Por exemplo:
SELECT MIN(id),MAX(id) FROM table Não será necessário se o
total de divisões é definido como 1. |
Dividir por nome de campo | Sim | Não | O nome do campo usado para gerar divisões. Não será necessário se o número de a ser gerada é definido como 1. |
Número de divisões a serem geradas | Sim | Não | Número de divisões a serem geradas. O padrão é 1. |
Tamanho da busca | Sim | Não | O número de linhas a serem buscadas por vez por divisão. Um tamanho de busca maior
pode resultar em uma importação mais rápida, em detrimento de um maior uso de memória. O padrão é 1000. |
Ativar a confirmação automática | Não | Não | Define se a confirmação automática será ativada para consultas executadas por essa fonte. Manter
defina como False, a menos que você use um driver JDBC que
causa um erro quando a operação de confirmação é executada. O padrão é Falso. |
Letras maiúsculas no nome da coluna | Sim | Não | Define o uso de maiúsculas e minúsculas nos nomes das colunas retornados da consulta. Você
pode escolher maiúsculas ou minúsculas. Por padrão, ou para qualquer outra entrada,
os nomes das colunas não são modificados e letras maiúsculas e minúsculas retornadas da
é usado. Definir essa propriedade fornece previsibilidade de
letras maiúsculas no nome da coluna em diferentes bancos de dados, mas pode causar
entre em conflito se os nomes de várias colunas forem iguais quando o caso
é ignorado. O padrão é Nenhuma alteração. |
Nível de isolamento de transação | Sim | Não | O nível de isolamento da transação para consultas executadas por este coletor. Para mais
mais informações, consulte a
setTransactionIsolation()
O driver JDBC do Phoenix gera uma exceção quando o banco de dados do Phoenix
não tem transações ativadas e esse campo está definido como
true : Para drivers assim, defina esse campo como
TRANSACTION_NONE .O padrão é TRANSACTION_SERIALIZABLE. |
Padrão a ser substituído | Não | Não | O padrão a ser substituído no nome do campo na tabela (geralmente usado) pela propriedade Substituir por). Se o a propriedade Substituir por não estiver definida, o padrão será removido do nome do campo. |
Substituir por | Não | Não | A string que é substituída no nome do campo na tabela. Você deve também configure o campo Padrão a ser substituído. |
Esquema de saída | Não | Não | Especifica o esquema de saída. Somente colunas definidas no esquema são incluídas no registro de saída. |
Práticas recomendadas
Verifique se um plug-in mais específico está disponível para seu banco de dados. Por exemplo, se você tem uma fonte de banco de dados Oracle, em vez disso, use a fonte em lote do banco de dados Oracle porque ele foi projetado para funcionar com o esquema do Oracle.
Notas de lançamento
A seguir
- Saiba mais sobre os plug-ins no Cloud Data Fusion.