Gestisci trasferimenti
Questo documento mostra come gestire le configurazioni di Data Transfer esistenti.
Puoi anche attivare manualmente un trasferimento esistente tramite l'avvio di un esecuzione di backfill.
Visualizzare i trasferimenti
Visualizza le configurazioni di trasferimento esistenti visualizzando le informazioni su ogni trasferimento, l'elenco di tutti i trasferimenti esistenti e la visualizzazione dell'esecuzione del trasferimento cronologia o messaggi di log.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per visualizzare i dettagli del trasferimento:
chiedi all'amministratore di concederti
Ruolo IAM Utente BigQuery (roles/bigquery.user
) nel progetto.
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite la ruoli o altri ruoli predefiniti ruoli.
Inoltre, per visualizzare i messaggi di log tramite la console Google Cloud, devi
e disponi delle autorizzazioni necessarie
per visualizzare i dati di Cloud Logging. Ruolo Visualizzatore log
(roles/logging.viewer
) ti offre l'accesso di sola lettura a tutte le funzionalità di
Logging. Per saperne di più su Identity and Access Management (IAM)
autorizzazioni e ruoli
per i dati dei log cloud, consulta la guida al controllo dell'accesso di Cloud Logging.
Per ulteriori informazioni sui ruoli IAM in BigQuery Data Transfer Service, consulta Controllo dell'accesso.
Visualizzare i dettagli del trasferimento
Dopo aver creato un trasferimento, puoi ricevere informazioni sulla sua configurazione. La configurazione include i valori che hai fornito al momento creato il trasferimento, nonché altre informazioni importanti come i nomi degli utenti.
Per ottenere informazioni sulla configurazione di un trasferimento:
Console
Vai alla pagina Trasferimenti di dati.
Seleziona il trasferimento di cui vuoi visualizzare i dettagli.
Per visualizzare la configurazione del trasferimento e i dettagli dell'origine dati, fai clic su Configurazione nella pagina Dettagli trasferimento. La l'esempio seguente mostra le proprietà di configurazione per un account Google Ads trasferimento:
bq
Inserisci il comando bq show
e specifica il valore della configurazione di trasferimento
del nome della risorsa. Il flag --format
può essere utilizzato per controllare il formato di output.
bq show \
--format=prettyjson \
--transfer_config resource_name
Sostituisci resource_name
con la risorsa del trasferimento
(indicata anche come configurazione di trasferimento). In caso di dubbi
il nome della risorsa del trasferimento, trova il nome della risorsa con:
bq ls --transfer_config --transfer_location=location
Ad esempio, inserisci il comando seguente per visualizzare la configurazione del trasferimento
della
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.
bq show \
--format=prettyjson \
--transfer_config projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
API
Utilizza la projects.locations.transferConfigs.get
e fornisci la configurazione di trasferimento utilizzando il parametro name
.
Java
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Java BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configurare l'autenticazione per le librerie client.
Elenca configurazioni di trasferimento
Per elencare tutte le configurazioni di trasferimento esistenti in un progetto:
Console
Nella console Google Cloud, vai alla pagina Trasferimenti di dati.
Se nel progetto sono presenti configurazioni di trasferimento, un elenco configurazioni di trasferimento dati vengono visualizzate nell'elenco dei trasferimenti di dati.
bq
Per elencare tutte le configurazioni di trasferimento per un progetto in base alla località, inserisci il
Comando bq ls
e fornisci i --transfer_location
e --transfer_config
e i flag facoltativi. Puoi anche fornire il flag --project_id
per specificare una determinata
progetto. Se --project_id
non è specificato, viene utilizzato il progetto predefinito.
Il flag --format
può essere utilizzato per controllare il formato di output.
Per elencare le configurazioni di trasferimento per origini dati particolari, fornisci il valore
--filter
flag.
Per visualizzare un determinato numero di configurazioni di trasferimento in
formato impaginato, fornisci il flag --max_results
per specificare il numero
trasferimenti. Il comando restituisce un token di pagina da te fornito utilizzando
--page_token
per visualizzare le successive n configurazioni. Esiste un limite di
1000 configurazioni che verranno restituite se --max_results
viene omesso e
--max_results
non accetta valori superiori a 1000. Se il progetto contiene più di 1000 configurazioni, utilizza --max_results
e --page_token
per esaminarle tutte.
bq ls \ --transfer_config \ --transfer_location=location \ --project_id=project_id \ --max_results=integer \ --filter=dataSourceIds:data_sources
Sostituisci quanto segue:
location
è la località del trasferimento configurazioni. La località viene specificato quando crei un trasferimento.project_id
è l'ID progetto.integer
è il numero di risultati da mostrare per pagina.data_sources
corrisponde a uno o più dei seguenti:amazon_s3
- Trasferimento dati Amazon S3azure_blob_storage
- Trasferimento dati di Azure Blob Storagedcm_dt
- Trasferimento dati Campaign Managergoogle_cloud_storage
- Trasferimento dati Cloud Storagecross_region_copy
- Copia del set di datidfp_dt
- Trasferimento dei dati da Google Ad Manageradwords
- Trasferimento dei dati di Google Adsgoogle_ads
- Trasferimento dei dati di Google Ads (anteprima)merchant_center
- Trasferimento dei dati da Google Merchant Centerplay
- Trasferimento dati Google Playscheduled_query
- Trasferimento dei dati per le query pianificatedoubleclick_search
- Trasferimento dei dati di Search Ads 360youtube_channel
- Trasferimento dei dati del canale YouTubeyoutube_content_owner
- Trasferimento dei dati del proprietario dei contenuti di YouTuberedshift
- Migrazione ad Amazon Redshifton_premises
- Migrazione di Teradata
Esempi:
Inserisci il comando seguente per visualizzare tutte le configurazioni di trasferimento
US per il progetto predefinito. L'output viene controllato utilizzando --format
flag.
bq ls \
--format=prettyjson \
--transfer_config \
--transfer_location=us
Inserisci il seguente comando per visualizzare tutti i trasferimenti
negli Stati Uniti per l'ID progetto myproject
.
bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject
Inserisci il seguente comando per elencare i 3 trasferimenti più recenti configurazioni.
bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject \
--max_results=3
Il comando restituisce un token per la pagina successiva. Copia il token di pagina e forniscilo
il comando bq ls
per vedere i tre risultati successivi.
bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject \
--max_results=3 \
--page_token=AB1CdEfg_hIJKL
Inserisci il seguente comando per elencare gli annunci e i trasferimenti di Campaign Manager
per l'ID progetto myproject
.
bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject \
--filter=dataSourceIds:dcm_dt,google_ads
API
Utilizza il metodo projects.locations.transferConfigs.list
e fornisci l'ID progetto utilizzando il parametro parent
.
Java
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API BigQuery Java.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Python
Prima di provare questo esempio, segui le istruzioni per la configurazione di Python nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Python BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configurare l'autenticazione per le librerie client.
Visualizza la cronologia delle esecuzioni del trasferimento
Quando vengono eseguiti i trasferimenti pianificati, viene conservata una cronologia delle esecuzioni per ogni trasferimento che include esecuzioni di trasferimenti riuscite e esecuzioni di trasferimento che non riuscito. I trasferimenti eseguiti da più di 90 giorni vengono automaticamente eliminati dal delle esecuzioni.
Per visualizzare la cronologia delle esecuzioni per una configurazione di trasferimento:
Console
Nella console Google Cloud, vai alla pagina Trasferimenti di dati.
Fai clic sul trasferimento nell'elenco dei trasferimenti di dati.
Ti troverai nella pagina ESEGUI CRONOLOGIA per il trasferimento selezionato.
bq
Per elencare le esecuzioni di trasferimento per una determinata configurazione di trasferimento, inserisci il comando bq
ls
e fornisci il flag --transfer_run
. Puoi anche fornire
--project_id
per specificare un progetto specifico. Se resource_name
non contiene informazioni sul progetto, viene utilizzato il valore --project_id
. Se
--project_id
non è specificato. Viene utilizzato il progetto predefinito. --format
per controllare il formato di output.
Per visualizzare un determinato numero di esecuzioni dei trasferimenti, fornisci --max_results
flag. Il comando restituisce un token di pagina da te fornito utilizzando
--page_token
per visualizzare le successive n configurazioni.
Per elencare le esecuzioni dei trasferimenti in base allo stato di esecuzione, fornisci il flag --filter
.
bq ls \ --transfer_run \ --max_results=integer \ --transfer_location=location \ --project_id=project_id \ --filter=states:state, ... \ resource_name
Sostituisci quanto segue:
integer
è il numero di risultati da restituire.location
è la località del trasferimento configurazioni. La località viene specificato quando crei un trasferimento.project_id
è l'ID progetto.state, ...
è uno dei seguenti o un elenco separato da virgole:SUCCEEDED
FAILED
PENDING
RUNNING
CANCELLED
resource_name
è il nome della risorsa del trasferimento (chiamato anche configurazione di trasferimento). Se non conosci il nome risorsa del trasferimento, trova il nome della risorsa con:bq ls --transfer_config --transfer_location=location
Esempi:
Inserisci il seguente comando per visualizzare le ultime 3 esecuzioni per
configurazione di trasferimento
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.
L'output viene controllato utilizzando il flag --format
.
bq ls \
--format=prettyjson \
--transfer_run \
--max_results=3 \
--transfer_location=us \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
Il comando restituisce un token della pagina successiva. Copia il token di pagina e forniscilo
il comando bq ls
per vedere i tre risultati successivi.
bq ls \
--format=prettyjson \
--transfer_run \
--max_results=3 \
--page_token=AB1CdEfg_hIJKL \
--transfer_location=us \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
Inserisci il comando seguente per visualizzare tutte le esecuzioni non riuscite per
configurazione di trasferimento
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.
bq ls \
--format=prettyjson \
--transfer_run \
--filter=states:FAILED \
--transfer_location=us \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
API
Utilizza il metodo projects.locations.transferConfigs.runs.list
e specifica l'ID progetto utilizzando il parametro parent
.
Java
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Java BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Visualizzare i dettagli dell'esecuzione del trasferimento e i messaggi di log
Quando un'esecuzione di trasferimento appare nella cronologia delle esecuzioni, puoi visualizzare i dettagli dell'esecuzione inclusi messaggi di log, avvisi ed errori, il nome dell'esecuzione, i campi di inizio e ora di fine.
Per visualizzare i dettagli dell'esecuzione del trasferimento:
Console
Nella console Google Cloud, vai alla pagina Trasferimenti di dati.
Fai clic sul trasferimento nell'elenco dei trasferimenti di dati.
Ti troverai nella pagina ESEGUI CRONOLOGIA per il trasferimento selezionato.
Fai clic su una singola esecuzione del trasferimento e poi sul riquadro Dettagli esecuzione per l'esecuzione del trasferimento.
In Dettagli esecuzione, controlla gli eventuali messaggi di errore. Queste informazioni sono necessaria se contatti l'assistenza clienti Google Cloud. I dettagli dell'esecuzione includono anche messaggi di log e avvisi.
bq
Per visualizzare i dettagli dell'esecuzione del trasferimento, inserisci il comando bq show
e specifica il metodo
il nome dell'esecuzione dell'esecuzione del trasferimento
usando il flag --transfer_run
. Il flag --format
può essere utilizzato per controllare il formato di output.
bq show \ --format=prettyjson \ --transfer_run run_name
Sostituisci run_name
con il nome esecuzione dell'esecuzione del trasferimento.
Puoi recuperare il nome esecuzione utilizzando bq ls
.
Esempio:
Inserisci il comando seguente per visualizzare i dettagli dell'esecuzione del trasferimento
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
.
bq show \
--format=prettyjson \
--transfer_run \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
Per visualizzare i messaggi del log di trasferimento per un'esecuzione di trasferimento, inserisci il comando bq ls
con il flag --transfer_log
. Puoi filtrare i messaggi di log in base al tipo utilizzando
il flag --message_type
.
Per visualizzare un determinato numero di messaggi di log, specifica il valore --max_results
flag. Il comando restituisce un token di pagina da te fornito utilizzando
--page_token
per vedere i successivi n messaggi.
bq ls \ --transfer_log \ --max_results=integer \ --message_type=messageTypes:message_type \ run_name
Sostituisci quanto segue:
integer
è il numero di messaggi di log da restituire.message_type
è il tipo di messaggio di log da visualizzare (un singolo valore o un elenco separato da virgole):INFO
WARNING
ERROR
run_name
è il nome esecuzione dell'esecuzione del trasferimento. Puoi recupera il nome dell'esecuzione utilizzando il comandobq ls
.
Esempi:
Inserisci il seguente comando per visualizzare i primi due messaggi di log per transfer
run
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
.
bq ls \
--transfer_log \
--max_results=2 \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
Il comando restituisce un token per la pagina successiva. Copia il token di pagina e forniscilo
il comando bq ls
per vedere i due risultati successivi.
bq ls \
--transfer_log \
--max_results=2 \
--page_token=AB1CdEfg_hIJKL \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
Inserisci il seguente comando per visualizzare solo i messaggi di errore per l'esecuzione del trasferimentoprojects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
.
bq ls \
--transfer_log \
--message_type=messageTypes:ERROR \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
API
Utilizza la projects.transferConfigs.runs.transferLogs.list
e fornisci il nome esecuzione dell'esecuzione del trasferimento utilizzando il parametro parent
.
Java
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API BigQuery Java.
Per autenticarti a BigQuery, configura le credenziali predefinite dell'applicazione. Per saperne di più, consulta Configurare l'autenticazione per le librerie client.
Modificare i trasferimenti
Puoi modificare i trasferimenti esistenti modificando le informazioni sulla configurazione del trasferimento, aggiornando le credenziali di un utente associate a una configurazione del trasferimento ed eliminando o disattivando un trasferimento.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per modificare i trasferimenti,
chiedi all'amministratore di concederti
Ruolo IAM Amministratore BigQuery (roles/bigquery.admin
) nel progetto.
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.
Aggiornare un trasferimento
Dopo aver creato una configurazione di trasferimento, puoi modificare i seguenti campi:
- Set di dati di destinazione
- Nome visualizzato
- Uno qualsiasi dei parametri specificati per il tipo di trasferimento specifico
- Esegui impostazioni di notifica
- Service account
Non puoi modificare l'origine di un trasferimento dopo averlo creato.
Per aggiornare un trasferimento:
Console
Nella console Google Cloud, vai alla pagina Trasferimenti di dati.
Fai clic sul trasferimento nell'elenco dei trasferimenti di dati.
Fai clic su MODIFICA per aggiornare la configurazione di trasferimento.
bq
Inserisci il
Comando bq update
,
specifica il nome della risorsa della configurazione di trasferimento utilizzando
--transfer_config
e indica --display_name
, --params
,
Contrassegni --refresh_window_days
, --schedule
o --target_dataset
. Puoi
facoltativamente fornire un flag --destination_kms_key
per le query pianificate
oppure Cloud Storage
trasferimenti.
bq update \ --display_name='NAME' \ --params='PARAMETERS' \ --refresh_window_days=INTEGER \ --schedule='SCHEDULE' --target_dataset=DATASET_ID \ --destination_kms_key="DESTINATION_KEY" \ --transfer_config \ --service_account_name=SERVICE_ACCOUNT \ RESOURCE_NAME
Sostituisci quanto segue:
NAME
: il nome visualizzato per la configurazione del trasferimento.PARAMETERS
: i parametri per la configurazione del trasferimento in formato JSON. Ad esempio:--params='{"param1":"param_value1"}'
. La i seguenti parametri sono modificabili:- Campaign Manager:
bucket
enetwork_id
- Google Ad Manager:
bucket
enetwork_code
- Google Ads:
customer_id
- Google Merchant Center:
merchant_id
- Google Play:
bucket
etable_suffix
- Query pianificata:
destination_table_kms_key
,destination_table_name_template
,partitioning_field
partitioning_type
,query
ewrite_disposition
- Search Ads 360:
advertiser_id
,agency_id
,custom_floodlight_variables
,include_removed_entities
etable_filter
- Canale YouTube:
table_suffix
- Proprietario dei contenuti di YouTube:
content_owner_id
etable_suffix
- Campaign Manager:
INTEGER
: un valore compreso tra 0 e 30. Per informazioni su l'impostazione della finestra di aggiornamento, consulta la documentazione per il tipo di trasferimento.SCHEDULE
: una pianificazione ricorrente, ad esempio--schedule="every 3 hours"
. Per una descrizione della sintassischedule
: consulta la sezione Formattazione dischedule
.- DATASET_ID: il set di dati di destinazione per la configurazione del trasferimento.
- DESTINATION_KEY: l'ID risorsa della chiave Cloud KMS
ad esempio
projects/project_name/locations/us/keyRings/key_ring_name/cryptoKeys/key_name
. CMEK è disponibile solo per le query pianificate o Cloud Storage trasferimenti. - SERVICE_ACCOUNT: specifica un account di servizio da utilizzare con questo trasferimento.
- RESOURCE_NAME: nome della risorsa del trasferimento (chiamato anche
come configurazione di trasferimento). Se non conosci la risorsa del trasferimento
cerca il nome della risorsa con:
bq ls --transfer_config --transfer_location=location
Esempi:
Il comando seguente aggiorna il nome visualizzato, il set di dati di destinazione
finestra di aggiornamento e i parametri per il trasferimento di Google Ads
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
:
bq update \ --display_name='My changed transfer' \ --params='{"customer_id":"123-123-5678"}' \ --refresh_window_days=3 \ --target_dataset=mydataset2 \ --transfer_config \ projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
Il seguente comando aggiorna i parametri e la pianificazione per Pianificato
Trasferimento delle query
projects/myproject/locations/us/transferConfigs/5678z567-5678-5z67-5yx9-56zy3c866vw9
:
bq update \ --params='{"destination_table_name_template":"test", "write_disposition":"APPEND"}' \ --schedule="every 24 hours" \ --transfer_config \ projects/myproject/locations/us/transferConfigs/5678z567-5678-5z67-5yx9-56zy3c866vw9
API
Utilizza la projects.transferConfigs.patch
e fornisci il nome risorsa del trasferimento utilizzando
transferConfig.name
. Se non conosci la risorsa del trasferimento
cerca il nome della risorsa con:
bq ls --transfer_config --transfer_location=location
Puoi anche chiamare il metodo riportato di seguito e fornire l'ID progetto utilizzando il metodo
Parametro parent
per elencare tutti i trasferimenti:
projects.locations.transferConfigs.list
Java
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Java BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Python
Prima di provare questo esempio, segui le istruzioni per la configurazione di Python nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API BigQuery Python.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Aggiorna credenziali
Un trasferimento utilizza le credenziali dell'utente che lo ha creato. Se devi cambiare l'utente associato a una configurazione di trasferimento, puoi aggiornare le credenziali del trasferimento. Ciò è utile se l'utente che ha creato il trasferimento non sono più nella tua organizzazione.
Per aggiornare le credenziali per un trasferimento:
Console
Nella console Google Cloud, accedi con le credenziali dell'utente che vuoi trasferire proprietà.
Vai alla pagina Trasferimenti di dati.
Fai clic sul trasferimento nell'elenco dei trasferimenti di dati.
Fai clic sul menu ALTRO, quindi seleziona Aggiorna credenziali.
Fai clic su Consenti per concedere l'autorizzazione BigQuery Data Transfer Service per visualizzare i dati dei report e accedere e gestire i dati in BigQuery.
bq
Inserisci il comando bq update
, fornisci il nome della risorsa della configurazione di trasferimento utilizzando il flag --transfer_config
e fornisci il flag --update_credentials
.
bq update \ --update_credentials=boolean \ --transfer_config \ resource_name
Sostituisci quanto segue:
boolean
è un valore booleano che indica se il è necessario aggiornare le credenziali per la configurazione del trasferimento.resource_name
è il nome della risorsa del trasferimento (chiamata anche configurazione di trasferimento). Se non conosci il nome della risorsa del trasferimento, individualo con:bq ls --transfer_config --transfer_location=location
.
Esempi:
Inserisci il comando seguente per aggiornare le credenziali per Google Ads
trasferimento
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.
bq update \
--update_credentials=true \
--transfer_config \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
API
Utilizza la projects.transferConfigs.patch
e fornisci i parametri authorizationCode
e updateMask
.
Java
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Java BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configurare l'autenticazione per le librerie client.
Python
Prima di provare questo esempio, segui le istruzioni per la configurazione di Python nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Python BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Disattivare un trasferimento
Quando disattivi un trasferimento, al nome del trasferimento viene aggiunto disabled. Quando il trasferimento è disattivato, non vengono pianificate nuove esecuzioni del trasferimento e non sono consentiti nuovi backfill. Tutte le esecuzioni del trasferimento in corso sono state completate.
La disattivazione di un trasferimento non rimuove i dati già trasferiti in BigQuery. I dati trasferiti in precedenza comportano costi di archiviazione standard di BigQuery fino a quando non elimini il set di dati o le tabelle.
Per disattivare un trasferimento:
Console
Nella console Google Cloud, vai alla pagina BigQuery.
Fai clic su Trasferimenti.
Nella pagina Trasferimenti, fai clic sul trasferimento nell'elenco che vuoi disattivare.
Fai clic su DISATTIVA. Per riattivare il trasferimento, fai clic su ATTIVA.
bq
La disattivazione di un trasferimento non è supportata dall'interfaccia a riga di comando.
API
Utilizza la projects.locations.transferConfigs.patch
e imposta disabled
su true
nel
projects.locations.transferConfig
risorsa.
Java
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Java BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Per riattivare il trasferimento:
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Java BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Eliminare un trasferimento
Quando un trasferimento viene eliminato, non vengono programmate nuove esecuzioni del trasferimento. Qualsiasi le esecuzioni di trasferimento in corso vengono interrotte.
L'eliminazione di un trasferimento non rimuove i dati già trasferiti in BigQuery. I dati trasferiti in precedenza comportano costi di archiviazione standard di BigQuery fino a quando non elimini il set di dati o le tabelle.
Per eliminare un trasferimento:
Console
Nella console Google Cloud, vai alla pagina BigQuery.
Fai clic su Trasferimenti.
Nella pagina Trasferimenti, fai clic sul trasferimento nell'elenco che da eliminare.
Fai clic su ELIMINA. Come misura di sicurezza dovrai digitare la parola "elimina" in una casella per confermare le tue intenzioni.
bq
Inserisci il comando bq rm
e fornisci la risorsa della configurazione del trasferimento
nome. Puoi utilizzare il flag -f
per eliminare una configurazione di trasferimento senza conferma.
bq rm \
-f \
--transfer_config \
resource_name
Dove:
- resource_name è il nome della risorsa del trasferimento, che è anche
nota come configurazione di trasferimento). Se non conosci
il nome della risorsa del trasferimento, emetti
bq ls --transfer_config --transfer_location=location
per elencare tutti i trasferimenti.
Ad esempio, inserisci il comando seguente per eliminare la configurazione del trasferimento
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.
bq rm \
--transfer_config \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
API
Utilizza la projects.locations.transferConfigs.delete
e fornisci la risorsa che stai eliminando utilizzando il parametro name
.
Java
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Java BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Python
Prima di provare questo esempio, segui le istruzioni di configurazione Python riportate nella guida rapida all'utilizzo delle librerie client di BigQuery. Per ulteriori informazioni, consulta API Python BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configurare l'autenticazione per le librerie client.
Attivare manualmente un trasferimento
Puoi attivare manualmente un trasferimento, chiamato anche esecuzione di backfill, per caricare file di dati aggiuntivi al di fuori dei trasferimenti pianificati automaticamente. Con le origini dati che supportano i parametri di runtime, puoi anche attivare manualmente un trasferimento specificando una data o un intervallo di tempo da cui caricare i dati precedenti.
Puoi avviare manualmente i backfill dei dati in qualsiasi momento. Oltre all'origine di servizio, BigQuery Data Transfer Service supporta un massimo di 180 giorni richiesta di backfill. Le richieste di backfill simultanee non sono supportate.
Per informazioni sulla quantità di dati disponibili per il backfill, consulta la documentazione per l'origine dati.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per modificare i trasferimenti,
chiedi all'amministratore di concederti
Ruolo IAM Amministratore BigQuery (roles/bigquery.admin
) nel progetto.
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite la ruoli o altri ruoli predefiniti ruoli.
Attivare manualmente un trasferimento o un backfill
Puoi attivare manualmente un'esecuzione di trasferimento o backfill con i seguenti metodi:
- Seleziona l'esecuzione del trasferimento utilizzando la console Google Cloud, quindi fai clic su Esegui trasferimento ora o Pianifica il backfill.
- Utilizza il comando
bq mk –transfer run
con lo strumento a riga di comandobq
- Chiama il metodo API
projects.locations.transferConfigs.startManualRuns method
Per istruzioni dettagliate su ciascun metodo, seleziona la scheda corrispondente:
Console
Nella console Google Cloud, vai alla pagina Trasferimenti di dati.
Seleziona il trasferimento dall'elenco.
Fai clic su Esegui trasferimento ora o Pianifica backfill. È disponibile un'unica opzione, a seconda del tipo di configurazione del trasferimento.
Se hai fatto clic su Esegui trasferimento ora, seleziona Esegui trasferimento una tantum. oppure Esegui per una data specifica, a seconda dei casi. Se hai selezionato Esegui per una data specifica, seleziona una data e un'ora specifiche:
Se hai fatto clic su Pianifica backfill, seleziona Esegui trasferimento una tantum. oppure Esegui per un intervallo di date, a seconda dei casi. Se hai selezionato Esegui per un intervallo di date, seleziona una data e un'ora di inizio e di fine:
Fai clic su OK.
bq
Per avviare manualmente un'esecuzione di trasferimento, inserisci il comando bq mk
con il flag --transfer_run
:
bq mk \ --transfer_run \ --run_time='RUN_TIME' \ RESOURCE_NAME
Sostituisci quanto segue:
RUN_TIME
è un timestamp che specifica la data di un bonifico precedente. Utilizza timestamp che terminano con Z o che contengono un fuso orario valido di offset, ad esempio2022-08-19T12:11:35.00Z
o2022-05-25T00:00:00+00:00
.- Se il trasferimento non ha un parametro di runtime o se vuoi semplicemente attivare un trasferimento ora senza specificare un trasferimento passato, inserisci la data e l'ora correnti in questo campo.
RESOURCE_NAME
è il nome della risorsa elencato nel trasferimento configurazione, ad esempioprojects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.- Per trovare il nome risorsa di una configurazione di trasferimento, consulta Ricevere informazioni sui trasferimenti.
- Il nome della risorsa utilizza il Nome risorsa relativo formato.
Per avviare manualmente un'esecuzione di trasferimento per un intervallo di date, inserisci il comando bq mk
con
--transfer_run
insieme a un intervallo di date:
bq mk \ --transfer_run \ --start_time='START_TIME' \ --end_time='END_TIME' \ RESOURCE_NAME
Sostituisci quanto segue:
START_TIME
eEND_TIME
sono timestamp che terminano con Z o contenere un offset di fuso orario valido. Questi valori specificano l'intervallo di tempo contenente le esecuzioni di trasferimento precedenti da cui vuoi eseguire il backfill, ad esempio2022-08-19T12:11:35.00Z
o2022-05-25T00:00:00+00:00
RESOURCE_NAME
è il nome della risorsa elencato nel trasferimento configurazione, ad esempioprojects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
- Per trovare il nome risorsa di una configurazione di trasferimento, consulta Ricevere informazioni sui trasferimenti.
- Il nome della risorsa utilizza il formato Nome della risorsa relativa.
API
Per avviare manualmente un'esecuzione di trasferimento, utilizza
projects.locations.transferConfigs.startManualRuns
e fornisci il nome della risorsa di configurazione del trasferimento utilizzando il metodo
. Per trovare il nome della risorsa di una configurazione di trasferimento, vedi Ottenere informazioni sui trasferimenti
"requestedRunTime": "RUN_TIME"
Sostituisci quanto segue:
RUN_TIME
è un timestamp che specifica la data di un bonifico precedente. Utilizza timestamp che terminano con Z o che contengono un fuso orario valido di offset, ad esempio2022-08-19T12:11:35.00Z
o2022-05-25T00:00:00+00:00
.- Se il trasferimento non ha un parametro di runtime o vuoi semplicemente attivare un trasferimento ora senza specificare un trasferimento precedente, l'ora corrente in questo campo.
Per avviare manualmente l'esecuzione di un trasferimento per un intervallo di date, specifica un intervallo di date:
"requestedTimeRange": { "startTime": "START_TIME", "endTime": "END_TIME" }
Sostituisci quanto segue:
START_TIME
eEND_TIME
sono timestamp che terminano con Z o contengono una differenza di fuso orario valida. Questi valori specificano l'intervallo di tempo contenente le esecuzioni di trasferimento precedenti di cui vuoi eseguire il backfill da, ad esempio2022-08-19T12:11:35.00Z
o2022-05-25T00:00:00+00:00
Java
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API BigQuery Java.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Python
Prima di provare questo esempio, segui le istruzioni per la configurazione di Python nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Python BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Logging e monitoraggio
BigQuery Data Transfer Service esporta log e metriche in Cloud Monitoring e Cloud Logging che offrono osservabilità dei trasferimenti. Puoi Utilizzare Monitoring per configurare le dashboard per monitorare i trasferimenti, valutare le prestazioni dell'esecuzione dei trasferimenti e visualizzare i messaggi di errore per risolvere gli errori di trasferimento. Puoi utilizzare Logging per visualizzare i log relativi a un'esecuzione o a una configurazione di trasferimento.
Puoi anche visualizzare i log di controllo disponibili a BigQuery Data Transfer Service per i log delle attività di trasferimento e dell'accesso ai dati.