Introduzione alle query continue
Questo documento descrive le query continue di BigQuery.
Le query continue di BigQuery sono istruzioni SQL che eseguono senza interruzioni. Le query continue consentono di analizzare i dati in entrata BigQuery in tempo reale. Puoi inserire le righe di output prodotte tramite una query continua in una tabella BigQuery o esportarle in Pub/Sub o Bigtable. Le query continue possono elaborare dati è stato scritto in tabelle BigQuery standard utilizzando uno dei seguenti metodi:
- L'API BigQuery Storage Scrivi
- Il metodo
tabledata.insertAll
- Caricamento in batch
- L'istruzione DML
INSERT
Puoi utilizzare query continue per eseguire attività urgenti, ad esempio creando e agendo immediatamente sulla base di insight, applicando l'inferenza dell'apprendimento automatico (ML) e la replica dei dati in altre piattaforme. Questo consente di utilizzare BigQuery come servizio di elaborazione dati basato su eventi per la logica decisionale della tua applicazione.
Il seguente diagramma mostra i flussi di lavoro comuni per le query continue:
Casi d'uso
Di seguito sono riportati i casi d'uso comuni in cui potresti voler utilizzare query continue:
- Servizi di interazione con i clienti personalizzati: utilizza AI generativa per creare messaggi personalizzati e personalizzati per ogni interazione con il cliente.
- Rilevamento di anomalie: crea soluzioni che ti consentono di eseguire anomalie e minacce su dati complessi in tempo reale, per consentirti di reagire ai problemi in modo più rapidamente.
- Pipeline personalizzabili basate su eventi: utilizza l'integrazione continua delle query con Pub/Sub per attivare le applicazioni downstream in base alle richieste e i dati di Google Cloud.
- Arricchimento dei dati ed estrazione di entità: utilizza query continue per eseguire l'arricchimento e la trasformazione dei dati in tempo reale mediante funzioni SQL di machine learning.
- Inverti estrazione, trasformazione e caricamento (ETL): esegue l'ETL inverso in tempo reale in altri sistemi di archiviazione più adatti alla gestione delle applicazioni a bassa latenza. Ad esempio: analizzare o migliorare i dati sugli eventi scritti in BigQuery, per poi trasmetterli in flussi a Bigtable in fase di pubblicazione.
Operazioni supportate
Le seguenti operazioni sono supportate nelle query continue:
- Esecuzione
Estratti conto
INSERT
per scrivere dati da una query continua in una tabella BigQuery. Esecuzione Estratti conto
EXPORT DATA
per pubblicare l'output delle query continue agli argomenti Pub/Sub. Per ulteriori informazioni, vedi Esportare i dati in Pub/Sub.Da un argomento Pub/Sub, puoi utilizzare i dati con altre come l'analisi dei flussi di dati con Dataflow, o l'uso dei dati in un flusso di lavoro di integrazione dell'applicazione.
Esecuzione di istruzioni
EXPORT DATA
per esportare dati da BigQuery alle tabelle Bigtable. Per ulteriori informazioni, vedi Esportare i dati in Bigtable.Chiamare le seguenti funzioni di AI generativa:
Queste funzioni richiedono Modello remoto di BigQuery ML su un Modello Vertex AI.
Chiamata alle seguenti funzioni di AI:
Queste funzioni richiedono Modello remoto di BigQuery ML su un'API IA Cloud.
Normalizza i dati numerici utilizzando Funzione
ML.NORMALIZER
.Usare le funzioni GoogleSQL stateless, ad esempio funzioni di conversione. Nelle funzioni stateless, ogni riga viene elaborata in modo indipendente righe nella tabella.
L'utilizzo del
APPENDS
funzione di cronologia delle modifiche per avviare l'elaborazione continua delle query da una in un momento specifico.
Autorizzazione
Per eseguire query continue a lunga esecuzione, utilizza un account di servizio invece che a un utente .
I token di accesso Google Cloud che vengono utilizzate quando l'esecuzione di job di query continue ha una durata (TTL) pari a due giorni in cui vengono generati da un account utente. Di conseguenza, questi job si interrompono in esecuzione dopo due giorni. I token di accesso generati dal servizio account non sono vincolati da un TTL, quindi i job di query continui eseguiti dell'account di servizio eseguito fino all'annullamento esplicito. Per ulteriori informazioni, vedi Esegui una query continua utilizzando un account di servizio.
Località
Le query continue sono supportate nelle seguenti località:
US
EU
asia-northeast1
asia-south1
europe-west1
europe-west2
europe-west4
us-central1
us-east1
us-east4
us-west1
Limitazioni
Le query continue sono soggette alle seguenti limitazioni:
- Le query continue di BigQuery non mantengono lo stato
importati. Operazioni comuni che si basano sullo stato, ad esempio
JOINs
, funzioni di aggregazione e funzioni di analisi con finestre non sono al momento supportati. Non puoi utilizzare le seguenti funzionalità SQL in una query continua:
- Funzioni scalari non deterministiche, ad esempio il
Funzione
CURRENT_DATE
JOIN
operazioni- Funzioni di aggregazione
- Funzioni di aggregazione approssimate
Le seguenti Clausole query:
Le seguenti Operatori query:
Funzioni di BigQuery ML diverse da quelle elencate in Operazioni supportate
Istruzioni DML (Data Manipulation Language) tranne
INSERT
.Istruzioni
EXPORT DATA
che non hanno come target Bigtable o Pub/Sub
- Funzioni scalari non deterministiche, ad esempio il
Funzione
Le query continue non supportano tabelle con caratteri jolly come origine dati.
Le query continue non supportano tabelle esterne come origine dati.
Le query continue non supportano quanto segue funzionalità di sicurezza:
Quando l'esportazione dei dati in Bigtable, puoi scegliere come target solo Istanze Bigtable che rientrano nelle stesse Confine regionale di Google Cloud come BigQuery contenente la tabella su cui stai eseguendo la query. Per ulteriori informazioni, consulta Considerazioni sulla località. Questa limitazione non si applica all'esportazione dei dati in Pub/Sub poiché Pub/Sub è una risorsa globale.
Non puoi eseguire una query continua da un canvas di dati.
Non puoi modificare il codice SQL utilizzato in una query continua di un job di query in esecuzione. Per ulteriori informazioni, vedi Modificare l'SQL di una query continua.
Se il job di query continuo è in ritardo di oltre sette giorni, devi annulla e avvia un nuovo job di query continuo. Puoi eseguire nuovamente la query e utilizza
APPENDS
funzione di cronologia delle modifiche per riprendere l'elaborazione dal momento in cui hai arrestato il job di query continua precedente. Per ulteriori informazioni, vedi Avvia una query continua da un determinato momento.
Limitazioni delle prenotazioni
- Devi creare la versione Enterprise o Enterprise Plus prenotazioni delle versioni per poter eseguire per eseguire query continue. Le query continue non supportano il computing on demand modello di fatturazione.
- Quando crei un assegnazione della prenotazione per una query continua, la prenotazione associata è limitata a 500 slot o un valore inferiore e non può essere configurato per utilizzare scalabilità automatica.
- Un'assegnazione della prenotazione di query continua non condivide slot inattivi, anche se la prenotazione configurato a tal fine.
- Non puoi creare un'assegnazione di prenotazione che utilizza un altro tipo di lavoro nel stessa prenotazione di un'assegnazione di prenotazione continua di query.
- Non puoi configurare la contemporaneità delle query continue. BigQuery
determina automaticamente il numero di query continue che possono
contemporaneamente, in base alle assegnazioni di prenotazione disponibili che utilizzano
CONTINUOUS
tipo di prestazione. - Quando esegui più query continue utilizzando la stessa prenotazione, i singoli job potrebbero non suddividere equamente le risorse disponibili, definita da Equità di BigQuery.
Prezzi
Le query continue utilizzano
Prezzi di calcolo della capacità di BigQuery,
che viene misurato in slot.
Per eseguire query continue, è necessario avere un
prenotazione che utilizza
Versione Enterprise o Enterprise Plus,
e un'assegnazione di prenotazione
che utilizza il tipo di job CONTINUOUS
.
Utilizzo di altre risorse BigQuery, come l'importazione dati e di archiviazione vengono addebitate alle tariffe indicate in Prezzi di BigQuery.
Utilizzo di altri servizi che ricevono risultati di query continui o che vengono chiamati durante l'elaborazione continua delle query vengono addebitate alle tariffe pubblicate per quelle i servizi di machine learning. Per i prezzi degli altri servizi Google Cloud utilizzati dalla gestione , consulta i seguenti argomenti:
Passaggi successivi
Prova a creare una query continua.