Apache Hadoop YARN, HDFS, Spark e proprietà correlate
I componenti open source installati sui cluster Dataproc contengono molti
file di configurazione. Ad esempio, Apache Spark e Apache Hadoop hanno diversi file di configurazione XML
e in testo normale. Puoi utilizzare il flag ‑‑properties
del comando gcloud dataproc clusters create per modificare molti file di configurazione comuni durante la creazione di un cluster.
Formattazione
Il flag gcloud dataproc clusters create --properties
accetta il seguente formato di stringa:
file_prefix1:property1=value1,file_prefix2:property2=value2,...
file_prefix viene mappato a un file di configurazione predefinito, come mostrato nella tabella seguente e property è mappato a una proprietà all'interno del file.
Il delimitatore predefinito utilizzato per separare più proprietà del cluster è la virgola (,). Tuttavia, se una virgola è inclusa in un valore della proprietà, devi modificare il delimitatore specificando "^delimiter^" all'inizio dell'elenco di proprietà (per maggiori informazioni, consulta la sezione Esecuzione di escape per gli argomenti gcloud).
- Esempio che utilizza un "#" delimitatore:
--properties ^#^file_prefix1:property1=part1,part2#file_prefix2:property2=value2
- Esempio che utilizza un "#" delimitatore:
Esempi
Comando g-cloud
Per modificare l'impostazione spark.master
nel
spark-defaults.conf
file, aggiungi il seguente
gcloud dataproc clusters create --properties
flag:
--properties 'spark:spark.master=spark://example.com'
Puoi modificare più proprietà contemporaneamente, in uno o più file di configurazione,
utilizzando una virgola come separatore. Ogni proprietà deve essere specificata nel formato file_prefix:property=value
completo. Ad esempio, per modificare
Impostazione spark.master
nel file spark-defaults.conf
e l'impostazione dfs.hosts
nel file hdfs-site.xml
,
usa il seguente flag --properties
quando crei un cluster:
--properties 'spark:spark.master=spark://example.com,hdfs:dfs.hosts=/foo/bar/baz'
API REST
Per impostare spark.executor.memory
su 10g
, inserisci la seguente impostazione properties
nella sezione SoftwareConfig della richiesta clusters.create:
"properties": { "spark:spark.executor.memory": "10g" }
Un modo semplice per vedere come creare il corpo JSON di un
La richiesta REST dei cluster API Dataproc deve avviare
comando gcloud
equivalente utilizzando il flag --log-http
.
Ecco un comando gcloud dataproc clusters create
di esempio, che imposta il cluster
proprietà con il flag --properties spark:spark.executor.memory=10g
.
Il log stdout mostra il corpo della richiesta REST risultante (properties
di codice è mostrato di seguito):
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --properties=spark:spark.executor.memory=10g \ --log-http \ other args ...
Output:
... == body start == {"clusterName": "my-cluster", "config": {"gceClusterConfig": ... "masterConfig": {... "softwareConfig": {"properties": {"spark:spark.executor.memory": "10g"}},
... == body end == ...
Assicurati di annullare il comando dopo il corpo JSON verrà visualizzato nell'output se non vuoi che il comando venga applicato.
Console
Per modificare l'impostazione spark.master
nell'
spark-defaults.conf
file:
- Nella console Google Cloud, apri la pagina Dataproc Crea un cluster. Fai clic sul riquadro Personalizza cluster e scorri fino a Proprietà cluster .
- Fai clic su + AGGIUNGI PROPRIETÀ. Seleziona spark nell'elenco di prefissi, quindi aggiungi "spark.master" nel campo Chiave e l'impostazione nel campo Valore.
Proprietà cluster e job
Apache Hadoop YARN, HDFS, Spark e altre proprietà con prefisso file vengono applicate a livello di cluster quando crei un cluster. Queste strutture non può essere applicato a un cluster dopo la sua creazione. Tuttavia, molte di queste proprietà possono essere applicate anche a job specifici. Quando applichi una proprietà a un job, il prefisso del file non viene utilizzato.
L'esempio seguente imposta la memoria dell'esecutore Spark su 4g per un job Spark
(prefisso spark:
omesso).
gcloud dataproc jobs submit spark \ --region=REGION \ --properties=spark.executor.memory=4g \ other args ...
Le proprietà del job possono essere inviate in un file utilizzando
gcloud dataproc jobs submit job-type --properties-file
(vedi, ad esempio, il flag
--properties-file
descrizione di un job Hadoop).
gcloud dataproc jobs submit JOB_TYPE \ --region=REGION \ --properties-file=PROPERTIES_FILE \ other args ...
PROPERTIES_FILE
è un insieme di
Coppie delimitate da righe key
=value
. La proprietà da impostare è key
e il valore su cui impostarla è value
. Consulta le
java.util.Properties
per una descrizione dettagliata del formato di file delle proprietà.
Di seguito è riportato un esempio di file di proprietà che può essere
passato al flag --properties-file
durante l'invio di un job Dataproc.
dataproc:conda.env.config.uri=gs://some-bucket/environment.yaml spark:spark.history.fs.logDirectory=gs://some-bucket spark:spark.eventLog.dir=gs://some-bucket capacity-scheduler:yarn.scheduler.capacity.root.adhoc.capacity=5
Tabella delle proprietà con prefisso file
Prefisso file | File | Scopo del file |
---|---|---|
capacity-scheduler | capacity-scheduler.xml | Configurazione dello scheduler della capacità YARN di Hadoop |
core | core-site.xml | Configurazione generale di Hadoop |
distcp | distcp-default.xml | Configurazione copia distribuita Hadoop |
sbattere | flink-conf.yaml | Configurazione Flink |
Flink-log4j | log4j.properties | File delle impostazioni di Log4j |
hadoop-env | hadoop-env.sh | Variabili di ambiente specifiche di Hadoop |
Hadoop-log4j | log4j.properties | File di impostazioni Log4j |
hbase | hbase-site.xml | Configurazione di HBase |
Hbase-log4j | log4j.properties | File di impostazioni Log4j |
hdfs | hdfs-site.xml | Configurazione HDFS di Android |
hive | hive-site.xml | Configurazione Hive |
hive-log4j2 | hive-log4j2.properties | File di impostazioni Log4j |
Hudi | hudi-default.conf | Configurazione Hudi |
mapred | mapred-site.xml | Configurazione di Hadoop MapReduce |
mapred-env | mapred-env.sh | Variabili di ambiente specifiche per Hadoop MapReduce |
maiale | pig.properties | Configurazione maiale |
maiale-log4j | log4j.properties | File delle impostazioni di Log4j |
presto | config.properties | Configurazione Presto |
presto-jvm | jvm.config | Configurazione JVM specifica per Presto |
spark | spark-defaults.conf | Configurazione di Spark |
spark-env | spark-env.sh | Variabili di ambiente specifiche di Spark |
spark-log4j | log4j.properties | File di impostazioni Log4j |
Tez | tez-site.xml | Configurazione di Tez |
webcat-log4j | webhcat-log4j2.properties | File delle impostazioni di Log4j |
filato | yarn-site.xml | Configurazione YARN di Hadoop |
yarn-env | yarn-env.sh | Variabili di ambiente specifiche YARN di Hadoop |
dirigibile | zeppelin-site.xml | Configurazione Zeppelin |
zeppelin-env | zeppelin-env.sh | Variabili di ambiente specifiche di Zeppelin (solo componente facoltativo) |
dirigibile-log4j | log4j.properties | File di impostazioni Log4j |
zookeeper | zoo.cfg | Configurazione di Zookeeper |
zookeeper-log4j | log4j.properties | File delle impostazioni di Log4j |
Note
- Alcune proprietà sono riservate e non possono essere sostituite perché influiscono sulla funzionalità del cluster Dataproc. Se provi a modificare una proprietà prenotata, riceverai un messaggio di errore durante la creazione del cluster.
- Puoi specificare più modifiche separandole con una virgola.
- Il flag
--properties
non può modificare i file di configurazione non mostrati sopra. - Le modifiche alle proprietà verranno applicate prima dell'avvio dei daemon sul cluster.
- Se la proprietà specificata esiste, verrà aggiornata. Se la proprietà specificata non esiste, verrà aggiunta al file di configurazione.
Proprietà del servizio Dataproc
Le proprietà elencate in questa sezione sono specifiche di Dataproc. Queste proprietà possono essere utilizzate per configurare ulteriormente la funzionalità dei tuoi di un cluster Dataproc.
Formattazione
Il flag gcloud dataproc clusters create --properties
accetta quanto segue
formato stringa:
property_prefix1:property1=value1,property_prefix2:property2=value2,...
Il delimitatore predefinito utilizzato per separare più proprietà del cluster è la virgola (,). Tuttavia, se il valore di una proprietà include una virgola, devi modificare il valore delimitatore specificando "^delimiter^" all'inizio delle proprietà (consulta gcloud topic escaping per ulteriori informazioni).
- Esempio che utilizza un "#" delimitatore:
--properties ^#^property_prefix1:property1=part1,part2#property_prefix2:property2=value2
- Esempio che utilizza un "#" delimitatore:
Esempio:
Crea un cluster e imposta la modalità Flessibilità avanzata nello shuffling principale dei worker principali di Spark.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --properties=dataproc:efm.spark.shuffle=primary-worker \ other args ...
Tabella delle proprietà del servizio Dataproc
Prefisso proprietà | Proprietà | Valori | Descrizione |
---|---|---|---|
dataproc | agent.process.threads.job.min | number |
Dataproc esegue contemporaneamente i driver dei job utente in un pool di thread. Questa proprietà controlla il numero minimo di thread nel pool di thread per un avvio rapido anche quando non è in esecuzione nessun job (valore predefinito: 10). |
dataproc | agent.process.threads.job.max | number |
Dataproc esegue contemporaneamente i driver dei job utente in un pool di thread. Questa proprietà controlla il numero massimo di thread nel pool di thread, limitando quindi la contemporaneità massima dei job utente. Aumenta questo valore per una maggiore contemporaneità (valore predefinito: 100). |
dataproc | am.primary_only | true o false |
Imposta questa proprietà su true per impedire l'esecuzione del master dell'applicazione sui worker prerilasciabili del cluster Dataproc. Nota: questa funzionalità è disponibile solo con Dataproc 1.2 e versioni successive. Il valore predefinito è false . |
dataproc | conda.env.config.uri | gs://<path> |
Posizione in Cloud Storage del file di configurazione dell'ambiente Conda. In base a questo file verrà creato e attivato un nuovo ambiente Conda. Per ulteriori informazioni, consulta Utilizzo delle proprietà cluster correlate a Conda. (valore predefinito: empty ). |
dataproc | conda.packages | Pacchetti Conda | Questa proprietà richiede un elenco di pacchetti Conda separati da virgole con versioni specifiche da installare nell'ambiente Conda base . Per ulteriori informazioni, consulta Utilizzo delle proprietà cluster correlate a Conda. (valore predefinito: empty ). |
dataproc | dataproc.allow.zero.workers | true o false |
Imposta questa proprietà SoftwareConfig su true in una richiesta API Dataproc clusters.create per creare un cluster a nodo singolo, che modifica il numero predefinito di worker da 2 a 0 e inserisce i componenti worker sull'host master. Un cluster a nodo singolo può essere creato anche dalla console Google Cloud o con Google Cloud CLI impostando il numero di worker su 0 . |
dataproc | dataproc.alpha.master.nvdimm.size.gb | 1500-6500 | L'impostazione di un valore crea un master Dataproc con memoria permanente Intel Optane DC. Nota: le VM Optane possono essere create solo nelle zone us-central1-f , solo con il tipo di macchina n1-highmem-96-aep e solo nei progetti autorizzati. |
dataproc: | dataproc.alpha.worker.nvdimm.size.gb | 1500-6500 | L'impostazione di un valore crea un worker Dataproc con memoria persistente Intel Optane DC. Nota: le VM Optane possono essere create solo nelle zone us-central1-f , solo con il tipo di macchina n1-highmem-96-aep e solo nei progetti autorizzati. |
Dataproc: | dataproc.await-new-workers-service-registration | true o false |
Questa proprietà è disponibile nelle immagini 2.0.49+. Il valore predefinito è false . Imposta questa proprietà su true per attendere che i nuovi worker principali registrino i leader di servizio, come NameNode HDFS e YARN ResourceManager, durante la creazione del cluster o lo scale up del cluster (sono monitorati solo i servizi HDFS e YARN). Quando viene impostato su true , se un nuovo worker non riesce a registrarsi a un servizio, al worker viene assegnato lo stato FAILED . Un worker non riuscito viene rimosso se è in corso lo scale up del cluster. Se il cluster viene creato, un worker non riuscito viene rimosso se il flag gcloud dataproc clusters create --action-on-failed-primary-workers=DELETE o il campo API actionOnFailedPrimaryWorkers=DELETE è stato specificato come parte della richiesta di creazione del comando gcloud o del cluster API. |
Dataproc: | dataproc.beta.secure.multi-tenancy.user.mapping | user-to-service account mappings |
Questa proprietà accetta un elenco di mappature degli account utente-di servizio. Gli utenti mappati possono inviare carichi di lavoro interattivi al cluster con identità utente isolate (vedi Protezione multi-tenancy basata su account di servizio Dataproc). |
Dataproc: | dataproc.cluster.caching.enabled | true o false |
Quando la memorizzazione nella cache del cluster è abilitata, il cluster memorizza nella cache i dati di Cloud Storage a cui accedono i job Spark, migliorando le prestazioni del job senza compromettere la coerenza. (valore predefinito: false ). |
dataproc | dataproc.cluster-ttl.consider-yarn-activity | true o false |
Se il criterio è impostato su true , l'eliminazione pianificata del cluster prende in considerazione sia l'attività YARN sia quella dell'API Dataproc Jobs per calcolare il tempo di inattività del cluster. Se impostato su false , viene considerata solo l'attività dell'API Dataproc Jobs. (valore predefinito: true ). Per ulteriori informazioni, vedi Calcolo del tempo di inattività del cluster. |
dataproc | dataproc.conscrypt.provider.enable | true o false |
Attiva (true ) o disattiva (false ) Conscritta come provider di sicurezza Java principale. Nota: la crittografia è abilitata per impostazione predefinita in Dataproc 1.2 e versioni successive, ma è disattivata in 1.0/1.1. |
dataproc | dataproc.cooperative.multi-tenancy.user.mapping | user-to-service account mappings |
Questa proprietà accetta un elenco di mappature tra account utente e account di servizio separate da virgole. Se viene creato un cluster con questa proprietà impostata, quando un utente invia un job, il cluster tenterà di impersonare l'account di servizio corrispondente quando accede a Cloud Storage tramite il connettore Cloud Storage. Questa funzionalità richiede il connettore Cloud Storage 2.1.4 o versioni successive. Per ulteriori informazioni, consulta Dataproc cooperative multi-tenancy. (valore predefinito: empty ). |
dataproc | dataproc.control.max.assigned.job.tasks | 100 |
Questa proprietà limita il numero di attività che possono essere eseguite contemporaneamente su un nodo master del cluster. Se il numero di attività attive supera il limite, i nuovi job vengono messi in coda fino al completamento dei job in esecuzione e alla liberazione delle risorse per consentire la pianificazione di nuove attività. Nota:non è consigliabile impostare un limite di attività predefinito superiore a 100 (valore predefinito), poiché potrebbe causare una condizione di esaurimento della memoria nel nodo master. |
dataproc | dataproc:hudi.version | Versione Hudi | Imposta la versione Hudi utilizzata con il componente facoltativo Dataproc Hudi. Nota: questa versione è impostata da Dataproc in modo da essere compatibile con la versione dell'immagine del cluster. Se è impostato dall'utente, la creazione del cluster può non riuscire se la versione specificata non è compatibile con l'immagine del cluster. |
dataproc | dataproc.lineage.enabled | true |
Abilita la derivazione dei dati in un cluster Dataproc per i job Spark. |
dataproc | dataproc.localssd.mount.enable | true o false |
Indica se montare gli SSD locali come directory temporanee di Hadoop/Spark e directory di dati HDFS (impostazione predefinita: true ). |
dataproc | dataproc.logging.stackdriver.enable | true o false |
Attiva (true ) o disabilita (false ) Cloud Logging (valore predefinito: true ). Consulta i prezzi di Cloud Logging per gli addebiti associati. |
dataproc | dataproc.logging.stackdriver.job.driver.enable | true o false |
Attiva (true ) o disattiva (false ) i log del driver dei job Dataproc in Cloud Logging. Consulta Output e log del job Dataproc (valore predefinito: false ). |
dataproc | dataproc.logging.stackdriver.job.yarn.container.enable | true o false |
Abilita (true ) o disabilita (false ) i log dei container YARN in Cloud Logging. Consulta le opzioni di output del job di Spark. (valore predefinito: false ). |
dataproc | dataproc.master.custom.init.actions.mode | RUN_BEFORE_SERVICES o RUN_AFTER_SERVICES |
Per i cluster di immagini 2.0 e versioni successive, se il criterio viene impostato su RUN_AFTER_SERVICES , le azioni di inizializzazione sul master verranno eseguite dopo l'inizializzazione di HDFS e di tutti i servizi che dipendono da HDFS. Alcuni esempi di servizi dipendenti da HDFS sono: HBase, Hive Server 2, Ranger, Solr e i server di cronologia Spark e MapReduce. (valore predefinito: RUN_BEFORE_SERVICES ). |
dataproc | dataproc.monitoring.stackdriver.enable | true o false |
Attiva (true ) o disabilita (false ) l'agente Monitoring (impostazione predefinita: false ). Questa proprietà è ritirata. Consulta Abilitare metrica personalizzata personalizzate per abilitare la raccolta della raccolta delle metriche Dataproc OSS in Monitoring. |
dataproc | dataproc.scheduler.driver-size-mb | number |
L'ingombro medio di memoria del driver, che determina il numero massimo di job simultanei che verranno eseguiti da un cluster. Il valore predefinito è 1 GB. Un valore più basso, ad esempio 256 , potrebbe essere appropriato per i job Spark. |
dataproc | dataproc.scheduler.job-submission-rate | number |
I job vengono limitati se questa percentuale viene superata. La velocità predefinita è 1.0 QPS. |
dataproc | dataproc.scheduler.max-concurrent-jobs | number |
Il numero massimo di job simultanei. Se questo valore non viene impostato al momento della creazione del cluster, il limite superiore per i job simultanei viene calcolato come max((masterMemoryMb - 3584) / masterMemoryMbPerJob, 5) . masterMemoryMb è determinato dal tipo di macchina della VM master. masterMemoryMbPerJob è 1024 per impostazione predefinita, ma è configurabile in fase di creazione del cluster con la proprietà del cluster dataproc:dataproc.scheduler.driver-size-mb . |
dataproc | dataproc.scheduler.max-memory-used | number |
La quantità massima di RAM che può essere utilizzata. Se l'utilizzo attuale è superiore a questa soglia, non è possibile pianificare nuovi job. Il valore predefinito è 0.9 (90%). Se il criterio viene impostato su 1.0 , la limitazione dei job di utilizzo della memoria master è disabilitata. |
dataproc | dataproc.scheduler.min-free-memory.mb | number |
La quantità minima di memoria libera in megabyte necessaria al driver di job Dataproc per pianificare un altro job nel cluster. Il valore predefinito è 256 MB. |
dataproc | dataproc.snap.enabled | true o false |
Attiva o disattiva il daemon Snap di Ubuntu. Il valore predefinito è true . Se impostato su false , i pacchetti Snap preinstallati nell'immagine non sono interessati, ma l'aggiornamento automatico è disattivato. Si applica alle immagini Ubuntu 1.4.71, 1.5.46, 2.0.20 e successive. |
dataproc | dataproc.worker.custom.init.actions.mode | RUN_BEFORE_SERVICES |
Per i cluster di immagini precedenti alla versione 2.0, RUN_BEFORE_Services non è impostato, ma può essere impostato dall'utente quando viene creato il cluster. Per i cluster di immagini 2.0 e versioni successive, RUN_BEFORE_SERVICES è impostato e la proprietà non può essere passata al cluster (non può essere modificata dall'utente). Per informazioni sull'effetto di questa impostazione, consulta Considerazioni e linee guida importanti: elaborazione dell'inizializzazione. |
dataproc | dataproc.yarn.orphaned-app-termination.enable | true o false |
Il valore predefinito è true . Imposta su false per impedire a Dataproc di terminare lo stato "orfano" App YARN. Dataproc considera orfana un'app YARN se il driver del job che ha inviato l'app YARN è uscito. Avviso: se utilizzi la modalità cluster Spark (spark.submit.deployMode=cluster ) e imposti spark.yarn.submit.waitAppCompletion=false , il driver Spark si chiude senza attendere il completamento delle app YARN. in questo caso, imposta dataproc:dataproc.yarn.orphaned-app-termination.enable=false . Imposta questa proprietà anche su false se invii job Hive. |
dataproc | efm.spark.shuffle | primary-worker |
Se il criterio è impostato su primary-worker , i dati di Spark shuffle vengono scritti sui worker principali. Per ulteriori informazioni, consulta Modalità di flessibilità avanzata di Dataproc. |
dataproc | job.history.to-gcs.enabled | true o false |
Consente i file di cronologia di MapReduce e Spark persistenti nel bucket temporaneo Dataproc (valore predefinito: true per le versioni delle immagini 1.5 e successive). Gli utenti possono sovrascrivere le posizioni di persistenza del file di cronologia dei job tramite le seguenti proprietà: mapreduce.jobhistory.done-dir , mapreduce.jobhistory.intermediate-done-dir , spark.eventLog.dir e spark.history.fs.logDirectory . Consulta Server di cronologia persistente Dataproc per informazioni su queste e altre proprietà del cluster associate ai file di cronologia e agli eventi dei job Dataproc. |
dataproc | jobs.file-backed-output.enable | true o false |
Configura i job Dataproc in modo che incanalino l'output in file temporanei nella directory /var/log/google-dataproc-job . Deve essere impostato su true per attivare il logging del driver del job in Cloud Logging (valore predefinito: true ). |
dataproc | jupyter.listen.all.interfaces | true o false |
Per ridurre il rischio di esecuzione di codice remoto tramite API di server di notebook non sicure, l'impostazione predefinita per le versioni delle immagini 1.3 e successive è false , che limita le connessioni a localhost (127.0.0.1 ) quando è attivato Component Gateway (l'attivazione di Component Gateway non è richiesta per le immagini 2.0 e successive). Questa impostazione predefinita può essere sostituita impostando questa proprietà su true per consentire tutte le connessioni. |
dataproc | jupyter.notebook.gcs.dir | gs://<dir-path> |
Posizione in Cloud Storage in cui salvare i blocchi note Jupyter. |
dataproc | kerberos.beta.automatic-config.enable | true o false |
Se il criterio viene impostato su true , gli utenti non devono specificare la password dell'entità radice Kerberos con i flag --kerberos-root-principal-password e --kerberos-kms-key-uri (valore predefinito: false ). Per ulteriori informazioni, consulta Attivazione della modalità protetta di Hadoop tramite Kerberos. |
dataproc | kerberos.cross-realm-trust.admin-server | hostname/address |
nome host/indirizzo del server di amministrazione remoto (spesso uguale al server KDC). |
dataproc | kerberos.cross-realm-trust.kdc | hostname/address |
nome host/indirizzo del KDC remoto. |
dataproc | kerberos.cross-realm-trust.realm | realm name |
I nomi di area di autenticazione possono essere costituiti da qualsiasi stringa ASCII IN MAIUSCOLO. Di solito, il nome dell'area di autenticazione è uguale al nome di dominio DNS (in MAIUSCOLO). Esempio: se le macchine vengono denominate "machine-id.example.west-coast.mycompany.com", l'area di autenticazione associata può essere designata come "EXAMPLE.WEST-COAST.MYCOMPANY.COM". |
dataproc | kerberos.cross-realm-trust.shared-password.uri | gs://<dir-path> |
Posizione in Cloud Storage della password condivisa criptata con KMS. |
dataproc | kerberos.kdc.db.key.uri | gs://<dir-path> |
Posizione in Cloud Storage del file criptato con KMS contenente la chiave master del database KDC. |
dataproc | kerberos.key.password.uri | gs://<dir-path> |
Posizione in Cloud Storage del file criptato KMS che contiene la password della chiave nel file dell'archivio chiavi. |
dataproc | kerberos.keystore.password.uri | gs://<dir-path> |
Posizione in Cloud Storage del file criptato con KMS contenente la password dell'archivio chiavi. |
dataproc | kerberos.keystore.uri1 | gs://<dir-path> |
Posizione in Cloud Storage del file dell'archivio chiavi contenente il certificato con caratteri jolly e la chiave privata utilizzata dai nodi del cluster. |
dataproc | kerberos.kms.key.uri | KMS key URI |
L'URI della chiave KMS utilizzata per decriptare la password di root, ad esempio projects/project-id/locations/region/keyRings/key-ring/cryptoKeys/key (vedi ID risorsa chiave). |
dataproc | kerberos.root.principal.password.uri | gs://<dir-path> |
Posizione in Cloud Storage della password criptata con KMS per l'entità radice Kerberos. |
dataproc | kerberos.tgt.lifetime.hours | hours |
Durata massima della concessione del ticket. |
dataproc | kerberos.truststore.password.uri | gs://<dir-path> |
Posizione in Cloud Storage del file criptato con KMS contenente la password del file dell'archivio attendibilità. |
dataproc | kerberos.truststore.uri2 | gs://<dir-path> |
Posizione in Cloud Storage del file di archivio attendibilità criptato con KMS contenente i certificati attendibili. |
dataproc | pip.packages | Pacchetti Pip | Questa proprietà accetta un elenco di pacchetti Pip separati da virgole con versioni specifiche, da installare nell'ambiente Conda base . Per ulteriori informazioni, consulta Proprietà del cluster correlate a Conda. (valore predefinito: empty ). |
dataproc | ranger.kms.key.uri | KMS key URI |
L'URI della chiave KMS utilizzata per decriptare la password dell'utente amministratore Ranger, ad esempio projects/project-id/locations/region/keyRings/key-ring/cryptoKeys/key (vedi ID risorsa della chiave). |
dataproc | ranger.admin.password.uri | gs://<dir-path> |
Posizione in Cloud Storage della password criptata con KMS per l'utente amministratore Ranger. |
dataproc | ranger.db.admin.password.uri | gs://<dir-path> |
Posizione in Cloud Storage della password criptata con KMS per l'utente amministratore del database Ranger. |
dataproc | ranger.cloud-sql.instance.connection.name | cloud sql instance connection name |
Il nome della connessione dell'istanza Cloud SQL, ad esempio project-id:region:name. |
dataproc | ranger.cloud-sql.root.password.uri | gs://<dir-path> |
Posizione in Cloud Storage della password criptata con KMS per l'utente root dell'istanza Cloud SQL. |
dataproc | ranger.cloud-sql.use-private-ip | true o false |
Indica se la comunicazione tra le istanze del cluster e l'istanza Cloud SQL deve avvenire tramite IP privato (il valore predefinito è false ). |
dataproc | solr.gcs.path | gs://<dir-path> |
Percorso Cloud Storage che fungerà da home directory di Solr. |
dataproc | startup.component.service-binding-timeout.hadoop-hdfs-namenode | seconds |
Il tempo di attesa dello script di avvio di Dataproc per l'associazione di hadoop-hdfs-namenode alle porte prima di decidere che l'avvio è andato a buon fine. Il valore massimo riconosciuto è 1800 secondi (30 minuti). |
dataproc | startup.component.service-binding-timeout.hive-metastore | seconds |
La quantità di tempo che lo script di avvio di Dataproc attenderà per l'associazione del servizio hive-metastore alle porte prima di decidere se l'avvio è riuscito. Il valore massimo riconosciuto è 1800 secondi (30 minuti). |
dataproc | startup.component.service-binding-timeout.hive-server2 | seconds |
La quantità di tempo che lo script di avvio di Dataproc attenderà per l'associazione di hive-server2 alle porte prima di decidere se l'avvio è riuscito. Il valore massimo riconosciuto è 1800 secondi (30 minuti). |
dataproc | user-attribution.enabled | true o false |
Imposta questa proprietà su true per attribuire un job Dataproc all'identità dell'utente che lo ha inviato (il valore predefinito è false ). |
dataproc | yarn.docker.enable | true o false |
Imposta su true per abilitare la funzionalità Dataproc Docker su YARN (il valore predefinito è false ). |
dataproc | yarn.docker.image | docker image |
Quando abiliti la funzionalità Dataproc Docker on YARN (dataproc:yarn.docker.enable=true ), puoi utilizzare questa proprietà facoltativa per specificare l'immagine Docker (ad esempio dataproc:yarn.docker.image=gcr.io/project-id/image:1.0.1 ). Se specificata, l'immagine viene scaricata e memorizzata nella cache in tutti i nodi del cluster durante la creazione del cluster. |
dataproc | yarn.log-aggregation.enabled | true o false |
Consente (true ) di attivare l'aggregazione dei log YARN per temp bucket del cluster. Il nome del bucket ha il seguente formato: dataproc-temp-<REGION>-<PROJECT_NUMBER>-<RANDOM_STRING> . (valore predefinito: true per le versioni delle immagini 1.5 e versioni successive). Nota: il bucket temporaneo del cluster non viene eliminato quando viene eliminato il cluster. Gli utenti possono anche impostare la località dei log YARN aggregati sovrascrivendo la proprietà YARN yarn.nodemanager.remote-app-log-dir . |
Knox | gateway.host | ip address |
Per ridurre il rischio di esecuzione di codice remoto su API del server di blocchi note non protette, l'impostazione predefinita per le versioni immagine 1.3 e successive è 127.0.0.1 , che limita le connessioni a localhost quando è abilitato il gateway dei componenti. È possibile eseguire l'override dell'impostazione predefinita, ad esempio impostando questa proprietà su 0.0.0.0 per consentire tutte le connessioni. |
zeppelin | zeppelin.notebook.gcs.dir | gs://<dir-path> |
Posizione in Cloud Storage in cui salvare i blocchi note Zeppelin. |
dirigibile | zeppelin.server.addr | ip address |
Per ridurre il rischio di esecuzione di codice remoto su API del server di blocchi note non protette, l'impostazione predefinita per le versioni immagine 1.3 e successive è 127.0.0.1 , che limita le connessioni a localhost quando è abilitato il gateway dei componenti. È possibile eseguire l'override di questa impostazione predefinita, ad esempio impostando questa proprietà su 0.0.0.0 per consentire tutte le connessioni. |
1File dell'archivio chiavi: il file dell'archivio chiavi contiene il certificato SSL. Dovrebbe essere
nel formato Java KeyStore (JKS). Quando viene copiato nelle VM, viene rinominato in keystore.jks
.
Il certificato SSL deve essere un certificato con caratteri jolly applicabile a ciascun nodo
nel cluster.
2File dell'archivio attendibilità: il file dell'archivio attendibilità deve essere nel formato Java KeyStore (JKS). Quando viene copiato nelle VM, viene rinominata
truststore.jks
.