Configuration réseau de Dataproc sans serveur pour Spark

Le sous-réseau du VPC utilisé pour exécuter les charges de travail Dataproc sans serveur pour Spark doit répondre aux exigences suivantes :

  • Connectivité de sous-réseau ouverte:le sous-réseau doit autoriser la communication entre les sous-réseaux sur tous les ports. La commande gcloud suivante associe un pare-feu réseau à un sous-réseau qui autorise les communications entrantes à l'aide de tous les protocoles sur tous les ports : 

    gcloud compute firewall-rules create allow-internal-ingress \
    --network=network-name \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

    • SUBNET_RANGES: Voir Autorisez les connexions d'entrée internes entre les VM. Le réseau VPC default d'un projet avec la règle de pare-feu default-allow-internal, qui permet la communication d'entrée sur tous les ports (protocoles TCP:0-65535, udp:0-65535 et icmp:ports), répond aux exigences de connectivité de sous-réseau ouvert. Toutefois, il autorise également l'entrée de n'importe quelle instance de VM sur le réseau.

  • Accès privé à Google:le sous-réseau doit comporter Accès privé à Google activé.

    • Accès au réseau externe. Si votre charge de travail nécessite un réseau externe ou Internet vous pouvez configurer Cloud NAT pour autoriser le trafic sortant à l'aide d'adresses IP internes sur votre réseau VPC.

Réseaux Dataproc sans serveur et VPC-SC

VPC Service Controls permet aux administrateurs de définir un périmètre de sécurité autour des ressources des services gérés par Google afin de contrôler les communications avec et entre ces services.

Notez les limites et stratégies suivantes lorsque vous utilisez des réseaux VPC-SC avec Dataproc sans serveur: