Tentang data Log Aliran VPC

Halaman ini menjelaskan format data Log Aliran VPC, termasuk {i>field<i} dan {i>metadata<i} mana yang tersedia. Dokumen ini juga menjelaskan bagaimana Anda dapat menggunakan sehingga hanya log yang sesuai dengan kriteria tertentu yang dihasilkan.

Format data

Data log berisi kolom dasar, yang merupakan kolom inti dari setiap data log, dan kolom metadata yang menambahkan informasi tambahan. Kolom metadata dapat dihilangkan untuk menghemat biaya penyimpanan.

Beberapa kolom log menggunakan format multi-kolom, dengan lebih dari satu bagian data dalam kolom tertentu. Misalnya, kolom connection memiliki format IpConnection, yang berisi alamat IP dan port sumber dan tujuan, serta protokol, dalam satu kolom. Kolom multi-kolom ini dijelaskan di bawah tabel format data.

Nilai untuk kolom metadata tidak didasarkan pada jalur bidang data; nilai-nilai itu merupakan perkiraan dan mungkin tidak ada atau salah. Tidak suka metadata , nilai untuk isian dasar diambil langsung dari {i>header<i} paket.

Format kolom IpConnection

Format kolom GatewayDetails

Format kolom GkeDetails

Format kolom ClusterDetails

Format kolom PodDetails

Format kolom WorkloadDetails

Format kolom ServiceDetails

Contoh:

Jika ada dua layanan, kolom Service akan terlihat seperti ini:

service: [
 0: {
  service_name: "my-lb-service"
  service_namespace: "default"
 }
 1: {
  service_name: "my-lb-service2"
  service_namespace: "default"
 }
]

Jika ada lebih dari dua layanan, kolom Service akan terlihat seperti ini:

service: [
 0: {
  service_name: "MANY_SERVICES"
 }
]

Format kolom GoogleServiceDetails

Format kolom InstanceDetails

Format kolom GeographicDetails

Format kolom VpcDetails

Format kolom InternetRoutingDetails

Format kolom AsPath

Format kolom AsDetails

Format kolom LoadBalancingDetails

Format kolom NetworkServiceDetails

Format kolom PrivateServiceConnectDetails

Format kolom PrivateServiceConnectEndpointDetails

Format kolom PrivateServiceConnectLampiranDetails

Anotasi metadata

Data log berisi kolom dasar dan kolom metadata. Catatan format baru mencantumkan {i>field<i} mana yang merupakan jenis {i>metadata<i} dan mana yang merupakan {i>type base<i}. Semua kolom dasar selalu disertakan. Anda dapat menyesuaikan kolom metadata yang ingin disimpan.

• Jika Anda memilih semua metadata, semua kolom metadata dalam format data Log Aliran VPC disertakan dalam log aliran. Saat kolom metadata baru ditambahkan ke format data, log aliran akan otomatis menyertakan kolom baru.

• Jika Anda tidak memilih metadata, semua kolom metadata akan dihapus.

• Jika memilih metadata kustom, Anda dapat menentukan kolom metadata yang ingin disertakan oleh kolom induk, seperti src_vpc, atau dengan nama lengkapnya, seperti src_vpc.project_id

  Saat {i>field<i} metadata baru ditambahkan ke format pencatatan, mereka dikecualikan dari log aliran kecuali mereka dalam kolom induk yang telah Anda tentukan untuk disertakan.

  • Jika Anda menentukan metadata kustom menggunakan kolom induk, saat kolom metadata baru ditambahkan ke format data dalam kolom induk tersebut, log aliran akan otomatis menyertakan kolom baru tersebut.

  • Jika Anda menetapkan metadata kustom menggunakan nama lengkap kolom, kolom metadata yang ditambahkan ke kolom induk dikecualikan dari alur log.

Untuk mengetahui informasi tentang cara menyesuaikan kolom metadata, lihat Petunjuk Google Cloud CLI atau API untuk mengaktifkan logging alur VPC saat membuat Subnet.

Anotasi metadata GKE

Flow yang memiliki endpoint di Cluster GKE dapat dianotasi dengan anotasi metadata GKE, yang dapat mencakup mengenai detail Cluster, Pod, dan Service endpoint.

Anotasi Layanan GKE

Traffic yang dikirim ke ClusterIP, NodePort, atau LoadBalancer dapat menerima anotasi Service. Jika dikirim ke NodePort atau LoadBalancer, aliran akan menerima anotasi Service pada kedua hop koneksi.

Traffic yang dikirim langsung ke port Service Pod dianotasi dengan anotasi Service pada endpoint tujuan.

Traffic yang dikirim ke port Service Pod tempat Pod mendukung lebih dari satu Service di port Service yang sama akan dianotasi dengan beberapa Service di endpoint tujuan. Hal ini terbatas untuk dua Service. Jika jumlahnya lebih dari itu, endpoint akan dianotasi dengan penanda MANY_SERVICES khusus.

Anotasi pod pada traffic internet

Traffic antara Pod dan internet tidak menerima anotasi Pod dengan secara default. Log Aliran VPC tidak dapat menambahkan anotasi Pod karena paket ke internet, agen penyamaran menerjemahkan Alamat IP pod ke alamat IP node sebelum VPC Flow Logs melihat paket tersebut.

Karena penyamaran, anotasi Pod hanya terlihat jika tujuannya berada dalam salah satu tujuan non-penyamaran default atau dalam daftar nonMasqueradeCIDRs kustom. Jika Anda menyertakan tujuan internet dalam daftar nonMasqueradeCIDRs kustom, Anda harus memberikan cara agar alamat IP Pod internal dapat diterjemahkan sebelum dikirimkan ke internet. Anda dapat menggunakan Cloud NAT, baik untuk cluster pribadi maupun non-pribadi. Lihat interaksi GKE untuk mengetahui detail selengkapnya.

Pemfilteran log

Saat mengaktifkan Log Aliran VPC, Anda dapat menetapkan filter berdasarkan kolom dasar dan metadata yang hanya menyimpan log yang cocok dengan filter. Semua log lainnya akan dihapus sebelum ditulis ke Logging, sehingga menghemat biaya Anda dan mengurangi waktu yang diperlukan untuk menemukan informasi yang Anda cari.

Anda dapat memfilter {i>subset<i} apa pun yang tercantum di Format data, kecuali untuk kolom berikut:

• rtt_msec
• bytes_sent
• packets_sent
• start_time
• end_time

Pemfilteran Log Aliran VPC menggunakan CEL, bahasa ekspresi yang disematkan untuk ekspresi logika berbasis atribut. Ekspresi filter untuk Log Aliran VPC memiliki batas 2.048 karakter. Untuk mengetahui informasi selengkapnya, lihat Operator logika CEL yang didukung.

Untuk informasi selengkapnya tentang CEL, lihat CEL pengantar dan bahasa Google. Fitur filter pembuatan mendukung subset terbatas dari sintaksis CEL.

Untuk mengetahui informasi tentang cara membuat subnet yang menggunakan pemfilteran log, lihat petunjuk gcloud CLI atau API untuk Mengaktifkan Log Aliran VPC saat membuat subnet.

Untuk mengetahui informasi tentang cara mengonfigurasi pemfilteran log, lihat petunjuk gcloud CLI atau API untuk Memperbarui parameter Log Aliran VPC.

Contoh 1: Membatasi pengumpulan log ke VM tertentu yang bernama my-vm. Dalam kasus ini, hanya log dengan kolom src_instance seperti yang dilaporkan oleh sumber traffic adalah my-vm atau kolom dst_instance seperti yang dilaporkan oleh tujuan traffic adalh my-vm yang dicatat.

gcloud compute networks subnets update my-subnet \
    --logging-filter-expr="(src_instance.vm_name == 'my-vm' && reporter=='SRC') || (dest_instance.vm_name == 'my-vm' && reporter=='DEST')"

Contoh 2: Membatasi pengumpulan log ke paket yang alamat IP sumbernya berada di subnet 10.0.0.0/8.

gcloud compute networks subnets update my-subnet \
    --logging-filter-expr="inIpRange(connection.src_ip, '10.0.0.0/8')"

Contoh 3: Membatasi pengumpulan log ke traffic yang bersifat eksternal pada VPC.

gcloud compute networks subnets update my-subnet \
    --logging-filter-expr '!(has(src_vpc.vpc_name) && has(dest_vpc.vpc_name))'

Operator logika CEL yang didukung

Langkah selanjutnya

• Mengonfigurasi Log Aliran VPC
• Mengakses log aliran