查看 DAG、DAG 运行作业和相关任务

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

本页面介绍了如何获取有关您环境中的 DAG 的信息。

查看 DAG 相关信息的方式

Cloud Composer 提供了多种方法来获取有关您环境中的 DAG 的详细信息：

  • DAG 界面是 Google Cloud 控制台界面中的一个部分，专用于查看和监控 DAG、DAG 运行作业和各项任务。
  • Airflow 界面是 Airflow 的内置网页界面。
  • Airflow CLI 是 Airflow 的命令行界面。您 可以运行 Airflow CLI 命令来获取 DAG 的相关信息 gcloud。

Cloud Composer DAG 界面简介

DAG 界面是 Google Cloud 控制台界面的一部分 Cloud Composer 专门用于查看和监控 DAG、DAG 运行 和具体任务。

在 DAG 界面中，您可以执行以下操作：

  • 查看您环境中的 DAG 列表，包括时间表间隔、DAG 状态和说明

  • 暂停、取消暂停和触发 DAG。

  • 查看 DAG 运行详情，包括成功运行、活跃运行和失败运行以及时间 自上次完成的运行以来。对于每个 DAG，您都可以查看 DAG 的历史记录 与此特定 DAG 关联的运行作业和任务实例，包括日志 。

  • 过滤 DAG 运行详情。例如，您可以选择时间间隔 创建查询以选择您需要的信息。

  • 查看有关各个 DAG 和任务的详细信息。这包括可视化的 DAG 图表、DAG 内任务的相关信息、DAG 源代码以及 DAG 的其他信息。

准备工作

  • 请确保您的账号具有可以访问 DAG 界面和查看 DAG 的角色 。如需了解详情，请参阅访问权限控制。

  • DAG 界面要求启用 DAG 序列化。

  • Cloud Composer 1.17.8 及更高版本支持 DAG 界面 版本。

查看您的环境的 DAG 列表

控制台

环境的 DAG 标签页会显示 DAG 列表以及 DAG 了解每个 DAG 的运行详情。

如需查看 DAG 列表，请执行以下操作：

  1. 在 Google Cloud 控制台中，前往环境页面。

    转到“环境”

  2. 在 DAG 列表列中，点击与您的环境对应的 DAG 链接。

您可以使用过滤条件仅查看特定 DAG 或 特定条件下。例如：

  1. 选择过滤条件字段。
  2. 从下拉列表中，选择 DAG id 属性。
  3. 指定 DAG 的标识符。结果仅显示以下几项的详细信息： 选定的 DAG。
  4. （可选）如需添加更多 DAG，请添加 OR 运算符，后跟 DAG ID。
  5. （可选）要按其他条件过滤，请在以下位置添加其他属性： 过滤条件字段。例如，您可以通过指定 Failed runs:>0 过滤出运行失败的 DAG。

Airflow 界面

如需在 Airflow 网页界面中查看 DAG 列表，请执行以下操作：

  1. 在 Google Cloud 控制台中，前往环境页面。

    转到“环境”

  2. 在 Airflow Web 服务器列中，点击与您的环境对应的 Airflow 链接。

  3. 使用具有相应权限的 Google 账号登录。

  4. 在 Airflow 网页界面的 DAG 页面上，会显示您环境的 DAG 列表。

gcloud

在 Airflow 1.10.* 中，运行 list_dags Airflow CLI 命令：

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dags

在 Airflow 2 中，运行 dags list Airflow CLI 命令：

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

替换：

  • ENVIRONMENT_NAME 替换为环境的名称。
  • LOCATION 替换为环境所在的区域。

查看 DAG 运行和任务的历史记录

控制台

DAG 详情页面上的运行标签页会显示 DAG 运行的历史记录 不同 DAG 的服务账号。

如需查看 DAG 运行的历史记录，请执行以下操作：

  1. 在 Google Cloud 控制台中，前往环境页面。

    转到“环境”

  2. 在 DAG 列表列中，点击环境对应的 DAG 链接。

  3. 选择一个 DAG。

  4. 在 DAG 详情页面上，前往运行作业标签页。

  5. 从列表中选择 DAG 运行作业以查看 DAG 运行详情，例如 此 DAG 运行的任务实例状态、尝试次数以及 执行持续时间。您可以选择查看个别任务 任务实例日志。

Airflow 界面

如需在 Airflow 网页界面中查看 DAG 列表，请执行以下操作：

  1. 在 Google Cloud 控制台中，前往环境页面。

    转到“环境”

  2. 在 Airflow Web 服务器列中，点击与您的环境对应的 Airflow 链接。

  3. 使用具有相应权限的 Google 账号登录。

  4. 在 Airflow 网页界面中，从菜单中选择 浏览 > DAG 运行。此时将显示 DAG 运行页面。 DAG 在您的环境中运行。您可以点击运行 ID 中的链接 列以获取有关任务的更多信息。

gcloud

在 Airflow 1.10.* 中，运行 list_dag_runs Airflow CLI 命令：

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dag_runs -- DAG_ID

在 Airflow 2 中，运行 dags list-runs Airflow CLI 命令：

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

替换：

  • ENVIRONMENT_NAME 替换为环境的名称。
  • LOCATION 替换为环境所在的区域。
  • DAG_ID 替换为 DAG 名称。

您可以运行 tasks state 和 tasks states-for-dag-run Airflow CLI 命令，获取有关任务实例的更多信息。

如需了解详情，请参阅访问 Airflow CLI 和 Airflow CLI 参考文档适用于 Airflow 1 和 Airflow 2。

查看 DAG 图

控制台

DAG 详情页面上的图表标签页直观呈现了 包含任务依赖项的 DAG。

如需查看 DAG 图，请执行以下操作：

  1. 在 Google Cloud 控制台中，前往环境页面。

    转到“环境”

  2. 在 DAG 列表列中，点击环境对应的 DAG 链接。

  3. 选择一个 DAG。

  4. 在 DAG 详情页面上，前往图表标签页。

  5. （可选）如要查看有关任务的更多信息，请在图表上选择各个任务。

Airflow 界面

如需在 Airflow 网页界面中查看 DAG 图，请执行以下操作：

  1. 在 Google Cloud 控制台中，前往环境页面。

    转到“环境”

  2. 在 Airflow Web 服务器列中，点击与您的环境对应的 Airflow 链接。

  3. 使用具有相应权限的 Google 账号登录。

  4. 在 Airflow 网页界面的 DAG 页面上，会显示您环境的 DAG 列表。

  5. 对于您的 DAG，请在链接列中，点击 Graph View 链接。

查看 DAG 源代码以及有关 DAG 的其他信息

控制台

您可以查看 DAG 的源代码以及其他信息，例如 DAG 标识符和指向环境存储桶中 DAG 定义文件的链接。

  1. 在 Google Cloud 控制台中，前往环境页面。

    转到“环境”

  2. 在 DAG 列表列中，点击与您的环境对应的 DAG 链接。

  3. 选择一个 DAG。

  4. 如需查看 DAG 源代码，请转到图表标签页。

  5. 如需查看有关 DAG 的其他信息，请转到 Source 标签页。

Airflow 界面

如需在 Airflow 网页界面中查看 DAG 图，请执行以下操作：

  1. 在 Google Cloud 控制台中，前往环境页面。

    转到“环境”

  2. 在 Airflow Web 服务器列中，点击与您的环境对应的 Airflow 链接。

  3. 使用具有相应权限的 Google 账号登录。

  4. 在 Airflow 网页界面中，在 DAG 页面上，点击 您的 DAG。

  5. 在包含 DAG 详细信息的页面中，导航到可用标签页进行查看 了解有关 DAG 的更多信息

后续步骤