监控数据流

概览

您可以使用 Datastream 来监控数据流处理的数据和事件。此信息显示在下图中:

  • 吞吐量:Datastream 处理数据或事件的速率。此速率可以是:

    • Datastream 从来源转移到目标位置的数据量 (MB)。
    • 与要转移的数据相关联的事件数。事件是指来源中的一项更改,例如向表中添加新行 存储在数据库中

  • 不支持的事件:从来源到目标无法处理的事件数量。

  • 数据新鲜度:驻留在源中的数据与流传输到目标位置的数据之间的时间差。时间是 计算为处理的最早事件的源时间戳与读取时间戳之间所经过的时间。如果没有要从来源读取的新事件,新鲜度会设为 0。

    如果 Datastream 尚未处理已加入队列的事件,则在 Datastream 计算数据新鲜度指标时不会考虑这些事件。例如,如果吞吐量出现峰值,则只有在 Datastream 处理导致峰值的事件后,新鲜度指标才会反映出这一点。

  • 系统延迟时间:Datastream 处理事件所用的时间。此间隔的计算方式为:Datastream 读取 以及何时将事件写入目的地。

  • 总延迟时间:数据写入来源与相应事件写入目标位置的时间差。

监控处理的数据或事件

  1. 转到 Google Cloud Console 中的数据流页面。

    转到“数据流”页面

  2. 点击要监控的数据流。

  3. 可选。滚动屏幕,直到显示数据新鲜度图表。对于此图表,点击创建提醒政策链接以为其创建提醒政策。提醒政策描述了您要为图表监控的一组条件。

    点击该链接后,Cloud Monitoring 中将显示创建提醒政策页面。在此页面上,您可以为图表定义提醒政策。这包括指定哪些条件将触发政策、满足条件时哪些人会收到通知,以及如何收到通知。

    如需详细了解提醒政策(包括如何创建提醒政策),请参阅管理基于指标的提醒政策

  4. 点击监控标签。

  5. 滚动屏幕,直到显示所需的图表(该图表代表 Datastream 监控的数据或事件)。

  6. (可选)如果您正在查看吞吐量图表,选择(字节/秒)可查看 Datastream 从来源转移到目标位置的数据量,或者选择(事件/秒)可查看与要转移的数据相关联的事件数量。

  7. 要查看 Datastream 在几小时或数天内处理的数据量或事件数,请点击 1 小时6 小时12 小时1 天2 天4 天7 天14 天30 天

    或者,如需设置自定义范围,请选择自定义菜单,然后使用日历选择器指定开始日期和时间以及结束日期和时间,以获取要查看的数据量或事件数量。

    Datastream 会更新窗格中的图表以反映您的选择,并显示您指定的间隔。

    例如,如果今天是 2021 年 10 月 31 日,而您点击 30 天,则该图表将显示 Datastream 自 2021 年 10 月 1 日起处理的数据量或事件数量。

  1. 将指针悬停在图表中的线条上,即可显示 Datastream 针对特定日期和时间处理的数据量或事件数量。

后续步骤