概览
您可以使用 Datastream 来监控数据流处理的数据和事件。此信息显示在下图中:
吞吐量:Datastream 处理数据或事件的速率。此速率可以是:
- Datastream 从来源转移到目标位置的数据量 (MB)。
与要转移的数据相关联的事件数。事件是指来源中的一项更改,例如向表中添加新行 存储在数据库中
不支持的事件:从来源到目标无法处理的事件数量。
数据新鲜度:驻留在源中的数据与流传输到目标位置的数据之间的时间差。时间是 计算为处理的最早事件的源时间戳与读取时间戳之间所经过的时间。如果没有要从来源读取的新事件,新鲜度会设为 0。
如果 Datastream 尚未处理已加入队列的事件,则在 Datastream 计算数据新鲜度指标时不会考虑这些事件。例如,如果吞吐量出现峰值,则只有在 Datastream 处理导致峰值的事件后,新鲜度指标才会反映出这一点。
系统延迟时间:Datastream 处理事件所用的时间。此间隔的计算方式为:Datastream 读取 以及何时将事件写入目的地。
总延迟时间:数据写入来源与相应事件写入目标位置的时间差。
监控处理的数据或事件
转到 Google Cloud Console 中的数据流页面。
点击要监控的数据流。
-
可选。滚动屏幕,直到显示数据新鲜度图表。对于此图表,点击创建提醒政策链接以为其创建提醒政策。提醒政策描述了您要为图表监控的一组条件。
点击该链接后,Cloud Monitoring 中将显示创建提醒政策页面。在此页面上,您可以为图表定义提醒政策。这包括指定哪些条件将触发政策、满足条件时哪些人会收到通知,以及如何收到通知。
如需详细了解提醒政策(包括如何创建提醒政策),请参阅管理基于指标的提醒政策。
点击监控标签。
滚动屏幕,直到显示所需的图表(该图表代表 Datastream 监控的数据或事件)。
(可选)如果您正在查看吞吐量图表,选择(字节/秒)可查看 Datastream 从来源转移到目标位置的数据量,或者选择(事件/秒)可查看与要转移的数据相关联的事件数量。
要查看 Datastream 在几小时或数天内处理的数据量或事件数,请点击 1 小时、6 小时、12 小时、1 天、2 天、4 天、7 天、14 天或 30 天。
或者,如需设置自定义范围,请选择自定义菜单,然后使用日历选择器指定开始日期和时间以及结束日期和时间,以获取要查看的数据量或事件数量。
Datastream 会更新窗格中的图表以反映您的选择,并显示您指定的间隔。
例如,如果今天是 2021 年 10 月 31 日,而您点击 30 天,则该图表将显示 Datastream 自 2021 年 10 月 1 日起处理的数据量或事件数量。
- 将指针悬停在图表中的线条上,即可显示 Datastream 针对特定日期和时间处理的数据量或事件数量。