监控检查点

概览

Flink的Web界面提供了一个监视作业检查点的选项卡。作业终止后,这些统计数据也可用。有四个不同的选项卡可显示有关检查点的信息:概述,历史记录,摘要和配置。以下部分将依次介绍所有这些内容。

监控

概述选项卡

概述选项卡列出以下统计信息。请注意,这些统计信息不会在JobManager丢失后继续存在,并在JobManager故障转移时重置为。

  • 检查点计数
    • 触发:自作业启动以来已触发的检查点总数。
    • 进行中:当前正在进行的检查点数量。
    • 已完成:自作业开始以来成功完成的检查点总数。
    • 失败:自作业启动以来失败的检查点总数。
    • 已还原:自作业启动以来的还原 算子操作数。这也告诉您自提交以来作业重启的次数。请注意,使用保存点的初始提交也会计为还原,如果JobManager在 算子操作期间丢失,则会重置计数。
  • 最新完成的检查点:最新成功完成的检查点。单击More details可为您提供详细的统计信息,直至子任务级别。
  • 最新失败的检查点:最新的失败检查点。单击More details可为您提供详细的统计信息,直至子任务级别。
  • 最新保存点:最新触发的保存点及其外部路径。单击More details可为您提供详细的统计信息,直至子任务级别。
  • 最新还原:有两种类型的还原 算子操作。
    • 从检查点恢复:我们从常规定期检查点恢复。
    • 从保存点恢复:我们从保存点恢复。

历史选项卡

检查点历史记录保存有关最近触发的检查点的统计信息,包括当前正在进行的检查点。

检查点监控:历史
  • ID:触发​​的检查点的ID。每个检查点的ID都会增加,从1开始。
  • 状态:检查点的当前状态,正在进行中),完成),或失败)。如果触发的检查点是保存点,您将看到一个 符号。
  • 触发时间:在JobManager中触发检查点的时间。
  • 最新确认:在JobManager上收到最新确认的任何子任务的时间(如果尚未收到确认,则为n / a)。
  • 端到端持续时间:从触发时间戳到最近确认的持续时间(如果尚未收到确认,则为n / a)。完整检查点的端到端持续时间由确认检查点的最后一个子任务确定。这个时间通常比单个子任务需要实际检查点状态要大。
  • 状态大小:所有已确认子任务的状态大小。
  • 在对齐期间缓冲:在对齐所有已确认子任务期间缓冲的字节数。如果在检查点期间发生流对齐,则此值仅为> 0。如果检查点模式是AT_LEAST_ONCE这将始终为零,因为至少一次模式不需要流对齐。

历史大小配置

您可以通过以下配置键配置记住历史记录的最近检查点的数量。默认是10

# Number of recent checkpoints that are remembered
web.checkpoints.history: 15

摘要选项卡

摘要计算在对齐期间缓冲的端到端持续时间,状态大小和字节的所有已完成检查点的简单最小/平均/最大统计数据(有关这些含义的详细信息,请参阅历史记录)。

检查点监控:摘要

请注意,这些统计信息不会在JobManager丢失后继续存在,并在JobManager故障转移时重置为。

配置选项卡

配置列出您的流配置:

  • 检查点模式正好一次至少一次
  • 间隔:配置的检查点间隔。在此时间间隔内触发检查点。
  • 超时:超时后,JobManager取消检查点并触发新的检查点。
  • 检查点之间的最小暂停:检查点之间所需的最小暂停时间。检查点成功完成后,我们至少等待这段时间才能触发下一个检查点,这可能会延迟定期间隔。
  • 最大并发检查点:可以同时进行的最大检查点数。
  • 外部持久检查点:启用或禁用。如果启用,则还列出外部化检查点的清除配置(删除时取消或保存)。

检查点详细信息

单击检查点的“ 更多详细信息”链接时,将获得所有 算子的“最小/平均/最大”摘要以及每个子任务的详细数字。

检查点监控:详细信息

每个算子摘要

检查点监控:详细信息摘要

所有子任务统计

检查点监控:子任务

回到顶部