监控Kafka消费者的方法、装置、存储介质及设备与流程

技术特征：
1.一种监控kafka消费者的方法，其特征在于，包括：对于消费者组中的每个消费者，调用预先配置的消费进度采集工具，按照预设时间周期定期采集所述消费者在集群所包含的各个消息分区中的指标数据；其中，所述指标数据至少包括消费进度；对于每个所述预设时间周期，对所述预设时间周期内所采集的各个所述消费进度进行累加求和，得到所述消费者在所述预设时间周期内的总消费进度；根据所述总消费进度，确定所述消费者在所述预设时间周期内的运行状态；基于所述消费者在各个所述预设时间周期内的所述总消费进度和所述运行状态，以及各个所述预设时间周期内所述消费者在各个所述消息分区的所述消费进度，生成所述消费者的消费日志，并将所有所述消费者的消费日志均存储到数据库中。2.根据权利要求1所述的方法，其特征在于，所述根据所述总消费进度，确定所述消费者在所述预设时间周期内的运行状态，包括：在所述总消费进度小于等于第二预设阈值的情况下，确定所述消费者在所述预设时间周期内的运行状态为正常运行，将所述消费者的状态标识更新为第一标识。3.根据权利要求1所述的方法，其特征在于，所述根据所述总消费进度，确定所述消费者在所述预设时间周期内的运行状态，包括：在所述总消费进度小于第一预设阈值、且大于第二预设阈值的情况下，确定所述消费者在所述预设时间周期内的运行状态为缓慢运行，将所述消费者的状态标识更新为第二标识，并向所述用户发送所述消费者消费速度下降的告警提示；其中，所述第二预设阈值小于所述第一预设阈值。4.根据权利要求1所述的方法，其特征在于，所述根据所述总消费进度，确定所述消费者在所述预设时间周期内的运行状态，包括：在所述总消费进度大于等于第一预设阈值的情况下，确定所述消费者在所述预设时间周期内的运行状态为停止运行，将所述消费者的状态标识更新为第三标识，向所述用户发送所述消费者异常的告警提示。5.根据权利要求1所述的方法，其特征在于，还包括：在接收到所述用户的日志查询指令的情况下，从所述数据库中获取与所述日志查询指令所示的消费者的消费日志，并通过预设前端界面向所述用户展示所述消费日志。6.根据权利要求1所述的方法，其特征在于，还包括：对于每个所述消费者的消费日志，按照所述预设时间间隔定时统计所述消费日志中所包含的各条纪录的总数；所述纪录包括在同一所述预设时间周期内获得的总消费进度、运行状态、消费者在各个消息分区的消费进度；在所述总数大于第三预设阈值的情况下，删除所述消费日志中满足预设条件的纪录，以使所述消费日志中所保留的各个纪录的总数等于所述第三预设阈值；所述预设条件为：位于纪录序列中前n位的纪录，n为正整数；所述纪录序列基于对所述消费日志中所包含的各个纪录进行排序得到。7.根据权利要求6所述的方法，其特征在于，所述基于对所述消费日志中所包含的各个纪录进行排序得到所述纪录序列，包括：按照发生时间由早到晚的顺序，对所述消费日志中所包含的各个纪录进行排序，得到
所述纪录序列。8.一种监控kafka消费者的装置，其特征在于，包括：采集单元，用于对于消费者组中的每个消费者，调用预先配置的消费进度采集工具，按照预设时间周期定期采集所述消费者在集群所包含的各个消息分区中的指标数据；其中，所述指标数据至少包括消费进度；求和单元，用于对于每个所述预设时间周期，对所述预设时间周期内所采集的各个所述消费进度进行累加求和，得到所述消费者在所述预设时间周期内的总消费进度；确定单元，用于根据所述总消费进度，确定所述消费者在所述预设时间周期内的运行状态；生成单元，用于基于所述消费者在各个所述预设时间周期内的所述总消费进度和所述运行状态，以及各个所述预设时间周期内所述消费者在各个所述消息分区的所述消费进度，生成所述消费者的消费日志，并将所有所述消费者的消费日志均存储到数据库中。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，所述程序执行权利要求1-7任一所述的监控kafka消费者的方法。10.一种监控kafka消费者的设备，其特征在于，包括：处理器、存储器和总线；所述处理器与所述存储器通过所述总线连接；所述存储器用于存储程序，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1-7任一所述的监控kafka消费者的方法。

技术总结
本申请公开了一种监控Kafka消费者的方法、装置、存储介质及设备，对于消费者组中的每个消费者，调用预先配置的消费进度采集工具，按照预设时间周期定期采集消费者在集群所包含的各个消息分区中的指标数据；对每个预设时间周期内所采集的各个消费进度累加求和，得到总消费进度；根据总消费进度确定消费者的运行状态；基于消费者在各个预设时间周期内的总消费进度、运行状态和消费者在各个消息分区的消费进度，生成消费者的消费日志并存储到数据库中；综上所述，在运行状态为非正常运行时发出告警提示，可及时通知用户进行相应处理，缩短发现问题的时间，避免因为处理问题不及时而引发重要生产事件，实现对消费者组中每个消费者的有效监控。的有效监控。的有效监控。


技术研发人员：郭柄男 常冬冬 苑志云 王雪
受保护的技术使用者：中国建设银行股份有限公司
技术研发日：2022.02.14
技术公布日：2022/5/17