作业调度监控系统及方法、存储介质、计算机设备与流程
本申请涉及计算机,尤其是涉及到一种作业调度监控系统及方法、存储介质、计算机设备。
背景技术:
1、随着分布式系统与大数据业务快速发展,银行业中批量作业、定时任务等作业规模持续增长,对调度的稳定性、可靠性、执行效率、监控可观测性提出更高要求。这类作业调度体系承载着银行核心账务核算、客群批量运营、监管数据报送、日终批量清算等数十类核心业务场景,日均调度作业量常达数万甚至数十万级别,覆盖跨集群、跨层级、跨系统的复杂依赖链路,任何一处调度异常都可能引发连锁业务风险。
2、传统人工巡检、被动告警的模式下,作业执行超时、运行失败、调度链路紊乱等问题往往在影响扩大后才被发现,可能直接导致账务核算差错、面向用户的服务中断、监管报送延误,轻则引发客户投诉与资金损失,重则触发监管合规处罚,甚至引发系统性金融风险。
技术实现思路
1、有鉴于此,本申请提供了一种作业调度监控系统及方法、存储介质、计算机设备,通过单独的监控系统,专门用于监控银行业的作业调度系统,同时不仅使用单一告警指标,并能进行监控结果可视化,提升了预警能力。
2、根据本申请的一个方面,提供了一种作业调度监控系统,用于监控银行业的作业调度系统,所述系统包括:
3、数据处理模块、ui模块、智能算法异常检测模块、规则引擎模块和告警网关模块;
4、数据处理模块,用于遍历作业调度系统调度各作业时各自产生的作业流,采集各作业流下属作业节点运行时生成的运行元数据,基于所述运行元数据,构建同时覆盖有作业节点依赖关系和作业流全局调度依赖关系的融合式作业调度邻接矩阵,其中,作业包括清算作业和日结作业;
5、ui模块,用于基于所述融合式作业调度邻接矩阵,自动生成作业运行总览图,通过所述作业运行总览图在前端页面上可视化展示作业节点的实时运行状态以及作业流的运行链路,其中,ui模块对应有前端页面;
6、智能算法异常检测模块,用于基于所述运行元数据,对作业调度系统的作业运行进行异常识别,并输出异常识别结果;
7、规则引擎模块,用于基于所述运行元数据,对作业调度系统的作业运行进行合规性告警检测,并输出告警检测结果;
8、告警网关模块,用于对异常识别结果和告警检测结果执行聚合与抑制去重,得到有效监控数据,并将所述有效监控数据同步推送至ui模块,以使ui模块基于有效监控数据在前端页面上展示监控结果。
9、根据本申请的另一方面,提供了一种作业调度监控方法,用于监控银行业的作业调度系统,所述方法包括:
10、遍历作业调度系统调度各作业时各自产生的作业流,采集各作业流下属作业节点运行时生成的运行元数据,基于所述运行元数据,构建同时覆盖有作业节点依赖关系和作业流全局调度依赖关系的融合式作业调度邻接矩阵,其中,作业包括清算作业和日结作业;
11、基于所述融合式作业调度邻接矩阵,自动生成作业运行总览图,通过所述作业运行总览图可视化展示作业节点的实时运行状态以及作业流的运行链路;
12、基于所述运行元数据,对作业调度系统的作业运行进行异常识别,并输出异常识别结果;
13、基于所述运行元数据,对作业调度系统的作业运行进行合规性告警检测,并输出告警检测结果;
14、对异常识别结果和告警检测结果执行聚合与抑制去重,得到有效监控数据,并基于所述有效监控数据展示监控结果。
15、依据本申请又一个方面,提供了一种存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述作业调度监控方法。
16、依据本申请再一个方面,提供了一种计算机设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述作业调度监控方法。
17、借由上述技术方案,本申请提供的一种作业调度监控系统及方法、存储介质、计算机设备,通过单独的监控系统,专门用于监控银行业的作业调度系统,同时不仅使用单一告警指标,并能进行监控结果可视化,提升了预警能力。
18、上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
1.一种作业调度监控系统,其特征在于,用于监控银行业的作业调度系统,所述系统包括:
2.根据权利要求1所述的系统,其特征在于,所述运行元数据包括系统资源数据、作业运行态数据与作业流运行态数据,系统资源数据包括cpu使用率、内存使用率和i/o吞吐量,所述系统还包括:
3.根据权利要求2所述的系统,其特征在于,所述系统还包括:
4.根据权利要求1所述的系统,其特征在于,所述运行元数据包括系统资源数据、作业运行态数据与作业流运行态数据,系统资源数据包括cpu使用率、内存使用率和i/o吞吐量,所述系统还包括:
5.根据权利要求1所述的系统,其特征在于,所述运行元数据包括系统资源数据、作业运行态数据与作业流运行态数据,系统资源数据包括cpu使用率、内存使用率和i/o吞吐量,所述系统还包括:
6.根据权利要求1所述的系统,其特征在于,所述系统还包括:
7.根据权利要求1所述的系统,其特征在于,所述系统还包括:
8.一种作业调度监控方法,其特征在于,用于监控银行业的作业调度系统,所述方法包括:
9.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求8所述作业调度监控的方法。
10.一种计算机设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求8所述作业调度监控的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com