实时流计算作业风险预测方法、装置、设备及介质与流程
本申请涉及大数据处理,尤其涉及实时流计算作业风险预测方法、装置、设备及介质。
背景技术:
1、实时数据中台是支撑零售业务数字化转型的关键设施,需为多个经营平台提供高保障、毫秒级的高并发数据服务。
2、随着服务场景的持续扩展,指标需求频繁新增,存量系统多采用独立部署新作业的方式应对口径差异,导致作业数量爆发式增长,计算与存储资源浪费严重。同时,数据口径的变更必须依赖系统投产上线生效,上线过程易造成数据中断、延迟甚至丢失,且为降低上线影响常需统一排期,拖长了业务响应周期。现有流计算框架缺乏规则动态更新与资源协同调度的能力,难以在高并发和业务连续性要求极高的场景下兼顾需求快速响应与系统稳定运行。
3、因此,如何在不中断业务的前提下,实现流计算规则的动态更新与计算资源的高效利用,是本领域亟待解决的技术问题。
技术实现思路
1、本申请的主要目的在于提供一种实时流计算作业风险预测方法、装置、设备及介质,旨在解决现有技术中如何在不中断业务的前提下,实现流计算规则的动态更新与计算资源的高效利用的技术问题。
2、为实现上述目的,本申请提供了一种实时流计算作业风险预测方法,该方法包括以下步骤:根据实时数据业务的指标需求,得到业务规则;对所述业务规则进行结构化转换,得到原子规则数据;根据所述原子规则数据,对流计算作业的内部计算逻辑图进行重构,得到计算逻辑更新完成的流计算作业;根据更新后的流计算作业的并行资源状态,将待处理的实时数据流分配至各并行节点,得到负载均衡后的计算任务;采集所述流计算作业运行期间的监控指标数据;将所述监控指标数据输入风险推理模型,得到风险预判结果。
3、可选地,上述对所述业务规则进行结构化转换,得到原子规则数据,包括:对所述业务规则进行原子化拆解,得到原子规则;根据所述业务规则对所述原子规则进行组合,得到模板规则;根据所述原子规则与所述模板规则之间的引用关系,构建规则图谱;根据所述规则图谱配置原子规则数据。
4、可选地,上述根据所述原子规则数据,对流计算作业的内部计算逻辑图进行重构,得到计算逻辑更新完成的流计算作业,包括:根据所述原子规则数据构建模式流,得到自动机逻辑图;根据所述自动机逻辑图对所述流计算作业的内部逻辑图进行重构,得到计算逻辑更新后的流计算作业;对旧版本关联的状态缓存进行清理,得到清理后的状态缓存;对所述清理后的状态缓存和所述计算逻辑更新后的流计算作业进行状态同步,得到计算逻辑更新完成的流计算作业。
5、可选地,上述根据更新后的流计算作业的并行资源状态,将待处理的实时数据流分配至各并行节点,得到负载均衡后的计算任务,包括:获取所述流计算作业的并行度配置参数,得到分组参数;根据所述分组参数确定输入数据的数据键与各并行节点之间的映射关系,得到映射关系;根据所述映射关系对所述待处理的实时数据流的键值进行改造,得到改造后的键值;根据所述改造后的键值将所述待处理的实时数据流分配至各并行节点,得到负载均衡后的计算任务。
6、可选地,上述根据所述原子规则与所述模板规则之间的引用关系,构建规则图谱,包括:根据所述规则图谱确定原子规则与业务规则之间的拓扑关系,得到拓扑路径;根据所述拓扑路径提取当前业务规则对应的最短计算路径,得到最短路径;根据所述最短路径调用已计算完成的原子规则的复用结果,得到原子规则计算结果;根据所述原子规则计算结果与所述模板规则的引用关系,构建规则图谱。
7、可选地,上述将所述监控指标数据输入风险推理模型,得到风险预判结果,包括:构建包含基座模型的风险模型;将分类任务头和标注任务头级联在所述基座模型的输出端;将所述监控指标数据输入所述分类任务头,得到风险等级;将所述监控指标数据输入所述标注任务头,得到异常根因链;根据所述风险等级和所述异常根因链,生成风险预判结果。
8、可选地,上述根据所述风险等级和所述异常根因链,生成风险预判结果,包括:将所述风险预判结果与预设风险阈值进行比较,得到风险等级结论;根据所述风险等级结论生成预警控制指令,得到预警指令数据;对所述异常根因链进行节点解析,得到异常告警节点;根据所述风险等级结论和所述异常告警节点,生成风险预判结果。
9、此外,为实现上述目的,本申请实施例还提出一种实时流计算作业风险预测装置,该装置包括:规则配置模块、热加载执行模块、负载均衡调度模块以及智能监控预警模块。具体的,
10、规则配置模块,用于根据实时数据业务的指标需求,得到业务规则;以及用于对所述业务规则进行结构化转换,得到原子规则数据;
11、热加载执行模块,用于根据所述原子规则数据,对流计算作业的内部计算逻辑图进行重构,得到计算逻辑更新完成的流计算作业;
12、负载均衡调度模块,用于根据更新后的流计算作业的并行资源状态,将待处理的实时数据流分配至各并行节点,得到负载均衡后的计算任务;
13、智能监控预警模块,用于采集所述流计算作业运行期间的监控指标数据;以及用于将所述监控指标数据输入风险推理模型,得到风险预判结果。
14、此外,为实现上述目的,本申请还提出一种实时流计算作业风险预测设备,实时流计算作业风险预测设备包括:存储器、处理器及存储在存储器上并可在处理器上运行的实时流计算作业风险预测程序,实时流计算作业风险预测程序配置为实现如上文的实时流计算作业风险预测方法的步骤。
15、此外,为实现上述目的,本申请还提出一种存储介质,存储介质上存储有实时流计算作业风险预测程序,实时流计算作业风险预测程序被处理器执行时实现如上文的实时流计算作业风险预测方法的步骤。
16、本申请提出的一个或多个技术方案,至少具有以下技术效果:本申请通过根据实时数据业务的指标需求获取业务规则,并转换得到原子规则数据,为逻辑更新与复用奠定统一数据基础;进而依据原子规则数据在运行态下重构内部逻辑图,实现规则无感更新,使业务口径变更时无需重启作业,避免数据处理中断与一致性问题;接着根据更新后流计算作业的并行资源状态均衡分配数据流,缓解节点过载与数据倾斜引发的资源浪费,提升高并发场景下的计算吞吐量;最后将采集的监控指标数据输入风险推理模型,得到风险预判结果,通过因果分析使系统在异常发生前识别风险并定位根因,解决传统告警疲劳与被动复盘问题,实现主动预判风险的运维演进。
1.一种实时流计算作业风险预测方法,其特征在于,所述方法包括:
2.根据权利要求1所述的实时流计算作业风险预测方法,其特征在于,所述对所述业务规则进行结构化转换,得到原子规则数据,包括:
3.根据权利要求1所述的实时流计算作业风险预测方法,其特征在于,所述根据所述原子规则数据,对流计算作业的内部计算逻辑图进行重构,得到计算逻辑更新完成的流计算作业,包括:
4.根据权利要求1所述的实时流计算作业风险预测方法,其特征在于,所述根据更新后的流计算作业的并行资源状态,将待处理的实时数据流分配至各并行节点,得到负载均衡后的计算任务,包括:
5.根据权利要求2所述的实时流计算作业风险预测方法,其特征在于,所述根据所述原子规则与所述模板规则之间的引用关系,构建规则图谱,包括:
6.根据权利要求1所述的实时流计算作业风险预测方法,其特征在于,所述将所述监控指标数据输入风险推理模型,得到风险预判结果,包括:
7.根据权利要求6所述的实时流计算作业风险预测方法,其特征在于,所述根据所述风险等级和所述异常根因链,生成风险预判结果,包括:
8.一种实时流计算作业风险预测装置,其特征在于,所述装置,包括:
9.一种实时流计算作业风险预测设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1至7任一项所述的实时流计算作业风险预测方法。
10.一种计算机可读存储介质,其上存储有计算机程序或指令,其特征在于,所述计算机程序或指令被处理器执行时实现如权利要求1至7任一项所述的实时流计算作业风险预测方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com