业务数据处理方法、装置及存储介质与流程
本发明涉及数据处理,尤其涉及一种业务数据处理方法、装置及存储介质。
背景技术:
1、目前,在业务系统监控领域中,通常采用预设的固定规则对业务数据进行异常检测,并在检测到异常时执行预定义的告警或处理脚本。然而,上述方式中的监控规则与异常处理逻辑往往是静态绑定且硬编码的,当业务场景发生变化或异常模式演变时,需要人工重新修改代码并重启服务才能更新监控策略。同时,上述方式缺乏对异常处理结果的有效反馈机制,无法根据实际处置效果自动调整监控规则的灵敏度,导致在面对复杂多变的业务流量时,容易出现误报漏报或处置滞后等问题,难以实现监控体系的自适应闭环优化。
技术实现思路
1、本发明提供一种业务数据处理方法、装置及存储介质,以至少解决相关技术中监控策略无法根据处理结果进行自适应优化的问题。本发明的技术方案如下:
2、根据本发明实施例的第一方面,提供了一种业务数据处理方法,该方法包:获取业务事件流;基于监控规则对业务事件流进行异常识别,得到异常事件,监控规则包含触发参数;响应于识别出异常事件,基于动态配置的处理节点序列,对异常事件进行处理;基于处理结果,动态更新监控规则的触发参数。
3、上述方案通过将异常识别与异常处理解耦,并建立从处理结果到监控规则参数的反馈通路,使得系统能够根据实际运行时的处置效果自动校准监控基准,解决了传统监控策略静态固化导致的适应性差的问题,实现了监控体系的闭环自适应优化。
4、作为一种技术方案,基于动态配置的处理节点序列,对异常事件进行处理,包括:基于异常事件的属性特征,从预设的原子动作组件库中选取目标动作组件;基于目标动作组件之间的依赖关系,编排生成处理节点序列;按照处理节点序列,调用目标动作组件,对异常事件进行处理。
5、该方案通过将异常处理动作封装为独立的原子组件并支持基于依赖关系的动态编排,使得处理逻辑不再依赖于硬编码脚本,而是可以根据异常事件的具体属性实时构建差异化的处置链路,提升了异常处理的灵活性与可扩展性。
6、作为一种技术方案,按照处理节点序列,调用目标动作组件,对异常事件进行处理,包括:根据处理节点序列的执行拓扑结构,对异常事件执行目标动作组件;其中,执行拓扑结构包括串行执行、并行执行或条件分支执行中的至少一种;目标动作组件的动作类型包括业务阻断、告警推送、服务降级或日志记录中的至少一种。
7、该方案通过定义多样化的执行拓扑结构与标准化的动作类型,支撑了复杂业务场景下多线程并发处置、条件判断分流等高级处理需求,确保了异常处理流程在执行层面的高效性与确定性。
8、作为一种技术方案,基于处理结果,动态更新监控规则的触发参数,包括:基于预设的滑动时间窗口,统计异常事件的触发频次以及异常处理动作的处理成功率;基于触发频次、处理成功率以及预设的反馈算法,计算触发参数的参数调整量;基于参数调整量更新触发参数。
9、其中,滑动时间窗口是指用于统计数据的时间范围,其长度可根据业务波动周期设定,用于平滑瞬时噪声;触发频次是指在滑动时间窗口内异常事件被识别出的次数,表征异常的密集程度;处理成功率是指在滑动时间窗口内异常处理动作执行成功数占总执行数的比例,表征当前处置策略的有效性;参数调整量是基于反馈算法计算出的触发参数修正值,用于量化规则优化的幅度。
10、该方案通过引入时间维度的统计指标与量化反馈算法,将离散的处置结果转化为连续的规则调优信号,避免了单次偶发事件对监控策略造成误扰动,保证了规则自适应过程的稳定性与收敛性。
11、作为一种技术方案,基于触发频次、处理成功率以及预设的反馈算法,计算触发参数的参数调整量,包括:当触发频次超过第一预设阈值时,按照预设梯度下调触发参数中的数值阈值;当处理成功率低于第二预设阈值时,生成校验动作插入指令,校验动作插入指令用于在处理节点序列中动态插入校验动作节点。
12、其中,第一预设阈值是判定异常是否过于频繁的临界值,用于触发灵敏度的负反馈调节;预设梯度是触发参数调整的步长因子,控制规则变化的速率以防止震荡;第二预设阈值是判定当前处置手段是否失效的临界值,用于触发处置策略的结构化增强。
13、该方案通过双重反馈机制,一方面在异常频发时自动放宽或收紧阈值以平衡负载与风险,另一方面在处置失败率高时自动补充校验环节以提升处置准确率,实现了监控策略在参数级与结构级的双重自适应进化。
14、作为一种技术方案,在基于监控规则对业务事件流进行异常识别之前,方法还包括:获取规则配置指令;将规则配置指令解析为可执行脚本;将可执行脚本热加载至规则执行容器,以更新监控规则。
15、该方案通过运行时解析与热加载机制,使得监控规则的变更无需中断业务服务或重启系统,实现了监控策略的秒级生效,大幅缩短了从策略调整到线上验证的反馈周期。
16、作为一种技术方案,将规则配置指令解析为可执行脚本,包括:识别规则配置指令的数据格式,数据格式包括领域特定语言或结构化数据格式;基于数据格式对应的编译规则,将规则配置指令编译为目标编程语言的可执行脚本。
17、该方案通过支持多种配置格式到目标语言的编译转换,屏蔽了底层执行引擎的技术细节,使得上层业务人员可以通过声明式的方式定义监控逻辑,降低了监控规则配置的技术门槛与维护成本。
18、作为一种技术方案,基于监控规则对业务事件流进行异常识别,得到异常事件,包括:基于监控规则中的单事件判断条件,对业务事件流中的单条业务事件的属性特征进行匹配,得到第一识别结果;和/或,基于监控规则中的窗口聚合判断条件,对预设时间窗口内多条业务事件的聚合特征进行计算与匹配,得到第二识别结果;基于第一识别结果和/或第二识别结果,确定异常事件。
19、该方案结合了实时单点检测与时间窗口聚合分析两种识别维度,既能够快速响应突发的单点异常,又能够有效捕捉隐藏在时序模式中的累积型风险,提升了异常识别的全面性与准确性。
20、根据本发明实施例的第二方面,提供了一种业务数据处理装置,该装置包括:获取模块,被配置为获取业务事件流;异常检测模块,被配置为基于监控规则对业务事件流进行异常识别,得到异常事件,监控规则包含触发参数;异常处理模块,被配置为响应于识别出所述异常事件,基于动态配置的处理节点序列,对所述异常事件进行处理;参数更新模块,被配置为基于处理结果,动态更新监控规则的触发参数。
21、根据本发明实施例的第三方面,提供了一种业务数据处理系统,该业务数据处理系统上存储有指令,当业务数据处理系统中的指令由处理器执行时,使得控制器能够执行如第一方面及其任一种可能的技术方案的业务数据处理方法。
22、根据本发明实施例的第四方面,提供了一种计算机可读存储介质,计算机可读存储介质上存储有指令,当计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如第一方面及其任一种可能的实现方式的业务数据处理方法。
23、根据本公开实施例的第五方面,提供一种计算机程序产品,计算机程序产品包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行上述第一方面及其任一种可能的实现方式的业务数据处理方法。
24、本发明的实施例提供的技术方案至少带来以下有益效果:本技术通过构建监控识别、动态处理和反馈调优的闭环自适应机制。首先,通过将异常处理动作原子化并支持动态编排,打破了传统监控系统中处理逻辑硬编码的局限,使得系统能够根据异常事件的实时属性灵活组装处置链路,显著提升了应对复杂多变业务场景的敏捷性;其次,通过采集处理结果数据并基于滑动时间窗口统计触发频次与处理成功率,建立了从处置效果到监控规则参数的量化反馈通路,使得监控策略能够根据实际运行状态自动校准阈值或补充校验环节,有效解决了人工调优滞后及规则静态固化导致的误报漏报问题;最后,结合规则热加载与多维度异常识别技术,保障了监控策略调整的实时性与异常捕获的全面性,在保证业务连续性的前提下实现了监控体系智能化水平的持续提升。
25、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com