数据库异常处理方法、装置、电子设备及存储介质与流程
本公开涉及数据处理领域,尤其涉及一种数据库异常处理方法、装置、电子设备及存储介质。
背景技术:
1、数据库系统广泛应用于金融、电商、政务等各类业务场景中,是支撑业务连续运行的关键基础设施。随着业务规模的持续扩大和数据量的不断增长,数据库系统的运维复杂性也随之增加。
2、目前,数据库的异常检测主要依赖监控系统采集运行指标数据并设置固定阈值进行告警,运维人员在接收到告警后,凭借个人经验判断异常类型并选择相应的处理方式。然而,由于数据库的业务负载具有明显的周期性变化特征,固定阈值难以适应不同时段的变化规律,导致误报或漏报的情况频繁出现。此外,不同的异常表象可能对应不同的根因,异常处理方案的选择依赖人工经验,处理效率较低,且异常处理过程中的经验难以沉淀和复用。
技术实现思路
1、本公开提供了一种数据库异常处理方法、装置、电子设备及存储介质。其主要目的在于解决以上技术问题的至少之一。
2、根据本公开的第一方面,提供了一种数据库异常处理方法,包括:
3、采集数据库的运行指标数据;
4、将所述运行指标数据划分为多个指标组,分别对各个指标组进行异常检测,当任一指标组检测到异常时,生成异常事件;其中,所述多个指标组包括整体性能指标组、资源使用指标组、单sql性能指标组、进程状态指标组中的至少两个;
5、根据所述异常事件与预设的异常场景库中各个异常场景的匹配度,确定匹配的目标异常场景及对应的处理预案;
6、获取根据所述处理预案处理所述异常事件的反馈信息,基于所述反馈信息更新所述异常场景库。
7、在一些实施例中,所述分别对各个指标组进行异常检测,包括:
8、基于预训练的无监督或半监督异常检测模型对所述整体性能指标组进行异常检测;
9、根据预设的资源使用率上下限阈值以及单位时间内的变化速率对所述资源使用指标组进行异常检测;
10、基于历史同期数据确定的高分位阈值对所述单sql性能指标组进行异常检测;
11、基于预设状态正常运行范围和/或告警信息,对所述进程状态指标组进行异常检测。
12、在一些实施例中,在所述基于预训练的无监督或半监督异常检测模型对所述整体性能指标组进行异常检测之前,所述方法还包括:
13、按预设时间间隔获取所述数据库的历史正常样本数据;其中,所述历史正常样本数据为与当前时间具有相同业务周期特性的历史时段的运行指标数据;
14、基于所述历史正常样本数据对无监督或半监督异常检测模型进行训练,得到所述预训练的无监督或半监督异常检测模型。
15、在一些实施例中,所述基于预训练的无监督或半监督异常检测模型对所述整体性能指标组进行异常检测,包括:
16、将所述整体性能指标组的当前特征向量输入所述预训练的无监督或半监督异常检测模型,计算平均路径长度并将其映射为异常得分;
17、当所述异常得分超过基于历史正常样本确定的阈值时,确定所述整体性能指标组异常。
18、在一些实施例中,在所述根据所述异常事件与预设的异常场景库中各个异常场景的匹配度,确定匹配的目标异常场景及对应的处理预案之前,所述方法还包括:
19、构建所述预设的异常场景库;所述异常场景库包含多个异常场景;每个异常场景对应配置有场景特征标签、关联的历史案例集合、关键指标与非关键指标的划分、各个指标对应的权重系数以及处理预案;
20、其中,同一异常场景下,关键指标对应的权重系数大于非关键指标对应的权重系数,且所有指标对应的权重系数的平均值为1。
21、在一些实施例中,所述根据所述异常事件与预设的异常场景库中各个异常场景的匹配度,确定匹配的目标异常场景及对应的处理预案,包括:
22、提取所述异常事件对应的异常特征向量;
23、基于所述各个异常场景的所述各个指标对应的权重系数,分别确定所述异常特征向量与所述各个异常场景下所有历史案例的特征向量的平均加权距离及最小加权距离;
24、基于所述各个异常场景分别对应的所述平均加权距离和所述最小加权距离的平均值,确定所述异常事件与所述各个异常场景的综合距离;
25、按照综合距离从小到大的顺序,将预设数量的异常场景确定为所述目标异常场景,获取并输出所述目标异常场景对应的处理预案以及所述目标异常场景中加权距离最小的历史案例对应的分析报告。
26、在一些实施例中,所述获取根据所述处理预案处理所述异常事件的反馈信息,基于所述反馈信息更新所述异常场景库,包括:
27、若所述反馈信息指示所述目标异常场景匹配正确,则将所述异常事件及所述异常特征向量作为新的历史案例加入所述目标异常场景对应的历史案例集合;
28、若所述反馈信息指示所述目标异常场景匹配错误,则调整所述目标异常场景的所述关键指标与所述非关键指标的划分和/或所述各个指标对应的权重系数;
29、若所述反馈信息指示所述异常事件不属于所述异常场景库中已有的任一异常场景,则根据所述异常事件创建新的异常场景并加入所述异常场景库。
30、根据本公开的第二方面,提供了一种数据库异常处理装置,包括:
31、采集单元,用于采集数据库的运行指标数据;
32、检测单元,用于将所述运行指标数据划分为多个指标组,分别对各个指标组进行异常检测,当任一指标组检测到异常时,生成异常事件;其中,所述多个指标组包括整体性能指标组、资源使用指标组、单sql性能指标组、进程状态指标组中的至少两个;
33、匹配单元,用于根据所述异常事件与预设的异常场景库中各个异常场景的匹配度,确定匹配的目标异常场景及对应的处理预案;
34、更新单元,用于获取根据所述处理预案处理所述异常事件的反馈信息,基于所述反馈信息更新所述异常场景库。
35、在一些实施例中,所述检测单元,包括:
36、第一检测模块,用于基于预训练的无监督或半监督异常检测模型对所述整体性能指标组进行异常检测;
37、第二检测模块,用于根据预设的资源使用率上下限阈值以及单位时间内的变化速率对所述资源使用指标组进行异常检测;
38、第三检测模块,用于基于历史同期数据确定的高分位阈值对所述单sql性能指标组进行异常检测;
39、第四检测模块,用于基于预设状态正常运行范围和/或告警信息,对所述进程状态指标组进行异常检测。
40、在一些实施例中,所述装置还包括:
41、获取模块,用于在所述第一检测模块基于预训练的无监督或半监督异常检测模型对所述整体性能指标组进行异常检测之前,按预设时间间隔获取所述数据库的历史正常样本数据;其中,所述历史正常样本数据为与当前时间具有相同业务周期特性的历史时段的运行指标数据;
42、训练模块,用于基于所述历史正常样本数据对无监督或半监督异常检测模型进行训练,得到所述预训练的无监督或半监督异常检测模型。
43、在一些实施例中,所述第一检测模块,还用于:
44、将所述整体性能指标组的当前特征向量输入所述预训练的无监督或半监督异常检测模型,计算平均路径长度并将其映射为异常得分;
45、当所述异常得分超过基于历史正常样本确定的阈值时,确定所述整体性能指标组异常。
46、在一些实施例中,所述装置还包括:
47、构建单元,用于在所述匹配单元根据所述异常事件与预设的异常场景库中各个异常场景的匹配度,确定匹配的目标异常场景及对应的处理预案之前,构建所述预设的异常场景库;所述异常场景库包含多个异常场景;每个异常场景对应配置有场景特征标签、关联的历史案例集合、关键指标与非关键指标的划分、各个指标对应的权重系数以及处理预案;
48、其中,同一异常场景下,关键指标对应的权重系数大于非关键指标对应的权重系数,且所有指标对应的权重系数的平均值为1。
49、在一些实施例中,所述匹配单元,包括:
50、提取模块,用于提取所述异常事件对应的异常特征向量;
51、第一确定模块,用于基于所述各个异常场景的所述各个指标对应的权重系数,分别确定所述异常特征向量与所述各个异常场景下所有历史案例的特征向量的平均加权距离及最小加权距离;
52、第二确定模块,用于基于所述各个异常场景分别对应的所述平均加权距离和所述最小加权距离的平均值,确定所述异常事件与所述各个异常场景的综合距离;
53、输出模块,用于按照综合距离从小到大的顺序,将预设数量的异常场景确定为所述目标异常场景,获取并输出所述目标异常场景对应的处理预案以及所述目标异常场景中加权距离最小的历史案例对应的分析报告。
54、在一些实施例中,所述更新单元,还用于:
55、若所述反馈信息指示所述目标异常场景匹配正确,则将所述异常事件及所述异常特征向量作为新的历史案例加入所述目标异常场景对应的历史案例集合;
56、若所述反馈信息指示所述目标异常场景匹配错误,则调整所述目标异常场景的所述关键指标与所述非关键指标的划分和/或所述各个指标对应的权重系数;
57、若所述反馈信息指示所述异常事件不属于所述异常场景库中已有的任一异常场景,则根据所述异常事件创建新的异常场景并加入所述异常场景库。
58、根据本公开的第三方面,提供了一种电子设备,包括:
59、至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,
60、所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述第一方面所述的方法。
61、根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行前述第一方面所述的方法。
62、根据本公开的第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如前述第一方面所述的方法。
63、综上所述,本公开提供的数据库异常处理方法、装置、电子设备及存储介质,该方法包括:采集数据库的运行指标数据;将所述运行指标数据划分为多个指标组,分别对各个指标组进行异常检测,当任一指标组检测到异常时,生成异常事件;其中,所述多个指标组包括整体性能指标组、资源使用指标组、单sql性能指标组、进程状态指标组中的至少两个;根据所述异常事件与预设的异常场景库中各个异常场景的匹配度,确定匹配的目标异常场景及对应的处理预案;获取根据所述处理预案处理所述异常事件的反馈信息,基于所述反馈信息更新所述异常场景库。与相关技术相比,本公开的方案能够通过将数据库的运行指标数据划分为多个指标组并分别进行异常检测,当任一指标组检测到异常时生成异常事件,再通过异常事件与预设的异常场景库中各个异常场景的匹配度确定目标异常场景及对应的处理预案,并基于处理预案执行后的反馈信息更新异常场景库,从而覆盖数据库不同运行维度的异常检测,减少固定阈值导致的误报或漏报,并通过场景匹配机制为异常事件提供对应的处理预案,降低对人工经验的依赖,同时通过反馈信息持续更新异常场景库,使异常处理经验得以沉淀和复用。
64、应当理解,本部分所描述的内容并非旨在标识本技术的实施例的关键或重要特征,也不用于限制本技术的范围。本技术的其它特征将通过以下的说明书而变得容易理解。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com