异常检测方法及相关设备与流程
本申请涉及数据处理,尤其涉及异常检测方法及相关设备。
背景技术:
1、在相关技术中,在数据安全审计领域,解密行为的异常检测是保障企业数据资产安全的关键环节。相关技术主要采用单一静态规则检测或纯机器学习模型两种方式:前者通过固定阈值(如调用频率)判定异常,后者通过训练模型识别行为模式。然而,随着企业数据量爆发式增长,解密日志呈现高并发、高吞吐、行为多样化特征,且人工操作与机器调用的解密行为差异显著(人工操作具有随机性、低频次、小数据量特征,机器调用具有规律性、高频次、大数据量特征),传统检测技术暴露出以下不足:一是静态阈值未区分人/机行为,导致人工高频操作误报率高、机器异常低频操作漏报率高;二是单一检测模式难以平衡实时性与检测深度,规则检测无法识别复杂行为偏离,模型检测推理耗时大;三是检测体系无自进化能力,无法适配行为动态变化;四是特征融合不足,异常判定维度单一。因此,亟需一种能够准确的对解密行为进行异常检测方法。
技术实现思路
1、本申请的主要目的在于提供一种异常检测方法及相关设备,旨在解决如何准确的对解密行为进行异常检测的技术问题。
2、为实现上述目的,本申请提出一种异常检测方法,所述的异常检测方法包括:
3、响应于异常检测指令,获取解密行为对应的多源日志数据;
4、对所述多源日志数据执行融合特征提取操作,得到融合特征集;
5、基于预设动态阈值集与融合特征集,进行两阶段异常检测,得到异常检测结果,所述预设动态阈值集是基于行为基线构建的,所述行为基线是基于历史解密行为数据构建的。
6、在一实施例中,所述对所述多源日志数据执行融合特征提取操作,得到融合特征集的步骤,还包括:
7、基于traceid哈希分区和flink interval join,对所述多源日志数据进行实时关联,得到每条解密行为的全链路信息;
8、对所述全链路信息均执行静态特征提取操作与动态特征提取操作,得到所述全链路信息对应的静态特征、动态量化特征和动态序列特征;
9、基于所述静态特征、所述动态量化特征和所述动态序列特征,构建融合特征集。
10、在一实施例中,所述基于预设动态阈值集与融合特征集,进行两阶段异常检测,得到异常检测结果的步骤,还包括:
11、基于预设动态阈值和融合特征集,进行实时初筛,确定可疑的解密行为;
12、基于预设多模型融合架构,对所述可疑的解密行为进行深度分析,以进行异常监测,得到异常检测结果。
13、在一实施例中,所述预设多模型融合架构包括lstm行为序列模型和bert上下文语义模型,所述基于预设多模型融合架构,对所述可疑的解密行为进行深度分析,以进行异常监测,得到异常检测结果的步骤,还包括:
14、使用lstm行为序列模型对所述可疑的解密行为进行动态特征分析,以识别行为模式偏离的异常,得到第一推理结果;
15、使用bert上下文语义模型对所述可疑的解密行为进行业务逻辑行为分析,以识别异常的业务逻辑行为,得到第二推理结果;
16、基于预设动态权重,对所述第一推理结果和所述第二推理结果进行加权融合,得到加权融合结果;
17、基于所述加权融合结果,进行异常检测,得到异常检测结果。
18、在一实施例中,所述基于预设动态阈值集与融合特征集,进行两阶段异常检测,得到异常检测结果的步骤之前,还包括:
19、获取历史解密行为数据;
20、基于所述历史解密行为数据,构建行为基线;
21、基于所述行为基线和3σ统计原则,构建预设动态阈值集。
22、在一实施例中,所述基于所述行为基线和3σ统计原则,构建预设动态阈值集的步骤,还包括:
23、确定所述历史解密行为数据对应的历史融合特征集,并确定所述历史解密行为数据对应的客户端类型;
24、基于所述客户端类型,对所述历史融合特征集执行聚类操作,以统计不同客户端类型对应的动态量化特征的均值μ与标准差σ;
25、基于所述均值μ、所述标准差σ、所述行为基线和3σ统计原则,构建预设动态阈值集。
26、此外,为实现上述目的,本申请还提出一种异常检测装置,所述异常检测装置包括:
27、获取模块,所述获取模块用于响应于异常检测指令,获取解密行为对应的多源日志数据;
28、特征提取模块,所述特征提取模块用于对所述多源日志数据执行融合特征提取操作,得到融合特征集;
29、异常检测模块,所述异常检测模块用于基于预设动态阈值集与融合特征集,进行两阶段异常检测,得到异常检测结果,所述预设动态阈值集是基于行为基线构建的,所数行为基线是基于历史解密行为数据构建的。
30、此外,为实现上述目的,本申请还提出一种异常检测设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上文所述的异常检测方法的步骤。
31、此外,为实现上述目的,本申请还提出一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上文所述的异常检测方法的步骤。
32、此外,为实现上述目的,本申请还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如上文所述的异常检测方法的步骤。
33、本申请提出的一个或多个技术方案,至少具有以下技术效果:
34、本申请公开了一种异常检测方法及相关设备,涉及数据处理技术领域,与相关技术中,随着企业数据量爆发式增长,解密日志呈现高并发、高吞吐、行为多样化特征,且人工操作与机器调用的解密行为差异显著(人工操作具有随机性、低频次、小数据量特征,机器调用具有规律性、高频次、大数据量特征),传统检测技术暴露出以下不足:一是静态阈值未区分人/机行为,导致人工高频操作误报率高、机器异常低频操作漏报率高;二是单一检测模式难以平衡实时性与检测深度,规则检测无法识别复杂行为偏离,模型检测推理耗时大;三是检测体系无自进化能力,无法适配行为动态变化;四是特征融合不足,异常判定维度单一相比,在本申请中,首先,响应于异常检测指令,获取解密行为对应的多源日志数据,然后,对所述多源日志数据执行融合特征提取操作,得到融合特征集,最后,基于预设动态阈值集与融合特征集,进行两阶段异常检测,得到异常检测结果,所述预设动态阈值集是基于行为基线构建的,所述行为基线是基于历史解密行为数据构建的。
35、可以理解的是,本申请基于历史解密行为,从多维度构建行为基线,基于行为基线,生成动态的阈值集,基于动态的阈值集,进行异常检测,得到准确的异常检测结果。
1.一种异常检测方法,其特征在于,所述异常检测方法包括:
2.如权利要求1所述的异常检测方法,其特征在于,所述对所述多源日志数据执行融合特征提取操作,得到融合特征集的步骤,还包括:
3.如权利要求1所述的异常检测方法,其特征在于,所述基于预设动态阈值集与融合特征集,进行两阶段异常检测,得到异常检测结果的步骤,还包括:
4.如权利要求3所述的异常检测方法,其特征在于,所述预设多模型融合架构包括lstm行为序列模型和bert上下文语义模型,所述基于预设多模型融合架构,对所述可疑的解密行为进行深度分析,以进行异常监测,得到异常检测结果的步骤,还包括:
5.如权利要求1所述的异常检测方法,其特征在于,所述基于预设动态阈值集与融合特征集,进行两阶段异常检测,得到异常检测结果的步骤之前,还包括:
6.如权利要求5所述的异常检测方法,其特征在于,所述基于所述行为基线和3σ统计原则,构建预设动态阈值集的步骤,还包括:
7.一种异常检测装置,其特征在于,所述异常检测装置包括:
8.一种异常检测设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如权利要求1至6中任一项所述的异常检测方法的步骤。
9.一种存储介质,其特征在于,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的异常检测方法的步骤。
10.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的异常检测方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com