一种基于运行日志语义演化的软件异常预警方法与流程
本发明涉及计算机,尤其涉及一种基于运行日志语义演化的软件异常预警方法。
背景技术:
1、软件系统运行过程中产生的日志数据蕴含了系统状态与行为的丰富语义信息,运维人员通常基于日志进行故障诊断与异常预警,如何挖掘日志语义中隐含的演化规律以实现对软件异常的提前感知是当前研究的核心问题。
2、软件异常检测方法一般基于统计模型或深度学习架构,通过对日志模板的频率统计、文本特征的向量化表示或序列建模等方式实现异常判定。
3、而上述方法均聚焦于日志的表层特征或序列结构,难以捕捉日志语义随时间推移而呈现的渐进式演化规律,尤其当系统正常运行时日志语义处于平稳演化状态,而异常发生时语义轨迹会发生偏离与突变,这种演化模式的本质差异导致现有方法在区分正常语义波动与异常语义偏离时能力不足。
技术实现思路
1、本发明的目的在于提供一种基于运行日志语义演化的软件异常预警方法,来有效解决上述背景技术中的技术问题。
2、本发明提供一种基于运行日志语义演化的软件异常预警方法,包括:
3、将待检测时段内的运行日志序列输入预先训练好的语义编码网络中,得到所述运行日志序列对应的语义向量表示;
4、基于预设的时间窗口划分策略,将所述语义向量表示按照时间顺序进行分段处理,得到若干个时间语义子序列;
5、对各所述时间语义子序列进行语义演化轨迹建模,提取各时间粒度下的语义状态特征,构建语义演化轨迹矩阵;
6、基于预先建立的正常语义演化模型,对所述语义演化轨迹矩阵进行偏差检测计算,得到语义偏差评分;
7、根据预设的置信度评估机制,对所述语义偏差评分进行置信度加权处理,得到加权语义偏差评分;
8、基于所述加权语义偏差评分与预设预警阈值的比较结果,生成软件异常预警信号。
9、在一些实施例中,所述语义编码网络采用基于transformer架构的深度神经网络模型。
10、在一些实施例中,所述语义编码网络的训练过程至少包括:
11、收集多个软件系统正常运行状态下产生的日志数据作为正样本,收集异常运行状态下产生的日志数据作为负样本;
12、将正样本和负样本对应的日志序列输入初始编码网络中进行特征提取,得到对应的语义向量表示;
13、利用对比学习方法优化初始编码网络的参数,使得正常日志和异常日志在语义空间中的分布具有区分度。
14、在一些实施例中,所述基于预设的时间窗口划分策略,将所述语义向量表示按照时间顺序进行分段处理,至少包括:
15、根据日志产生的时间戳信息,按照固定长度或可变长度的时间窗口对语义向量序列进行划分;
16、固定长度时间窗口的窗口大小根据日志产生频率和系统运行周期确定;
17、可变长度时间窗口的窗口边界根据语义变化的剧烈程度动态调整。
18、在一些实施例中,所述对各所述时间语义子序列进行语义演化轨迹建模,至少包括:
19、针对每个时间语义子序列,利用循环神经网络或变分自编码器提取该时间子序列的时序特征和分布特征;
20、将提取的特征进行融合处理,得到该时间粒度下的语义状态表示;
21、将各时间粒度的语义状态表示按照时间顺序进行拼接,构建语义演化轨迹矩阵。
22、在一些实施例中,所述语义演化轨迹建模还包括:
23、利用图神经网络对日志语义关系进行建模,生成语义关系图;
24、将语义关系图中的节点特征与时序特征进行融合,丰富语义状态表示的信息维度;
25、通过图注意力机制自适应调整不同语义关系在轨迹建模中的权重。
26、在一些实施例中,所述基于预先建立的正常语义演化模型,对所述语义演化轨迹矩阵进行偏差检测计算,至少包括:
27、利用历史正常运行数据建立正常语义演化模型;
28、将当前时段对应的语义演化轨迹矩阵输入正常语义演化模型中,计算当前轨迹与正常轨迹之间的分布距离;
29、利用欧氏距离或余弦相似度作为分布距离的度量方式;
30、将计算得到的分布距离作为语义偏差评分。
31、在一些实施例中,所述正常语义演化模型的建立过程至少包括:
32、收集软件系统在不同负载、不同业务场景下正常运行时的日志数据;
33、对正常运行日志数据进行语义编码和轨迹建模,得到正常语义演化轨迹样本集;
34、利用高斯混合模型或自编码器对正常语义演化轨迹样本集进行建模,得到正常语义演化模型。
35、在一些实施例中,所述根据预设的置信度评估机制,对所述语义偏差评分进行置信度加权处理,至少包括:
36、基于语义编码网络对当前日志序列的编码质量,评估语义向量表示的置信度;
37、基于语义演化轨迹建模过程中各时间粒度特征的重建误差,评估语义状态表示的置信度;
38、基于正常语义演化模型对当前轨迹的拟合程度,评估偏差检测结果的置信度;
39、将多维度置信度进行融合,得到综合置信度权重;
40、将语义偏差评分与综合置信度权重相乘,得到加权语义偏差评分。
41、在一些实施例中,所述置信度评估机制还包括:
42、当综合置信度权重低于预设置信度阈值时,对当前预警结果进行标记,表示该预警结果的可信度较低;
43、当连续多个时间窗口的加权语义偏差评分呈现上升趋势时,触发预警级别提升机制。
44、本发明与现有技术相比,具有如下有益效果:
45、1.通过语义编码网络将日志文本映射到高维语义空间并提取深层语义特征,有效解决传统方法仅关注日志表层特征的问题;通过时间窗口划分和语义演化轨迹建模,捕捉日志语义随时间推移而呈现的渐进式演化规律,区分正常语义波动与异常语义偏离;
46、2.通过置信度加权处理机制,评估偏差检测结果的可信程度,提升预警信号的可靠性;通过动态阈值调整和增量模型更新机制,适应系统运行模式的动态变化,实现高准确率的软件异常预警。
1.一种基于运行日志语义演化的软件异常预警方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述语义编码网络采用基于transformer架构的深度神经网络模型为核心编码器。
3.根据权利要求1所述的方法,其特征在于,所述语义编码网络的训练过程至少包括:
4.根据权利要求1所述的方法,其特征在于,所述基于预设的时间窗口划分策略,将所述语义向量表示按照时间顺序进行分段处理,至少包括:
5.根据权利要求1所述的方法,其特征在于,所述对各所述时间语义子序列进行语义演化轨迹建模,至少包括:
6.根据权利要求5所述的方法,其特征在于,所述语义演化轨迹建模还包括:
7.根据权利要求1所述的方法,其特征在于,所述基于预先建立的正常语义演化模型,对所述语义演化轨迹矩阵进行偏差检测计算,至少包括:
8.根据权利要求7所述的方法,其特征在于,所述正常语义演化模型的建立过程至少包括:
9.根据权利要求1所述的方法,其特征在于,所述根据预设的置信度评估机制,对所述语义偏差评分进行置信度加权处理,至少包括:
10.根据权利要求9所述的方法,其特征在于,所述置信度评估机制还包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com