一种基于知识图谱和R-GCN的微服务系统日志异常检测方法
本发明涉及智能运维中的微服务系统日志异常检测,尤其涉及一种基于知识图谱和r- gcn的微服务系统日志异常检测方法。
背景技术:
1、随着微服务架构的广泛普及,现代软件系统日益呈现出分布式、弹性化、高可扩展的特点。微服务架构将传统单体应用拆分为多个可独立部署的小型服务,提升了开发敏捷性和故障隔离能力,但同时也带来了服务数量庞大、调用关系复杂、日志数据海量且异构等挑战。日志记录了微服务系统运行状态中最直接的信息,包含调用时序、错误堆栈、业务上下文和组件交互等丰富的语义内容,是异常诊断不可或缺的基础数据来源。如何从海量、非结构化的日志数据中快速准确地识别异常,已成为保障微服务系统稳定性和运维效率的关键问题。
2、现有微服务日志异常检测技术主要分为三类。第一类是基于日志序列建模的方法,代表工作有、、等,这些方法通过长短期记忆网络等循环神经网络对日志模板序列的顺序和频率模式进行建模,通过学习正常执行流程中的序列规律来识别偏离历史模式的异常。第二类是基于图结构的日志异常检测方法,代表工作有、、lmgd、等,这些方法通过构建服务依赖图或调用图,利用图神经网络(如gcn、、gat)对图结构进行建模,以捕获服务之间的拓扑依赖关系。第三类是基于知识图谱与图嵌入的异常检测方法,代表工作有、等,这些方法通过构建知识图谱整合多源运维数据,并利用知识图谱嵌入技术(如、)将实体和关系映射到低维向量空间,以支持后续的推理和检测任务。
3、然而,上述现有的技术方案中存在的问题包括:
4、第一,基于日志序列建模的方法将日志视为按时间排序的线性序列,忽略了微服务系统中服务间的调用依赖关系和拓扑结构,对于由服务间调用引发的传播性异常难以有效检测。
5、第二,现有基于图结构的方法虽然引入了图拓扑信息,但通常将所有类型的边等同处理,无法区分日志中不同关系类型(如“调用”、“影响”、“症状”等)所承载的差异化语义,导致结构信息利用不充分。
6、第三,日志的语义信息与图结构信息往往被分步处理或独立处理,缺少一种能够将二者进行端到端联合优化的有效机制,使得语义和结构在训练过程中无法相互校准和增强。
7、第四,知识图谱的构建依赖大量人工规则或模板,自动化程度低,且日志中普遍存在的同义异形实体(如“”与“order-service”)导致图谱冗余,影响后续处理效果。
技术实现思路
1、本发明提供一种基于知识图谱和r- gcn的微服务系统日志异常检测方法,以克服上述技术问题。
2、为了实现上述目的,本发明的技术方案是:
3、一种基于知识图谱和r- gcn的微服务系统日志异常检测方法,具体包括以下步骤:
4、s1:获取原始故障日志流数据;
5、根据所述原始故障日志流数据构建日志知识图谱;
6、s2:根据日志知识图谱获取实体节点嵌入矩阵与关系嵌入矩阵;基于r- gcn构建图结构表示学习模型;基于图结构表示学习模型根据实体节点嵌入矩阵与关系嵌入矩阵,获取综合实体节点表示矩阵与优化关系嵌入矩阵;
7、s3:根据综合实体节点表示矩阵与优化关系嵌入矩阵,获取语义匹配评分;根据所述语义匹配评分获取故障存在概率;根据所述故障存在概率获取优化关系嵌入矩阵中各关系边的重构误差;根据各关系边的重构误差进行实体节点异常聚合,获取各实体节点的异常得分;
8、s4:根据异常得分与预置的最优阈值实现对微服务系统日志的异常检测。
9、进一步的,所述s1具体包括步骤:
10、s11:获取原始故障日志流数据且;表示第条原始故障日志;基于预置的大语言llm模型,对所述原始故障日志流数据进行实体抽取,获取与故障相关的原始实体节点集合与原始关系集合,以得到原始三元组集合且;
11、s12:基于预置模型获取原始实体节点集合中各实体节点的语义稠密向量为:
12、(1)
13、式中:表示第个实体节点的语义稠密向量且;
14、s13:基于密度的dbscan聚类算法对所述语义稠密向量进行聚类,获取若干聚类簇;计算并获取第个聚类簇内所有语义稠密向量的均值向量为:
15、(2)
16、式中:表示均值向量;表示第个聚类簇;
17、s14:根据所述均值向量与语义稠密向量,获取第个聚类簇内的规范实体节点为:
18、(3)
19、式中:表示规范实体节点;表示欧几里得范数;
20、s15:基于s14获取第个聚类簇所有规范实体集合且;根据规范实体集合将原始三元组集合改写为精简三元组集合且;表示对原始关系集合进行聚类消岐后的关系集合;表示所有聚类簇对应的规范实体集合;根据所述精简三元组集合构建包含自环边与非自环边的有向规范知识图谱且;其中,所述自环边即为每个实体节点添加一条指向自己的边;所述非自环边即为各实体节点之间添加一条有向边;
21、s16:根据实体名称的语义特征与实体在日志故障场景中所扮演的角色,对有向规范知识图谱中的规范实体进行语义分类,获取实体类别与有向关系类型;根据所述实体类别与有向关系类型得到日志知识图谱;
22、且实体类别包括微服务组件类、故障/异常类、性能指标类、资源问题类、配置/状态问题类、安全/权限问题类、基础设施/中间件类以及其他/通用类;
23、有向关系类型包括manifests_as即表现为、affects即影响、affected_by即被影响、interacts_with即交互、symptom_of即是某一症状。
24、进一步的,所述s2具体包括步骤:
25、s21:基于预置的模型根据所述日志知识图谱,获取实体节点嵌入矩阵与关系嵌入矩阵;并将所述日志知识图谱映射为dgl图数据结构;
26、s22:构建基于r- gcn的图结构表示学习模型;
27、且所述图结构表示学习模型包括第一r-gcn网络模块、第二r-gcn网络模块、激活函数层以及dropout层;
28、所述第一r-gcn网络模块用于基于dgl图数据结构,根据实体节点嵌入矩阵与关系嵌入矩阵进行聚合操作,获取实体节点的非线性聚合结果为:
29、(4)
30、(5)
31、式中:表示第个图卷积层对实体节点的非线性聚合结果;表示实体节点通过关系类型相连的邻居实体节点集合,且;表示自环变换矩阵;表示激活函数;表示邻居实体节点集合中的元素;表示第个图卷积层对实体节点的非线性聚合结果;表示第个图卷积层对应关系类型的可学习的线性变换矩阵;表示第个图卷积层对实体节点的非线性聚合结果;表示共享基矩阵;表示个共享基矩阵的线性组合系数;表示设置的基矩阵数量;
32、所述第二r-gcn网络模块用于对第一r-gcn网络模块的输出进行聚合操作,获取实体节点的线性聚合结果为:
33、(6)
34、(7)
35、式中:表示第个图卷积层对实体节点的线性聚合结果;表示自环变换矩阵;表示第个图卷积层对实体节点的线性聚合结果;表示第个图卷积层对应关系类型的可学习的线性变换矩阵;表示第个图卷积层对实体节点的非线性聚合结果,且当=0时对应第二r-gcn网络模块的第个图卷积层,此时即为第一r-gcn网络模块的输出;表示共享基矩阵;表示个共享基矩阵的线性组合系数;
36、所述激活函数层用于对实体节点的线性聚合结果执行值域压缩;
37、所述dropout层用于对激活函数层的输出执行随机丢弃操作,获取综合实体节点表示矩阵;
38、s23:基于dgl图数据结构构造正/负样本三元组集合;
39、且正样本三元组集合为根据关系嵌入矩阵确认的知识图谱中所有非自环的真实边,所得到的正样本三元组;负样本三元组集合为通过对每条正样本三元组随机替换头实体节点或尾实体节点所生成;
40、s24:将所述实体节点嵌入矩阵作为所述图结构表示学习模型的输入,以最小化模型损失函数的损失值,对图结构表示学习模型进行模型训练,获取最优图结构表示学习模型;根据所述最优图结构表示学习模型获取最终的综合实体节点表示矩阵与模型训练后所对应的优化关系嵌入矩阵;
41、且所述模型损失函数的表达式为:
42、(8)
43、(9)
44、(10)
45、式中:表示头实体节点的嵌入向量;表示尾实体节点的嵌入向量;表示向量中的第个维度索引;表示嵌入向量的总维度数;分别表示三元组中的头实体节点、关系以及尾实体节点;表示逐元素乘积;表示以关系嵌入向量作为对角线元素构造出来的一个对角矩阵;代表激活函数;表示三元组存在的概率;表示三元组的可信度评分;表示正样本三元组集合;表示负样本三元组集合;分别表示负样本三元组中的头实体节点与尾实体节点;分别表示正样本三元组中的头实体节点与尾实体节点。
46、进一步的,所述s3具体包括步骤:
47、s31:从综合实体节点表示矩阵中取出头实体节点向量和尾实体节点向量,从优化关系嵌入矩阵中取出关系嵌入向量;并根据公式(10)计算并获取语义匹配评分;再根据公式(9)获取三元组的存在概率;
48、s32:根据所述三元组的存在概率定义边级别的重构误差为:
49、(11)
50、式中:表示重构误差;
51、s33:从所有聚类簇对应的规范实体集合中,获取所有以为头实体节点的出边集合且;和所有以为尾实体节点的入边集合且;并基于公式(11)将所述边级别的重构误差聚合到实体节点级别,获取各实体节点的异常得分为:
52、(12)
53、式中:表示所有出边重构误差;表示所有入边重构误差;表示实体节点的异常得分。
54、进一步的,s4中对微服务系统日志的异常检测具体为:
55、获取最优阈值;从规范实体集合中选取实体节点;并将实体节点所对应的异常得分与预置的最优阈值进行比较;
56、若,则判定该实体节点为异常实体;否则,判定该实体节点为正常实体,进而实现对微服务系统日志的异常检测。
57、进一步的,所述最优阈值的获取方法为:
58、s41:将正样本三元组集合作为正常样本并为其赋予伪标签0;
59、s42:按照步骤s23中生成负样本三元组的方法,以50%的概率随机替换正样本三元组的头实体节点或尾实体节点,并且确保生成的负样本三元组不在正样本三元组集合中,且所述生成负样本三元组与正样本三元组集合同等数量;
60、s43:将s42获取的负样本三元组作为异常样本,为其赋予伪标签1并记所得负样本三元组集合为;且所述负样本三元组集合与s23获取的负样本三元组集合不重复;
61、s44:将正样本三元组集合与负样本三元组集合合并,即得到代理评估集;
62、s45:根据公式(11)获取所述代理评估集中所有边级别的重构误差;以步长遍历阈值区间中的所有候选阈值;对于各候选阈值,将对应所述代理评估集中重构误差大于候选阈值的边预测为异常即预测标签1,否则预测为正常即预测标签0;
63、s46:基于s45获取各候选阈值所对应的f1分数值;并选取f1分数值最大的候选阈值作为最优阈值,或当多个候选阈值达到最大的f1分数值时,选取其中最小的候选阈值作为最优阈值。
64、有益效果:本发明提供了一种基于知识图谱和r- gcn的微服务系统日志异常检测方法,有益效果如下:
65、(1)通过构建图结构表示学习模型,即利用关系图卷积网络为每种关系类型学习独立的线性变换矩阵,实现关系感知的消息传递,精准建模微服务调用图中不同语义关系的差异化影响;
66、(2)利用模型对知识图谱进行离线预训练,获取高质量的实体节点嵌入矩阵与关系嵌入矩阵,为图结构表示学习模型的结构学习提供语义先验;通过控制rgcn参数量有效防止过拟合;
67、(3)利用大语言模型自动从非结构化日志中抽取故障相关实体节点和关系,无需人工设计抽取规则;采用预训练模型对实体提及进行向量化编码,结合dbscan密度聚类自动识别语义相似的实体并选取规范实体,有效消除同义异形冗余;
68、(4)通过根据语义匹配评分获取故障存在概率,获取各关系边的重构误差,以得到各实体节点的异常得分;根据异常得分与预置的最优阈值实现对微服务系统日志的异常检测,实现无监督条件下的端到端异常检测,无需人工标注数据即可自动确定最优阈值。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com