基于子图匹配和分布式查询的运维故障诊断分析方法与流程

技术特征：
1.一种基于子图匹配和分布式查询的运维故障诊断分析方法，其特征在于，包括以下步骤：步骤1)基于子图匹配的方法，建立知识图谱的故障处置措施检索模型：在既存的运维知识图谱中，通过定义检索图-匹配子图-子检索划分-进行子检索-连接子检索结果五个步骤构建基于知识图谱的运维故障处置措施检索模型；步骤2)根据知识图谱中査询图和结果图的拓扑结构特征，基于图结构和语义信息的相似度计算，对结果子图进行排序，得到最优的查询结果：对查询图谱与结果子图进行基于图结构的相似度计算，对图谱之间的语义信息通过语义特征描述进行语义相似度计算；通过将基于图结构的相似度计算与基于语义信息的相似度计算进行线性叠加得到各个子图最终的综合得分score，并且通过score对结果子图进行排序得到最优的查询结果，从而得到最优的k个结果图；步骤3)基于top-k查询模型进行优化，使用分布式查询方法加快查询速度，在分布式图数据处理平台上分别从作业调度和数据存储两个方面优化分布式知识图谱查询的执行效率：基于top-k查询模型进行优化，利用分布式环境的计算能力加快查询速度，并在分布式图数据处理平台上，分别从作业调度和数据存储两个方面优化分布式知识图谱查询的执行效率；步骤4)对运维告警数据进行分级并且筛选相关网元属性：根据大量告警数据中不同级别的问题信息，优先抓取重要和关键告警，并对故障信息进行分级；在出现故障信息，根据告警分级初步判定该故障信息的处理级别，以及受影响的业务，通过网元归属关系查找性能系统网元归属关系和用户容量报表，根据故障网元筛选出归属关系、登记用户数和覆盖范围属性；步骤5)基于大规模智能运维知识图谱，将每种故障的处理步骤规则化：基于大规模智能运维知识图谱，依据历年故障数据库中的信息将每种故障的处理步骤规则化；步骤6)在基于步骤1)、2)、3)知识图谱平台的智能运维决策分析模块中，直接调用“实体-关系-实体”对象，最终形成一键运维故障诊断分析报表：通过大规模智能运维知识图谱，确定实体-关系-实体对象，输出故障诊断说明；故障诊断知识转化采用自动化手段，在基于知识图谱平台的智能运维决策分析原型模块中，直接调用“实体-关系-实体”对象，最终形成一键故障诊断分析报表。2.根据权利要求1所述的基于子图匹配和分布式查询的运维故障诊断分析方法，其特征在于，所述步骤1)具体包括：步骤1.1)定义检索图：对于检索图q＝(e
q
，r
q
)，包含点集合e
q
和边集合r
q
，其中，每一个检索点都对应一个具体的实体描述，边表示任意两个点之间的关系；步骤1.2)匹配子图：对于给定的知识图谱g＝(e
g
，r
g
，e
g
)和检索子图q＝(e
q
，r
q
)，匹配子图的目的是在图谱g中找到子图q的匹配子图φ(q)，φ将子图q中的点e
q
映射到图谱g中的点φ(e
g
)中，将子图q中的边r
q
映射到图谱g中的边φ(r
g
)中，即将图谱g中满足相关映射函数的子图定义为匹配子图φ(q)；步骤1.3)子检索划分：将检索图划分为多个顶点数目少，边特征单一的子检索图降低检索难度，将子检索图划分为两层树的结构，使每个自检索图包含一个根节点，一层子节点和边；通过逐层的匹配得到子检索的检索结果进而得到检索图的检索结果；
步骤1.4)进行子检索：对于步骤1.3)中的子检索图，将子检索图分解成最小生成树，输入数据图与划分后的子检索图，初始化子检索结果集d
i
与匹配点对集合t为空，由根节点生成备选匹配点对集合t，对于集合t，如果t中包含子检索图q的所有节点，计算图的边是否符合标准，将符合判断标准的结果存入子检索结果集d
i
，在完成所有匹配后最终得到结果集d
i
；步骤1.5)连接子检索结果：对于步骤1.4)得到的子检索结果，将所有子检索得结果连接到一起，生成匹配子图；当且仅当q
i
、q
j
两个子检索有共同顶点时，进行检索结果的连接；子检索结果的连接的基本过程如下：初始化子检索结果集d，对于划分的子检索集q
i
∈(q1，q2，
…
q
n
)按照子检索进行方法执行所有的q
i
得到所有的子检索结果，之后对各子检索结果进行哈希连接，保存匹配度满足阈值λ的结果到c中，并将结果按匹配度排序处理，对存储在c中的检索结果运用评价模型进行评价，得出检索结果重要度f，返回检索结果集c，完成检索。3.根据权利要求1所述的基于子图匹配和分布式查询的运维故障诊断分析方法，其特征在于，所述步骤2)具体包括：步骤2.1)基于图结构的相似度计算：对查询图谱与结果子图的结构进行定量化分析；定义若存在两个知识图谱g1中的节点a，g2中的节点b，两图谱中邻居节点相似，则节点a和节点b相似；同理，边的起点和终点相似，则边相似；定义若任意节点或任意边的相似度越高，则子图匹配的程度越高；结构相似度主要通过节点相似度和边相似度构成的矩阵来衡量；定义图谱g1中有i个节点，图谱g2中有j个节点，则相似度矩阵规模i*j，用x
ab
表示图谱g1中节点a与图谱g2中节点b的相似度，y
cd
表示图谱g1中边c与图谱g2中边d的相似度，则得出如下节点与边的得分求解公式：其中sx表示图谱g1与图谱g2节点相似度得分矩阵，x
i
(k)表示k次迭代后两图谱中各点相似度；sy表示图谱g1与图谱g2边相似度得分矩阵，y
i
(k)表示k次迭代后两图谱中各边的相似度；通过对图谱点相似度与图谱边相似度取平均值并且进行相加得到查询图谱与结果子图的结构相似度得分s
sim
，公式如下：其中，n1与n2分别表示图谱g1与图谱g2中节点的个数，m1与m2分别表示图谱g1与图谱g2中边的个数；步骤2.2)基于语义信息的相似度计算：对于给出查询图谱g
s
＝(g1，g2，
…
，g
n
)与结果子图g
r
＝(r1，r2，
…
，r
n
)，其中r
i
为三元组，规定将查询图谱与结果子图的相似度用似然估计概率p(g
s
|g
r
)表示，根据概率大小判断相似度大小并对结果子图进行排序，基于似然估计概率p(g
s
|g
r
)的语义相似度得分计算方法如下：
其中，p(g
i
|g
r
)表示查询图谱g
s
的统计语言模型能产生词g
i
的概率，使用g
i
在多个三元组模型中产生的概率p(g
i
|r
j
)的平均值来表示；步骤2.3)得到线性加权相似度得分：通多对步骤2.1)中的结构相似度得分s
sim
与步骤2.2)中的语义相似度得分进行线性加权融合得到最终的相似度得分情况，公式如下所示：其中，η为一个取值为[0，1]的可变参数，用来调节两个相似度得分在综合相似度得分中的比重；通过对综合相似度的得分对结果子图进行排序，得到最优的查询结果，完成故障检索。4.根据权利要求1所述的基于子图匹配和分布式查询的运维故障诊断分析方法，其特征在于，所述步骤3)具体包括：步骤3.1)基于top-k查询模型进行优化，利用分布式环境的计算能力加快查询速度，采用分布式广度优先搜索的方法实时计算知识图谱中实体间的距离；提出基于限界技术的査询优化方法加快查询速度，以实体间距离的上下界取代精确距离，并基于上下界推导最优的k个结果图，减少查询时间；在分布式环境下实现知识图谱图查询算法，通过分布式环境下知识图谱的存储方式以及查询任务之间的交互模式，保证分布式查询算法在实际环境中得以执行；步骤3.2)在分布式图数据处理平台上，分别从作业调度和数据存储两个方面优化分布式知识图谱查询的执行效率：通过优化分布式图査询任务的数据加载时间；通过面向数据本地性的任务调度算法，将任务调度到数据所在的计算节点；通过基于共享内存的数据图复用技术，使内存中的知识图谱数据被多个査询任务复用。

技术总结
本发明公开了基于子图匹配和分布式查询的运维故障诊断分析方法，包括1）基于子图匹配的方法，建立知识图谱的故障处置措施检索模型；2）基于图结构和语义信息的相似度计算，对结果子图进行排序，得到最优的查询结果；3）基于Top-k查询模型进行优化，使用分布式查询方法加快查询速度；4）对运维告警数据进行分级并且筛选相关网元属性；5）基于大规模智能运维知识图谱，将每种故障的处理步骤规则化；6）在基于步骤1）、2）、3）知识图谱平台的智能运维决策分析模块中，直接调用“实体—关系—实体”对象，最终形成一键运维故障诊断分析报表。本发明通过在子图匹配、检索算法、分布式处理等方向的优化，解决现有技术的可用性问题与效率问题。题。题。


技术研发人员：顾昊旻 陆宏波 袁以友 高德荃 来风刚 赵子岩 徐浩 曲延盛 王云霄
受保护的技术使用者：国家电网有限公司信息通信分公司 国网山东省电力公司信息通信公司
技术研发日：2021.12.13
技术公布日：2022/3/15