基于自监督目标感知神经网络的网络故障预测方法及装置

1.本发明涉及网络故障预测技术领域，尤其涉及一种基于自监督目标感知神经网络的网络故障预测方法及装置。


背景技术：

2.随着网络功能的逐渐强大，使用计算机的用户数量突飞猛进，所以网络的管理以及维护理所当然受到重视，加强网络管理，也就需要对网络故障进行捕获、诊断以及预测。目前，从预测角度应用神经网络作为动态预测模型进行故障预测，基于神经网络的网络故障预测越来越成为主要的网络故障预测方法，能够从网络状态数据中自动学习出潜在的故障征兆与特定故障之间的映射，机器学习是提高网络故障预测的关键技术。
3.早期的基于会话的预测是基于马尔科夫链的方法，该方法仅能基于前一个操作预测网络下一次发生的故障，传统的基于马尔可夫链方法以及基于递归神经网络的顺序模型，依赖下一个故障预测损失来训练模型，这容易出现过度拟合问题，该模型可能会无法区分混淆偏差，因此导致预测准确性不高。


技术实现要素：

4.本发明提供一种基于自监督目标感知神经网络的网络故障预测方法及装置，用以解决或者至少部分解决现有技术中存在的预测准确性不高的技术问题。
5.为了解决上述技术问题，本发明第一方面提供了基于自监督目标感知神经网络的网络故障预测方法，包括：
6.获取网络故障数据，对获取的网络故障数据进行预处理；
7.构建自监督的目标感知神经网络模型，所述神经网络模型包括嵌入层、图卷积层、自适应聚合层、自监督学习模块以及预测模块，其中，嵌入层用于对预处理后的网络故障数据进行特征表示，得到项目嵌入，图卷积层用于自动提取图结构的特征，自适应聚合层节点用于对节点故障的内在原因之间的隐藏关系进行挖掘，聚合三种网络特征之间的隐含关系后得到会话的最终特征表示，自监督学习模块用于生成一个与原始图具有差异的对比图，使用该对比图与原图进行对比学习，使其从图中学习到相应的信息，预测模块用于根据学习到的项目嵌入和会话的最终特征表示，计算每个目标项目的分数，并基于计算出的分数对下一段时间是否存在网络故障进行预测；
8.利用自监督目标感知神经网络模型对网络故障数据中的故障进行预测。
9.在一种实施方式中，所述的网络故障数据包括故障对象的标识、故障发生时间、故障发生的类型，步骤s1中的预处理包括：将获取的网络故障数据转化为时间序列数据，将发生网络故障的数据节点转化为样本序列，其中，每个时间序列数据的当前时间段能够表示一份数据在某个特定时间之前已经存在的、完整的、可验证的故障数据类型。
10.在一种实施方式中，步骤s2中嵌入层的处理过程包括：
11.对故障节点的特征进行初始化，以故障时间序列和问题反馈的数据为输入并进行
建模，构造一个图结构对故障数据进行特征表示，将每一个节点嵌入到一个统一的嵌入空间中，得到项目嵌入。
12.在一种实施方式中，图卷积层的处理过程包括：
13.利用图的结构信息，来获得图表示，并自动提取图结构的特征，具体为：将图结构数据转化成低维稠密的向量化表示方式，公式如下：
[0014][0015][0016][0017][0018][0019]
其中，t表示当次的训练，对应当次训练输入的数据，as对应于节点v
s,i
，表示矩阵中的第q行，v
t
∈v和分别是权重和偏差参数，为节点向量列表，表示在会话s中有m个节点向量，表示第k个节点上一次训练的隐藏状态，隐藏状态表示神经网络的记忆，它包含之前节点所见过的数据的信息，和分别为更新门和重置门，更新门和重置门分别决定要保留和丢弃的信息，为候选隐状态，v
t
为隐状态，σ(
·
)表示sigmoid激活函数，对于每个特征图，信息能够在相邻节点之间传播；tanh(
·
)表示双曲正切函数，
⊙
表示元素级乘法，wz，uz，wr，ur，wo，uo均为权重矩阵。
[0020]
在一种实施方式中，自适应聚合层的处理过程包括：
[0021]
获取目标感知特征的表示，公式如下：
[0022][0023][0024]
其中，对于每个会话sn，目标项目对网络故障v
s,t
的可能性用目标感知特征表示，βi是第i个会话的时间戳的注意力权重，w
gtarget
是可学习的参数，并通过引入一个本地目标注意模块来计算会话序列s中所有项目v
s,i
和每个目标项目v
s,t
∈v之间的注意权重βi，在节点向量列表中有m个节点向量，为节点向量列表，v
s,i
表示会话sn中的所有项目，v
s,j
表示会话sn中的第j个项目，v
s,i
包含v
s,j
；
[0025]
获取局部特征的表示，公式如下：
[0026]vs,l
＝v
s,t
[0027]vs,l
为局部特征的表示，v
s,t
表示会话序列s中进行的最后一个事件的项目的特征表示；
[0028]
获取全局特征的表示，公式如下：
[0029][0030]ai
＝v
τ
σ(w
gtvs,t
w
givs,i
bg)
[0031]vs,g
为全局特征的表示，引入一个全局目标注意模块来计算会话sn中所有项目v
s,i
和每个目标项目v
s,t
∈v之间的第i个会话的时间戳的注意力权重ai，其中v，w
gt
，w
gi
，bg是可学习参数；
[0032]
对局部特征和全局特征进行聚合，包括：获取局部特征和全局特征的选通函数：
[0033]
g1＝σ(w
g1vs,g
w
g2vs,l
b
g1
)
[0034]
其中，和是可学习的变换矩阵，b
g1
是可学习参数，σ(
·
)是sigmoid激活函数，根据g1对局部特征和全局特征进行聚合：
[0035]vs,p1
＝g1⊙vs,g
(1-g1)
⊙vs,l
[0036]vs,p2
＝(1-g1)
⊙vs,g
g1⊙vs,l
[0037]vs,p
＝w
p1vs,p1
w
p2vs,p2
[0038]
其中，g1为局部特征和全局特征的选通函数，v
s,p1
和v
s,p2
表示为了平衡聚合局部特征和全局特征得到的信息后交换平衡参数得到的两个特征，w
p1
和w
p2
是对特征合并进行加权的权重值；
[0039]
将局部特征与全局特征的聚合值与目标感知特征进行聚合，包括：获取聚合值和目标感知特征的选通函数g2：
[0040]
g2＝σ(w
g3vs,target
w
g4vs,p
b
g2
)
[0041]
其中，和是可学习的变换矩阵，b
g2
是可学习参数，σ(
·
)是sigmoid激活函数；将局部特征与全局特征的聚合值与目标感知特征进行聚合：
[0042]vs,f
＝g2⊙vs,target
(1-g2)
⊙vs,p
[0043]vs,f
为会话的最终特征表示。
[0044]
在一种实施方式中，自监督学习模块的处理过程包括：
[0045]
采用dropedge策略生成一个与原始图具有差异的对比图，在每个训练阶段，dropedge策略都会以一定的比率随机删除输入图形的边，它随机将相邻矩阵a的v
p
非零元素强制为零，其中v是边的总数，p是删除概率，所得的邻接矩阵表示为a
drop
，邻接矩阵与a的关系为：
[0046]adrop
＝a-a
′
[0047]
其中，a
′
是由原始边集合ε中的大小为v
p
的随机子集展开的稀疏矩阵，对a
drop
执行重新规范化得到将公式中的a
drop
替换为用于对比图的传播和训练；通过预训练将原始图转换为对比图的方式为：
[0048][0049]
其中，和分别表示原始图和对比图，和分别表示原始图和对比图的节点集，ε∈|e|和ε
′
∈|e
′
|分别表示原始图和对比图的边集；
[0050]
利用一个噪声对比型目标，在正对和负对之间使用标准的二进制交叉熵损失来建
模自监督学习任务，其中，二进制交叉熵损失函数的形式如下：
[0051][0052]
其中，每一个正对由全局信息和一个局部信息组成，每一个负对由全局信息和一个对比图中对应的局部信息组成，|v|和|v
′
|分别表示原始图和对比图的顶点集，表示原始图中所有正对的集合，表示原始图中所有负对的集合，g为原始图的全局信息，hu为原始图的局部信息，hu′
为一个对比图中对应的局部信息；
[0053]
最大化对比图的全局信息和局部信息之间的互信息，公式如下：
[0054][0055]
其中|v|和|v
′
|分别表示原始图和对比图的顶点集，表示对比图中所有正对的集合，表示原始图中所有负对的集合，g
′
为对比图的全局信息；
[0056]
根据二进制交叉熵损失函数和互信息得到自监督对比学习模块最终的损失函数
[0057][0058]
其中，α和β是平衡不同任务贡献的超参数。
[0059]
在一种实施方式中，预测模块的处理过程包括：
[0060]
根据每个候选项的初始嵌入以及当前会话的最终特征表示，首先进行点积运算，然后使用softmax函数获得输出，公式入选：
[0061][0062][0063]
其中，取候选项的初始嵌入vi和前会话的最终特征表示的内积来计算每个目标项目vi∈v的出现的score分数表示预测下一段时间是否存在网络故障，softmax(
·
)函数，为归一化指数函数；
[0064]
预测模块的损失函数为预测结果的交叉熵：
[0065][0066]
其中，有n组已知样本，c表示第c组样本，λ》0为调整经验损失和结构损失关系的系数，||θ||2为模型参数向量的范数，yc表示真实样本分布，表示模型预测分布。
[0067]
根据预测模块的损失函数和自监督对比学习模块最终的损失函数得到模型最终的损失函数
[0068][0069]
其中，γ是控制自监督学习约束规模的超参数。
[0070]
基于同样的发明构思，本发明第二方面提供了基于自监督目标感知神经网络的网络故障预测装置，包括：
[0071]
预处理模块，用于获取网络故障数据，对获取的网络故障数据进行预处理；
[0072]
模型构建模块，用于构建自监督的目标感知神经网络模型，所述神经网络模型包括嵌入层、图卷积层、自适应聚合层、自监督学习模块以及预测模块，其中，嵌入层用于对预处理后的网络故障数据进行特征表示，得到项目嵌入，图卷积层用于自动提取图结构的特征，自适应聚合层节点用于对节点故障的内在原因之间的隐藏关系进行挖掘，聚合三种网络特征之间的隐含关系后得到会话的最终特征表示，自监督学习模块用于生成一个与原始图具有差异的对比图，使用该对比图与原图进行对比学习，使其从图中学习到相应的信息，预测模块用于根据学习到的项目嵌入和会话的最终特征表示，计算每个目标项目的分数，并基于计算出的分数对下一段时间是否存在网络故障进行预测；
[0073]
故障预测模块，用于利用自监督目标感知神经网络模型对网络故障数据中的故障进行预测。
[0074]
基于同样的发明构思，本发明第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。
[0075]
基于同样的发明构思，本发明第四方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的方法。
[0076]
相对于现有技术，本发明的优点和有益的技术效果如下：
[0077]
本发明提供的一种基于自监督目标感知神经网络的网络故障预测方法，对获取的网络故障数据进行预处理作为模型输入，并构建了自监督的目标感知神经网络模型，该神经网络模型包括嵌入层、图卷积层、自适应聚合层、自监督学习模块以及预测模块，通过嵌入层、对预处理后的网络故障数据进行特征表示，得到项目嵌入，通过图卷积层自动提取图结构的特征，自适应聚合层节点用于对节点故障的内在原因之间的隐藏关系进行挖掘，聚合三种网络特征之间的隐含关系后得到会话的最终特征表示，自监督学习模块用于生成一个与原始图具有差异的对比图，使用该对比图与原图进行对比学习，使其从图中学习到相应的信息，最红通过预测模块根据学习到的项目嵌入和会话的最终特征表示，对下一段时间是否存在网络故障进行预测，从而可以提高预测的准确性。
附图说明
[0078]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0079]
图1为本发明实施例中基于自监督故障感知神经网络模型的框架图。
[0080]
图2为本发明实施例中故障预测方法的流程图。
[0081]
图3为本发明实施例提供的计算机设备的结构示意图。
具体实施方式
[0082]
通常情况下，对故障的预测操作只符合其部分特征，即网络本身对某些故障有一定的潜在特征表示，针对以上问题，受到对于自监督表示学习的启发，本发明提出了一种基于自监督对比学习框架的目标感知预测模块来缓解以上问题，通过生成一个对比图来对输入数据产生不同的随即变形，使模型更具有泛化能力。从而提供一种能够对网络故障进行精确预测的技术方案。
[0083]
本发明的主要构思包括：
[0084]
提供了一种网络故障预测方法，网络故障预测实现以下几点：对数据进行预处理并转换成向量形式，提高数据的质量；确定网络的故障点，利用已经处理好的数据作为训练样本，对模型进行训练；提取出已经训练好的模型对预处理后的向量进行预测，进行网络故障预测。本发明主要进行网络故障预测的实现与优化。包括如下步骤：s1.将网络故障数据进行预处理操作，收集网络故障诊断所需要的数据，为了尽可能完整的采集到数据，具体实施过程中主要把防火墙、路由器、交换机、数据流量、cpu占用率、内存占用率、网络丢包率、网络流量、网络延时等作为采集对象；s2.构建基于自监督目标感知神经网络模型，此模型包括会话图构建模块(会话图构建模块包含嵌入层、原始图与对比图的信息)、图卷积模块、自适应聚合模块、自监督学习模块以及预测模块，将时间序列数据输入此基于自监督目标感知图神经网络模型，对网络故障数据中的故障进行预测。旨在解决传统的预测方法因网络数据的稀疏性、随机性以至于对故障的预测不准确，设计模型更具有泛化能力，所以需要提出一个能够精确预测网络故障的方案。
[0085]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0086]
实施例一
[0087]
本发明实施例提供了基于自监督目标感知神经网络的网络故障预测方法，包括：
[0088]
获取网络故障数据，对获取的网络故障数据进行预处理；
[0089]
构建自监督的目标感知神经网络模型，所述神经网络模型包括嵌入层、图卷积层、自适应聚合层、自监督学习模块以及预测模块，其中，嵌入层用于对预处理后的网络故障数据进行特征表示，得到项目嵌入，图卷积层用于自动提取图结构的特征，自适应聚合层节点用于对节点故障的内在原因之间的隐藏关系进行挖掘，聚合三种网络特征之间的隐含关系后得到会话的最终特征表示，自监督学习模块用于生成一个与原始图具有差异的对比图，使用该对比图与原图进行对比学习，使其从图中学习到相应的信息，预测模块用于根据学习到的项目嵌入和会话的最终特征表示，计算每个目标项目的分数，并基于计算出的分数对下一段时间是否存在网络故障进行预测；
[0090]
利用自监督目标感知神经网络模型对网络故障数据中的故障进行预测。
[0091]
具体来说，三种网络特征为目标感知特征、局部特征和全局特征。
[0092]
请参见图1和图2，其中，图1为本发明实施例中基于自监督故障感知神经网络模型的框架图。图2为本发明实施例中故障预测方法的流程图。
[0093]
在一种实施方式中，所述的网络故障数据包括故障对象的标识、故障发生时间、故
障发生的类型，步骤s1中的预处理包括：将获取的网络故障数据转化为时间序列数据，将发生网络故障的数据节点转化为样本序列，其中，每个时间序列数据的当前时间段能够表示一份数据在某个特定时间之前已经存在的、完整的、可验证的故障数据类型。
[0094]
在一种实施方式中，步骤s2中嵌入层的处理过程包括：
[0095]
对故障节点的特征进行初始化，以故障时间序列和问题反馈的数据为输入并进行建模，构造一个图结构对故障数据进行特征表示，将每一个节点嵌入到一个统一的嵌入空间中，得到项目嵌入。
[0096]
具体来说，通过构建一个嵌入层将原始的故障数据作出划分和处理，由于大多数数据无法直接处理原始信号，数据处理至关重要，本步骤中数据处理大致分为三个步骤：数据的准备、数据的转换、数据的输出。数据处理是系统工程的基本环节，也是提高算法准确度的有效手段。因此，为了提高算法模型的准确度，在机器学习中将属性缩放到一个指定范围，使数据尺度达到统一。通过嵌入层可以处理稀疏矩阵问题。
[0097]
在一种实施方式中，图卷积层的处理过程包括：
[0098]
利用图的结构信息，来获得图表示，并自动提取图结构的特征，具体为：将图结构数据转化成低维稠密的向量化表示方式，公式如下：
[0099][0100][0101][0102][0103][0104]
其中，t表示当次的训练，对应当次训练输入的数据，as对应于节点v
s,i
，表示矩阵中的第q行，v
t
∈v和分别是权重和偏差参数，为节点向量列表，表示在会话s中有m个节点向量，表示第k个节点上一次训练的隐藏状态，隐藏状态表示神经网络的记忆，它包含之前节点所见过的数据的信息，和分别为更新门和重置门，更新门和重置门分别决定要保留和丢弃的信息，为候选隐状态，v
t
为隐状态，σ(
·
)表示sigmoid激活函数，对于每个特征图，信息能够在相邻节点之间传播；tanh(
·
)表示双曲正切函数，
⊙
表示元素级乘法，wz，uz，wr，ur，wo，uo均为权重矩阵。
[0105]
具体来说，通过构建一个图卷积层，作用于图并且利用图的结构信息，来获得图表示，可以在丰富节点连接的情况下自动提取图结构的特征(将图结构数据转化成低维稠密的向量化表示方式，同时确保图数据的性质在向量空间中也能够得到对应)。
[0106]
在一种实施方式中，自适应聚合层的处理过程包括：
[0107]
获取目标感知特征的表示，公式如下：
[0108]
[0109][0110]
其中，对于每个会话sn，目标项目对网络故障v
s,t
的可能性用目标感知特征表示，βi是第i个会话的时间戳的注意力权重，w
gtarget
是可学习的参数，并通过引入一个本地目标注意模块来计算会话序列s中所有项目v
s,i
和每个目标项目v
s,t
∈v之间的注意权重βi，在节点向量列表中有m个节点向量，为节点向量列表，v
s,i
表示会话sn中的所有项目，v
s,j
表示会话sn中的第j个项目，v
s,i
包含v
s,j
；
[0111]
获取局部特征的表示，公式如下：
[0112]vs,l
＝v
s,t
[0113]vs,l
为局部特征的表示，v
s,t
表示会话序列s中进行的最后一个事件的项目的特征表示；
[0114]
获取全局特征的表示，公式如下：
[0115][0116]ai
＝v
τ
σ(w
gtvs,t
w
givs,i
bg)
[0117]vs,g
为全局特征的表示，引入一个全局目标注意模块来计算会话sn中所有项目v
s,i
和每个目标项目v
s,t
∈v之间的第i个会话的时间戳的注意力权重ai，其中v，w
gt
，w
gi
，bg是可学习参数；
[0118]
对局部特征和全局特征进行聚合，包括：获取局部特征和全局特征的选通函数：
[0119]
g1＝σ(w
g1vs,g
w
g2vs,l
b
g1
)
[0120]
其中，和是可学习的变换矩阵，b
g1
是可学习参数，σ(
·
)是sigmoid激活函数，根据g1对局部特征和全局特征进行聚合：
[0121]vs,p1
＝g1⊙vs,g
(1-g1)
⊙vs,l
[0122]vs,p2
＝(1-g1)
⊙vs,g
g1⊙vs,l
[0123]vs,p
＝w
p1vs,p1
w
p2vs,p2
[0124]
其中，g1为局部特征和全局特征的选通函数，v
s,p1
和v
s,p2
表示为了平衡聚合局部特征和全局特征得到的信息后交换平衡参数得到的两个特征，w
p1
和w
p2
是对特征合并进行加权的权重值；
[0125]
将局部特征与全局特征的聚合值与目标感知特征进行聚合，包括：获取聚合值和目标感知特征的选通函数g2：
[0126]
g2＝σ(w
g3vs,target
w
g4vs,p
b
g2
)
[0127]
其中，和是可学习的变换矩阵，b
g2
是可学习参数，σ(
·
)是sigmoid激活函数；将局部特征与全局特征的聚合值与目标感知特征进行聚合：
[0128]vs,f
＝g2⊙vs,target
(1-g2)
⊙vs,p
[0129]vs,f
为会话的最终特征表示。
[0130]
具体来说，在部分情况下，某些节点故障的内在原因之间具有某种关系，本发明通
过一个自适应聚合模块对这种隐藏关系进行挖掘，以适应性地故障时间序列与问题反馈的相关性，为了进一步从多角度对网络故障进行预测，本实施例用三个不同的嵌入来获得最终的特征表示，从而增强模型的预测能力，这三个不同的特征分别是目标感知特征、局部特征和全局特征(该处的特征是一种隐藏特征，从这三个特征角度去融合故障内在的原因得到最终的特征表示，而图卷积层中提取特征构造图结构是将图结构数据转换为向量表示并投影到一个统一的嵌入空间中)，目标感知特征v
s,target
是通过在最后点击的项目和所有可能的目标项目之间使用注意力机制(这是因为网络故障可能是因为由于使用者最后一次点击的项目引起的，也有可能是某时间段内进行的项目引起的)。
[0131]
目标感知特征采用目标项目对网络故障v
s,t
的可能性来表示。局部特征v
s,l
是从过去一段时间内进行的最后一个事件的嵌入特征中获取的，也就是说，将会话序列s中进行的最后一个事件的项v
s,t
表示为局部特征。全局特征v
s,g
是通过使用附加注意机制在过去一段时间内嵌入所有事件日志的项目来获得。具体实施过程中，通过聚合所有节点向量来得到会话的全局嵌入，即全局特征。
[0132]
在得到上述三类特征后，通过一个自适应聚合模块进行聚合。首先对局部特征和全局特征进行聚合，然后将它们的聚合值与目标感知特征进一步聚合。具体实施过程中，在进行局部特征和全局特征聚合操作时发现，在进行聚合的过程中，由于局部特征和全局特征是同样重要的，而门控机制中的重置门会并不能公平的对这两组信息进行融合，必然会产生信息的丢失，为了尽可能的减少重置门对于特征的丢失，本实施方式对局部特征和全局特征的聚合操作进行了如前文的设计(即前文中局部特征和全局特征的聚合方式的公式)。而目标感知特征的优先级很显然高于聚合值，所以本实施方式直接进行聚合值和目标感知特征的聚合操作。
[0133]
在一种实施方式中，自监督学习模块的处理过程包括：
[0134]
采用dropedge策略生成一个与原始图具有差异的对比图，在每个训练阶段，dropedge策略都会以一定的比率随机删除输入图形的边，它随机将相邻矩阵a的v
p
非零元素强制为零，其中v是边的总数，p是删除概率，所得的邻接矩阵表示为a
drop
，邻接矩阵与a的关系为：
[0135]adrop
＝a-a
′
[0136]
其中，a
′
是由原始边集合ε中的大小为v
p
的随机子集展开的的稀疏矩阵，对a
drop
执行重新规范化得到将公式中的a
drop
替换为用于对比图的传播和训练；通过预训练将原始图转换为对比图的方式为：
[0137][0138]
其中，和分别表示原始图和对比图，和分别表示原始图和对比图的节点集，ε∈|e|和ε
′
∈|e
′
|分别表示原始图和对比图的边集；
[0139]
利用一个噪声对比型目标，在正对和负对之间使用标准的二进制交叉熵损失来建模自监督学习任务，其中，二进制交叉熵损失函数的形式如下：
[0140]
[0141]
其中，每一个正对由全局信息和一个局部信息组成，每一个负对由全局信息和一个对比图中对应的局部信息组成，|v|和|v
′
|分别表示原始图和对比图的顶点集，表示原始图中所有正对的集合，表示原始图中所有负对的集合，g为原始图的全局信息，hu为原始图的局部信息，hu′
为一个对比图中对应的局部信息；
[0142]
最大化对比图的全局信息和局部信息之间的互信息，公式如下：
[0143][0144]
其中|v|和|v
′
|分别表示原始图和对比图的顶点集，表示对比图中所有正对的集合，表示原始图中所有负对的集合，g
′
为对比图的全局信息；
[0145]
根据二进制交叉熵损失函数和互信息得到自监督对比学习模块最终的损失函数
[0146][0147]
其中，α和β是平衡不同任务贡献的超参数。
[0148]
具体来说，由于数据稀疏和噪声数据这些问题可能会影响性能，特别是在复杂的、需要参数的模型中。本实施例利用了一种自监督学习任务，通过最大化互信息在原始网络和对比图网络之间进行对比学习，dropedge策略会对图形连接产生不同的扰动(通过随机添加或删除一定比例的边来扰乱图中的连通性)。因此，它会对输入数据产生不同的随机变形，可以被视为图形的数据扩充技巧。通过这种策略生成一个与原始图具有较大差异的对比图(简单的正负样本较容易捕获，模型得到的信息有限，如果对比图与原始图太相似，则监控信号将太弱，无法很好的学习信息嵌入，因此我们需要增加对比难度来生成有较大差异的对比图，此处我们通过dropedge策略来生成对比图以学习更有辨别性的嵌入)，使用该对比图与原图进行对比学习，可以让模型用不同的视角去学习用现有数据构建的图，进而使其从图中学习到足够多的信息，从而提升模型的性能。
[0149]
利用一个噪声对比型目标，在正对(每对由全局信息和一个局部信息组成)和负对(每对由全局信息和一个对比图中对应的局部信息组成)之间使用标准的二进制交叉熵(bce)损失来建模自监督学习任务。此外，本发明进一步从另一个角度扩展了对比学习机制：最大化对比图的全局信息和局部信息之间的互信息，
[0150]
表示对比图中所有正对(每对由对比图的全局信息g
′
和一个局部信息hu′
组成)的集合，表示原始图中所有负对(每对由对比图的全局信息g
′
和一个对比图中对应的局部信息hu组成)的集合。
[0151]
该体系结构一方面利用数据本身提供的更多信息，提高了泛化能力。另一方面，它同时考虑了网络的两种视图(即原始视图和对比图)，使模型更加“平衡”和鲁棒。
[0152]
在一种实施方式中，预测模块的处理过程包括：
[0153]
根据每个候选项的初始嵌入以及当前会话的最终特征表示，首先进行点积运算，然后使用softmax函数获得输出，公式入选：
[0154][0155][0156]
其中，取候选项的初始嵌入vi和前会话的最终特征表示的内积来计算每个目标项目vi∈v的出现的score分数表示预测下一段时间是否存在网络故障，softmax(
·
)函数，为归一化指数函数；
[0157]
预测模块的损失函数为预测结果的交叉熵：
[0158][0159]
其中，有n组已知样本，c表示第c组样本，λ》0为调整经验损失和结构损失关系的系数，||θ||2为模型参数向量的范数，yc表示真实样本分布，表示模型预测分布。
[0160]
根据预测模块的损失函数和自监督对比学习模块最终的损失函数得到模型最终的损失函数
[0161][0162]
其中，γ是控制自监督学习约束规模的超参数。
[0163]
具体来说，softmax(
·
)函数，又称归一化指数函数，它是二分类函数sigmoid(
·
)函数在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。范数是一个向量空间或矩阵上所有向量的长度和大小的求和)。
[0164]
本发明采用以上技术方案与现有技术相比，具有以下的有益效果：
[0165]
1、通过自适应聚合模块，可以很好地聚合三种网络特征之间的隐含关系，获得最终的特征表示，从而更好地对网络故障进行预测；
[0166]
2、通过生成对比图的策略对输入数据产生不同的随机变形，从现有数据中获得多角度的图信息，然后通过自监督学习策略，让原图与对比图进行对比学习，从而让模型学习到更复杂的用户交互意图，使模型更具有泛化能力。
[0167]
3.通过构建一个基于对比学习的损失函数，提升模型的预测精确度以及缓解了数据稀疏的问题。
[0168]
结合以上三点，本发明所采用的自监督目标感知神经网络，从而提高网络故障预测的准确率。
[0169]
实施例二
[0170]
基于同样的发明构思，本实施例提供了基于自监督目标感知神经网络的网络故障预测装置，包括：
[0171]
预处理模块，用于获取网络故障数据，对获取的网络故障数据进行预处理；
[0172]
模型构建模块，用于构建自监督的目标感知神经网络模型，所述神经网络模型包括嵌入层、图卷积层、自适应聚合层、自监督学习模块以及预测模块，其中，嵌入层用于对预
处理后的网络故障数据进行特征表示，得到项目嵌入，图卷积层用于自动提取图结构的特征，自适应聚合层节点用于对节点故障的内在原因之间的隐藏关系进行挖掘，聚合三种网络特征之间的隐含关系后得到会话的最终特征表示，自监督学习模块用于生成一个与原始图具有差异的对比图，使用该对比图与原图进行对比学习，使其从图中学习到相应的信息，预测模块用于根据学习到的项目嵌入和会话的最终特征表示，计算每个目标项目的分数，并基于计算出的分数对下一段时间是否存在网络故障进行预测；
[0173]
故障预测模块，用于利用自监督目标感知神经网络模型对网络故障数据中的故障进行预测。
[0174]
由于本发明实施例二所介绍的装置为实施本发明实施例一中基于自监督目标感知神经网络的网络故障预测方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一中方法所采用的装置都属于本发明所欲保护的范围。
[0175]
实施例三
[0176]
基于同一发明构思，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现如实施例一中所述的方法。
[0177]
由于本发明实施例三所介绍的计算机可读存储介质为实施本发明实施例一中基于自监督目标感知神经网络的网络故障预测方法所采用的计算机可读存储介质，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该计算机可读存储介质的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的计算机可读存储介质都属于本发明所欲保护的范围。
[0178]
实施例四
[0179]
基于同一发明构思，本技术还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述程序时实现实施例一中的方法。
[0180]
如图3所示，该计算机设备：至少一个处理器s31以及存储器s32。存储器s32存储有可被至少一个处理器执行的命令，当指令被处理器执行时实施上述方法的步骤。
[0181]
其中，处理器s31与存储器s32采用的是总线进行连接，所谓总线也就是各个功能部件之间进行信息传递的公共干线，它是通过导线组成的传输线。计算机有运算器、控制器、存储器、输入设备以及输出设备这五大组件，总线就是用来连接这些组件的传输线。
[0182]
处理器s31主要是进行管理主线与通常的处理的任务，提供许多功能：处理指令、执行操作、控制时间、处理数据等。存储器s32可以存储处理器s31在执行上述操作时使用的是所有数据。
[0183]
由于本发明实施例四所介绍的计算机设备为实施本发明实施例一中基于自监督目标感知神经网络的网络故障预测方法所采用的计算机设备，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该计算机设备的具体结构及变形，故而在此不再赘述。凡是本发明实施例一中方法所采用的计算机设备都属于本发明所欲保护的范围。
[0184]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机
可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0185]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0186]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0187]
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。