故障检测方法及装置、计算机可存储介质与流程

1.本公开涉及大数据或人工智能技术领域，特别涉及故障检测方法及装置、计算机可存储介质。


背景技术：

2.云计算、区块链和第六代移动通信等新技术的发展带动了海量的服务器新需求，服务器也朝着集约化一体化管理演进。虚拟化的服务器资源带来了更高效的资源利用率，但也为故障检测带来了很大困难，过于复杂的内部结构让开发人员很难迅速调试和测试。因此，如何通过智能化技术快速判断故障发生的时间和类型是未来十分意义的研究方向。


技术实现要素：

3.本公开提出了一种解决方案，可以实现快速、准确的故障检测。
4.根据本公开的第一方面，提供了一种故障检测方法，包括：获取多条日志数据，其中，每条日志数据具有位置标识和数据类别，所述多条日志数据的位置标识反映该多条日志数据的时序关系；根据每条日志数据的位置标识，利用与所述每条日志数据对应的数据类别相应的卷积编码器，执行卷积码编码操作，得到每条日志数据的卷积码；根据多条日志数据的卷积码，利用序列模型，确定故障定位信息。
5.在一些实施例中，根据每条日志数据的位置标识，利用与所述每条日志数据对应的数据类别相应的卷积编码器，执行卷积码编码操作包括：对每条日志数据的位置标识，进行编码，得到所述位置编码；根据每条日志数据的数据类别，确定相应的卷积编码器；根据每条日志数据的位置编码，利用所确定的卷积编码器，生成所述卷积码。
6.在一些实施例中，根据多条日志数据的卷积码，利用序列模型，确定故障定位信息包括：对所述多条日志数据进行分组，得到多组日志数据；合并每组日志数据对应的卷积码，得到与每组日志数据对应的词嵌入矩阵；根据多组日志数据对应的词嵌入矩阵，利用所述序列模型，确定故障定位信息。
7.在一些实施例中，所述序列模型包括编码器、解码器和softmax层，根据多组日志数据对应的词嵌入矩阵，利用所述序列模型，确定故障定位信息包括：根据多个词嵌入矩阵，利用所述编码器，确定每个词嵌入矩阵的隐藏层语义向量；利用注意力机制，确定每个词嵌入矩阵的隐藏层语义向量的权重，其中，所述权重表征数据类别对故障检测的重要性；根据所述多个词嵌入矩阵的隐藏层语义向量及其相应的权重，利用所述解码器和所述softmax层，确定故障定位信息。
8.在一些实施例中，利用注意力机制，确定每个词嵌入矩阵的隐藏层语义向量的权重包括：通过sklearn的特征选择库，计算每组日志数据的数据类别针对故障检测的信息系数，其中，信息系数表征相应组日志数据的数据类别对故障检测的重要性；根据与每个词嵌入矩阵对应的信息系数，确定每个词嵌入矩阵的隐藏层语义向量的权重。
9.在一些实施例中，根据所述多个词嵌入矩阵的隐藏层语义向量及其相应的权重，
利用所述解码器和所述softmax层，确定故障定位信息包括：将与每个词嵌入矩阵相应的隐藏层语义向量与权重相乘；将相乘得到的乘积，依次输入所述解码器和所述softmax层，得到故障定位信息。
10.在一些实施例中，故障检测方法，还包括：根据多条日志数据的时间戳信息，确定每条日志数据的位置标识。
11.根据本公开第二方面，提供了一种故障检测装置，包括：获取模块，被配置为获取多条日志数据，其中，每条日志数据具有位置标识和数据类别，所述多条日志数据的位置标识反映该多条日志数据的时序关系；执行模块，被配置为根据每条日志数据的位置标识，利用与所述每条日志数据对应的数据类别相应的卷积编码器，执行卷积码编码操作，得到每条日志数据的卷积码；确定模块，被配置为根据多条日志数据的卷积码，利用序列模型，确定故障定位信息。
12.根据本公开第三方面，提供了一种故障检测装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令，执行上述任一实施例所述的故障检测方法。
13.根据本公开的第四方面，提供了一种计算机可存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述任一实施例所述的故障检测方法。
14.在上述实施例中，可以实现快速、准确的故障检测。
附图说明
15.构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
16.参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
17.图1是示出根据本公开一些实施例的故障检测方法的流程图；
18.图2是示出根据本公开一些实施例的获取词嵌入矩阵的过程示意图；
19.图3是示出根据本公开一些实施例的确定故障定位信息的示意图；
20.图4是示出根据本公开一些实施例的故障检测装置的框图；
21.图5是示出根据本公开另一些实施例的故障检测装置的框图；
22.图6是示出用于实现本公开一些实施例的计算机系统的框图。
具体实施方式
23.现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
24.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
25.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
26.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
27.在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
28.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
29.图1是示出根据本公开一些实施例的故障检测方法的流程图。
30.如图1所示，故障检测方法包括步骤s110-步骤s130。
31.在步骤s110中，获取多条日志数据。每条日志数据具有位置标识和数据类别。多条日志数据的位置标识反映该多条日志数据的时序关系。在一些实施例中，可以根据多条日志数据的时间戳信息，确定每条日志数据的位置标识。
32.在一些实施例中，多条日志数据由同一类调用程序产生。例如，多条日志数据为端口调用数据，端口调用数据的数据类别或日志种类包括系统信息获取、网络通信、文件操作、服务行为、注册表行为和操作进程行为。日志数据是在程序中嵌入的打印输出代码所产生的文本数据，它记录了程序运行时的变量和执行状态等关键信息。日志数据是一连串时间的服务器信息。
33.在步骤s120中，根据每条日志数据的位置标识，利用与所述每条日志数据对应的数据类别相应的卷积编码器，执行卷积码编码操作，得到每条日志数据的卷积码。
34.通常情况下，向量化的文本信息，可以通过已有的语料库直接获得，也可以作为未知参数由网络训练得到。本公开应用于服务器日志数据场景，关联的语料库较少，需要自己进行模型训练，在没有先验信息的条件下，大部分时候会采用one-hot编码，这种编码虽然实现简单，却很容易带来维度灾难，且无法把握不同种类文本信息间的相关性和序列信息。
35.卷积码是被通信行业广泛采用的信道编码，它作为一种非线性分组码，能够将可靠性和有效性结合来编码。基于此，本公开创新性地提出了将卷积和词嵌入结合的方式：利用卷积码的信息位记录文本的位置信息，作为确定卷积码的输入入参，并依据输入数据类别构建不同的二进制运算卷积核(卷积编码器)进行编码，并在后续过程中轮流输出不同数据类别的日志数据的卷积码。
36.卷积码之间的不同汉明距离代表着不同编码间的差异，且卷积核的差异越大，同样的序列经过编码后的输出差异也会更大，即汉明距离更大。基于此，本公开创新性地依据汉明距离设计不同类的卷积核数值。如果日志数据属于同一种类，那么卷积核一致。如果日志数据属于不同种类，那么卷积核不同，且类别差异越大，卷积核差别越大。这就是本公开基于卷积码进行词嵌入编码的基本创新思路。在上述实施例中，基于通信中的信道编码，确定每条日志数据的卷积码，使得日志数据这类文本数据数值化或向量化，便于序列模型这类神经网络理解并进行处理和特征学习。卷积码由于依据位置信息进行了信息位编码，使得神经网络可以更快地捕获序列信息，降低网络训练收敛的难度。
37.在一些实施例中，可以通过如下方式实现上述步骤s120。
38.首先，对每条日志数据的位置标识，进行编码，得到位置编码。日志数据在产生的瞬间就可以得到时间戳，时间戳信息不仅记录了时间，也记录了日志信息产生的先后顺序，本公开以此为依据，创新性地参考卷积码中的信息位进行编码。
39.例如，以1024个日志数据为例，将序列为1的日志编码为0000000001(9个0和1个1)，将序列为2的日志编码为0000000010，将序列为512的日志编码为0100000000。以此类
推，可以得到位置编码的信息。与one-hot编码相比，假如有1024个数据，one-hot编码是1024维的，而本公开的编码的信息位部分只有10维，可以大幅度降低数据维度，提高故障检测或定位的数据处理效率。
40.然后，根据每条日志数据的数据类别，确定相应的卷积编码器。
41.最后，根据每条日志数据的位置编码，利用所确定的卷积编码器，生成所述卷积码。
42.卷积码通过对卷积编码器的入参做卷积运算增加监督位，加大了不同编码序列的汉明距离，以应对信道传输过程中产生的误码。如果产生错误的码元小于汉明距离，那么便可以判断是否产生了传输错误。基于此，本公开创新性地将日志数据种类与卷积码的编码电路进行了结合，依据日志数据的类别种类予以不同的卷积编码电路，通过设置不同的卷积核表达或展示日志信息间的差异。相同数据类别的日志数据采用相同的编码电路进行矩阵运算。
43.图2是示出根据本公开一些实施例的获取词嵌入矩阵的过程示意图。
44.如图2所示，以两种数据类别的日志数据为例，预设计两种卷积编码电路(卷积编码器)g1和g2，其卷积表示式例如分别表示为1011和1111。当日志数据之间的数据类别差异越大，对应卷积编码器的卷积表示式的二进制数字的差距越大。首先，根据日志数据的位置信息(如位置标识)，构造卷积编码器入参，即得到相应的位置编码1011。然后，根据日志数据的数据类别，选择与数据类别对应的卷积编码器。例如，图2中的日志数据对应卷积编码器g2，位置编码1011输入到卷积编码器g2中，进行卷积运算，最终从开关c2处输出相应的卷积码110100011。对于多条日志数据，通过轮流按动开关输出相应卷积码，由多个卷积码形成词嵌入矩阵。
45.根据日志数据的种类不用予以不同的编码电路，这样神经网络就更能捕获日志数据之间的差异，而且由于卷积码经过卷积编码器后输出的，会有正交、随机等优良特性，更适合神经网络的训练。根据日志数据的种类设置不同的卷积核进行俊阿几编码，将卷积码中的汉明距离与日志数据的种类差距进行了联系，增加了神经网络对词嵌入矩阵的理解，提高了故障检测的准确性。
46.返回图1，在步骤s130中，根据多条日志数据的卷积码，利用序列模型，确定故障定位信息。在一些实施例中，可以利用天池平台开源的服务器日志活动信息作为训练数据，训练序列模型。例如，序列模型为transformer模型。
47.在一些实施例中，可以通过如下方式实现根据多条日志数据的卷积码，利用序列模型，确定故障定位信息。
48.首先，对所述多条日志数据进行分组，得到多组日志数据。
49.然后，合并每组日志数据对应的卷积码，得到与每组日志数据对应的词嵌入矩阵。例如，对每组日志数据中的多条日志数据对应的卷积码合并(例如顺序拼接)，得到词嵌入矩阵。
50.最后，根据多组日志数据对应的词嵌入矩阵，利用所述序列模型，确定故障定位信息。
51.在一些实施例中，序列模型包括编码器、解码器和softmax层(归一化层)。这种情况下，可以通过如下方式实现根据多组日志数据对应的词嵌入矩阵，利用所述序列模型，确
定故障定位信息。
52.首先，根据多个词嵌入矩阵，利用所述编码器，确定每个词嵌入矩阵的隐藏层语义向量。
53.然后，利用注意力机制，确定每个词嵌入矩阵的隐藏层语义向量的权重，其中，所述权重表征数据类别对故障检测的重要性。在一些实施例中，先通过sklearn的特征选择库，计算每组日志数据的数据类别针对故障检测的信息系数；再根据与每个词嵌入矩阵对应的信息系数，确定每个词嵌入矩阵的隐藏层语义向量的权重。信息系数表征相应组日志数据的数据类别对故障检测的重要性。
54.本公开通过sklearn的特征选择库计算不同类日志数据针对故障检测的信息系数，它可以日志数据的种类依据故障检测的增益值进行排序并取值，将此值计算出来，并创新性的作为注意力机制的参数，每次神经网络有一个前面处理得到的日志数据的词向量输入，都会先将它送到python的sklearn库中进行最大信息系数计算，并将算得的值作为注意力机制的参数，即该日志数据的权重。
55.经典的互信息是评价定性自变量与定性因变量相关性的方法，它的值能够很好地反映因子的对于目标值预测能力，ic越高，就表明该因子在该期对故障检测的预测能力越强。互信息的计算公式如下：在上述实施例中，通过最大互信息法调整神经网络在不同日志数据上的注意力机制，予以值得注意的数据更大的权重，帮助神经网络更好的理解数据内涵，提高故障检测或故障定位的准确性。
56.最后，根据所述多个词嵌入矩阵的隐藏层语义向量及其相应的权重，利用所述解码器和所述softmax层，确定故障定位信息。在一些实施例中，将与每个词嵌入矩阵相应的隐藏层语义向量与权重相乘；将相乘得到的乘积，依次输入所述解码器和所述softmax层，得到故障定位信息。
57.图3是示出根据本公开一些实施例的确定故障定位信息的示意图。
58.如图3所示，每个词嵌入矩阵被作为一个句向量输入到编码器中，得到编码器输出的隐藏层语义向量。以编码器输入句向量1、2、3、4为例，编码器输出隐藏层语义向量c1、c2、c3、c4。序列模型作为神经网络模型，提供注意力机制。该注意力机制分别确定每组日志数据(句子)1、2、3、4的故障检测的信息系数。每组日志数据的数据类别相同。信息系数表征相应组日志数据的数据类别对故障检测的重要性。以每组日志数据的信息系数作为与每组日志数据对应的隐藏层语义向量的权重，并将该权重与隐藏层语义向量的乘积依次数据解码器和softmax层，分别得到句向量1、2、3、4的输出，作为故障定位信息。
59.图3示出的神经网络模型采用了针对序列模型通用的seq2seq架构，相对于rnn，其能够自由控制输入序列和输出序列的长度。本公开的处理对象是网络或服务器产生的日志数据，由日志信息判断故障种类。由于单独时间内产生的日志数据数量是多变的，因此采用seq2seq的架构，使得每个时刻的输出结果都会受到全部输入序列的约束。seq2seq架构的本质可以看做条件性语言模型(即条件概率模型)：p(y
│
x)＝p(y_1
│
x)p(y_2
│
y_1,x)
…
。
60.在一些实施例中，编码器可以采用循环神经网络实现，隐藏层语义向量为循环神经网络的最后一个隐藏状态。该隐藏状态会经过一个全连接层后被传递给解码器。编码器的输入是词向量矩阵经过卷积及池化后得到的向量，它以定长(30条日志数据一组)送入到
编码器中。
61.在一些实施例中，解码器也可以采用循环神经网络。在训练时解码器会接受编码器提供的隐藏状态与卷积层的输出向量作为输入，在预测时由于并没有目标序列，它会接受上一时刻解码器的输出及编码器提供的隐藏状态作为输入，并输出下一时刻预测的概率分布。
62.在上述实施例中，通过日志数据，能够定位异常请求、追踪程序执行逻辑，执行更加细粒度的故障诊断。位置标识反映日志数据的时序信息，从而使得序列模型可以捕获日志数据的时序信息，结合数据类别，即可实现快速、准确的故障检测或故障定位，提高故障检测性能，可以为云网融合提供助力。
63.图4是示出根据本公开一些实施例的故障检测装置的框图。
64.如图4所示，故障检测装置4包括获取模块41、执行模块42和确定模块43。
65.获取模块41被配置为获取多条日志数据，其中，每条日志数据具有位置标识和数据类别，所述多条日志数据的位置标识反映该多条日志数据的时序关系，例如执行如图1所示的步骤s110。
66.执行模块42被配置为根据每条日志数据的位置标识，利用与所述每条日志数据对应的数据类别相应的卷积编码器，执行卷积码编码操作，得到每条日志数据的卷积码，例如执行如图1所示的步骤s120。
67.确定模块43被配置为根据多条日志数据的卷积码，利用序列模型，确定故障定位信息，例如执行如图1所示的步骤s130。
68.图5是示出根据本公开另一些实施例的故障检测装置的框图。
69.如图5所示，故障检测装置5包括存储器51；以及耦接至该存储器51的处理器52。存储器51用于存储执行故障检测方法对应实施例的指令。处理器52被配置为基于存储在存储器51中的指令，执行本公开中任意一些实施例中的故障检测方法。
70.图6是示出用于实现本公开一些实施例的计算机系统的框图。
71.如图6所示，计算机系统60可以通用计算设备的形式表现。计算机系统60包括存储器610、处理器620和连接不同系统组件的总线600。
72.存储器610例如可以包括系统存储器、非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(boot loader)以及其他程序等。系统存储器可以包括易失性存储介质，例如随机存取存储器(ram)和/或高速缓存存储器。非易失性存储介质例如存储有执行故障检测方法的至少一种的对应实施例的指令。非易失性存储介质包括但不限于磁盘存储器、光学存储器、闪存等。
73.处理器620可以用通用处理器、数字信号处理器(dsp)、应用专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑设备、分立门或晶体管等分立硬件组件方式来实现。相应地，诸如判断模块和确定模块的每个模块，可以通过中央处理器(cpu)运行存储器中执行相应步骤的指令来实现，也可以通过执行相应步骤的专用电路来实现。
74.总线600可以使用多种总线结构中的任意总线结构。例如，总线结构包括但不限于工业标准体系结构(isa)总线、微通道体系结构(mca)总线、外围组件互连(pci)总线。
75.计算机系统60还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630、640、650以及存储器610和处理器620之间可以通过总线600连接。输入输出接口
630可以为显示器、鼠标、键盘等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口。存储接口650为软盘、u盘、sd卡等外部存储设备提供连接接口。
76.这里，参照根据本公开实施例的方法、装置和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个框以及各框的组合，都可以由计算机可读程序指令实现。
77.这些计算机可读程序指令可提供到通用计算机、专用计算机或其他可编程装置的处理器，以产生一个机器，使得通过处理器执行指令产生实现在流程图和/或框图中一个或多个框中指定的功能的装置。
78.这些计算机可读程序指令也可存储在计算机可读存储器中，这些指令使得计算机以特定方式工作，从而产生一个制造品，包括实现在流程图和/或框图中一个或多个框中指定的功能的指令。
79.本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
80.通过上述实施例中的故障检测方法及装置、计算机可存储介质，可以实现快速、准确的故障检测。
81.至此，已经详细描述了根据本公开的故障检测方法及装置、计算机可存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。