对神经网络中节点进行染色的方法及装置与流程

1.本发明属于计算机多媒体技术领域，涉及图像分类、目标检测等技术。


背景技术：

2.近年来，以深度神经网络为代表的人工智能迅猛发展。目前，在许多领域，如自然语言、计算机视觉、语音和多媒体等领域，深度神经网络模型都展现了其强大的能力。然而，深度学习模型以“端到端”为基本架构，通过大量标注数据驱动误差的反向传播来不断优化模型参数，最终实现特定的功能。这样的一种学习过程被称作“黑盒子”，这导致人们很难甚至无法理解深度神经网络。由于目前的深度神经网络的可解释性较弱，在对可靠性要求高，可解释性要求强的领域，深度神经网络的应用受到了阻碍。在诸如自动驾驶、医疗和金融决策等“高风险”领域，在利用深度神经模型进行重大决策时，不仅需要知道决策是什么，还需要知道算法给出决策的依据。因此，研究深度神经网络的可解释性具有重要意义。
3.目前，深度神经网络的可解释性引起了国内外学者的广泛关注。计算机视觉、机器学习和人工智能领域的顶级国际会议都举办了关于神经网络可解释相关的研讨会，进一步扩大了深度神经网络可解释性的研究。随着对深度神经网络可解释性研究的深入，近年来出现了大量相关的研究成果。当前，对深度神经网络进行解释的研究主要针对不同的网络结构，其中对卷积神经网络(convolutional neural networks,cnn)解释的方法成果较多，对循环神经网络(recurrent neural networks,rnn)和生成对抗网络(generative adversarial network,gan)的解释在不断深入。
4.采用可视化的方式将滤波器学习到的特征图输出或重构至原图像输出的方式在反向重构时存在信息丢失问题，同时高层滤波器特征图语义不清晰，这使得这种方法只适用于中低层滤波器特征图的视觉解释，无法对整个深度神经网络有一个较为完整的解释；通过敏感性分析，如改变输入图像像素对结果的影响作用分析像素的重要程度，这种方法只能解释图像像素对结果的影响，无法解释模型本身的工作机制。尽管当前已经有大量对深度神经网络解释的方法，但是这些方法都没有说明模型中各个节点单元产生的作用，然而明白各个节点产生的作用对解释深度神经模型具有重要的意义。因此，本发明根据生物染色的相关原理，提出了一种基于染色原理的可解释性神经网络。


技术实现要素：

5.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
6.为此，本发明的第一个目的在于提出一种对神经网络中节点进行染色的方法，以实现对神经网络中节点作用的研究，解决深度神经网络中各个节点的可解释性问题。
7.本发明的第二个目的在于提出一种对神经网络中节点进行染色的装置。
8.为达上述目的，本发明第一方面实施例提出了一种对神经网络中节点进行染色的方法，包括：获取训练数据，并对所述训练数据进行预处理；通过预设的特征提取网络提取预处理后的训练数据对应的特征，并通过话的分类网络对所述特征进行分类，输出所述分
类对应的类别向量；将所述特征提取网络和所述分类网络的节点参数按照顺序存储于预先建立的节点存储区；遍历所述节点存储区的节点信息，并对节点进行标签分类，并对各类别的节点进行染色操作。
9.本发明实施例提出的对神经网络中节点进行染色的方法，通过对节点进行染色处理，提高了深度神经网络的可解释性；提出的基于染色原理的神经网络，通过分析染色后节点网络的性能变化，移除不重要的节点，实现网络的简化；提出的明确网络中节点作用的模型，通过关注关键节点的变化，保证关键节点的稳定性，可以提高神经网络的可靠性和鲁棒性。
10.另外，根据本发明上述实施例的对神经网络中节点进行染色的方法还可以具有以下附加的技术特征：
11.进一步地，在本发明的一个实施例中，对所述训练数据进行预处理，包括：获取所述训练数据中的图片，根据标注信息在图片中不同位置的物体标注出类型，将每张图片的预处理结果存储在向量中，其中，所述向量表示为：
12.[(x
i
,y
i
),x
′
i
]＝[(x
i
,y
i
),(x
i1
,x
i2
,...,x
ij
)]，
[0013]
其中，x
i
代表图片的原始信息，y代表对图片的分类，代表图片中某一物体标注框的坐标信息，y
ij
代表这个标注框的类别信息，i代表第i张图片，j代表图片中第j个物体，k代表标注框的第k个顶点。
[0014]
进一步地，在本发明的一个实施例中，所述对节点进行标签分类，并对各类别的节点进行染色操作，包括：
[0015]
对于所述特征提取网络中的卷积核，将每个卷积核与图片的原始信息进行卷积操作，并将卷积结果最大的区域作为节点的作用区域；
[0016]
判断所述作用区域属于的标签框，将所述标签框的类别标签作为所述卷积核的标签类别；
[0017]
将标签类别为图片分类的节点的值进行等比放大或缩小，确定分类结果为所述图片分类的数据在经过染色后的分类准确率的变化。
[0018]
进一步地，在本发明的一个实施例中，在对各类别的节点进行染色操作之后，还包括：
[0019]
获取待测试数据，将所述待测试数据输入至神经网络；
[0020]
确定所述神经网络中节点的分类准确率的变化；
[0021]
根据所述分类准确率的变化对所述节点进行操作，所述操作包括保留节点或者删除节点。
[0022]
其中，根据所述分类准确率的变化对所述节点进行操作，包括：
[0023]
若所述节点的分类准确率的变化为分类准确率提高或者不变，则保留所述节点；
[0024]
否则，从所述神经网络中删除所述节点。
[0025]
为达上述目的，本发明另一方面实施例提出了一种对神经网络中节点进行染色的装置，包括：第一获取模块，用于获取训练数据，并对所述训练数据进行预处理；处理模块，用于通过预设的特征提取网络提取预处理后的训练数据对应的特征，并通过话的分类网络对所述特征进行分类，输出所述分类对应的类别向量；存储模块，用于将所述特征提取网络和所述分类网络的节点参数按照顺序存储于预先建立的节点存储区；染色模块，用于遍历
所述节点存储区的节点信息，并对节点进行标签分类，并对各类别的节点进行染色操作。
[0026]
本发明实施例提出的对神经网络中节点进行染色的装置，通过对节点进行染色处理，提高了深度神经网络的可解释性；提出的基于染色原理的神经网络，通过分析染色后节点网络的性能变化，移除不重要的节点，实现网络的简化；提出的明确网络中节点作用的模型，通过关注关键节点的变化，保证关键节点的稳定性，可以提高神经网络的可靠性和鲁棒性。
[0027]
进一步地，在本发明的一个实施例中，所述染色模块，还用于：
[0028]
对于所述特征提取网络中的卷积核，将每个卷积核与图片的原始信息进行卷积操作，并将卷积结果最大的区域作为节点的作用区域；
[0029]
判断所述作用区域属于的标签框，将所述标签框的类别标签作为所述卷积核的标签类别；
[0030]
将标签类别为图片分类的节点的值进行等比放大或缩小，确定分类结果为所述图片分类的数据在经过染色后的分类准确率的变化。
[0031]
进一步地，在本发明的一个实施例中，所述对神经网络中节点进行染色的装置，还包括：
[0032]
第二获取模块，用于获取待测试数据，将所述待测试数据输入至神经网络；
[0033]
确定模块，用于确定所述神经网络中节点的分类准确率的变化；
[0034]
操作模块，用于根据所述分类准确率的变化对所述节点进行操作，所述操作包括保留节点或者删除节点。
[0035]
其中，所述操作模块，还用于：
[0036]
若所述节点的分类准确率的变化为分类准确率提高或者不变，则保留所述节点；
[0037]
否则，从所述神经网络中删除所述节点。
[0038]
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0039]
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0040]
图1为本发明实施例所提供的一种对神经网络中节点进行染色的方法的流程示意图。
[0041]
图2为本发明实施例所提供的一种对神经网络中节点进行染色的装置的流程示意图。
具体实施方式
[0042]
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0043]
下面参考附图描述本发明实施例的对神经网络中节点进行染色的方法和装置。
[0044]
图1为本发明实施例所提供的一种对神经网络中节点进行染色的方法的流程示意
图。
[0045]
如图1所示，该对神经网络中节点进行染色的方法包括以下步骤：
[0046]
s1,获取训练数据，并对训练数据进行预处理。
[0047]
可以理解的是，为了便于对神经网络中节点进行染色，需要首先对输入的数据进行预处理。
[0048]
进一步地，在本发明的一个实施例中，对训练数据进行预处理，包括：获取
[0049]
训练数据中的图片，根据标注信息在图片中不同位置的物体标注出类型，将每张图片的预处理结果存储在向量中，其中，向量表示为：
[0050]
[(x
i
,y
i
),x
′
i
]＝[(x
i
,y
i
),(x
i1
,x
i2
,...,x
ij
)]，
[0051]
其中，x
i
代表图片的原始信息，y代表对图片的分类，代表图片中某一物体标注框的坐标信息，y
ij
代表这个标注框的类别信息，i代表第i张图片，j代表图片中第j个物体，k代表标注框的第k个顶点。
[0052]
s2,通过预设的特征提取网络提取预处理后的训练数据对应的特征，并通过话的分类网络对特征进行分类，输出分类对应的类别向量。
[0053]
特征提取网络的作用是提取数据中所包含的特征，这一部分可以根据实际需求选用不同深度神经网络架构，比如resnet1、vggnet2等。我们选取这些网络的卷积部分，得到我们的特征提取网络f，其中f中的节点参数表示为：
[0054][0055]
f
lm
代表网络中第l层的第m个卷积核，f
lm
将会存储于节点存储区，并在染色网络中被染色，nl为第l层的卷积核总数。
[0056]
数据x
i
通过特征提取网络f可以得到对应的特征f
i
，即
[0057]
f
i
＝f(x
i
)，
[0058]
对于第i个数据x
i
提取出的特征f
i
将用于训练分类网络。
[0059]
分类网络的作用是对特征提取网络生成的f
i
进行分类，输出一个类别向量。本发明适用于单标签分类和多标签分类问题，根据实际的数据集选择合适的分类模型，在下面的阐述中，我们以单标签为例进行叙述。假设我们的分类网络为c，其中c的节点参数表示为：
[0060]
c＝(w1,w2,...w
c
)
[0061]
对于x
i
经过特征提取网络提取出的特征f
i
的类别通过分类网络输出c(f
i
)判断其关联程度。采用softmax的方式进行判断，c(f
i
)中最大的那个输出分量即为数据x
i
所属类别，即
[0062]
c(x
i
)＝argmax(c(f(x
i
)))＝argmax(c(f
i
))
[0063]
_______________________
[0064]
其中c(x
i
)表示数据x
i
经过特征提取网络和分类网络后得出的分类标签。
[0065]
s3,将特征提取网络和分类网络的节点参数按照顺序存储于预先建立的节点存储区。
[0066]
可以理解的是，为实现对节点进行染色的功能，预先建立一个节点存储区用于存储节点信息。当完成特征提取网络和分类网络的训练以后，将特征网络和分类网络中的节
点参数按照顺序存储于节点存储区，这一存储区域仅用于存储节点的相关信息。
[0067]
s4,遍历节点存储区的节点信息，并对节点进行标签分类，并对各类别的节点进行染色操作。
[0068]
进一步地，在本发明的一个实施例中，对节点进行标签分类，并对各类别的节点进行染色操作，包括：
[0069]
对于特征提取网络中的卷积核，将每个卷积核与图片的原始信息进行卷积操作，并将卷积结果最大的区域作为节点的作用区域；
[0070]
判断作用区域属于的标签框，将标签框的类别标签作为卷积核的标签类别；
[0071]
将标签类别为图片分类的节点的值进行等比放大或缩小，确定分类结果为图片分类的数据在经过染色后的分类准确率的变化。
[0072]
进一步地，在本发明的一个实施例中，在对各类别的节点进行染色操作之后，还包括：
[0073]
获取待测试数据，将待测试数据输入至神经网络；
[0074]
确定神经网络中节点的分类准确率的变化；
[0075]
根据分类准确率的变化对节点进行操作，操作包括保留节点或者删除节点。
[0076]
其中，根据分类准确率的变化对节点进行操作，包括：
[0077]
若节点的分类准确率的变化为分类准确率提高或者不变，则保留节点；
[0078]
否则，从神经网络中删除节点。
[0079]
具体而言，遍历节点存储区的节点信息，分别对特征网络和分类网络的节点进行标签分类。对于特征提取网络中的卷积核，将每个卷积核与x
i
进行卷积操作，并将激活程度最高，即卷积结果最大的区域，作为该节点的作用区域，判断该区域属于x
i
中的哪一个标签框，将该标签框的类别标签作为该卷积核的标签类别。对于分类网络中的权重节点，将某一权重w
i
设定为0，分析其对分类结果的影响，将对影响最大的那个类别作为该节点的类别标签。上述过程如下所示：
[0080][0081][0082][0083]
其中，f
lm
表示特征网路中第l层的第m个卷积核，表示f
lm
的标签是y
j
的个数。
[0084]
针对各类别的节点进行染色，染色操作为将标签类别为y
j
的节点的值进行等比放大或缩小，观察经过这一操作后特征网络和分类网络的性能，也就是分类结果为y
j
的数据在经过染色后其分类准确率的变化。
[0085]
通过上一步对整个神经网络中的节点进行染色，将待测试数据输入网络，观察分类准确率的变化，即：
[0086]
c
′
(x
i
)＝argmax(c
′
(f
′
(x
i
)))＝argmax(c
′
(f
i
′
))
[0087]
[0088]
按照上述全部步骤，通过观察将该节点的作用增强或减弱，整个深度神经网络的分类准确率的变化解释该节点在网络中的作用。如果该节点的变化对分类准确率不产生作用，那么可以将这些节点从网络中删除，实现对网络的简化；如果改变该节点可以实现分类准确率的提高或不变，则保留该节点。采取对产生主要作用的节点进行操作，可以实现在更多数据集中实现较高的准确率。采用上述方法，一方面可以减少网络的冗余参数，另一方面可以提高网络的可解释性和可靠性。
[0089]
由于染色网络具有可解释性等优点，可以将染色网络应用于病理切片检测等目标检测网络。由于染色网络的每个神经元的功能是已知的，因此在进行检测时人工神经网络关注的病理切片位置能够被医生等网络应用人员知悉，一方面可以促进人工神经网络检测的可靠性，另一方面或许可以帮助医生探索新的病变指示位置。同时，染色网络还可用于图像分类等网络模型，在染色网络中，网络根据图片中的某个特征进行分类能够被明确标注，促进了使用中对分类网络的信任。染色网络也可以应用于金融领域的股价预测等，使用该网络，可以明确的知悉该网络是通过哪些特征预测股价，可以为金融从事人员提供有效的信息。其应用方式主要为在训练网络阶段明确知悉每个神经元的功能，在使用时可以明确标注出哪些神经元发挥了主要作用，从而可以更好的帮助使用者了解人工神经网络的工作过程。
[0090]
根据本发明实施例提出的对神经网络中节点进行染色的方法，通过对节点进行染色处理，提高了深度神经网络的可解释性；提出的基于染色原理的神经网络，通过分析染色后节点网络的性能变化，移除不重要的节点，实现网络的简化；提出的明确网络中节点作用的模型，通过关注关键节点的变化，保证关键节点的稳定性，可以提高神经网络的可靠性和鲁棒性。
[0091]
为了实现上述实施例，本发明还提出一种对神经网络中节点进行染色的装置。
[0092]
图2为本发明实施例提供的一种对神经网络中节点进行染色的装置的结构示意图。
[0093]
如图2所示，该对神经网络中节点进行染色的装置包括：第一获取模块，处理模块，存储模块，染色模块。
[0094]
其中，第一获取模块用于获取训练数据，并对训练数据进行预处理；处理模块用于通过预设的特征提取网络提取预处理后的训练数据对应的特征，并通过话的分类网络对特征进行分类，输出分类对应的类别向量；存储模块用于将特征提取网络和分类网络的节点参数按照顺序存储于预先建立的节点存储区；染色模块用于遍历节点存储区的节点信息，并对节点进行标签分类，并对各类别的节点进行染色操作。本发明实施例提出的对神经网络中节点进行染色的装置，过对节点进行染色处理，提高了深度神经网络的可解释性；提出的基于染色原理的神经网络，通过分析染色后节点网络的性能变化，移除不重要的节点，实现网络的简化；提出的明确网络中节点作用的模型，通过关注关键节点的变化，保证关键节点的稳定性，可以提高神经网络的可靠性和鲁棒性。
[0095]
进一步地，在本发明的一个实施例中，染色模块，还用于：
[0096]
对于特征提取网络中的卷积核，将每个卷积核与图片的原始信息进行卷积操作，并将卷积结果最大的区域作为节点的作用区域；
[0097]
判断作用区域属于的标签框，将标签框的类别标签作为卷积核的标签类别；
[0098]
将标签类别为图片分类的节点的值进行等比放大或缩小，确定分类结果为图片分类的数据在经过染色后的分类准确率的变化。
[0099]
进一步地，在本发明的一个实施例中，对神经网络中节点进行染色的装置，还用于：
[0100]
第二获取模块，用于获取待测试数据，将待测试数据输入至神经网络；
[0101]
确定模块，用于确定神经网络中节点的分类准确率的变化；
[0102]
操作模块，用于根据分类准确率的变化对节点进行操作，操作包括保留节点或者删除节点。
[0103]
其中，操作模块，还用于：
[0104]
若节点的分类准确率的变化为分类准确率提高或者不变，则保留节点；
[0105]
否则，从神经网络中删除节点。
[0106]
需要说明的是，需要说明的是,前述对神经网络中节点进行染色的方法实施例的解释说明也适用于该实施例的对神经网络中节点进行染色的装置,此处不再赘述。
[0107]
根据本发明实施例提出的对神经网络中节点进行染色的装置，通过对节点进行染色处理，提高了深度神经网络的可解释性；提出的基于染色原理的神经网络，通过分析染色后节点网络的性能变化，移除不重要的节点，实现网络的简化；提出的明确网络中节点作用的模型，通过关注关键节点的变化，保证关键节点的稳定性，可以提高神经网络的可靠性和鲁棒性。
[0108]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0109]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0110]
尽管上面已经示出和描述了本发明的实施例，可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。