一种基于模型动态行为的可解释性方法及相关装置与流程

1.本技术涉及人工智能领域，尤其涉及一种基于模型动态行为的可解释性方法及相关装置。


背景技术：

2.随着人工智能和深度学习的发展，卷积深度神经网络以其优异的表现在计算机视觉、语言识别、图像识别、自然语言处理等多个领域大放光彩。然而，卷积深度神经网络模型缺乏透明性和可解释性，严重限制了卷积深度神经网络模型在现实任务，尤其是风险敏感任务(如无人驾驶、医疗保健、金融等)中的发展和应用。为了增加卷积神经网络的透明性，降低模型在部署应用中的潜在风险，同时建立其与用户之间的信任关系，现在开始研究如何解释模型的决策过程和分类结果，并且提出了一系列的模型解释方法，如特征逆向解释方法、局部近似解释方法、模型模拟解释方法等等。然而，上述的许多方法利用替代模型无法保证解释方法的准确性和可靠性，并且机遇模型的静态决策行为，无法真实的反映数据特征变化对于模型最终决策的影响，远远无法满足风险敏感任务中的需求。
3.因此，如何在忠实于原模型的情况下，精确解释该神经网络模型，是亟待解决的问题。


技术实现要素：

4.本技术实施例提供一种基于模型动态行为的可解释性方法及相关设备，可在忠实于原模型的情况下，精确解释该神经网络模型。
5.第一方面，本技术实施例提供了一种基于模型动态行为的可解释性方法，可包括：
6.获取图像数据中目标像素点的非对称动态边界，所述图像数据为目标神经网络模型的输入数据，所述目标像素点为所述图像数据中多个像素点中的任意一个，所述非对称动态边界包括左动态边界和右动态边界，所述左动态边界为所述目标像素点的像素点值的下边界，所述右动态边界为所述目标像素点的像素点值的上边界，且所述目标像素点的像素点值在所述左动态边界和所述右动态边界之间变化时，所述图像数据在所述目标神经网络模型中的分类结果不变；对所述目标像素点的所述左动态边界和所述右动态边界进行差量操作，获得所述目标像素点的左右动态边界之差；根据所述多个像素点分别对应的左右动态边界之差，获得所述图像数据的目标像素点集合，所述目标像素点集合包括所述多个像素点中一个或多个左右动态边界之差超过第一阈值的像素点。
7.针对卷积神经网络模型缺乏透明性和可解释性，以及现存可解释方法无法准确解释卷积神经网络模型和体现该模型关于输入特征的动态行为等问题，本技术实施例，可以通过对于给定的神经网络模型和图像数据(即，神经网络模型的输入数据)，获取该图像数据在该神经网络模型下的非对称动态边界，该非对称动态边界包括左动态边界和右动态边界，其中，左动态边界为减少像素点值而不会改变分类结果的范围界限，右动态边界为增加像素点值而不会改变分类结果的范围界限。因此，将左动态边界和右动态边界进行差量操
作，得到左右动态边界之差。最后，根据该左右动态边界之差进行分析，得到该图像数据的目标像素点集合。其中，该输入数据为图像数据。这种针对神经网络模型的每一个输入数据，利用该神经网络模型关于输入数据中目标像素点的动态行为(即：增加或减少目标像素点的像素点值，且不会改变其分类结果)解释该神经网络模型的决策机制，从而可以增加神经网络的透明性，建立其与用户之间的信任关系。
8.在一种可能实现的方式中，所述目标神经网络模型包括卷积层和/或全连接层。实施本技术实施例，可以解释卷积神经网络模型和体现卷积神经网络模型关于输入特征的动态行为，其中，目标神经网络模型包括卷积层和/或全连接层，即为卷积神经网络。
9.在一种可能实现的方式中，所述方法还包括：将所述目标像素点的左右动态边界之差进行归一化处理，获得所述目标像素点的差量动态边界值；所述根据所述图像数据中多个像素点分别对应的左右动态边界之差，获得所述图像数据的目标像素点集合，包括：从所述多个像素点分别对应的差量动态边界值中，确定差量动态边界值超过第二阈值的像素点为所述图像数据的所述目标像素点集合。实施本技术实施例，通过归一化的方式将目标像素点的左右动态边界之差由相差较大的值处理为较小的值，方便运算处理，也使得各个像素点之间对分类结果影响的差异性更加明显，如：处理至0-1的范围内。其中，目标像素点的差量动态边界值越大，证明所述图像数据在目标神经网络模型中的分类结果越依赖该目标像素点的特征。例如：将差量动态边界归一化至[0,1]之内,值较大意味着预测类倾向于输入数据拥有该特征(即，这个特征值变小的话，类别会变化)，否则，该预测类倾向于没有该特征。如：“7”上面的一横，即，这个特征值变小的话，类别会变化，变成1；“7”下面一横，即，这个特征值变大的话，类别也会变化，使其变成“2”，说明图像7数据的分类结果，依赖“7”上面的一横和“7”下面一横所在像素点的特征。
[0010]
在一种可能实现的方式中，所述方法还包括：根据所述多个像素点分别对应的差量动态边界值和所述图像数据，获得所述图像数据对应的目标特征图，所述目标特征图中多个像素点中第一像素点对应的视觉感知亮度大于第二像素点对应的视觉感知亮度，其中，所述第一像素点的差量动态边界值大于所述第二像素点的差量动态边界值。实施本技术实施例，通过归一化处理差量动态边界值后可以体现目标神经网络模型的决策机制，其次，以差量动态边界的数值大小生成解释图，即目标特征图，可以更加直观的发现各个像素点之间对分类结果影响的差异性的影响。
[0011]
在一种可能实现的方式中，所述方法还包括：根据所述多个像素点分别对应的左右动态边界之差和所述图像数据，获得所述图像数据对应的目标特征图，所述目标特征图中多个像素点中第三像素点对应的视觉感知亮度大于第四像素点对应的视觉感知亮度，其中，所述第三像素点的左右动态边界之差大于所述第四像素点的左右动态边界之差。实施本技术实施例，通过左右动态边界之差可以直接体现目标神经网络模型的决策机制，其次，提取的特征相对简单并便于理解，以左右动态边界之差的值的大小生成目标特征图，可以更加精确的发现各个像素点之间对分类结果影响的差异性的影响。
[0012]
在一种可能实现的方式中，所述方法还包括：根据所述多个像素点分别对应的左右动态边界之差，获取所述目标像素点集合的动态边界范围；根据所述动态边界范围，获得所述目标神经网络模型的鲁棒性边界范围，所述鲁棒性边界范围在所述动态边界范围之内，且用于确定输入所述目标神经网络模型后的分类结果。实施本技术实施例，左动态边界
为减少像素点值而不会改变分类结果的范围界限，右动态边界为增加像素点值而不会改变分类结果的范围界限。鲁棒性边界范围即在左、右动态边界范围之内，从目标神经网络模型的鲁棒性来看，鲁棒性边界范围相当于图像数据对应的动态边界范围，都是用于确定输入所述目标神经网络模型后的分类结果。
[0013]
第二方面，本技术实施例提供了一种基于模型动态行为的可解释性装置，包括：
[0014]
第一获取单元，用于获取图像数据中目标像素点的非对称动态边界，所述图像数据为目标神经网络模型的输入数据，所述目标像素点为所述图像数据中多个像素点中的任意一个，所述非对称动态边界包括左动态边界和右动态边界，所述左动态边界为所述目标像素点的像素点值的下边界，所述右动态边界为所述目标像素点的像素点值的上边界，且所述目标像素点的像素点值在所述左动态边界和所述右动态边界之间变化时，所述图像数据在所述目标神经网络模型中的分类结果不变；
[0015]
差量单元，用于对所述目标像素点的所述左动态边界和所述右动态边界进行差量操作，获得所述目标像素点的左右动态边界之差；
[0016]
像素点单元，用于根据所述多个像素点分别对应的左右动态边界之差，获得所述图像数据的目标像素点集合，所述目标像素点集合包括所述多个像素点中一个或多个左右动态边界之差超过第一阈值的像素点。
[0017]
在一种可能实现的方式中，所述目标神经网络模型包括卷积层和/或全连接层。
[0018]
在一种可能实现的方式中，所述装置还包括：归一化单元，用于将所述目标像素点的左右动态边界之差进行归一化处理，获得所述目标像素点的差量动态边界值；所述像素点单元，具体用于：从所述多个像素点分别对应的差量动态边界值中，确定差量动态边界值超过第二阈值的像素点为所述图像数据的所述目标像素点集合。
[0019]
在一种可能实现的方式中，所述装置还包括：第一特征图单元，用于根据所述多个像素点分别对应的差量动态边界值和所述图像数据，获得所述图像数据对应的目标特征图，所述目标特征图中多个像素点中第一像素点对应的视觉感知亮度大于第二像素点对应的视觉感知亮度，其中，所述第一像素点的差量动态边界值大于所述第二像素点的差量动态边界值。
[0020]
在一种可能实现的方式中，所述装置还包括：第二特征图单元，用于根据所述多个像素点分别对应的左右动态边界之差和所述图像数据，获得所述图像数据对应的目标特征图，所述目标特征图中多个像素点中第三像素点对应的视觉感知亮度大于第四像素点对应的视觉感知亮度，其中，所述第三像素点的左右动态边界之差大于所述第四像素点的左右动态边界之差。
[0021]
在一种可能实现的方式中，所述装置还包括：第二获取单元，用于根据所述多个像素点分别对应的左右动态边界之差，获取所述目标像素点集合的动态边界范围；鲁棒性单元，用于根据所述动态边界范围，获得所述目标神经网络模型的鲁棒性边界范围，所述鲁棒性边界范围在所述动态边界范围之内，且用于确定输入所述目标神经网络模型后的分类结果。
[0022]
第三方面，本技术实施例提供一种终端设备，该终端设备中包括处理器，处理器被配置为支持该终端设备实现第一方面提供的基于模型动态行为的可解释性方法中相应的功能。该终端设备还可以包括存储器，存储器用于与处理器耦合，其保存该终端设备必要的
程序指令和数据。该终端设备还可以包括通信接口，用于该网络设备与其他设备或通信网络通信。
[0023]
第四方面，本技术实施例提供一种计算机存储介质，用于储存为上述第二方面提供的一种基于模型动态行为的可解释性装置所用的计算机软件指令，其包含用于执行上述方面所设计的程序。
[0024]
第五方面，本技术实施例提供了一种计算机程序，该计算机程序包括指令，当该计算机程序被计算机执行时，使得计算机可以执行上述第二方面中的基于模型动态行为的可解释性装置所执行的流程。
[0025]
第六方面，本技术提供了一种芯片系统，该芯片系统包括处理器，用于支持终端设备实现上述第一方面中所涉及的功能，例如，生成或处理上述基于模型动态行为的可解释性方法中所涉及的信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存数据发送设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。
附图说明
[0026]
为了更清楚地说明本技术实施例或背景技术中的技术方案，下面将对本技术实施例或背景技术中所需要使用的附图进行说明。
[0027]
图1是本技术实施例提供的一种基于模型动态行为的可解释性系统构架示意图。
[0028]
图2是本技术实施例提供的一种基于模型动态行为的可解释性装置的结构示意图。
[0029]
图3是本技术实施例提供的一种动态边界量化模块运算流程示意图。
[0030]
图4是本技术实施例提供的一种模型解释模块运算流程示意图。
[0031]
图5是本技术实施例提供的一种基于模型动态行为的可解释性方法的流程示意图。
[0032]
图6是本技术实施例提供的一种动态关键特征示意图。
[0033]
图7是本技术实施例提供的另一种基于模型动态行为的可解释性装置的结构示意图。
[0034]
图8是本技术实施例提供的又一种基于模型动态行为的可解释性装置的结构示意图。
具体实施方式
[0035]
下面将结合本技术实施例中的附图，对本技术实施例进行描述。
[0036]
本技术的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0037]
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同
的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0038]
在本技术的说明书中使用的术语“部件”、“模块”、“系统”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如，部件可以是但不限于，在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过图示，在计算设备上运行的应用和计算设备都可以是部件。一个或多个部件可驻留在进程和/或执行线程中，部件可位于一个计算机上和/或分布在2个或更多个计算机之间。此外，这些部件可从在上面存储有各种数据结构的各种计算机可读介质执行。部件可例如根据具有一个或多个数据分组(例如来自与本地系统、分布式系统和/或网络间的另一部件交互的二个部件的数据，例如通过信号与其它系统交互的互联网)的信号通过本地和/或远程进程来通信。
[0039]
首先，对本技术中的部分用语进行解释说明，以便于本领域技术人员理解。
[0040]
(1)鲁棒性，是指控制系统在一定(结构，大小)的参数摄动下，维持其它某些性能的特性。根据对性能的不同定义，可分为稳定鲁棒性和性能鲁棒性。
[0041]
(2)卷积神经网络(convolutional neural network，cnn)，是一类包含卷积计算且具有深度结构的前馈神经网络(feedforward neural networks)，是深度学习(deep learning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariant classification)，因此也被称为“平移不变人工神经网络(shift-invariant artificial neural networks,siann)。
[0042]
(3)卷积层(convolutional layer)，卷积神经网络中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。
[0043]
(4)全连接层，全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。
[0044]
其次，为了便于理解本技术实施例，以下具体分析本技术实施例所需要解决的技术问题以及对应的应用场景。为了增加卷积神经网络的透明性，降低模型在部署应用中的潜在风险，同时建立其与用户之间的信任关系，目前需要解释模型的如何决策过程和分类结果，因此，提出了一系列的模型解释方法，如特征逆向解释方法、局部近似解释方法、模型模拟解释方法等。示例性的，在体现模型动态行为的解释框架中，大多数都采用以下几种方式：
[0045]
现有技术一，基于特征逆向方法提取的核心特征，我们可以对卷积神经网络的预测结果进行合理的解释。例如：通过计算模型输出结果相对于输入图像的梯度，生成解释显著图，然后利用显著图推断特征重要性。
[0046]
然而，这类方法所提取的特征相对粗糙且难以理解，无法满足精确解释的要求。此外，零梯度的问题使得基于梯度的特征逆向方法难以追踪定位所需的决策特征，从而导致解释方法失效。
[0047]
现有技术二，通过局部分析的方法解释深度学习模型对每个输入实例的决策过程
和决策依据。例如：利用影响函数追踪模型的预测结果并识别出对预测结果影响最大的训练实例。
[0048]
然而，这类方法通常采用了近似的手段，无法保证解释结果的精确性。此外，这类方法通过局部分析卷积神经网络的内部工作机制，因而智能获取模型的局部特征，故无法对卷积神经网络模型的整体行为作为准确的解释，也无法对相似样本做出一致的解释。
[0049]
现有技术三，通过对于给定输入，判断需要出现的特征与不应该出现的特征对模型预测结果做出解释。例如：利用自编码器来搜索在输入样本流形附近寻找对于分类的必要特征和不需要的特征。
[0050]
然而，这类方法通常引入了生成模型vae(variational auto-encoder，vae)或生成模型gan(generative adversarial nets，gan)，因此，无法保证解释结果的精确性。无法从理论上保证数据流形上与原样本接近。
[0051]
因此，针对上述技术问题，本技术通过深入研究卷积神经网络的内部工作机理，结合模型的鲁棒性验证，提出一种基于模型动态行为的可解释性方法与系统，并针对每一个输入实例，利用模型关于特征的动态行为解释模型的决策机制，从而增加神经网络的透明性，建立其与用户之间的信任关系。解决了现有技术中无法满足精确解释的问题，实现对每一个实际输入的特征数据，进行特征的动态行为解释模型的决策机制。
[0052]
基于上述提出的技术问题，也为了便于理解本技术实施例，下面先对本技术实施例所基于的其中一种基于模型动态行为的可解释性系统架构进行描述。请参阅图1，图1是本技术实施例提供的一种基于模型动态行为的可解释性系统构架示意图。本技术实施例中的基于模型动态行为的可解释性系统构架可以包括图1中的服务设备001和终端002。其中，如图1所示，服务设备001可以为云端的一个服务器，这个服务器与终端002构成一个基于模型动态行为的可解释性系统，其中：
[0053]
服务设备001包括但不限于云服务器、后台服务器、数据处理服务器等等，服务设备001可以是一种通过获取、处理、分析和提取数据，以交互数据为基础，为第三方使用带来各种便利的服务设备。当上述服务设备001为服务器时，所述服务器可以通过互联网与多个可移动的终端进行通信，服务器上也需要运行有相应的服务器端程序来提供相应的检测等服务。例如，服务器可以获取图像数据中目标像素点的非对称动态边界，所述图像数据为目标神经网络模型的输入数据，所述目标像素点为所述图像数据中多个像素点中的任意一个，所述非对称动态边界包括左动态边界和右动态边界，所述左动态边界为所述目标像素点的像素点值的下边界，所述右动态边界为所述目标像素点的像素点值的上边界，且所述目标像素点的像素点值在所述左动态边界和所述右动态边界之间变化时，所述图像数据在所述目标神经网络模型中的分类结果不变；对所述目标像素点的所述左动态边界和所述右动态边界进行差量操作，获得所述目标像素点的左右动态边界之差；根据所述多个像素点分别对应的左右动态边界之差，获得所述图像数据的目标像素点集合，所述目标像素点集合包括所述多个像素点中一个或多个左右动态边界之差超过第一阈值的像素点。
[0054]
终端002可以是安装有显示设备的通信终端、便携式终端、移动设备、用户终端、移动终端、无线通信设备、用户代理、用户装置、服务设备或用户设备(user equipment，ue)等计算机网络中处于网络最外围的设备。当可移动的终端002为带有显示器的笔记本电脑时，可以接收并显示服务器发送的特征图片，直观的将输入数据中影响了神经网络模型分类结
果的关键特征显示出来，如：根据所述多个像素点分别对应的左右动态边界之差和所述图像数据，获得的所述图像数据对应的目标特征图，该目标特征图中多个像素点中左右动态边界之差大的像素点对应的视觉感知亮度大于左右动态边界之差小的像素点对应的视觉感知亮度。本技术实施例中可移动的终端还可以包括但不限于任何一种基于智能操作系统的可移动的电子产品，其可与用户通过键盘、虚拟键盘、触摸板、触摸屏以及声控设备等输入设备来进行人机交互，诸如：投影仪、智能手机，显示器等。本技术对其终端002执行的具体功能不做具体的限定。
[0055]
可以理解的是，图1的基于模型动态行为的可解释性系统架构只是本技术实施例中的部分示例性的实施方式，本技术实施例中的基于模型动态行为的可解释性系统架构包括但不仅限于以上基于模型动态行为的可解释性系统架构。
[0056]
基于上述提供的一种基于模型动态行为的可解释性系统架构，本技术实施例提供一种应用于上述基于模型动态行为的可解释性系统架构中的基于模型动态行为的可解释性装置，该装置适用于上述图1所述的服务器001。请参见图2，图2是本技术实施例提供的一种基于模型动态行为的可解释性装置的结构示意图，该基于模型动态行为的可解释性装置可以相当于上述图1所示的服务器001。其中，在基于模型动态行为的可解释性装置中，可以包括动态边界量化模块01和模型解释模块02。其中，动态边界量化模块01中包括：量化建模模块101和优化求解模块102；模型解释模块02中包括：边界预处理模块103和可视化模块104。对于给定的输入实例和神经网络，基于模型动态行为的可解释性装置可以首先对量化输入实例的非对称动态量化边界，然后利用该边界对模型预测机制进行解释，可以得到对于分类结果需要或者不需要的特征。
[0057]
请参考附图3，附图3是本技术实施例提供的一种动态边界量化模块运算流程示意图，如图3所示，动态边界量化模块01首先，获取输入数据x和目标神经网络模型；其次，根据上述输入数据x和目标神经网络模型，进行动态量化建模；利用优化方法，对动态量化建模后进行求解，得到输入数据x的非对称动态边界；然后，判断求解得到的左动态边界和右动态边界是否满足预先设定的优化条件，如果不满足则继续进行求解，如果满足则获取该输入数据x在给定的目标神经网络模型下的非对称动态边界量化结果。
[0058]
其中，量化建模模块101，用于量化输入实例的非对称动态量化边界，即，根据目标神经网络和要输入目标神经网络模型的输入数据，进行动态量化建模，以获取输入数据的非对称动态边界。例如：定义包含x的最大空间的求解方程，非对称动态边界。例如：定义包含x的最大空间的求解方程，其中，即，即，z
(n m)
[t]-z
(n m)
[j]≥δ，j＝1，
…
，k and j≠t。其中，在该方程中，x为输入数据，∈1为左动态边界，∈2为右动态边界，i是目标神经网络模型中当前第i层，n为该输入数据中所有像素点的数目(即，图像数据中有多少个像素点，n的值就多大)，n为目标神经网络模型中卷积层的数目，m为目标神经网络模型中全连接层的数目，t是为目标神经网络模型的分类结果中的正确类，j表示不同于t的类。
[0059]
优化求解模块102，可以利用优化方法，对上述量化建模模块101中的建模进行求解，得到相应的非对称动态边界。还可以判断求解得到的左右动态边界是否满足预先设定
的优化条件，如果不满足则继续进行求解，如果满足则输出上述输入数据在给定的目标神经网络模型下的非对称动态边界量化结果。
[0060]
请参考附图4，附图4是本技术实施例提供的一种模型解释模块运算流程示意图，如图4所示，模型解释模块02可以首先，将动态边界量化得到的非对称动态边界(左动态边界、右动态边界)作为输入，然后左动态边界、右动态边界进行差量预处理，得到差量动态边界；其次，模型解释模块02判断是否将输入数据x的每一个像素点的非对称动态边界处理完毕，如果处理完毕，则输出该输入数据x的所有像素点的差量动态边界，否则就继续处理；最后,目标神经网络模型的模型决策机制可以通过差量动态边界体现，即，以差量动态边界的数值大小生成特征解释图。
[0061]
其中，边界预处理模块103，用于对输入数据(即：图像数据)中的每一个像素点对应的左、右动态边界进行差量预处理，得到差量动态边界。其中，该差量预处理为对左、右动态边界进行差量操作(如：左动态边界值减去右动态边界值)后，对差值进行归一化处理，获得在一定范围内的差量动态边界值。需要说明的是，可以将左动态边界、右动态边界只进行差量操作，不进行归一化处理，其中，归一化处理的过程是为了将下步生成的解释图中，影响输入数据在目标神经网络模型中分类结果的特征更加鲜明，同时彼此之间数值大小的较小差异也有助于生成图片。
[0062]
可视化模块104，根据所述多个像素点分别对应的左右动态边界之差和所述图像数据，获得所述图像数据对应的目标特征图，所述目标特征图中多个像素点中第三像素点对应的视觉感知亮度大于第四像素点对应的视觉感知亮度，其中，所述第三像素点的左右动态边界之差大于所述第四像素点的左右动态边界之差。例如：如图2所示，将差量动态边界归一化[0,1],值较大意味着预测类(如图2的“7”)倾向于拥有该特征(如“7”上面的一横，即，这个特征值变小的话，类别会变化)，否则，该预测类倾向于没有该特征(如“7”下面一横，使其变成“2”)。然后可视化，差量动态边界值较大对应的特征视觉感知较亮，否则较暗。利用这种差异性体现模型分类的决策机制。
[0063]
可以理解的是，图2中的基于模型动态行为的可解释性装置只是本技术实施例中的一种示例性的实施方式，本技术实施例中的基于模型动态行为的可解释性装置包括但不仅限于以上基于模型动态行为的可解释性装置。
[0064]
基于图1提供的基于模型动态行为的可解释性系统架构，以及图2提供的基于模型动态行为的可解释性装置的结构，结合本技术中提供的基于模型动态行为的可解释性方法，对本技术中提出的技术问题进行具体分析和解决。
[0065]
参见图5，图5是本技术实施例提供的一种基于模型动态行为的可解释性方法的流程示意图，该方法可应用于上述图1中所述的基于模型动态行为的可解释性系统架构中，其中的基于模型动态行为的可解释性装置可以用于支持并执行图5中所示的方法流程步骤s501-步骤s504。该方法可以包括以下步骤s501-步骤s502和步骤s504，可选的，还可以包括步骤s503。
[0066]
步骤s501：获取图像数据中目标像素点的非对称动态边界。
[0067]
具体的，基于模型动态行为的可解释性装置获取图像数据中目标像素点的非对称动态边界，所述图像数据为目标神经网络模型的输入数据，所述目标像素点为所述图像数据中多个像素点中的任意一个，所述非对称动态边界包括左动态边界和右动态边界，所述
左动态边界为所述目标像素点的像素点值的下边界，所述右动态边界为所述目标像素点的像素点值的上边界，且所述目标像素点的像素点值在所述左动态边界和所述右动态边界之间变化时，所述图像数据在所述目标神经网络模型中的分类结果不变。需要说明的是，左动态边界可以为减少像素点值而不会改变分类结果的范围界限，右动态边界可以为增加像素点值而不会改变分类结果的范围界限。因此，所述非对称动态边界为所述目标像素点的像素点值在所述该边界范围之间变化时，所述图像数据在所述目标神经网络模型中的分类结果不变。还需要说明的是，利用像素点值的动态增减对分类结果的影响来对输入数据进行解释，基于目标神经网络模型的动态行为，因此更能体现目标神经网络模型的决策机制。同时利用目标神经网络模型的分类结果，保证了解释方法的保真性。因此达到了提高神经网络的透明性和可解释性的效果。
[0068]
可选的，基于模型动态行为的可解释性装置目标神经网络模型包括卷积层和/或全连接层。实施本技术实施例，可以解释卷积神经网络模型和体现卷积神经网络模型关于输入特征的动态行为，其中，目标神经网络模型包括卷积层和/或全连接层，即为卷积神经网络。
[0069]
步骤s502：对目标像素点的左动态边界和右动态边界进行差量操作，获得目标像素点的左右动态边界之差。
[0070]
具体的，基于模型动态行为的可解释性装置对所述目标像素点的所述左动态边界和所述右动态边界进行差量操作，获得所述目标像素点的左右动态边界之差。需要说明的是，差量操作可以将左动态边界对应的目标像素点的像素点值减去右动态边界对应的目标像素点的像素点值。
[0071]
可选的，将所述目标像素点的左右动态边界之差进行归一化处理，获得所述目标像素点的差量动态边界值。
[0072]
步骤s503：根据图像数据中多个像素点分别对应的左右动态边界之差，获得图像数据的目标像素点集合。
[0073]
具体的，基于模型动态行为的可解释性装置根据所述多个像素点分别对应的左右动态边界之差，获得所述图像数据的目标像素点集合，所述目标像素点集合包括所述多个像素点中一个或多个左右动态边界之差超过第一阈值的像素点。需要说明的是，目标像素点集合可以认为是输入图像数据的动态关键特征，其用于判定该图像数据的在目标神经网络模型下的分类结果。如：车辆根据轮胎特征被判定为车辆，如果没有轮胎特征可能无法被识别为车辆；风扇因扇叶特征被判定为风扇，如果没有扇叶特征可能无法被识别为风扇；电话因按键特征和话筒特征被判定为电话，如果没有按键特征和话筒特征中的任何一个都可能无法被识别为风扇。因此，上述轮胎特征、扇叶特征、按键特征和话筒特征对应的像素点集左右动态边界之差超过第一阈值，可以认为是目标像素点集合，即，动态关键特征。请参考附图6，图6是本技术实施例提供的一种动态关键特征示意图，如图6所示：图像数据的“车”下面有两个车轮，当这个车轮对应像素点的像素点值逐渐变小时，车辆的车轮就逐渐消失了，此时车辆的类别可能会变化，可能会被目标神经网络模型识别为房子，说明图像数据“车”的分类结果发生了改变，因此，图像数据的“车”依赖“车”下面的两个车轮所在像素点的特征。而，车轮对应的像素点集合即可认为是“车”的目标像素点集合，即，动态关键特征，用于判定图像数据在目标神经网络模型下的分类结果。
[0074]
可选的，基于模型动态行为的可解释性装置从所述多个像素点分别对应的差量动态边界值中，确定差量动态边界值超过第二阈值的像素点为所述图像数据的所述目标像素点集合。通过归一化的方式将目标像素点的左右动态边界之差由相差较大的值处理为较小的值，方便运算处理，也使得各个像素点之间对分类结果影响的差异性更加明显，如：处理至0-1的范围内。其中，目标像素点的差量动态边界值越大，证明所述图像数据在目标神经网络模型中的分类结果越依赖该目标像素点的特征。例如：将差量动态边界归一化至[0,1]之内,值较大意味着预测类倾向于输入数据拥有该特征(即，这个特征值变小的话，类别会变化)，否则，该预测类倾向于没有该特征。
[0075]
步骤s504：根据多个像素点分别对应的左右动态边界之差和图像数据，获得图像数据对应的目标特征图。
[0076]
具体的，基于模型动态行为的可解释性装置根据所述多个像素点分别对应的左右动态边界之差和所述图像数据，获得所述图像数据对应的目标特征图，所述目标特征图中多个像素点中第三像素点对应的视觉感知亮度大于第四像素点对应的视觉感知亮度，其中，所述第三像素点的左右动态边界之差大于所述第四像素点的左右动态边界之差。实施本技术实施例，通过左右动态边界之差可以直接体现目标神经网络模型的决策机制，其次，提取的特征相对简单并便于理解，以左右动态边界之差的值的大小生成目标特征图，可以更加精确的发现各个像素点之间对分类结果影响的差异性的影响。例如，由于目标特征图中多个像素点中第三像素点对应的视觉感知亮度大于第四像素点对应的视觉感知亮度，本技术实施例可以应用于智能医疗诊断，帮助医生快速分析病人的医疗影像数据，即，快速确定病人的医疗影像数据中的目标像素点集(动态关键特征的视觉感知亮度更大)，达到准确和快速定位病灶的效果，同时也可以帮助建立病人与智能医疗诊断设备之间的信任关系。
[0077]
可选的，基于模型动态行为的可解释性装置根据所述多个像素点分别对应的差量动态边界值和所述图像数据，获得所述图像数据对应的目标特征图，所述目标特征图中多个像素点中第一像素点对应的视觉感知亮度大于第二像素点对应的视觉感知亮度，其中，所述第一像素点的差量动态边界值大于所述第二像素点的差量动态边界值。因此，通过归一化处理差量动态边界值后可以体现目标神经网络模型的决策机制，其次，以差量动态边界的数值大小生成解释图，即目标特征图，可以更加直观的发现各个像素点之间对分类结果影响的差异性的影响。
[0078]
可选的，基于模型动态行为的可解释性装置根据所述多个像素点分别对应的左右动态边界之差，获取所述目标像素点集合的动态边界范围；根据所述动态边界范围，获得所述目标神经网络模型的鲁棒性边界范围，所述鲁棒性边界范围在所述动态边界范围之内，且用于确定输入所述目标神经网络模型后的分类结果。因此，左动态边界为减少像素点值而不会改变分类结果的范围界限，右动态边界为增加像素点值而不会改变分类结果的范围界限。鲁棒性边界范围即在左、右动态边界范围之内，从目标神经网络模型的鲁棒性来看，鲁棒性边界范围相当于图像数据对应的动态边界范围，都是用于确定输入所述目标神经网络模型后的分类结果，进而可以验证神经网络模型的鲁棒性边界，从而对模型的安全性能进行评估。例如：用来分析、验证、评估卷积神经网络的可靠性和安全性，从而降低卷积神经网络在实际部署潜在风险(如：从人为认知与模型决策机制不一致检测对抗样本)。进一步的，本技术实施例可以分析神经网络模型判断的可信程度，提示神经网络模型判断的风险。
[0079]
针对卷积神经网络模型缺乏透明性和可解释性，以及现存可解释方法无法准确解释卷积神经网络模型和体现该模型关于输入特征的动态行为等问题，在本技术实施例中，可以通过对于给定的神经网络模型和图像数据(即，神经网络模型的输入数据)，获取该图像数据在该神经网络模型下的非对称动态边界，该非对称动态边界包括左动态边界和右动态边界，其中，左动态边界为减少像素点值而不会改变分类结果的范围界限，右动态边界为增加像素点值而不会改变分类结果的范围界限。因此，将左动态边界和右动态边界进行差量操作，得到左右动态边界之差。最后，根据该左右动态边界之差进行分析，得到该图像数据的目标像素点集合。其中，该输入数据为图像数据。这种针对神经网络模型的每一个输入数据，利用该神经网络模型关于输入数据中目标像素点的动态行为(即：增加或减少目标像素点的像素点值，且不会改变其分类结果)解释该神经网络模型的决策机制，从而可以增加神经网络的透明性，建立其与用户之间的信任关系。此外，利用本技术所提方法，通过深入研究卷积神经网络的内部工作机理，可验证神经网络模型的鲁棒性边界，从而对模型的安全性能进行评估。
[0080]
上述详细阐述了本技术实施例的方法，下面提供了本技术实施例的相关装置。
[0081]
请参见图7，图7是本技术实施例提供的另一种基于模型动态行为的可解释性装置的结构示意图，该基于模型动态行为的可解释性装置可以包括第一获取单元701，差量单元702和像素点单元703，还可以包括归一化单元704，第一特征图单元705，第二特征图单元706和第二获取单元707，其中，各个单元的详细描述如下。
[0082]
第一获取单元701，用于获取图像数据中目标像素点的非对称动态边界，所述图像数据为目标神经网络模型的输入数据，所述目标像素点为所述图像数据中多个像素点中的任意一个，所述非对称动态边界包括左动态边界和右动态边界，所述左动态边界为所述目标像素点的像素点值的下边界，所述右动态边界为所述目标像素点的像素点值的上边界，且所述目标像素点的像素点值在所述左动态边界和所述右动态边界之间变化时，所述图像数据在所述目标神经网络模型中的分类结果不变；
[0083]
差量单元702，用于对所述目标像素点的所述左动态边界和所述右动态边界进行差量操作，获得所述目标像素点的左右动态边界之差；
[0084]
像素点单元703，用于根据所述多个像素点分别对应的左右动态边界之差，获得所述图像数据的目标像素点集合，所述目标像素点集合包括所述多个像素点中一个或多个左右动态边界之差超过第一阈值的像素点。
[0085]
在一种可能实现的方式中，所述目标神经网络模型包括卷积层和/或全连接层。
[0086]
在一种可能实现的方式中，所述装置还包括：归一化单元704，用于将所述目标像素点的左右动态边界之差进行归一化处理，获得所述目标像素点的差量动态边界值；所述像素点单元703，具体用于：从所述多个像素点分别对应的差量动态边界值中，确定差量动态边界值超过第二阈值的像素点为所述图像数据的所述目标像素点集合。
[0087]
在一种可能实现的方式中，所述装置还包括：第一特征图单元705，用于根据所述多个像素点分别对应的差量动态边界值和所述图像数据，获得所述图像数据对应的目标特征图，所述目标特征图中多个像素点中第一像素点对应的视觉感知亮度大于第二像素点对应的视觉感知亮度，其中，所述第一像素点的差量动态边界值大于所述第二像素点的差量动态边界值。
[0088]
在一种可能实现的方式中，所述装置还包括：第二特征图单元706，用于根据所述多个像素点分别对应的左右动态边界之差和所述图像数据，获得所述图像数据对应的目标特征图，所述目标特征图中多个像素点中第三像素点对应的视觉感知亮度大于第四像素点对应的视觉感知亮度，其中，所述第三像素点的左右动态边界之差大于所述第四像素点的左右动态边界之差。
[0089]
在一种可能实现的方式中，所述装置还包括：第二获取单元707，用于根据所述多个像素点分别对应的左右动态边界之差，获取所述目标像素点集合的动态边界范围；鲁棒性单元708，用于根据所述动态边界范围，获得所述目标神经网络模型的鲁棒性边界范围，所述鲁棒性边界范围在所述动态边界范围之内，且用于确定输入所述目标神经网络模型后的分类结果。
[0090]
需要说明的是，本技术实施例中所描述的基于模型动态行为的可解释性装置70中各功能单元的功能可参见上述图5中所述的方法实施例中的步骤s501-步骤s504的相关描述，此处不再赘述。
[0091]
如图8所示，图8是本技术实施例提供的又一种基于模型动态行为的可解释性装置的结构示意图，该装置20包括至少一个处理器201，至少一个存储器202、至少一个通信接口203。此外，该设备还可以包括天线等通用部件，在此不再详述。
[0092]
处理器201可以是通用中央处理器(cpu)，微处理器，特定应用集成电路(application-specific integrated circuit，asic)，或一个或多个用于控制以上方案程序执行的集成电路。
[0093]
通信接口203，用于与其他设备或通信网络通信，如以太网，无线接入网(ran)，核心网，无线局域网(wireless local area networks，wlan)等。
[0094]
存储器202可以是只读存储器(read-only memory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，ram)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
[0095]
其中，所述存储器202用于存储执行以上方案的应用程序代码，并由处理器201来控制执行。所述处理器201用于执行所述存储器202中存储的应用程序代码。
[0096]
存储器202存储的代码可执行以上图5提供的基于模型动态行为的可解释性方法，比如：获取图像数据中目标像素点的非对称动态边界，所述图像数据为目标神经网络模型的输入数据，所述目标像素点为所述图像数据中多个像素点中的任意一个，所述非对称动态边界包括左动态边界和右动态边界，所述左动态边界为所述目标像素点的像素点值的下边界，所述右动态边界为所述目标像素点的像素点值的上边界，且所述目标像素点的像素点值在所述左动态边界和所述右动态边界之间变化时，所述图像数据在所述目标神经网络模型中的分类结果不变；对所述目标像素点的所述左动态边界和所述右动态边界进行差量操作，获得所述目标像素点的左右动态边界之差；根据所述多个像素点分别对应的左右动
态边界之差，获得所述图像数据的目标像素点集合，所述目标像素点集合包括所述多个像素点中一个或多个左右动态边界之差超过第一阈值的像素点。
[0097]
需要说明的是，本技术实施例中所描述的基于模型动态行为的可解释性装置20中各功能单元的功能可参见上述图5中所述的方法实施例中的步骤s501-步骤s504相关描述，此处不再赘述。
[0098]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0099]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可能可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
[0100]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
[0101]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0102]
另外，在本技术各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0103]
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以为个人计算机、服务端或者网络设备等，具体可以是计算机设备中的处理器)执行本技术各个实施例上述方法的全部或部分步骤。其中，而前述的存储介质可包括：u盘、移动硬盘、磁碟、光盘、只读存储器(read-only memory，缩写：rom)或者随机存取存储器(random access memory，缩写：ram)等各种可以存储程序代码的介质。
[0104]
以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。