一种联合图数据和图神经网络的图像解释方法及装置

1.本发明涉及图神经网络与机器学习技术领域，具体涉及一种联合图数据和图神经网络的图像解释方法及装置。


背景技术：

2.图神经网络（graph neural networks，gnn）是一种用于处理图结构的神经网络。由于图神经网络是作为不透明的黑盒模型来处理图结构的，所以一般通过关注输入的图结构对预测结果的影响程度，实现对输入图数据的解释。
3.事后解释一般包括特征归因和特征选择。例如，先通过特征归因计算输入图数据中每个特征的重要性，再通过特征选择基于多个特征的重要性筛选目标子图数据，并将目标子图数据作为解释输出。
4.但是，通过事后解释的方式存在两个局限性：第一，特征归因部分只关注输入特征的可解释性，无法对图神经网络进行解释，无法确定图神经网络中每个神经元的可解释性。第二，事后解释存在分布失衡（out-of-domain，ood）问题，导致事后解释结果的可信度（fidelity）和准确性（precision）较低。


技术实现要素：

5.鉴于上述问题，本发明提供了一种联合图数据和图神经网络的图像解释方法及装置。
6.根据本发明的第一个方面，提供了一种联合图数据和图神经网络的图像解释方法，包括：获取待处理的原始图数据和原始图神经网络，其中，原始图数据用于表征与原始图数据对应的图像的图结构信息，原始图神经网络用于确定与原始图数据对应的预测结果，原始图数据包括多个节点和多个边，原始图神经网络包括多个神经元；利用联合解释框架对原始图数据和原始图神经网络进行t轮处理，得到第t解释结果，其中，第t解释结果满足第一预设条件，第t解释结果包括第t图数据和第t图神经网络，第t图数据中节点的数量小于原始图数据，第t图神经网络中神经元的数量小于原始图神经网络，t为大于或等于2的整数；将第t解释结果作为与原始图数据对应的目标解释结果。
7.可选的，联合解释框架包括图解释器和网络解释器，图解释器用于确定第t图数据，网络解释器用于确定第t图神经网络。
8.可选的，利用联合解释框架对原始图数据和原始图神经网络进行t轮处理，得到第t解释结果，包括：在t大于或等于2，且t小于或等于t的情况下，将第（t-1）解释结果中的第（t-1）图数据和第（t-1）图神经网络输入图解释器，输出第t图数据；将第t图数据和第（t-1）图神经网络输入网络解释器，输出第t图神经网络。
9.可选的，该方法还包括：在t等于1的情况下，将原始图数据和原始图神经网络输入图解释器，输出第1图数据；将第1图数据和原始图神经网络输入网络解释器，输出第1图神经网络。
10.可选的，将第（t-1）解释结果中的第（t-1）图数据和第（t-1）图神经网络输入图解释器，输出第t图数据，包括：利用第（t-1）图神经网络处理第（t-1）图数据，得到第t1预测结果；在确定第t1预测结果与标准标签之间的互信息为最大的情况下，确定第t图掩码矩阵，其中，第t图掩码矩阵用于筛选原始图数据中的节点，标准标签用于表征原始图数据所属的类别；根据第t图掩码矩阵和第（t-1）图数据，输出第t图数据。
11.可选的，将第t图数据和第（t-1）图神经网络输入网络解释器，输出第t图神经网络，包括：利用网络解释器对第t图数据和第（t-1）图神经网络进行n次处理，得到第t图神经网络，其中，第t图神经网络满足第二预设条件，n为大于或等于2的整数。
12.可选的，利用网络解释器对第t图数据和第（t-1）图神经网络进行n次处理，得到第t图神经网络，包括：在第n次处理过程中，利用第（n-1）网络掩码矩阵处理第（t-1）图神经网络，得到第t
n-1
图神经网络，其中，第（n-1）网络掩码矩阵用于筛选第（t-1）图神经网络中的神经元，n大于或等于2，且n小于或等于n；将第t图数据输入第t
n-1
图神经网络，输出第t
2n
预测结果；利用第一损失函数处理第t
2n
预测结果与标准标签，得到第一损失函数值；利用第二损失函数处理第一损失函数值和第（n-1）网络掩码矩阵的正则项，得到第二损失函数值；在第二损失函数值满足第三预设条件的情况下，对第n次处理过程得到的网络掩码矩阵进行选择性回卷，得到第n网络掩码矩阵；将利用第n网络掩码矩阵处理第（t-1）图神经网络得到的第tn图神经网络作为第t图神经网络。
13.可选的，该方法还包括：获取与第t轮处理过程对应的初始网络掩码矩阵，初始网络掩码矩阵是根据原始图神经网络中神经元的权重信息确定的；在n次处理过程的第1次处理过程中，利用初始掩码矩阵处理第（t-1）图神经网络，得到第t1图神经网络。
14.可选的，第n次处理过程得到的网络掩码矩阵包括多个元素，元素用于表征原始图神经网络中神经元的重要程度；对第n次处理过程得到的网络掩码矩阵进行选择性回卷，得到第n网络掩码矩阵，包括：根据多个元素的掩码值的绝对值，对多个元素进行排序，得到排序结果；根据排序结果，将满足第四预设条件的元素的掩码值设置为1，将满足第五预设条件的元素的掩码值设置为0，得到第n网络掩码矩阵。
15.本发明的第二方面提供了一种联合图数据和图神经网络的图像解释装置，包括：获取模块，用于获取待处理的原始图数据和原始图神经网络，其中，原始图数据用于表征与原始图数据对应的图像的图结构信息，原始图神经网络用于确定与原始图数据对应的预测结果，原始图数据包括多个节点和多个边，原始图神经网络包括多个神经元；解释模块，用于利用联合解释框架对原始图数据和原始图神经网络进行t轮处理，得到第t解释结果，其中，第t解释结果满足第一预设条件，第t解释结果包括第t图数据和第t图神经网络，第t图数据中节点的数量小于原始图数据，第t图神经网络中神经元的数量小于原始图神经网络，t为大于或等于2的整数；确定模块，用于将第t解释结果作为与原始图数据对应的目标解释结果。
16.本发明的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述联合图数据和图神经网络的图像解释方法。
17.本发明的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述联合图数据和图神经网络的图像解释方法。
18.本发明的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述联合图数据和图神经网络的图像解释方法。
19.本发明通过利用联合图数据和图神经网络的联合解释框架，不仅排除了原始图数据中的噪声干扰，对原始图数据中的特征进行解释，还能对原始图神经网络中神经元的预测行为进行解释，从图数据和图神经网络两个方面实现了图像解释。
20.此外，联合解释框架通过t轮交替处理原始图数据和原始图神经网络，输出的第t图神经网络是原始图神经网络的最优目标，解决了事后解释方法存在的ood问题，提高了目标解释结果的可靠性和准确性。
附图说明
21.通过以下参照附图对本发明实施例的描述，本发明的上述内容以及其他目的、特征和优点将更为清楚，在附图中：图1示出了根据本发明实施例的联合图数据和图神经网络的图像解释方法的流程图。
22.图2示出了根据本发明实施例的联合解释框架处理图数据和图神经网络的流程示意图。
23.图3示出了根据本发明实施例的联合解释框架和普通解释器的处理流程示意图。
24.图4示出了根据本发明实施例的联合图数据和图神经网络的图像解释装置的结构框图。
25.图5示出了根据本发明实施例的适于联合图数据和图神经网络的图像解释方法的电子设备的方框图。
具体实施方式
26.以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本发明实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
27.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
28.在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
29.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等）。
30.事后解释包括特征归因和特征选择。具体来说，特征归因将预测分数分配至输入
图数据的特征上，计算每个特征的重要性。例如，基于梯度的特征归因方法通常对目标预测结果的梯度进行反向传播，将该梯度传递至输入特征层面，并以此梯度作为与目标预测结果对应的特征重要性的近似值，以实现事后解释。基于扰动的特征归因方法对输入特征进行扰动，并检测不同扰动下输出的变化规律，以实现事后解释。在完成特征归因之后，特征选择会根据各个特征的重要性筛选重要的子图(例如，最重要的边的子集)作为解释输出。
31.但是，事后解释的方法存在两个局限性：第一，无法对图神经网络进行解析，从而影响事后解释结果的可靠性和准确性。例如，以分子诱变特性预测的gnn为例，现有解释器可以提取一个硝基作为诱变的解释子图数据，但该解释方法无法解释“在gnn中哪些神经元负责捕获硝基并在预测中起到关键作用”类似的问题。因此，现有解释器仅在输入特征层面进行解释，导致无法准确理解和分析gnn模型的预测行为。
32.第二，无法解决ood问题的局限性。在数据空间中，原始输入图数据与解释方法输出的可解释性子图数据之间存在分布偏差，极大程度地降低了事后解释结果的可靠性和准确性。
33.在预测过程中，将原始图数据作为gnn模型的输入，输出预测结果。在理论解释过程中，利用与原始图数据对应的输出结果和标准标签之间的互信息确定gnn模型的参数，以实现事后解释。但是，在实际解释过程中，一般利用与可解释子图数据对应的输出结果与标准标签之间的互信息获取gnn模型的参数，以实现事后解释。
34.由于原始图数据的预测结果与标准标签之间的互信息、可解释子图数据的预测结果与标准标签之间的互信息不成正比，因此，事后解释会因存在ood问题导致解释结果的可靠性和准确性较低。
35.本发明的实施例提供了一种联合图数据和图神经网络的图像解释方法，其特征在于，包括：获取待处理的原始图数据和原始图神经网络，其中，原始图数据用于表征与原始图数据对应的图像的图结构信息，原始图神经网络用于确定与原始图数据对应的预测结果，原始图数据包括多个节点和多个边，原始图神经网络包括多个神经元；利用联合解释框架对原始图数据和原始图神经网络进行t轮处理，得到第t解释结果，其中，第t解释结果满足第一预设条件，第t解释结果包括第t图数据和第t图神经网络，第t图数据中节点的数量小于原始图数据，第t图神经网络中神经元的数量小于原始图神经网络，t为大于或等于2的整数；将第t解释结果作为与原始图数据对应的目标解释结果。
36.图1示出了根据本发明实施例的联合图数据和图神经网络的图像解释方法的流程图。
37.如图1所示，该方法包括操作s110~s130。
38.根据本发明的实施例，图像数据包括图片，如利用相机等具有摄像功能的设备所拍摄的图片。图数据包括多个节点和和多个边，用于表征图像的图结构信息。
39.图神经网络（graph neural networks，gnn）是一种用于处理图结构的神经网络，图神经网络包括多个神经元，每个神经元通过数学运算处理输入的图数据。
40.在操作s110，获取待处理的原始图数据和原始图神经网络。
41.根据本发明的实施例，原始图神经网络为已经完成训练的图神经网络。在预测过程中，将原始图数据输入原始图神经网络，通过原始图神经网络输出预测结果。图像解释过程为对本次预测过程中gnn网络的行为特征以及原始图数据的输入特征进行解释的过程。
42.根据本发明的实施例，将预测过程中输入的图数据确定为待处理的原始图数据，将对原始图数据进行处理的图神经网络确定为待处理的原始图神经网络。
43.在操作s120，利用联合解释框架对原始图数据和原始图神经网络进行t轮处理，得到第t解释结果，其中，第t解释结果满足第一预设条件，第t解释结果包括第t图数据和第t图神经网络。
44.根据本发明的实施例，在确定原始图数据和原始图神经网络之后，将原始图数据和原始图神经网络共同输入联合解释框架。联合解释框架通过联合图数据和图神经网络的特征，对原始图数据和原始图神经网络进行t轮处理，得到第t解释结果。第t解释结果包括第t图数据和第t图神经网络。
45.在每一轮处理过程中，联合解释框架均对当前轮次输入的图数据和图神经网络进行处理，得到当前轮次处理过后的图数据和图神经网络。
46.在操作s130，将第t解释结果作为与原始图数据对应的目标解释结果。
47.在满足第一预设条件的情况下，将第t解释结果确定为目标解释结果，第t图数据为与原始图数据对应的目标解释结果，第t图神经网络为与原始图神经网络对应的目标解释结果。
48.联合解释框架联合了图数据和图神经网络，通过对原始图数据和原始图神经网络的t轮交替处理，删除了原始图数据中对预测结果影响小的节点和原始图神经网络中对预测行为影响小的神经元，实现对原始图数据和原始图神经网络的解释。第t图数据中节点的数量小于原始图数据，第t图神经网络中神经元的数量小于原始图神经网络，t为大于或等于2的整数。
49.根据本发明的实施例，第一预设条件包括：第t图数据中节点数量与原始图数据中节点数量的比值小于或等于第一预设阈值；和/或第t图神经网络中神经元数量与原始图神经网络中神经元数量的比值小于或等于第二预设阈值。
50.本发明通过利用联合图数据和图神经网络的联合解释框架，不仅排除了原始图数据中的噪声干扰，对原始图数据中的特征进行解释，还能对原始图神经网络中神经元的预测行为进行解释，从图数据和图神经网络两个方面实现了图像解释。
51.此外，联合解释框架通过t轮交替处理输出的第t图神经网络是对原始图数据进行预测的最优图神经网络，无需直接利用原始图神经网络进行事后解释，因此，解决了事后解释方法存在的ood问题，提高了目标解释结果的可靠性和准确性。
52.根据本发明的实施例，联合解释框架包括图解释器和网络解释器，图解释器用于确定第t图数据，网络解释器用于确定第t图神经网络。
53.其中，图解释器设置于网络解释器之前。图解释器用于对上一轮输出的图数据进行处理，输出更新的图数据。网络解释器用于利用图解释器本轮输出的更新的图数据对网络解释器上一轮输出的图神经网络进行处理，输出更新的图神经网络。
54.在第t轮处理过程中，将第（t-1）解释结果中的第（t-1）图数据和第（t-1）图神经网络输入图解释器，输出第t图数据。将第t图数据和第（t-1）图神经网络输入网络解释器，输出第t图神经网络。t大于或等于2，且t小于或等于t，即非第一轮处理过程中。
55.具体地，在将联合解释框架第（t-1）轮输出第（t-1）图数据和第（t-1）图神经网络输入图解释器之后，图解释器将第（t-1）图数据输入至第（t-1）图神经网络，并根据第（t-1）
图神经网络输出的结果优化第（t-1）图数据，得到第t图数据。在确定第t图数据之后，图解释器输出第t图数据。
56.在图解释器输出第t轮处理的第t图数据之后，联合解释框架将第t图数据和第（t-1）图神经网络输入网络解释器。网络解释器将本轮确定的第t图数据输入上轮确定的第（t-1）图神经网络中，根据第（t-1）图神经网络输出的结果优化第（t-1）图神经网络，得到第t图神经网络。在确定第t图神经网络之后，网络解释器输出第t图数据。
57.在t等于1的情况下，联合解释框架对原始图数据和原始图神经网络进行首轮处理。将原始图数据和原始图神经网络输入图解释器，输出第1图数据；将第1图数据和原始图神经网络输入网络解释器，输出第1图神经网络。
58.图2示出了根据本发明实施例的联合解释框架处理图数据和图神经网络的流程示意图。
59.如图2所示，将原始图数据和原始图神经网络输入联合解释框架。联合解释框架交替执行图解释器和网络解释器，通过t轮迭代处理，输出目标解释结果。目标解释结果包括第t图数据和第t图神经网络。
60.根据本发明的实施例，在对原始图数据和原始图神经网络进行t轮处理之前，获取在预测过程中原始图数据的预测结果，并确定与预测结果对应的分类的标准标签。
61.根据本发明的实施例，联合解释框架通过期望最大化算法（expectation maximization algorithm，em算法）确定第t图数据和第t图神经网络。联合解释框架的执行逻辑为：基于图解释器，在期望步（e-step）固定图神经网络的参数并优化图数据；基于网络解释器，在极大步（m-step）固定图数据并优化图神经网络。
62.例如，在第t轮处理过程中，图解释器可以利用标准标签和第（t-1）图神经网络计算第（t-1）图数据的条件概率期望，从而确定第t图数据。网络解释器通过argmax（）函数处理条件概率期望，在条件概率期望最大的情况下，确定第t图神经网络的参数，从而确定第t图神经网络。
63.作为一种具体实施例，联合解释框架通过引入联合互信息确定目标解释结果。具体地，对于第t轮处理过程，在将第（t-1）图数据输入第（t-1）图神经网络之后，图解释器利用第（t-1）图神经网络的预测结果和标准标签之间的互信息，确定第t图数据。在将第t图数据输入第（t-1）图神经网络之后，网络解释器利用第（t-1）图神经网络的预测结果和标准标签之间的互信息，确定第t图神经网络。
64.在将原始图数据和原始图神经网络输入联合解释框架之后，图解释器通过t轮处理给原始图数据中的输入特征分配不同的重要度、网络解释器通过t轮处理给原始图神经网络中的神经元分配不同的重要度，以完成特征归因。由此，图解释器和网络解释器的优化目标转换为与输入特征同一维度的图掩码矩阵、与神经元同一维度的网络掩码矩阵。其中，图掩码矩阵用于表征原始图数据中节点的重要度，网络掩码矩阵用于表征原始图神经网络中神经元的重要度。
65.根据本发明的实施例，将第（t-1）解释结果中的第（t-1）图数据和第（t-1）图神经网络输入图解释器，输出第t图数据，包括：在将（t-1）图数据和第（t-1）图神经网络输入图解释器之后，利用第（t-1）图神经网络处理第（t-1）图数据，得到第t1预测结果。在确定第t1预测结果与标准标签之间的互信息为最大的情况下，确定第t图掩码矩阵，其中，第t图掩码
矩阵用于筛选原始图数据中的节点，标准标签用于表征原始图数据所属的类别。根据第t图掩码矩阵和第（t-1）图数据，输出第t图数据。
66.具体地，在将（t-1）图数据和第（t-1）图神经网络输入图解释器之后，图解释器将（t-1）图数据输入第（t-1）图神经网络，第（t-1）图神经网络输出t1预测结果。
67.需要说明的是，t1中的上角标1表示图神经网络在图解释器处理过程中得到的预测结果，t表示第t轮处理过程，t1表示在第t轮图解释器的处理过程中，第（t-1）图神经网络输出的预测结果。
68.在第t轮图解释器处理过程中，根据t1预测结果与标准标签之间的互信息确定本轮优化得到的图掩码矩阵。具体地，确定第t1预测结果与标准标签之间的互信息为最大的情况下，确定第t图掩码矩阵。根据第t图掩码矩阵和第（t-1）图数据，输出第t图数据。其中，第t图掩码矩阵用于筛选原始图数据中的节点。标准标签用于表征原始图数据所属的类别。
69.根据本发明的实施例，通过将每轮处理得到的图掩码矩阵与原始图数据结合，可以得到当前轮次的图数据。
70.具体地，可以根据第（t-1）图数据确定第（t-1）图掩码矩阵，利用第t图掩码矩阵更新第（t-1）图掩码矩阵，再将第t图掩码矩阵与原始图数据结合，得到第t图数据。还可以直接将第t图掩码矩阵与原始图数据结合，得到第t图数据。
71.图解释器得到第t图数据的过程满足：（1）其中，表示第（t-1）轮处理输出的图掩码矩阵，表示第（t-1）轮处理输出的网络掩码矩阵，表示输入的原始图数据，表示原始图神经网络的参数，y表示标准标签，表示第t轮输入图解释器的第（t-1）图数据，表示第t轮图解释器利用的第（t-1）图神经网络，表示图解释器将第（t-1）图数据输入第（t-1）图神经网络得到的预测结果，即t1预测结果，表示预测结果f与标准标签y之间的互信息，表示在互信息最大的情况下，输出m1。
72.根据本发明的实施例，在确定第1图数据的过程中，无需对原始图数据进行初始化。在确定第t图数据的过程中，图解释器通过将选中的节点的特征掩码置为1，未被选中节点的特征掩码置为0，得到优化后的第t图掩码矩阵。
73.网络解释器得到第t图神经网络的过程满足：（2）其中，表示第t轮处理输出的图掩码矩阵，表示第（t-1）轮处理输出的网络掩码矩阵，表示输入的原始图数据，表示原始图神经网络的参数，y表示标准标签，表示第t轮输入网络解释器的第t图数据，表示第t轮网络解释器利用的第（t-1）图神经网络，表示网络解释器将第t图数据输入第（t-1）图神经网络得到的预测结果，表示预测结果f与标准标签y
之间的互信息，表示在互信息最大的情况下，输出m2。
74.基于jensen不等式和最大似然估计的性质，根据公式（1）和（2），在有限次的迭代内，图掩码矩阵m1和网络掩码矩阵m2逐渐收敛，以实现图掩码矩阵和网络掩码矩阵的优化。
75.本发明通过固定图神经网络的参数，利用图解释器优化图数据；固定图数据，通过网络解释器判断并提取图神经网络中被其激活的神经元，并将重要的神经元集合输出，确定优化的图神经网络。
76.根据本发明的实施例，在第t轮处理过程中，利用网络解释器确定第t图神经网络包括：利用网络解释器对第t图数据和第（t-1）图神经网络进行n次处理，得到第t图神经网络，第t图神经网络满足第二预设条件，n为大于或等于2的整数。
77.在第1轮处理过程中，将原始图数据输入图解释器并输出第1图数据之后，利用网络解释器对第1图数据和原始图神经网络进行n次处理，得到第1图神经网络。第1图神经网络满足第二预设条件。
78.根据本发明的实施例，第二预设条件可以是n次处理过程之后，损失函数的值满足预设阈值。
79.在每轮确定图神经网络的过程中，通过对图神经网络的多次迭代确定当前轮次的图神经网络，可以提高图神经网络的可靠程度和准确性。
80.根据本发明的实施例，利用网络解释器对第t图数据和第（t-1）图神经网络进行n次处理，得到第t图神经网络，包括：在第n次处理过程中，利用第（n-1）网络掩码矩阵处理第（t-1）图神经网络，得到第t
n-1
图神经网络，其中，第（n-1）网络掩码矩阵用于筛选第（t-1）图神经网络中的神经元，n大于或等于2，且n小于或等于n；将第t图数据输入第t
n-1
图神经网络，输出第t
2n
预测结果；利用第一损失函数处理第t
2n
预测结果与标准标签，得到第一损失函数值；利用第二损失函数处理第一损失函数值和第（n-1）网络掩码矩阵的正则项，得到第二损失函数值；在第二损失函数值满足第三预设条件的情况下，对第n次处理过程得到的网络掩码矩阵进行选择性回卷，得到第n网络掩码矩阵；将利用第n网络掩码矩阵处理第（t-1）图神经网络得到的第tn图神经网络作为第t图神经网络。
81.具体地，在n次处理过程中，网络掩码矩阵每次都会发生改变，用于筛选第（t-1）图神经网络。在第n次处理过程中，将上次处理过程得到的第（n-1）网络掩码矩阵与第（t-1）图神经网络结合，即可得到第t轮、第（n-1）次处理过程得到的第t
n-1
图神经网络。网络解释器将第t图数据输入第t
n-1
图神经网络，输出第t
2n
预测结果。其中，t
2n
的上角标2表示在网络解释器的处理过程中，第t
2n
表示第t轮网络解释器处理过程中，图神经网络输出的预测结果。
82.在第t
n-1
图神经网络输出第t
2n
预测结果之后，可以计算该预测结果和标准标签之间的互信息，在互信息最大的情况下，确定第n次处理得到的第n网络掩码矩阵。
83.由于互信息的计算复杂度较高，所以采用图神经网络的损失函数来近似计算预测结果与标准标签之间的互信息。例如，利用第一损失函数处理第t
2n
预测结果与标准标签，得到第一损失函数值。其中，第一损失函数为图神经网络的损失函数，可以为交叉熵函数。
84.第一损失函数和网络掩码矩阵的正则项构成了优化网络掩码矩阵的第二损失函数。其中，网络掩码矩阵的正则项为网络掩码矩阵的l1范式。通过将网络掩码矩阵的l1范式作为正则项，实现了对确定网络掩码矩阵过程的约束，不仅保证了n次迭代处理过程可收敛，还保证了网络掩码矩阵的稀疏度，有助于提高得到的网络掩码矩阵的准确性。
85.在第t轮处理过程中，第二损失函数满足：（3）其中，表示第二损失函数，表示第一损失函数，表示将第t图数据输入第t图神经网络得到的预测结果，y表示标准标签，表示第t网络掩码矩阵的l1范式，是用于平衡第一损失函数值和l1范式的系数。
86.根据本发明的实施例，在确定第二损失函数值满足第三预设条件的情况下，确定n次处理过程结束，不再对图神经网络再进行迭代处理。第三预设条件可以为第二损失函数满足预设阈值或第二损失函数收敛。其中，预设阈值用于表示图数据中节点数量与原始图数据中节点数量的比值小于或等于第一预设阈值；和/或图神经网络中神经元数量与原始图神经网络中神经元数量的比值小于或等于第二预设阈值。
87.在第二损失函数值满足第三预设条件的情况下，对第n次处理过程得到的网络掩码矩阵进行选择性回卷，得到第n网络掩码矩阵。具体地，将第n次处理过程筛选到的神经元的网络掩码矩阵参数确定为1，将删除的神经元的网络掩码矩阵确定为0，得到第n网络掩码矩阵。
88.根据本发明的实施例，第n次处理过程得到的网络掩码矩阵包括多个元素，元素用于表征原始图神经网络中神经元的重要程度；对第n次处理过程得到的网络掩码矩阵进行选择性回卷，得到第n网络掩码矩阵，包括：根据多个元素的掩码值的绝对值，对多个元素进行排序，得到排序结果；根据排序结果，将满足第四预设条件的元素的掩码值设置为1，将满足第五预设条件的元素的掩码值设置为0。
89.例如，针对每个元素，在确定每个元素的掩码值的绝对值大于或等于上限阈值的情况下，将元素的掩码值设置为1；在确定每个元素的掩码值的绝对值小于或等于下限阈值的情况下，将元素的掩码值设置为0，上限阈值大于下限阈值。
90.或者，按照每个元素的掩码值的绝对值大小进行排序，将第一序号之前的元素的掩码值设置为1，将第二序号之后的元素的掩码值设置为0。第一序号的序号值小于第二序号的序号值。
91.在确定第n网络掩码矩阵之后，将第n网络掩码矩阵与第（t-1）图神经网络结合，得到第tn图神经网络。由于第二损失函数值满足第三预设条件，因此，第tn图神经网络即为第t图神经网络。
92.根据本发明的实施例，还包括：获取与第t轮处理过程对应的初始网络掩码矩阵，初始网络掩码矩阵是根据原始图神经网络中神经元的权重信息确定的；在n次处理过程的第1次处理过程中，利用初始掩码矩阵处理所述第（t-1）图神经网络，得到第t1图神经网络。
93.对于t次迭代处理过程，每次迭代过程均需对图神经网络进行n次处理，每次迭代过程中的n次处理均需要初始化网络掩码矩阵。
94.初始网络掩码矩阵包括随机初始化项和权重项，随机初始化项为随机初始化的结果；权重项为根据原始图神经网络中神经元的权重信息确定的，包括原始图神经网络中每个神经元权重的绝对值与所有神经元权重的绝对值的平均值之比。
95.具体地，在t轮处理过程的第1轮处理过程中，初始网络掩码矩阵满足：，其中，表示随机初始化项，表示权重项，表示神经元权重的绝对值，表示所有神经元权重的绝对值的平均值，表示sigma（）函数，表示第1轮处理过程中的初始网络掩码矩阵。
96.对于第t轮处理过程，初始化掩码矩阵为：，其中，表示第t轮处理过程的初始网络掩码矩阵，表示第（t-1）轮网络解释器输出的网络掩码矩阵。
97.对于第t轮处理过程，在图解释器输出第t图数据之后，网络解释器获取与第t轮处理过程对应的初始网络掩码矩阵。在对第（t-1）图神经网络进行n次处理的第1次处理过程中，利用与第t轮处理过程对应的初始网络掩码矩阵处理第（t-1）图神经网络，得到第t1图神经网络。
98.本发明通过融合原始图神经网络的权重信息，对确定网络掩码矩阵的过程进行初始化，不仅加快了优化网络掩码矩阵的收敛速度，还提高了网络解释器对重要神经元的辨别能力，提高了确定的第t图神经网络的可靠性和准确性。
99.图3示出了根据本发明实施例的联合解释框架和普通解释器的处理流程示意图。
100.如图3所示，原始图神经网络通过捕捉不同类别图数据对应的子图神经网络，确定与原始图数据对应的子图神经网络，进而输出与原始图数据对应的预测。
101.在进行图像解释的过程中，普通解释器从不同类别对应的子图神经网络中确定与原始图数据对应的子图神经网络，进而输出仅包括图数据的解释结果。
102.联合解释框架通过利用原始图数据和原始图神经网络迭代生成目标解释结果。其中目标解释结果包括图数据和图神经网络。
103.本发明通过利用联合图数据和图神经网络的联合解释框架，不仅排除了原始图数据中的噪声干扰，对原始图数据中的特征进行解释，还能对原始图神经网络中神经元的预测行为进行解释，从图数据和图神经网络两个方面实现了图像解释。
104.此外，联合解释框架通过t轮交替处理原始图数据和原始图神经网络，输出的第t图神经网络是原始图神经网络的最优目标，解决了事后解释方法存在的ood问题，提高了目标解释结果的可靠性和准确性。
105.具体地，本发明通过将联合解释框架（joint explainer framework，jef）得到的解释结果与其他事后解释方法得到的解释结果进行比较，例如，基于梯度的方法、基于扰动的方法、基于注意力的方法等，表明了联合解释框架输出的解释结果在子图精度(acc-auc)、可靠性(fidelity)与准确性(precision)上的优势。将联合解释框架应用于其他事后解释方法，并将得到的比较结果记录于表1。
106.如表1所示，利用结合联合解释框架的其他事后解释方法，在三个数据集上的子图精度(acc-auc)、可靠性(fidelity)与准确性(precision)均优于本身的性能。具体地，在数据集mnist上，联合解释框架在可靠性和准确性上的平均提高为7.2％和8.0％；在数据集mutagenicity和ba3-motif上，联合解释框架对于利用最强基线算法(subgraphx和gsat)的基线解释器的性能平均提高为5.9％。
107.表1表明联合解释框架可以有效地、广泛地应用于其他事后解释方法，并且，在将
联合解释框架应用于其他事后解释方法的情况下，可以提高事后解释方法的可靠性。
108.具体地，联合解释框架交替执行图解释器和网路解释器，完成了更细致、更准确的图数据和图神经网络的筛选，缓解了事后解释内在的ood问题，使得联合解释框架在迭代处理早期更专注于潜在的重要特征，排除干扰与冗余的特征。其次，对网络解释器的n次处理，使得联合解释框架通过迭代选择和选择性回卷过滤gnn模型中不相关和冗余的神经元，这是基线解释器无法实现的。
109.表1在数据集mnist上，联合解释框架在不同指标和基线解释器中的性能提高均高于数据集ba3-motif和mutagenicity上的性能提高。进一步验证了联合图数据和图神经网络的解释方法的有效性。并且，由于联合解释框架能够筛选针对特定类别结构的神经元，并屏蔽不相关或冗余神经元的负面影响，因此，随着数据集中类别数量的增加，联合解释框架的优势会更强。
110.本发明还通过将利用联合解释框架（joint explainer framework，jef）同时对图数据和图神经网络进行处理得到的解释结果，与先解释图数据再解释图神经网络得到的解释结果（缩写为lth）进行比较，并将得到的比较结果记录于表2。
111.表2
如表2所示，在数据集ba3-motif上，联合解释框架在子图精度(acc-auc)上的增益平均提高了11.4％。在数据集mutagenicity和ba3-motif上，相比于效果最优的、利用最强基线算法(subgraphx和gsat)的基线解释器，联合解释框架的平均提高为8.5％。这进一步验证了联合解释器的可靠性和有效性，更好地解释了决策过程中的输入特征-神经元关系，更好地挖掘了不同神经元的类感知能力，这比分别对图数据和图神经网络进行筛选与解释有更好的性能。
112.由于排除了不相关和冗余神经元的干扰，联合解释框架所提取的图数据的标准差也比其他基线算法提取的图数据的标准差低平均23.6％。表明本发明采用的联合解释框架可以排除原始图数据和原始图神经网络中由随机性所带来的误差，使得所生成的解释结果更加可靠。
113.综上所述，本发明可以为gnn模型的预测行为提供解释，同时从gnn模型中提取可以描述神经元的类感知语义的图神经网络。克服了传统事后解释方法内存在的输入图数据与图神经网络的分布偏移问题，排除了与分类特征无关的干扰特征的影响，有效地提高了传统可解释方法的准确性与可靠性。
114.图4示出了根据本发明实施例的联合图数据和图神经网络的图像解释装置的结构框图。
115.如图4所示，该实施例的联合图数据和图神经网络的图像解释装置400包括获取模块410、解释模块420和确定模块430。
116.获取模块410，用于获取模块，用于获取待处理的原始图数据和原始图神经网络，其中，原始图数据用于表征与原始图数据对应的图像的图结构信息，原始图神经网络用于
确定与原始图数据对应的预测结果，原始图数据包括多个节点和多个边，原始图神经网络包括多个神经元。在一实施例中，获取模块410，可以用于执行前文描述的操作s110，在此不再赘述。
117.解释模块420，用于利用联合解释框架对原始图数据和原始图神经网络进行t轮处理，得到第t解释结果，其中，第t解释结果满足第一预设条件，第t解释结果包括第t图数据和第t图神经网络，第t图数据中节点的数量小于原始图数据，第t图神经网络中神经元的数量小于原始图神经网络，t为大于或等于2的整数。在一实施例中，解释模块420可以用于执行前文描述的操作s120，在此不再赘述。
118.确定模块430，用于将第t解释结果作为与原始图数据对应的目标解释结果。在一实施例中，确定模块430可以用于执行前文描述的操作s130，在此不再赘述。
119.根据本发明的实施例，获取模块410、解释模块420和确定模块430中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，获取模块410、解释模块420和确定模块430中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（fpga）、可编程逻辑阵列（pla）、片上系统、基板上的系统、封装上的系统、专用集成电路（asic），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块410、解释模块420和确定模块430中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
120.图5示出了根据本发明实施例的适于联合图数据和图神经网络的图像解释方法的电子设备的方框图。
121.如图5所示，根据本发明实施例的电子设备500包括处理器501，其可以根据存储在只读存储器（rom）502中的程序或者从存储部分508加载到随机访问存储器（ram）503中的程序而执行各种适当的动作和处理。处理器501例如可以包括通用微处理器（例如cpu）、指令集处理器和/或相关芯片组和/或专用微处理器（例如，专用集成电路（asic））等等。处理器501还可以包括用于缓存用途的板载存储器。处理器501可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
122.在ram503中，存储有电子设备500操作所需的各种程序和数据。处理器501、rom502以及ram503通过总线504彼此相连。处理器501通过执行rom502和/或ram503中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom502和ram503以外的一个或多个存储器中。处理器501也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。
123.根据本发明的实施例，电子设备500还可以包括输入/输出（i/o）接口505，输入/输出（i/o）接口505也连接至总线504。电子设备500还可以包括连接至i/o接口505的以下部件中的一项或多项：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管（crt）、液晶显示器（lcd）等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、
半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
124.本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。
125.根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、便携式紧凑磁盘只读存储器（cd-rom）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本发明的实施例，计算机可读存储介质可以包括上文描述的rom502和/或ram503和/或rom502和ram503以外的一个或多个存储器。
126.本发明的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本发明实施例所提供的联合图数据和图神经网络的图像解释方法。
127.在该计算机程序被处理器501执行时执行本发明实施例的系统/装置中限定的上述功能。根据本发明的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
128.在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分509被下载和安装，和/或从可拆卸介质511被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
129.在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被处理器501执行时，执行本发明实施例的系统中限定的上述功能。根据本发明的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
130.根据本发明的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如java，c ，python，“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（lan）或广域网（wan），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。
131.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代
表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
132.本领域技术人员可以理解，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。
133.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。