图结构估计模型的训练方法、装置、设备及存储介质与流程

1.本技术涉及图处理领域，尤其涉及一种图结构估计模型的训练方法、装置、设备及存储介质。


背景技术：

2.从化学和生物信息学研究到图像和社交网络分析，图无处不在。所谓图，是用于描述社区关系链最直接的工具，由节点和边组成，节点代表社区中的对象，边代表两个对象之间的联系紧密程度。由于图的普遍性，学习图的有效表示并将其应用于下游任务尤其重要。最近，用于图表示学习的图处理模型引起了广泛关注，比如图神经网络(graph neural networks)gnn模型、图卷积网络(graph convolutional network)gcn模型等；以图神经网络gnn模型为例，该模型大致遵循递归消息传递机制，即邻域信息被聚合并传递给邻居。
3.目前使用的图处理模型通常是基于图训练样本进行训练得到的，在训练时一般假设图训练样本的图结构是正确，并且符合图处理模型的模型性质。但是图训练样本一般是抽取自实际应用中复杂的交互系统，由于实际应用的交互系统中存在一些错误可能导致图训练样本存在一些缺失、无意义、甚至错误的边，这导致图训练样本与gnn的性质不匹配，从而影响gnn模型的准确度。因此，在图处理领域，如何对用于对图处理的模型进行训练以提高模型的准确度成为研究的热点问题。


技术实现要素：

4.本发明实施例提供了一种图结构估计模型的训练方法、装置、设备及存储介质，可提高图结构估计模型的准确性。
5.一方面，本发明实施例提供了一种图结构估计模型的训练方法，包括：
6.获取初始图以及所述初始图对应的标签信息；所述初始图包含多个节点，所述标签信息用于指示所述初始图中目标节点所属类别，所述目标节点为所述初始图的多个节点中任意一个或多个；
7.调用图结构估计模型包括的图预测模型对所述初始图进行预测处理，得到所述初始图对应的观测信息；
8.调用所述图结构估计模型包括的图估计器基于所述标签信息和所述观测信息进行估计处理得到估计图；并调用所述图预测模型对所述估计图进行预测处理，得到所述估计图对应的预测信息，所述估计图对应的预测信息用于指示所述估计图中各个节点所属类别；
9.基于所述估计图对应的预测信息和所述标签信息对所述图预测模型进行优化。
10.一方面，本发明实施例还提供了一种图结构估计模型的训练装置，包括：
11.获取单元，用于获取初始图以及所述初始图对应的标签信息；所述初始图包含多个节点，所述标签信息用于指示所述初始图中目标节点所属类别，所述目标节点为所述初始图的多个节点中任意一个或多个；
12.处理单元，用于调用图结构估计模型包括的图预测模型对所述初始图进行预测处理，得到所述初始图对应的观测信息；
13.所述处理单元，还用于调用所述图结构估计模型包括的图估计器基于所述标签信息和所述观测信息进行估计处理得到估计图；并调用所述图预测模型对所述估计图进行预测处理，得到所述估计图对应的预测信息，所述估计图对应的预测信息用于指示所述估计图中各个节点所属类别；
14.所述处理单元，还用于基于所述估计图对应的预测信息和所述标签信息对所述图预测模型进行优化。
15.一方面，本发明实施例提供了一种图结构估计模型的训练设备，其特征在于，包括：处理器，适用于实现一条或多条计算机程序；以及计算机存储介质，计算机存储介质存储有一条或多条计算机程序，一条或多条计算机程序适于由处理器加载并执行：
16.获取初始图以及所述初始图对应的标签信息；所述初始图包含多个节点，所述标签信息用于指示所述初始图中目标节点所属类别，所述目标节点为所述初始图的多个节点中任意一个或多个；调用图结构估计模型包括的图预测模型对所述初始图进行预测处理，得到所述初始图对应的观测信息；调用所述图结构估计模型包括的图估计器基于所述标签信息和所述观测信息进行估计处理得到估计图；并调用所述图预测模型对所述估计图进行预测处理，得到所述估计图对应的预测信息，所述估计图对应的预测信息用于指示所述估计图中各个节点所属类别；基于所述估计图对应的预测信息和所述标签信息对所述图预测模型进行优化。
17.一方面，本发明实施例提供了一种计算机存储介质，计算机存储介质存储有计算机程序，计算机程序被处理器执行时，用于执行：
18.获取初始图以及所述初始图对应的标签信息；所述初始图包含多个节点，所述标签信息用于指示所述初始图中目标节点所属类别，所述目标节点为所述初始图的多个节点中任意一个或多个；调用图结构估计模型包括的图预测模型对所述初始图进行预测处理，得到所述初始图对应的观测信息；调用所述图结构估计模型包括的图估计器基于所述标签信息和所述观测信息进行估计处理得到估计图；并调用所述图预测模型对所述估计图进行预测处理，得到所述估计图对应的预测信息，所述估计图对应的预测信息用于指示所述估计图中各个节点所属类别；基于所述估计图对应的预测信息和所述标签信息对所述图预测模型进行优化。
19.一方面，本发明实施例提供了一种计算机程序产品或计算机程序，计算机程序产品包括计算机程序，计算机程序存储在计算机存储介质中；模型处理设备的处理器从计算机存储介质中读取计算机程序，处理器执行计算机程序，使得模型处理设备执行：
20.获取初始图以及所述初始图对应的标签信息；所述初始图包含多个节点，所述标签信息用于指示所述初始图中目标节点所属类别，所述目标节点为所述初始图的多个节点中任意一个或多个；调用图结构估计模型包括的图预测模型对所述初始图进行预测处理，得到所述初始图对应的观测信息；调用所述图结构估计模型包括的图估计器基于所述标签信息和所述观测信息进行估计处理得到估计图；并调用所述图预测模型对所述估计图进行预测处理，得到所述估计图对应的预测信息，所述估计图对应的预测信息用于指示所述估计图中各个节点所属类别；基于所述估计图对应的预测信息和所述标签信息对所述图预测
模型进行优化。
21.本发明实施例中，提出了一种新对图进行处理的模型，即图结构估计模型，该图结构估计模型由图预测模型和图估计器组成。在对图结构估计模型进行优化的过程中，可调用图结构估计模型中的图预测模型对初始图进行预测处理，得到所述初始图对应的观测信息，所述观测信息包括所述初始图对应的预测信息；然后调用图估计器基于所述标签信息和所述观测信息进行估计处理得到估计图；进一步的，调用所述图预测模型对所述估计图进行预测处理，得到所述估计图对应的预测信息；基于所述估计图对应的预测信息和所述初始图对应的标签信息对所述图预测模型进行优化。
22.通过上述过程可见，对图预测模型的优化不仅仅是简单的基于初始图和初始图对应的标签信息，还要基于估计图对图预测模型进行优化。该估计图是图估计器基于图预测模型对初始图进行预测得到的观测信息进行估计得到的。换句话说，该估计图是在图预测模型的角度对初始图进行观测得到的，也就是说估计图相比于初始图而言，更能匹配图预测模型的性质，也就更符合图结构估计模型的性质。因此，基于估计图对图预测模型进行优化训练，可以提高图预测模型的准确度，从而可提高图结构估计模型的准确度。
附图说明
23.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
24.图1是本发明实施例提供的一种社交网络的图的示意图；
25.图2是本发明实施例提供的一种图结构估计模型的示意图；
26.图3是本发明实施例提供的一种图结构估计模型的训练方法的流程示意图；
27.图4a是本发明实施例提供的一种初始图的示意图；
28.图4b是本发明实施例提供的一种初始图对应的邻接矩阵的示意图；
29.图5是本发明实施例提供的另一种图结构估计模型的训练处理方法的流程示意图；
30.图6是本发明实施例提供的一种确定估计邻接矩阵的示意图；
31.图7是本发明实施例提供的一种图结构估计模型的训练的示意图；
32.图8a是本发明实施例提供的一种gcn模型和gen模型对各个节点的预测值的箱型图；
33.图8b是本发明实施例提供的一种gen模型在两个不同数据集上true
‑
positive概率和false
‑
positive概率的变化曲线；
34.图9a是本发明实施例提供的一种gen模型和其他图处理模型的准确率曲线示意图；
35.图9b是本发明实施例提供的一种可视化的初始图和估计图；
36.图9c是本发明实施例提供的一种初始图和估计图的社区间的概率矩阵；
37.图9d是本发明实施例提供的一种第一数量和节点对之间的关系图；
38.图9e是本发明实施例提供的一种不同社区的边置信度在对gen模型进行训练的训练数据集上、验证数据集上以及测试数据集上的归一化直方图；
39.图10是本发明实施例提供的一种图结构估计模型的训练装置的结构示意图；
40.图11是本发明实施例提供的一种图结构估计模型的训练设备的结构示意图。
具体实施方式
41.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
42.图是用于描述社区关系链最直接的工具，由节点和边组成，节点代表社区中的对象，边代表两个对象之间的联系紧密程度。在狭义上，社区是具有某种互动关系的和共同文化维系力的，在一定领域内相互关联的人群形成的共同体及其互动区域，比如一个空手道俱乐部可以看成是一个社区，再如一个公司可以看成是一个社区；在广义上，社区可以包括社交网络、生物网络以及基础设施网络比如能源、交通、互联网和通信。图可以包括有向图和无向图，有向图中的各个边是有方向的，无向图中各个边是无方向的。
43.例如，参见图1为本发明实施例提供的一种社交网络的图，该图可以是一个有向图。该社交网络的对象可以包括用户、学校以及公司，这些对象作为图的节点；如果两个对象之间存在关联，则这两个对象之间存在边，比如用户101与用户102之间是好友关系，那么用户101和用户102之间存在一条边100；再如，用户101在公司103就职，那么用户101和公司103之间存在边104。以此类推，得到如图1所示的社交网络的图。
44.在当今社会，由于图的普遍存在，对图进行高效准确的处理对下游任务尤其重要。基于深度学习的不断发展，对图进行处理的图处理模型应运而生。现有技术中所述图处理模型是指基于图神经网络(gnn)构造的模型。在过去的几年中，图神经网络gnn在解决图的机器学习问题上取得了巨大的成功，当前大多数的图神经网络的模型可以分为两类，一类基于频谱方法的图处理模型，另一类是基于空间方法的图处理模型。
45.基于频谱方法的图处理模型是利用图谱理论学习图中节点表示。例如，有的研究中使用傅里叶基提出了图上的基于谱域的卷积网络扩展；还有的研究中基于chebyshev多项式的图卷积，以消除计算量大的laplacian特征分解；再有，一种典型的基于频谱方法的图神经网络是图卷积网络gcn，gcn是通过使用其一阶近似来进一步简化了基于chebyshev多项式的图卷积。
46.基于空间方法的图处理模型是直接在空间域中定义图卷积，以聚集和转换局部信息。例如，有的研究中通过采样和聚合邻居信息来学习聚合其；有的是研究中在聚合期间根据节点特征分配不同的边权重；还有的研究中为了提高效率，在每一层上执行重要性采样以采样固定数量的节点。
47.上述这些图处理模型中，所有的图处理模型都是通过大量的图训练样本和图训练样本对应的标签信息训练得到，在训练过程中假设每个图训练样本均是正确的。但是图训练样本都是来自于复杂的交互系统，由于实际应用中各种交互系统中通常包含不确定性或者错误，例如，在描述蛋白质相互作用的图中，传统的实验误差是导致该图错误的主要来源，另一个原因是数据缺失；再如，因特网图是通过检查路由或跟踪路由路径进确定的，而路由表和跟踪路由路径集合只给出了边的子集。这就导致上述假设不成立，也就是说训练用的图训练样本不一定是正确的。
48.基于不正确的图训练样本对图处理模型进行训练，可能会导致图处理模型的表示
能力受到限制，从而影响图处理模型在实际应用中的准确性。一个典型的例子是图处理模型的性能会在同质性(即同一个社区内的节点倾向于相互连接)差的图上大大降低。简而言之，由于图训练样本中普遍存在缺失、无意义甚至错误的边，这导致其与图处理模型的性质不匹配，从而影响图处理模型的准确性。
49.基于此，发明人发现探索适合图处理模型的图训练样本是迫切需要的。然而，目前有效地学习适合于图处理模型的图训练样本在技术上具有挑战性。网络科学的很多文献中已经证明图的生成可能受某些基于原则的约束，例如配置模型。考虑这些原则，可以从根本驱使学得的图保持规则的全局结构，并对于实际观测中的噪声更鲁棒。但是，大多数上述方法对图的每条边进行参数化，没有考虑全局结构和图的基础生成机制。因此，学得的图对噪声和稀疏性的容忍度较低。另外，从一个信息源学习图不可避免地导致偏差和不确定性，合理的假设是如果一条边多次测量中存在，则该边存在的置信度会更大。
50.综上所述，本发明实施例中提出了一种新的图处理模型，称为图结构估计模型。参见图2，为本发明实施例提供的一种图结构估计模型的结构示意图，图2所示的图处理模型200可以又可以称为图结构估计神经网络(gen)，图2所述的图处理模型200中包括图预测模型201和图估计器202，图预测模型201用于预测输入至所述图预测模型中的任一图中各个节点所属类别，图预测模型可以是基于图神经网络构建的模型，比如图预测模型是基于图神经网络中的图卷积网络gcn构建的模型；所述图估计器202用于根据输入至所述图估计器的观测信息进行估计，得到估计图。图估计器202的输入是根据图预测模型在对任一图进行预测处理过程中得到的。
51.基于图2所示的新的图结构估计模型，本发明实施例提供了一种模型处理方案，该模型处理方案用于对图2所示的图结构估计模型200进行训练。具体地，调用图结构估计模型200中的图预测模型201对初始图(该初始图可以称为一个图训练样本)进行预测处理，得到图预测模型201对初始图进行观测的观测信息；然后调用图结构估计模型200中的图估计器202根据观测信息和初始图对应的标签信息进行估计得到一个估计图；进一步的，将估计图输入到图预测模型201中进行预测得到预测信息，接着基于该预测信息和标签信息对图预测模型201进行优化。如果检测到结束训练指示，则将上述优化后的图预测模型和图估计器组成优化后的图结构估计模型。
52.后续如果检测到有待识别图输入至优化后的图结构估计模型中，则调用图结构估计模型中的图预测模型201对该待识别图进行预测处理，得到观测信息；进一步的，调用图结构估计模型中的图估计器202基于观测信息进行估计处理，得到估计图；然后，调用图预测模型对该估计图进行预测处理，输出处理结果。
53.可见，在采用本发明实施例中的模型处理方案对新的图结构估计模型进行训练的过程中，对图预测模型的优化不仅仅是简单的基于初始图和初始图对应的标签信息，还要基于估计图对图结构估计模型进行优化。该估计图是图估计器基于图预测模型对初始图进行预测得到的观测信息进行估计得到的，换句话说，该估计图是在图预测模型的角度对初始图进行观测得到的，也就是说估计图相比于初始图而言，更能匹配图预测模型的性质，也就更符合图结构估计模型的性质。因此，基于估计图对图预测模型进行优化训练，可以提高图预测模型的准确度，从而可提高图结构估计模型的准确度。
54.基于上述的新的图结构估计模型和模型处理方案，本发明实施例提供了一种模型
处理方法。参见图3，为本发明实施例提供的一种模型处理方法的流程示意图，图3所示的模型处理方法可由模型处理设备执行，具体可由模型处理设备的处理器执行。所述模型处理设备可以指终端或者服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此；服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。图3所示的模型处理方法可包括如下步骤：
55.步骤s301、获取初始图以及初始图对应的标签信息。
56.在一个实施例中，所述初始图可以是任意一个图，初始图中可以包含多个节点。可选的，假设初始图可以表示为其中表示初始图包括的节点的集合，假设初始图中包括n个节点，则ε表示初始图中边的集合，x表示初始图的节点特征矩阵，x可以表示为：节点特征矩阵，x可以表示为：x
i
是指节点v
i
的特征向量，i大于等于1小于等于n。
57.可选的，初始图对应的标签信息用于指示初始图中目标节点所属的类别，目标节点可以指初始图包含的多个节点中任意一个或多个。例如，初始图中目标节点表示为v1对应的标签信息可以表示为y1，v2对应的标签信息可以表示为y2，以此类推，初始图对应的标签信息可以表示为
58.由前述可知，初始图中的边用来描述节点之间的关系。另外，初始图中节点之间的关系还可以由初始图对应的邻接矩阵表示，邻接矩阵中每个行和列用于表示初始图中的顶点，存储在v
i
行v
j
列位置处的矩阵元素表示节点v
i
和节点v
j
之间是否存在边，j大于等于1小于等于n。这样一来，基于邻接矩阵便可以构造出初始图，因此，在图处理领域中，任一图也可以通过所述任一图对应的邻接矩阵表示。
59.举例来说，假设如果两个节点之间存在边，则两个节点交叉处的矩阵元素为1；如果两个节点之间不存在边，则这两个节点交叉处的矩阵元素为0。参见图4a为本发明实施例提供的一种初始图的示意图，假设初始图为一个无向图，初始图对应的邻接矩阵可如图4b中401所示。由图4a可见，节点v0和节点v1之间存在边，因此，在图4b所示的邻接矩阵中，节点v0和节点v1交叉处402的矩阵元素为1；节点v1和节点v5之间不存在边，因此，在图4b所示的邻接矩阵中，节点v1和节点v5交叉处403的矩阵元素为0。
60.步骤s302、调用图结构估计模型包括的图预测模型对初始图进行预测处理，得到初始图对应的观测信息，该观测信息包括初始图对应的预测信息。
61.由前述可知，图结构估计模型可由图预测模型和图估计器组成，其中，图预测模型用于对输入至图预测模型中初始图进行预测处理，得到初始图对应的预测信息，该预测信息用于表示初始图中各个节点所属类别；另外，图预测模型在对初始图进行预测处理过程中该会产生初始图对应的邻居图集合，邻居图集合和预测信息组成了图预测模型对初始图进行观测的观测信息。图估计器用于根据图预测模型对初始图进行观测的观测信息进行估计，得到任一图对应的估计图。
62.可选的，该图预测模型可以是基于图神经网络构建的，比如基于图卷积神经网络
gcn构建的，基于图神经网络gnn构建的。本发明实施例中，优选的基于图卷积神经网络gcn构建图预测模型，
63.在一个实施例中，图预测模型可以包括多个卷积层，每一个卷积层用于对输入至该卷积层的数据进行卷积处理，前一个卷积层的输出作为后一个卷积层的输入。本发明实施例中以图预测模型包括两个卷积层为例来阐述图预测模型的工作原理，在实际应用中可以根据实际需求设置图预测模型的卷积层数量。
64.具体地，图预测模型包括第一卷积层和第二卷积层，所述调用图结构估计模型包括的图预测模型对所述初始图进行预测处理，得到初始图对应的观测信息，包括：
65.获取所述初始图的节点特征矩阵，并将所述节点特征矩阵输入至所述第一卷积层以基于所述第一卷积层对应的第一权重参数进行卷积运算，得到第一节点表示矩阵；将所述第一节点表示矩阵输入至所述第二卷积层进行卷积以基于所述第二卷积层对应的第二权重参数进行卷积运算，得到第二节点表示矩阵，以及对所述第二节点表示矩阵进行归一化处理得到所述初始图对应的预测信息；基于所述第一节点表示矩阵构造第一邻居图，以及基于所述第二节点表示矩阵构造第二邻居图，并将所述第一邻居图和所述第二邻居图组成所述邻居图集合。
66.下面具体介绍：本发明实施例的图预测模型是基于gcn网络构建的，gcn遵循邻域聚合策略，通过聚合邻居的节点表示来迭代更新节点表示矩阵，形式化地，gcn的第k个卷积层聚合规则可如公式(1)所示：
[0067][0068]
在公式(1)中，表示初始图对应的归一化的邻接矩阵，表示初始图对应的度矩阵，度矩阵对角上的矩阵元素是邻接矩阵所在行求和，具体地可以通过如下公式(2)表示：
[0069][0070]
在公式(1)中，w
(k)
表示第k个卷积层的权重矩阵，各个卷积层的权重矩阵组成了图预测模型的模型参数，k的取值为大于等于1小于等于图预测模型包括的卷积层的个数，本发明实施例中假设图预测模型包括两个卷积层，因此k的取值为大于等于1，小于等于2。图预测模型中每个卷积层对应一个权重矩阵，各个卷积层对应的权重矩阵组成了图预测模型的模型参数。可选的，假设第一个卷积层对应的权重矩阵表示为w
(1)
，第二个卷积层对应的权重矩阵表示为w
(2)
，那么图预测模型的模型参数可以表示为：θ＝(w
(1)
，w
(2)
)。
[0071]
在公式(1)中，σ表示激活函数，h
(k
‑
1)
表示第k
‑
1个卷积层对应的节点表示矩阵，h
(k)
表示第k个卷积层对应的节点表示矩阵。作为特例的，初始图对应的节点特征矩阵x，也可以采用节点表示矩阵的形式表示，比如h
(0)
＝x。初始图对应的预测信息是对最后一个卷积层输出的节点表示矩阵进行归一化处理得到的，假设图预测模型只有一个卷积层，那么初始图对应的预测信息可以表示为z＝h
(1)
。
[0072]
基于上述描述得到第一个卷积层对应的节点表示矩阵和第二个卷积层对应的节点表示矩阵后，进一步的，基于各个节点表示矩阵构造邻居图集合。具体地，假设各个卷积
层对应的节点表示矩阵，与初始图的节点特征矩阵组成一个节点表示集合层对应的节点表示矩阵，与初始图的节点特征矩阵组成一个节点表示集合由前述可知，h
(0)
＝x表示初始图对应的节点特征矩阵。基于h
(0)
构建的邻居图(knn)的邻接矩阵表示为o
(0)
，基于第一节点表示矩阵构建的邻居图的邻接矩阵表示为o
(1)
，以此类推，基于上述节点表示集合构建的邻居图集合表示为
[0073]
应当理解的，初始图也是图预测模型用于观测初始图的一个重要外部观测，因此，本发明实施例中将初始图和上述邻居图集合作为对初始图进行观测的观测图集合。进一步的，将初始图对应的观测图集合和初始图对应的预测信息作为观测信息输入至图估计器中。
[0074]
在一个实施例中，步骤s302中图结构估计模型包括的图预测模型可以是预先训练完成的，已达到收敛的模型，本发明实施例中在获取到初始图后无需对图预测模型进行训练，直接执行步骤s302即可。或者，为了提高图预测模型和初始图之间的适配度，即使图预测模型在开始步骤s302之已达到收敛，本发明实施例还可以基于初始图以及初始图对应的标签信息对图预测模型进行优化。
[0075]
在其他实施例中，如果图预测模型在执行步骤s302之前是未训练到收敛的模型，本发明实施例中模型处理设备需要基于初始图以及初始图对应的标签信息对图预测模型进行训练优化。
[0076]
在一个实施例中，本发明实施例如果需要对基于初始图以及初始图对应的标签信息对图预测模型进行优化处理，则在图预测模型第一次对初始图进行预测处理得到邻居图集合之后，还可以包括：从所述初始图对应的预测信息中获取所述目标节点对应的预测信息，并确定所述目标节点对应的预测信息与所述标签信息之间的差异信息；根据所述差异信息构建所述图预测模型对应的损失函数；
[0077]
按照减少所述损失函数的值的方向更新所述第一权重参数和所述第二权重参数；基于更新的第一权重参数和更新的第二权重参数分别更新所述初始图对应的预测信息和所述邻居图集合。
[0078]
其中，图预测模型对应的损失函数可以是一个交叉熵函数，如果初始图通过初始图对应的邻接矩阵a表示，初始图对应的节点特征矩阵为x，初始图对应的标签信息标识为则图预测模型对应的损失函数可以表示为如下公式(3)所示：
[0079][0080]
在公式(3)中，是图预测模型学得的映射函数，是节点v
i
对应的预测信息，用于衡量任意一个节点的预测信息和该节点的标签信息之间的差异。
[0081]
总结来说，如果本发明实施例中无需基于初始图以及初始图对应的标签信息对图预测模型进行优化，则步骤s302是通过图预测模型的一次预测处理得到的。也就是说将初始图输入到图预测模型中进行处理，便可输出初始图对应的观测信息；如果本发明实施例
中模型处理设备需要基于初始图以及初始图对应的标签信息对图预测模型进行优化，则步骤s302是通过图预测模型进行多次预测处理得到的，每次预测处理使用的图预测模型的模型参数是基于上一次预测处理得到的预测信息和初始图对应的标签信息优化的，在每次预测处理过程中，初始图对应的预测信息和邻居图图集合随着更新；当图预测模型达到收敛时，将最后一次预测处理的初始图对应的预测信息和邻居图集合写入观测信息中。
[0082]
步骤s303、调用图结构估计模型包括的图估计器基于标签信息和观测信息进行估计处理得到估计图，并调用图预测模型对估计图进行预测处理，得到估计图对应的预测信息。
[0083]
通过步骤s302得到初始图对应的观测信息后，我们需要解决的问题是：基于这些观测信息，与图预测模型匹配的估计图是什么呢？这些观测信息从不同的角度揭示了与图预测模型匹配的估计图，但是它们可能是不可靠或者不完整的，并且没有先验知识来确定任何一种观测信息的准确性。在这种情况下，直接回答上述问题并不容易，但是回答相反的问题则相对容易。假设已经生成了初始图对应的与图预测模型匹配的估计图，模型处理设备可以计算将该估计图映射到上述观测信息的概率。如果掌握了这一点，可以根据贝叶斯推断进行反演，并计算图结构的后验分布，从而达到获取与图预测模型匹配的估计图的目的。
[0084]
也就是说，本发明实施例中得到初始图对应的观测信息后，图估计器首先估计出初始图对应的多个候选图；然后在确定出如果任一候选图作为图预测模型匹配的估计图，则观测信息存在的概率；然后基于每个候选图作为估计图时，观测信息存在的概率，和每个候选图对应的生成概率估计得到与图预测模型匹配的估计图。
[0085]
具体地，图估计器可以包括结构子模型和观测子模型，初始图对应的多个候选图是调用结构子模型执行的，任一候选图作为图预测模型匹配的估计图时，观测信息存在概率是调用观测子模型执行的；具体地，所述调用图结构估计模型包括的图估计器基于所述标签信息和所述观测信息进行估计处理得到估计图，包括：
[0086]
调用所述结构子模型基于所述标签信息和所述观测信息中所述预测信息生成n个候选图，并基于所述结构子模型的第一参数和所述n个候选图中每个候选图对应的邻接矩阵确定相应候选图对应的生成概率；调用所述观测子模型基于所述观测子模型的第二参数、所述观测信息以及所述每个候选图对应的邻接矩阵，计算相应候选图对应的观测信息存在概率；其中，所述候选图m对应的观测信息存在概率用于表示当所述候选图m作为所述估计图时，所述观测信息存在的存在概率，m大于等于1小于等于n；基于每个候选图对应的生成概率和每个候选图对应的观测信息存在概率进行图估计得到估计邻接矩阵，并根据所述估计邻接矩阵生成所述估计图。
[0087]
在一个实施例中，图估计器可以是在构造图结构估计模型时，就训练完成的，本发明实施例中无需再对图估计器进行训练；或者，本发明实施例中为了得到与图预测模型更加匹配的估计图，也可以在基于标签信息和观测信息进行估计处理的过程中，对图估计器也进行优化处理。这部分内容在后面的实施例中详细介绍。
[0088]
步骤s304、基于估计图对应的预测信息和标签信息对图预测模型进行优化。
[0089]
在得到估计图之后，调用图预测模型对估计图进行预测处理，得到估计图对应的预测信息，然后基于估计图对应的预测信息和初始图对应的标签信息对图预测模型进行优
化。应当理解的，估计图是基于图预测模型对初始图进行观测的观测信息估计得到的，那么相比于初始图，估计图与图预测模型的特性更加匹配，基于估计图对图预测模型进行优化，可以提高图预测模型的准确性。
[0090]
在一个实施例中，基于估计图对应的预测信息和标签信息对图预测模型进行优化，可包括：从估计图对应的预测信息中获取目标节点对应的预测信息；确定目标节点对应的预测信息和标签信息之间的差异信息；根据该差异信息构建图预测模型对应的损失函数；按照减少该损失函数的值的方向更新图预测模型的第一权重参数和第二权重参数，以实现对图预测模型进行优化。
[0091]
应当理解的，上述步骤s301
‑
步骤s304只阐述了对图结构估计模型的第一轮训练过程，如果在步骤s304之后，未检测到结束训练事件，则获取调用图预测模型对估计图进行预测处理处理过程中，估计图对应的观测信息；调用图估计器基于标签信息和估计图对应的观测信息进行估计处理，得到新的估计图，并调用优化后的图预测模型对新的估计图进行预测处理，得到新的估计图对应的预测信息；基于新的估计图对应的预测信息和标签信息对应优化后的图预测模型进行再次优化。其中，训练结束事件可以指上述训练过程被执行了预设次，或者训练结束事件还可以指接收到训练结束的指示指令或者操作。
[0092]
本发明实施例中，提出了一种新的图处理模型，称为图结构估计模型，图结构估计模型由图预测模型和图估计器组成。在对图结构估计模型进行优化的过程中，可调用图结构估计模型中的图预测模型对初始图进行预测处理，得到所述初始图对应的观测信息，所述观测信息包括所述初始图对应的预测信息；然后调用图估计器基于所述标签信息和所述观测信息进行估计处理得到估计图；进一步的，调用所述图预测模型对所述估计图进行预测处理，得到所述估计图对应的预测信息；基于所述估计图对应的预测信息和所述初始图对应的标签信息对所述图预测模型进行优化。
[0093]
通过上述过程可见，对图预测模型的优化不仅仅是简单的基于初始图和初始图对应的标签信息，还要基于估计图对图预测模型进行优化。该估计图是图估计器基于图预测模型对初始图进行预测得到的观测信息进行估计得到的。换句话说，该估计图是在图预测模型的角度对初始图进行观测得到的，也就是说估计图相比于初始图而言，更能匹配图预测模型的性质，也就更符合图结构估计模型的性质。因此，基于估计图对图预测模型进行优化训练，可以提高图预测模型的准确度，从而可提高图结构估计模型的准确度。
[0094]
基于上述的模型处理方法，本发明实施例提供了另一种模型处理方法，参见图5，为本发明实施例提供的另一种模型处理方法的流程示意图。图5所示的模型处理方法可由模型处理设备执行，具体可由模型处理设备的处理器执行。所述模型处理设备可以指终端或者服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此；服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。图5所示的模型处理方法可包括如下步骤：
[0095]
步骤s501、获取初始图以及初始图对应的标签信息。
[0096]
步骤s502、调用图结构估计模型包括的图预测模型对初始图进行预测处理，得到初始图对应的观测信息，该观测信息包括初始图对应的预测信息。
[0097]
在一个实施例中，步骤s501和步骤s502中包括的一些可行的实施方式，可参见图3实施例中相关步骤的描述，在此不再赘述。
[0098]
步骤s503、调用图结构估计模型包括的图估计器基于标签信息和观测信息进行估计处理，得到估计图。
[0099]
在一个实施例中，由图3所示的实施例可知，所述调用图结构估计模型包括的图估计器基于标签信息和观测信息进行估计处理，得到估计图，包括如下步骤：
[0100]
①
调用所述结构子模型基于所述标签信息和所述观测信息中的所述预测信息生成n个候选图，并基于所述结构子模型的第一参数和所述n个候选图中每个候选图对应的邻接矩阵确定相应候选图对应的生成概率；
[0101]
②
调用所述观测子模型基于所述观测子模型的第二参数、所述观测信息以及所述每个候选图对应的邻接矩阵，计算相应候选图对应的观测信息存在概率；其中，所述候选图m对应的观测信息存在概率用于表示当所述候选图m作为所述估计图时，所述观测信息存在的存在概率，m大于等于1小于等于n；
[0102]
③
基于每个候选图对应的生成概率和每个候选图对应的观测信息存在概率进行图估计得到估计邻接矩阵，并根据所述估计邻接矩阵生成所述估计图。
[0103]
由前述描述可以知道的，本发明实施例中图预测模型是基于gcn网络构建的，考虑到gcn网络的局部平滑特性，可以采用随机块模型sbm作为结构子模型，随机块模型可以广泛用于社区检测，适用于建模具有相对较强的社区结构的图。随机块模块sbm中社区内和社区间的参数值可以约束估计图的同质性。
[0104]
可选的，假设n个候选图中包括第一候选图，该第一候选图可以是n个候选图中任意一个，下面以第一个候选图为例，介绍上述步骤
①
的具体实现方式。第一候选图对应的生成概率是基于结构子模型的第一参数和第一候选图对应的邻接矩阵确定的，第一候选图对应的生成概率可以表示为如下公式(4)所示：
[0105][0106]
其中，
[0107][0108]
在公式(4)中，可以表示候选图m的生成概率，在此处假设候选图m是指第一候选图，g是第一候选图对应的邻接矩阵，z表示观测信息包括的预测值，表示初始图对应的标签信息；ω表示结构子模型的第一参数，该第一参数假设节点间边的存在概率仅取决于其社区。例如，社区c
i
的节点v
i
和社区c
j
的节点v
j
间边的存在概率表示为按照上述公式(4)和公式(5)可以得到各个候选图对应的生成概率。
[0109]
得到n个候选图以及n个候选图中每个候选图对应的生成概率后，接下来要做的事情是引入一个观测子模型来描述每个候选图是如何映射到观测信息上的。下面仍然以n个候选图中的第一候选图为例，具体介绍上述步骤
②
的实现方式。在下面的介绍中假设边的观测是独立的、均匀分布的伯努利随机变量，其条件是在候选图中边存在或不存在。具体
地，调用观测子模型基于观测子模型的第二参数、所述观测信息以及所述每个候选图对应的邻接矩阵，计算相应候选图对应的观测信息存在概率，包括如下步骤：
[0110]
s51：获取所述观测信息包括的数据的总数量，以及根据所述第二参数确定观测概率参数；
[0111]
由前述可知，观测信息中包括初始图对应的预测信息、邻居图集合以及初始图。其中，应当理解的，初始图包括多个节点，初始图对应的预测信息用于指示初始图中各个节点所属类别，因此实质上初始图对应的预测信息可包括用于指示每个节点所属类别的每个节点的预测值；邻居图集合包括根据初始图对应的节点特征矩阵得到的目标邻居图，以及根据图预测模型的各个卷积层对应的节点表示矩阵得到的多个邻居图。
[0112]
所述观测信息包括的数据的总数量就是指上述这些信息的总数量，例如初始图中包括5个节点，图预测模型包括2个卷积层，则预测信息中包括5个预测值，邻居图集合中包括1个目标邻居图，2个根据节点表示矩阵得到的邻居图，基于此观测信息包括的数据的总数量可以等于：5个预测值 3个邻居图 1个初始图＝8。
[0113]
在一个实施例中，根据第二参数确定出的观测概率参数可以包括四类，分别为第一类参数、第二类参数、第三类参数以及第四类参数。其中，所述第一类参数是指当节点i和节点j之间存在边时，所述观测集合中任一数据指示所述节点i和节点j之间边存在的概率；所述第二类参数是指当节点i和节点j之间存在边时，所述观测集合中任一数据指示所述节点i和节点j之间边不存在的概率；第三类参数是指当节点i和节点j之间不存在边时，所述观测集合中任一数据指示所述节点i和节点j之间边不存在的概率，所述第四类参数是指当节点i和节点j之间不存在边时，所述观测集合中任一数据指示所述节点i和节点j之间边存在的概率。
[0114]
通俗来讲，假设观测子模型的第二参数包括α和β，通过这两个参数将观测信息中的各个数据进行参数化，例如，true
‑
positive表示第一类参数，该参数的取值为α，即表示任一数据观测到任一候选图中一个真实存在的边存在的概率；false
‑
positive表示第三类参数，该参数的取值为β，即表示任一数据观测到任一候选图中一个真实存在的边不存在的概率；true
‑
negative表示第二类参数，该参数的取值为1
‑
α，即表示任一数据观测到任一候选图中一个真实存在的边不存在的概率；false
‑
negative表示第四类参数，该参数的取值可以为1
‑
β，即表示任一数据观测到任一候选图中一个真实不存在边不存在概率。
[0115]
s52：获取观测信息中指示节点i和节点j之间存在边的数据的第一数量，以及根据所述第一数量和所述总数量确定所述观测集合指示节点i和节点j之间不存在边的数据的第二数量；其中，节点i和节点j为所述第一候选图包括的任意两个节点且i小于j；
[0116]
s53：根据所述观测概率参数、所述第一数量以及所述第二数量计算节点i和节点j间的边相关概率；
[0117]
其中，节点i和节点j间的边相关概率是由两个概率相乘得到的，一个是如果在第一候选图中节点i和节点j之间的边真实存在，那么观测信息包括的数据中节点i和节点j之间出现第一数量个边的概率；另一个是在第一候选图中节点i和节点j之间的边真实不存在，那么观测信息包括的数据中节点i和节点j之间出现第一数量个边的概率。
[0118]
举例来说，假设观测信息中包括的数据总数量为m，观测信息中指示节点i和节点j之间存在边的数据的第一数量表示为e
ij
，那么观测信息中指示节点i和节点j之间不存在边
的数据的第二数量为m
‑
e
ij
。将观测概率参数、第一数量以及第二数量输入至节点间边相关概率的运算公式中进行运算，得到节点i和节点j之间的边相关概率，基于此，根据观测概率参数、所述第一数量以及所述第二数量计算得到的节点i和节点j间的边相关概率可以表示为公式(6)：
[0119][0120]
在公式(6)中，g表示第一候选图对应的邻接矩阵，g
ij
是邻接矩阵中一个矩阵元素，该值取决于在第一候选图中节点i和节点j之间是否存在边，如果节点i和节点j之间存在边则该值为1，如果节点i和节点j之间不存在边则该值为0。在公式(6)中，表示如果在第一候选图中节点i和节点j之间的边真实存在，那么观测信息包括的数据中节点i和节点j之间出现第一数量个边的概率；表示如果在第一候选图中节点i和节点j之间的边真实不存在，那么观测信息包括的数据中节点i和节点j之间出现第一数量个边的概率。
[0121]
s54：将所述第一候选图中每两个节点间的边相关概率进行相乘运算，得到所述第一候选图对应的观测信息存在概率。
[0122]
按照上述方法可以计算出第一候选图中每两个节点间的边相关概率，进一步的，将第一候选图中每两个节点间的边相关概率进行相乘运算，便可得到第一候选图对应的观测信息存在概率。由前述可知，第一候选图对应的观测信息存在概率用于表示当第一候选图作为估计图时，观测信息存在的概率。
[0123]
可选的，将第一候选图中每两个节点间的边相关概率进行相乘运算，得到第一候选图对应的观测信息的存在概率，可以通过下述公式(7)表示：
[0124][0125]
在一个实施例中，通过步骤s51
‑
步骤s54可以得到多个候选图中每个候选图对应的观测信息的存在概率，进一步的，通过上述步骤
③
根据每个候选图对应的生成概率和每个候选图对应的观测信息存在概率进行图估计处理得到估计邻接矩阵，并根据所述估计邻接矩阵生成估计图。
[0126]
具体实现中，假设n个候选图中除了包括第一候选图，还包括第二候选图，所述基于所述每个候选图对应的生成概率和每个候选图对应的观测信息存在概率进行图估计得到估计邻接矩阵，包括：
[0127]
获取所述第一参数的概率以及所述第二参数的概率；将所述第一参数的概率、所述第二参数的概率以及所述第一候选图对应的生成概率和所述第一候选图对应的观测信息存在概率输入至候选概率计算规则中进行运算，得到所述第一候选图作为估计图的第一候选概率；将所述第一参数的概率、所述第二参数的概率以及所述第二候选图对应的生成概率和所述第二候选图对应的观测信息存在概率输入至所述候选概率计算规则中进行运算，得到所述第二候选图作为估计图的第二候选概率；基于所述第一候选概率、所述第一候选图对应的邻接矩阵、所述第二候选概率以及所述第二候选图对应的邻接矩阵生成估计邻接矩阵。
[0128]
简单来说，首先要计算第一候选图作为估计图的第一候选概率，和第二候选图估计图的第二候选概率，然后基于第一候选概率和第二候选概率以及各个候选图对应的邻接矩阵生成估计邻接矩阵。
[0129]
其中，第一参数的概率和第二参数的概率分别是根据第一参数和第二参数确定的，第一参数的概率可以表示为p(ω)，由于第二参数包括α和β两个，那么第二参数的概率也包括两个，分别表示为p(α)和p(β)。候选概率计算规则可以表示为如下公式(8)所示：
[0130][0131]
在公式(8)中，g表示任一候选图对应的邻接矩阵，表示任一候选图对应的生成概率，表示任一候选图对应的观测信息存在概率。将第一参数的概率、第二参数的概率以及第一候选图对应的生成概率和第一候选图对应的观测信息存在概率带入到公式(8)中边可以得到第一候选图对应的第一候选概率；同理的，将第一参数的概率、第二参数的概率以及第二候选图对应的生成概率和第二候选图对应的观测信息存在概率带入到上述公式(8)中，可以得到第二候选图对应的第二候选概率。
[0132]
可选的，通过上述公式(8)得到第一候选图作为估计图的第一候选概率，以及第二候选图作为估计图的第二候选概率后，可以将第一候选概率和第二候选概率生成一个概率分布，表示为q(g)，在这个概率分布中包括第一候选概率和第二候选概率，如果n候选图中仅包括第一候选图和第二候选图，则q(g)中的两个候选概率之和等于1。
[0133]
进一步的，基于第一候选概率、所述第一候选图对应的邻接矩阵、所述第二候选概率以及所述第二候选图对应的邻接矩阵生成估计邻接矩阵。
[0134]
具体实现中，假设第一候选图对应的邻接矩阵包括m行m列，那么第一候选图对应的邻接矩阵中包括m乘m个矩阵元素，同理的，第二候选图对应的邻接矩阵也包括m行m列，那么第二候选图对应的邻接矩阵中也包括m乘m个矩阵元素；估计邻接矩阵包括m行m列，以及m乘m个目标矩阵元素；所述基于所述第一候选概率、所述第一候选图对应的邻接矩阵、所述第二候选概率以及所述第二候选图对应的邻接矩阵生成估计邻接矩阵，包括：
[0135]
获取所述第一候选图对应的邻接矩阵中第i行第j列位置处的第一矩阵元素，以及获取所述第二候选图对应的邻接矩阵中第i行第j列位置处的第二矩阵元素；将所述第一矩阵元素与所述第一候选概率进行相乘运算，得到第一运算结果，以及将所述第二矩阵元素与所述第二候选概率进行相乘运算，得到第二运算结果；将所述第一运算结果和所述第二运算结果进行相加运算，运算结果作为估计邻接矩阵中第i行第j列位置处的目标矩阵元素。
[0136]
上述计算目标矩阵元素的过程可以通过公式(9)表示：
[0137][0138]
在公式(9)中，g表示n个候选图对应的邻接矩阵的集合，g
ij
表示任意一个邻接矩阵中位于第i行第j列的矩阵元素，q
ij
表示估计邻接矩阵中位于第i行第j列的目标矩阵元素。
[0139]
举例来说，假设第一候选图对应的邻接矩阵如图6中600所示，第二候选图对应的邻接矩阵图6中601所示，估计邻接矩阵如图6中602所示。三个邻接矩阵都是5行5列，并且包括5乘5＝25个矩阵元素，由于第一候选图和第二候选图是已知的，那么第一候选图的邻接矩阵和第二候选图的矩阵中各个矩阵元素是已知的，但是估计邻接矩阵中各个目标矩阵元素都是未知的，需要根据第一候选图的邻接矩阵和第二候选图的邻接矩阵得出。具体地，将邻接矩阵600中位于第一行第二列位置处的矩阵元素1与第一候选图对应的第一候选概率相乘，假设第一候选概率为0.6，得到相乘结果为0.6；后将邻接矩阵601中位于第一行第二列位置处的矩阵元素0与第二候选图对应的第二候选概率相乘，假设第二候选概率为0.4，得到的相乘结果为0；将0 0.6＝0.6作为估计邻接矩阵中第一行第二列位置处61的目标矩阵元素。以此类推，可以得到估计邻接矩阵中各个目标矩阵元素。
[0140]
通过上述各个步骤得到估计邻接矩阵后，可以根据估计邻接矩阵生成一个估计图。
[0141]
步骤s504、调用图预测模型对估计图进行预测处理，得到估计图对应的预测信息，并基于估计图对应的预测信息和标签信息对图预测模型进行优化。
[0142]
在一个实施例中，步骤s503中在生成估计邻接矩阵的过程中，假设结构子模型的第一参数以及观测子模型的第二参数是已经优化好的，在实际应用中，为了提高图估计器与图预测模型之间更好的匹配，在生成估计邻接矩阵过程中，还可以对第一参数和第二参数进行优化；然后根据优化后的第一参数和第二参数对已经估计出的估计邻接矩阵进行更新。
[0143]
具体实现中，在基于所述第一候选概率、所述第一候选图对应的邻接矩阵、所述第二候选概率以及所述第二候选图对应的邻接矩阵生成估计邻接矩阵之前，所述方法还包括：根据所述第一候选概率和所述第二候选概率对所述第一参数和所述第二参数进行优化处理；采用优化处理后的第一参数和优化处理后的第二参数对分别所述第一候选概率和第二候选概率进行更新。这样一来，步骤s503中最后生成的估计邻接矩阵是基于更新后的第一候选概率和更新后的第二候选概率得到的。
[0144]
在一个实施例中，所述根据所述第一候选概率和所述第二候选概率对所述第一参数和所述第二参数进行优化处理，包括：
[0145]
将所述第一候选概率和所述第二候选概率进行相加运算，得到所述第一参数和所述第二参数的联合后验概率表达式；利用预设不等式对所述联合后验概率表达式进行变换；基于所述第一参数对变换后的联合后验概率进行求导运算，得到所述第一参数对应的优化等式，以及基于所述第二参数对变化后的联合后验概率进行求导运算，得到所述第二参数对应的优化等式；对所述第一参数对应的优化等式求解得到优化处理后的第一参数，以及对所述第二参数对应的优化等式求解得到优化处理后的第二参数。
[0146]
其中，将第一候选概率和第二候选概率进行相加运算得到第一参数和第二参数的联合后验概率表达式可以通过如下公式(10)表示：
[0147][0148]
在公式(10)中，g表示n个候选图中每个候选图对应的邻接矩阵组成的集合，
表示n个候选图中候选图m对应的候选概率。
[0149]
然后，采用预设不等于比如詹森不等式，对联合后验概率表达式进行变换，也就是将公式(10)进行变换处理，得到公式(11)：
[0150][0151]
进一步的，对公式(11)分别针对第一参数进行求导，得到第一参数对应的优化等式，如下述公式(12)所示：
[0152][0153]
基于第二优化参数对公式(11)进行求导，得到第二参数对应的优化等式，如下述公式(13)和公式(14)所示：
[0154][0155][0156]
对公式(12)求解，可以得到优化后的第一参数，对公式(13)和公式(14)求解可以得到优化后的第二参数。
[0157]
为了计算方便，可以交换公式(12)求和的顺序，发现存在如下规律：
[0158][0159]
其中，
[0160][0161]
在公式(15)中，r和s表示两个社区，公式(15)的解释是社区r和社区s之间边存在的概率ω
rs
是这两个社区中所有节点间存在边的平均概率。
[0162]
对公式(13)和公式(14)也分别进行类似的计算，得到公式(16)和公式(17)：
[0163][0164][0165]
通过公式(15)
‑
(17)便可得到优化处理后的第一参数和优化处理后的第二参数。进一步的，基于优化处理后的第一参数和优化处理后的第二参数对估计邻接矩阵进行更
新。具体实现中，基于优化处理后的第一参数和优化处理后的第二参数对估计邻接矩阵进行更新，可以理解为将上述公式(15)
‑
(17)带入到确定估计邻接矩阵的公式(9)中，重写确定估计邻接矩阵的公式，将得到更新后的估计邻接矩阵表示为如下公式(18)：
[0166][0167]
在一个实施例中，在上述对第一参数和第二参数进行优化的过程中，观测信息存在概率的概率分布q(g)的表达形式也随着不断更新。上述公式(11)中的不等式的右侧在等号成立时最大化，如果等号成立，则q(g)的表达式可以表示为公式(19)所示：
[0168][0169]
将公式(4)和公式(7)带入到公式(19)中，并消除分数中的常数，q(g)的的表达式可以变换为公式(20)所示：
[0170][0171]
接着，基于公式(18)对公式(20)进行改写，最后可得到q(g)的表达式如公式(21)所示：
[0172][0173]
在一个实施例中，对估计邻接矩阵进行更新后，可以根据更新后的估计邻接矩阵生成估计图，进一步的，调用图预测模型对估计图进行预测处理，得到估计图对应的预测信息，并基于估计图对应的预测信息和标签信息对图预测模型进行优化。
[0174]
可选的，由上述步骤求得的估计邻接矩阵中目标矩阵元素在[0,1]之间，但是完全连接的图不仅计算量大，且对于大多数应用来说意义不大，因此，我们在根据估计邻接矩阵生成估计图时，可以首先对所述估计邻接矩阵进行稀疏化处理，以从所述估计邻接矩阵中提取目标邻接矩阵；然后，根据所述目标邻接矩阵生成估计图。
[0175]
具体实现中，所述对所述估计邻接矩阵进行稀疏化处理，从所述估计邻接矩阵中提取目标邻接矩阵，包括：遍历所述估计邻接矩阵中每个目标矩阵元素，将所述估计邻接矩阵中小于等于阈值的矩阵元素替换为零，得到所述目标邻接矩阵。
[0176]
例如，假设阈值设置为ε，从估计邻接矩阵中提取目标邻接矩阵可以通过下述公式(22)表示：
[0177][0178]
步骤s505、若未检测到结束训练事件，则获取调用图预测模型对估计图进行预测
处理过程中估计图对应的观测信息。
[0179]
步骤s506、调用图估计器基于标签信息和估计图对应的观测信息进行估计处理，得到新的估计图，并调用优化后的图预测模型对新的估计图进行预测处理，得到新的估计图对应的预测信息。
[0180]
步骤s507、基于新的估计图对应的预测信息和标签信息对优化后的图预测模型进行更新。
[0181]
在一个实施例中步骤s505
‑
步骤s507中包括的一些可行的实施方式可参见图3实施例中相关步骤的介绍，在此不再赘述。
[0182]
在一个实施例中，如果检测到结束训练事件，则停止对图结构估计模型进行训练。此时，如果模型处理设备获取到一个待处理图，则可以调用优化后的图结构估计模型中图预测模型对所述待处理图进行预测处理，得到所述待处理图对应的目标观测信息；然后调用所述图结构估计模型中的图估计器基于所述目标观测信息进行估计处理，得到目标估计图；调用图预存模型对所述目标估计图进行处理，得到所述目标估计图对应的预测结果，所述预测结果用于指示所述待处理图中每个节点所属类别。
[0183]
通过本发明实施例训练完成的图结构估计模型可以应用于任何基于图结构的应用中，比如好友推荐以及广告推荐等等。
[0184]
本发明实施例中，提出了一种图结构估计模型，由图预测模型和图估计器组成。在对图结构估计模型进行优化的过程中，可调用图结构估计模型中的图预测模型对初始图进行预测处理，得到所述初始图对应的观测信息，所述观测信息包括所述初始图对应的预测信息；然后调用图估计器基于所述标签信息和所述观测信息进行估计处理得到估计图；进一步的，调用所述图预测模型对所述估计图进行预测处理，得到所述估计图对应的预测信息；基于所述估计图对应的预测信息和所述初始图对应的标签信息对所述图预测模型进行优化。
[0185]
进一步的，如果未检测到结束训练事件，则获取调用图预测模型对估计图进行预测处理过程中得到的估计图对应的观测信息；调用图估计器基于标签信息和估计图对应的观测信息进行估计处理，得到新的估计图，并调用优化后的图预测模型对新的估计图进行预测处理，得到新的估计图对应的预测信息。进而，基于新的估计图对应的预测信息和标签信息对优化后的图预测模型进行更新。不断重复上述步骤，直至检测到结束训练事件，则停止训练。
[0186]
通过上述过程可见，对图预测模型的优化不仅仅是简单的基于初始图和初始图对应的标签信息，还要基于估计图对图预测模型进行优化。该估计图是图估计器基于图预测模型对初始图进行预测得到的观测信息进行估计得到的。换句话说，该估计图是在图预测模型的角度对初始图进行观测得到的，也就是说估计图相比于初始图而言，更能匹配图预测模型的性质，也就更符合图结构估计模型的性质。因此，基于估计图对图预测模型进行优化训练，可以提高图预测模型的准确度，从而可提高图结构估计模型的准确度。
[0187]
为了更加形象地阐述本发明实施例中对图结构估计模型的训练过程，基于图3和图5的方法实施例，本发明实施例提供了一种图结构估计模型的训练示意图如图7所示，以及一种训练算法流程如表1所示。将表1所示的训练算法应用在图7所示的图结构估计模型中以完成对图结构估计模型的训练。
[0188]
根据表1所示的训练算法总结本发明实施例中对图结构估计模型的训练过程，大致可以概括为：将初始图的节点特征矩阵(feature matrix)x、邻接矩阵(adjacency matrix)a以及标签信息(labels)、各个邻居图(k in knn)、容忍度(tolerance)λ，阈值(threshold)ε、迭代次数阈值(iterations)τ作为输入，输入到图结构估计模型中；若当前训练的轮次i小于等于迭代次数阈值τ，则首先更新图预测模型的各个卷积层的权重参数θ，直到图预测模型收敛；然后基于收敛后的图预测模型对初始图进行预测，获取到初始图对应的观测信息；接着通过5、6、7步骤更新图估计器中结构子模型的第一参数ω以及观测子模型的第二参数α和β，以及根据更新后的第一参数和更新后的第二参数计算得到估计邻接矩q；进一步的，再对估计邻接矩阵q进行稀疏化处理，得到目标邻接矩阵s
(i)
；根据目标邻接矩阵s
(i)
生成估计图。重复上述训练过程，直到当前训练轮次i大于迭代次数阈值τ则结束对图结构估计模型的训练。
[0189]
表1
[0190][0191]
在图7中图结构估计模型700包括图预测模型701和图估计器702，图预测模型可以包括l个卷积层，图估计器包括结构子模型7021和观测子模型7022。本发明实施例中利用初始图对应的邻接矩阵a表示初始图，将初始图对应的节点特征矩阵s输入到图预测模型中，图预测模型包括的l个卷积层中每个卷积层对初始图进行卷积处理，每个卷积层的输入为前一个卷积层的输入，每个卷积层在进行卷积处理后得到该层的节点表示矩阵，如图7中所示，第一个卷积层进行卷积处理后得到的节点表示矩阵表示为h
(1)
，第二个卷积层进行卷积处理得到的节点表示矩阵表示为h
(2)
，以此类推，第l个卷积层进行卷积处理后得到的节点表示矩阵表示为h
(l)
；由前述可知，初始图对应的节点特征矩阵对应的节点表示可以表示为h
(0)
。
[0192]
进一步的，根据每个卷积层对应的节点表示矩阵生成一个邻居图以及获取该邻居图对应的邻接矩阵，如图7中所示，根据第一个卷积层对应的节点表示矩阵h
(1)
得到的邻居图为703，邻居图703对应的邻接矩阵表示为o
(1)
，根据第二个卷积层对应的节点表示h
(2)
矩阵得到的对应的邻居图为704，邻居图704对应的邻接矩阵表示为o
(2)
，根据第l个卷积层对应的节点表示矩阵h
(l)
构建的邻居图表示为705，邻居图705对应的邻接矩阵表示为o
(l)
。根据初始图对应的节点特征矩阵s构建的目标邻居图为706，目标邻居图706对应的邻接矩阵表示为o
(0)
。将邻居图集合和初始图组成对初始图进行观测得到的观测图集合。
[0193]
进一步的，将初始图a、各个邻居图组成观测图集合，可选的观测图集合可以表示为：接着，模型处理设备将最后一个卷积层也就是第i个卷积层的输出进行归一化处理可以得到初始图对应的预测信息，假设初始图对应的预测信息表示为z。将预测信息z和观测图集合组成一条观测信息，将观测信息和初始图对应的标签信息输入到图估计器702中，图估计器702中的结构子模型7021基于标签信息生成多个候选图并得到每个候选图的生成概率，观测子模型7022确定每个候选图对应的观测信息存在概率，以及根据每个候选图对应的观测信息存在概率和每个候选图的生成概率得到估计邻接矩阵q，最后根据估计邻接矩阵q生成估计图，并将估计图输入至图预测模型701中，继续下一次训练。
[0194]
另外，为了验证本发明实施例中图结构估计模型在实际应用中的优势，将本发明实施例所述的图结构估计模型和现有技术中基于gnn构建的图处理模型，在对图中节点分类的性能上进行对比。
[0195]
具体实现中，性能对比所使用的数据如表2所示，来自6个数据集：
[0196]
表2
[0197][0198]
在表2中，cora，citeseer和pubmed是基准引用网络数据集。在这些网络中，节点代表论文，边代表引文关系。节点特征是论文的词袋表示，而标签是学术领域。chameleon和squirrel是wikipedia中具有特定主题的页面
‑
页面网络。在这些数据集中，节点是网页，边表示超链接。节点特征是页面中的信息性名词，标签对应于页面的每月流量。actor数据集是fim
‑
director
‑
actor
‑
writer网络的actor子图。每个节点代表演员，边代表合作。节点特征是wikipedia中的关键字，标签是演员类型。
[0199]
根据上述各个数据集的同质性可以将上述6个数据集分为同配图(cora，citeseer和pubmed)和异配图(chameleon、squirrel和actor)。对于具有挑战性的数据集chameleon、
squirrel和actor，在此次试验中将监督设置为典型的半监督训练/验证/测试划分。
[0200]
在测试过程中，将本发明实施例的图结构处理模型(gen)与基于三类代表性gnn进行比较，包括三种基于频谱的图处理模型(比如sgc，gcn和chebnet)，三种基于空间的图处理模型(比如gat，appnp和graphsage)以及三种基于图结构学习的图处理模型(比如，lds，pro
‑
gnn和geom
‑
gcn)。本发明实施例中，为了方便描述，在对比时选取sgc、gat和lds与本发明实施例进行中的gen进行比较。
[0201]
在具体试验对比过程中，基于深度学习库pytorch实现本发明实施例所提出的图结构估计模型。所有的试验对比均是在带有图形处理器(graphics processing unit,gpu)和中央处理器(central processing unit，cpu)的linux服务器上进行的。
[0202]
本发明实施例中的图结构处理模型中图预测模型是以gcn为基石的，并使用adam优化器将其训练200轮。初始学习率为0.01，权重衰减为5e
‑
4。将relu设置为图预测模型的激活函数，并应用0.5的dropout进一步防止过拟合。对于超参数的网络搜索控件，从{8,16,32,64,128,}中选择嵌入维度d，将knn的k从3调整至15，容忍度λ在{0.1,0.01,0.001}中搜索，并在{0.1,0.2,
…
,0.9}中调整阈值ε。迭代次数阈值τ固定为50，然后选择验证集准确率最高的模型进行测试。
[0203]
在试验过程中，采用了pytorch geometric实现的sgc、gcn、gat、appnp和graphsage。对于其余的基准方法chebnet、lds、pro
‑
gnn和geom
‑
gcn，使用其对应的源代码。在验证的数据集对所有模型进行超参搜索。为公平起见，本发明实施例提出的图结构估计模型和其他图处理模型，共同超参数的搜索空间大小是相同的，包括嵌入维度、初始学习率、权重衰减和dropout rate。
[0204]
gen模型和其他用于对比的图处理模型在节点分类性能上的性能对比可如下表3所示：表3中只示出在数据集上gen、sgc、gat以及lds的分类性能对比，在这三个数据集上其他未示出的模型gcn、chenet、appnp、graphsage、pro
‑
gnn以及geom
‑
gcn的分类性能也差与gen；同理的，在除上述3个数据集外的其他数据集上，各个对比的图处理模型的分类性能也差于gen。为了方便描述，本发明实施例不一一以表格形式列出。
[0205]
表3
[0206][0207]
根据比较结果发现，gen模型始终优于3个数据集上的其他模型，对于另外3个数据上，虽然未在表格中示出，但是gen模型的性能也优于其他模型。尤其是在减少标签和同质性降低的情况下，这表明本发明实施例的gen模型可以以鲁棒方式提高节点分类性能。随着标签和同质性的降低，gnns的性能迅速下降，而gen模型的性能提升更加明显。这些现象符合本发明实施例的期望，即嘈杂或者稀疏的图结构会阻止gnn聚集有效信息，而本发明实施例的估计图可以缓解这一问题。gen相对于其他模型的压倒性优势，意味着gen能够估计合适的图结构。与其他模型相比，本发明实施例中gen模型的性能提升表明明确限制社区结构并充分利用多方面信息有助于学习更好的图结构和更可靠的gcn参数。
[0208]
在表2中，试验过程中分别为每类设置20个、5个以及10个标签。图2中展示了10次随机独立试验的平均值和标准差。
[0209]
为了进一步了解gen模型相对于其他基于gnn网络的图处理模型，在性能上的改进，本发明实施例分析了预测置信度的变化。具体来讲，对于cora和chameleon数据集中的每个训练集和测试集节点v
i
，从gcn和gen模型的最终预测信息中选择对应于该节点的真实类别y
i
的值，并将其绘制为图8a所示的箱型图。
[0210]
在图8a所示的箱型图中，箱框表示25
‑
75％；中位数由加粗虚线表示，如图8a中800；实线黑色实心圆代表平均值，如图8a中801。晶须延伸到不是异常值的最小和最大数据点。为更直观地表示，对于每个箱型，用虚线灰色实心圆显示50个节点的预测置信度，如图8a中802所示。从图8a所的图中可以发现，对于cora或更具有挑战性的chameleon数据集，在估计图上获得的预测置信度比初始图高很多。由此推测，将多阶邻居相似度注入图结构学习可以使学得的图描绘出更多由信息的节点对，从而使分类分布更加尖峰，并为gcn提供纠正错误分类节点的能力。
[0211]
为了解gen的迭代估计过程，本发明实施例在cora和chameleon数据集上给出了true
‑
positive概率α和false
‑
positive概率β的变化曲线，参见图8b所示，81表示在cora数据集上表示true
‑
positive概率α和82表示在cora数据集上false
‑
positive概率β的变化曲线，83表示在chameleon数据集上true
‑
positive概率α和84表示在chameleon数据集上
false
‑
positive概率β的变化曲线。在图8b中，横轴的坐标表示em算法中期望值和最大化值的替代步骤，虚线分隔gen的不同轮迭代。在图8b中可以将将容忍度λ固定为0.001。从图8b中可见，在迭代过程中，true
‑
positive概率α逐渐增加，意味着由图预测模型建立的观测信息变得越来越准确。
[0212]
本发明实施例中进一步地比较了gen模型和其他图处理模型的收敛速度。参见图9a，为本发明实施例提供的gen模型和其他图处理模型的准确率曲线图。在图9a中90a表示lds模型在cora数据集上的准确率曲线，90b表示lds模型在chameleon数据集上的准确率曲线；91a表示pro
‑
gnn模型在cora数据集上的准确率曲线，91b表示pro
‑
gnn模型在chameleon数据集上的准确率曲线；92a表示gen模型在cora数据集上的准确率曲线，92b表示gen模型在chameleon数据集上的准确率曲线。图9a中横坐标为迭代轮数，纵坐标为准确率。从图9a中可以看出，gen在两个数据集上都具有更快的收敛速度和更好的验证集准确率，证明了gen的效率和有效性。此外，对于chameleon数据集，lds和pro
‑
gnn的验证集准确率波动很大，而gen则稳步提高了准确率，这再次证实了考虑图生成原理和多方面信息的鲁棒性。
[0213]
同行前述的比较，已经证明了gen模型在实际数据集上的有效性，下面介绍gen模型的机理和估计图的性质。
[0214]
为更好地探索gen机制，本发明实施例中使用属性随机模型sbm对估计图进行了研究，该模型已广泛用于基准图聚类方法。为了更好地可视化和分析，本发明实施例中在sbm版本中，有5个社区，每个社区有20个节点。随机初始化对称概率矩阵以生成边，在大多数情况下对角元素在相应行中最大，以确保一定程度的同质性。节点的8维特征是使用多元正态分布生成的，其中不同社区中的节点共享随机协方差矩阵，但根据其自己的社区具有不同的均值。在训练/验证/测试划分上，我们每类使用5个节点进行训练，5个节点进行验证，其余作为测试。
[0215]
为了直观地检查gen带来的图结构变化，本发明实施例中使用gephi工具在图9b中911和913可视化初始图和估计图。同时，放大上述图的局部细节，并选择一个特定节点以突出图9b中912和914中其邻域的变化。由图9b中911可见，初始图是相对比较混乱的，并且存在许多社区间的连接，通过所选节点的邻域可以更清楚的反映这一点。在这种情况下，图预测模型gcn的分类精度仅为60％。由图9b中913可见，在应用本发明实施例的gen模型之后，估计图的社区结构是清晰的。其中，去除了许多错误边并且保留了强连接的关系，而gen的分类精度提高到了84％。
[0216]
为了量化估计前后的社区结构转变，可以计算初始图中社区间的概率矩阵，和估计图中社区间的概率矩阵，并将它们绘制为热图。参考图9c所示，为发明提高的一种概率矩阵热力图的示意图。在图9c中，901表示初始图中社区间的概率矩阵，902表示估计图中社区间的概率矩阵。从图9c中可以看出，901中非对角线色块也比比较深，甚至比对角线块更深，这表明初始图不能保持良好的同质性，社区间高概率连接可能会给图预测模型的优化带来困难。但是对于902，扩大了对角线元素和非对角线元素之间的差别，其中前者明显大于后者，这也就解释了本发明实施例中图处理模型gen的分类性能提高的原因。
[0217]
回想在图3和图5实施例中，gen中的估计邻接矩阵q是图结构的后验概率，其中q
ij
表示该边存在的置信度。为研究估计边的意义，可以展示了边置信度q
ij
和观测信息中指示节点i和节点j之间存在边的数据的第一数量e
ij
的关系。假设一个观测信息中包括的数据的
总数量为3，那么e
ij
的取值从0到3。对于e
ij
的每个可能值，累积相应的节点对数量(一个节点对包括两个节点)，并且在图9d中计算这些节点对的平均边置信度。在图9d中010表示每个e
ij
对应的节点对数量，011表示每个e
ij
的平均边置信度。从图9d中可见，大多数节点对均出现在e
ij
等于0处，这是因为图稀疏且绝大多数节点对难以相遇。从第一数量e
ij
与平均边置信度之间的关系，可以看出仅观测到零次或者一次的边意味着q
ij
低，因此单次观测可能是由于错误。但是，在e
ij
＝1和e
ij
＝2间有一个相对尖锐的过渡，这表明同一边的两个或多个观察会导致更大的q
ij
，这就反映了边存在于最佳图中的置信度较高。
[0218]
为了显示边置信度的分布，可以将边分为两组，分别为相同社区的边和不同社区的边。下面通过图9e分别展示这些边置信度在对gen模型训练的训练数据集上、验证数据集以及测试数据集上的归一化直方图。在图9e中，虚线白色填充矩形框用于表示相同社区的边，实线黑色填充矩阵框用于表示不同社区的边。从图9e中可观察到，相同社区的边置信度集合在最后一个区域(大于0.9)，而不同社区间的边置信度更偏向第一个区域(小于0.1)。这说明gen捕获了有用的边置信度，即相同社区间的边置信度更高。
[0219]
在上述描述中均是指gen模型应用在静态图中，在未来可以将gen模型应用到动态图中。从直观的角度来看，可以在不同的时间片上构建观测信息，因此gen可以基于一系列历史交互来推断图结果。
[0220]
基于上述图结构估计模型的训练方法实施例，本发明实施例提供了一种图结构估计模型的训练装置。参见图10，为本发明实施例提供的一种图结构估计模型的训练装置的结构示意图。图10所述的训练装置可运行如下单元：
[0221]
获取单元1001，用于获取初始图以及所述初始图对应的标签信息；所述初始图包含多个节点，所述标签信息用于指示所述初始图中目标节点所属类别，所述目标节点为所述初始图的多个节点中任意一个或多个；
[0222]
处理单元1002，用于调用图结构估计模型包括的图预测模型对所述初始图进行预测处理，得到所述初始图对应的观测信息；
[0223]
所述处理单元1002，还用于调用所述图结构估计模型包括的图估计器基于所述标签信息和所述观测信息进行估计处理得到估计图；并调用所述图预测模型对所述估计图进行预测处理，得到所述估计图对应的预测信息，所述估计图对应的预测信息用于指示所述估计图中各个节点所属类别；
[0224]
所述处理单元1002，还用于基于所述估计图对应的预测信息和所述标签信息对所述图预测模型进行优化。
[0225]
在一个实施例中，所述获取单元1001还用于：若未检测到结束训练事件，则获取调用所述图预测模型对所述估计图进行预测处理过程中得到的所述估计图对应的观测信息；
[0226]
所述处理单元1002，还用于调用所述图估计器基于所述标签信息和所述估计图对应的观测信息进行估计处理得到新的估计图，并调用优化后的图预测模型对所述新的估计图进行预测处理，得到所述新的估计图对应的预测信息，所述新的估计图对应的预测信息用于指示所述新的估计图中各个节点所属类别；
[0227]
基于所述新的估计图对应的预测信息和所述标签信息对所述优化后的图预测模型进行更新。
[0228]
在一个实施例中，所述观测信息包括所述初始图对应的预测信息和初始图对应的
观测图集合，所述初始图对应的预测信息用于指示所述初始图中各个节点所属类别，所述观测图集合中包括所述初始图和所述初始图对应的邻居图集合；所述图预测模型包括第一个卷积层和第二个卷积层，所述处理单元1002在调用所述图结构估计模型包括的图预测模型对所述初始图进行预测处理，得到所述初始图对应的观测信息时，执行如下步骤：
[0229]
获取所述初始图的节点特征矩阵，并将所述节点特征矩阵输入至所述第一个卷积层以基于所述第一个卷积层对应的第一权重参数进行卷积运算，得到第一个卷积层对应的节点表示矩阵；将所述第一个卷积层对应的节点表示矩阵输入至所述第二个卷积层以基于所述第二个卷积层对应的第二权重参数进行卷积运算，得到第二个卷积层对应的节点表示矩阵；
[0230]
对所述第二个卷积层对应的节点表示矩阵进行归一化处理得到所述初始图对应的预测信息；基于所述第一个卷积层对应的节点表示矩阵构造第一邻居图，以及基于所述第二个卷积层对应的节点表示矩阵构造第二邻居图，并基于所述初始图的节点特征矩阵构建目标邻居图；将所述第一邻居图、所述第二邻居图以及所述目标邻居图组成所述邻居图集合。
[0231]
在一个实施例中，图估计器包括结构子模型和观测子模型，所述处理单元1002在调用所述图结构估计模型包括的图估计器基于所述标签信息和所述观测信息进行估计处理得到估计图时，执行如下步骤：
[0232]
调用所述结构子模型基于所述标签信息和所述初始图对应的观测信息中所述初始图对应的预测信息生成n个候选图，n为大于等于1的整数；并基于所述结构子模型的第一参数和所述n个候选图中每个候选图对应的邻接矩阵确定相应候选图对应的生成概率；
[0233]
调用所述观测子模型基于所述观测子模型的第二参数、所述初始图对应的观测信息以及所述每个候选图对应的邻接矩阵，计算相应候选图对应的观测信息存在概率；其中，所述候选图m对应的观测信息存在概率用于表示当所述候选图m作为所述估计图时，所述观测信息存在的概率，m大于等于1且小于等于n；基于每个候选图对应的生成概率和每个候选图对应的观测信息存在概率进行图估计得到估计邻接矩阵，并根据所述估计邻接矩阵生成所述估计图。
[0234]
在一个实施例中，所述n个候选图包括第一候选图，所述处理单元1002在调用所述观测子模型基于所述观测子模型的第二参数、所述初始图对应的观测信息以及所述每个候选图对应的邻接矩阵，计算相应候选图对应的观测信息存在概率时，执行如下步骤：
[0235]
获取所述观测信息包括的数据的总数量，以及根据所述第二参数确定观测概率参数；获取所述观测信息中指示节点i和节点j之间存在边的数据的第一数量，以及根据所述第一数量和所述总数量确定所述观测信息中指示节点i和节点j之间不存在边的数据的第二数量；其中，节点i和节点j为所述第一候选图包括的任意两个节点且i小于j；根据所述观测概率参数、所述第一数量以及所述第二数量计算所述节点i和节点j间的边相关概率；将所述第一候选图中每两个节点间的边相关概率进行相乘运算，得到所述第一候选图对应的观测信息存在概率。
[0236]
在一个实施例中，所述观测概率参数包括第一类参数、第二类参数、第三类参数以及第四类参数；其中，所述第一类参数是指当节点i和节点j之间存在边时，所述观测集合中任一数据指示所述节点i和节点j之间边存在的概率；所述第二类参数是指当节点i和节点j
之间存在边时，所述观测集合中任一数据指示所述节点i和节点j之间边不存在的概率；所述第三类参数是指当节点i和节点j之间不存在边时，所述观测集合中任一数据指示所述节点i和节点j之间边不存在的概率，所述第四类参数是指当节点i和节点j之间不存在边时，所述观测集合中任一数据指示所述节点i和节点j之间边存在的概率。
[0237]
在一个实施例中，所述n个候选图中包括第一候选图和第二候选图，所述处理单元1002在基于每个候选图对应的生成概率和每个候选图对应的观测信息存在概率进行图估计得到估计邻接矩阵时，执行如下步骤：
[0238]
获取所述第一参数的概率以及所述第二参数的概率；将所述第一参数的概率、所述第二参数的概率以及所述第一候选图对应的生成概率和所述第一候选图对应的观测信息存在概率输入至候选概率计算规则中进行运算，得到所述第一候选图作为估计图的第一候选概率；
[0239]
将所述第一参数的概率、所述第二参数的概率以及所述第二候选图对应的生成概率和所述第二候选图对应的观测信息存在概率输入至所述候选概率计算规则中进行运算，得到所述第二候选图作为估计图的第二候选概率；基于所述第一候选概率、所述第一候选图对应的邻接矩阵、所述第二候选概率以及所述第二候选图对应的邻接矩阵生成估计邻接矩阵。
[0240]
在一个实施例中，任一候选图对应的邻接矩阵包括m行m列，所述任一候选图对应的邻接矩阵包括m乘m个矩阵元素，所述估计邻接矩阵包括m行m列，所述估计邻接矩阵包括m乘m个目标矩阵元素；所述处理单元1002在基于所述第一候选概率、所述第一候选图对应的邻接矩阵、所述第二候选概率以及所述第二候选图对应的邻接矩阵生成估计邻接矩阵时。执行如下步骤：
[0241]
获取所述第一候选图对应的邻接矩阵中第i行第j列位置处的第一矩阵元素，以及获取所述第二候选图对应的邻接矩阵中第i行第j列位置处的第二矩阵元素；将所述第一矩阵元素与所述第一候选概率进行相乘运算，得到第一运算结果，以及将所述第二矩阵元素与所述第二候选概率进行相乘运算，得到第二运算结果；将所述第一运算结果和所述第二运算结果进行相加运算，运算结果作为估计邻接矩阵中第i行第j列位置处的目标矩阵元素。
[0242]
在一个实施例中，所述处理单元1002还用于：
[0243]
根据所述第一候选概率和所述第二候选概率对所述第一参数和所述第二参数进行优化处理；基于优化处理后的第一参数和优化处理后的第二参数对估计邻接矩阵进行更新处理。
[0244]
在一个实施例中，所述根据所述第一候选概率和所述第二候选概率对所述第一参数和所述第二参数进行优化处理时，执行如下步骤：
[0245]
将所述第一候选概率和所述第二候选概率进行相加运算，得到所述第一参数和所述第二参数的联合后验概率表达式；利用预设不等式对所述联合后验概率表达式进行变换；
[0246]
基于所述第一参数对变换后的联合后验概率进行求导运算，得到所述第一参数对应的优化等式，以及基于所述第二参数对变化后的联合后验概率进行求导运算，得到所述第二参数对应的优化等式；对所述第一参数对应的优化等式求解得到优化处理后的第一参
数，以及对所述第二参数对应的优化等式求解得到优化处理后的第二参数。
[0247]
在一个实施例中，所述处理单元1002在根据所述估计邻接矩阵生成所述估计图时，执行如下步骤：
[0248]
对所述估计邻接矩阵进行稀疏化处理，从所述估计邻接矩阵中提取目标邻接矩阵；根据所述目标邻接矩阵生成所述估计图。
[0249]
在一个实施例中，所述处理单元1002在对所述估计邻接矩阵进行稀疏化处理，从所述估计邻接矩阵中提取目标邻接矩阵时，执行如下步骤：遍历所述估计邻接矩阵中每个目标矩阵元素，将所述估计邻接矩阵中小于等于阈值的矩阵元素替换为零，得到所述目标邻接矩阵。
[0250]
在一个实施例中，所述初始图对应的预测信息包括所述初始图的多个节点中每个节点对应的预测值，任一节点对应的预测值用于指示所述任一节点所属类别，所述标签信息包括用于指示目标节点所属类别的目标值；所述处理单元1002还用于：
[0251]
从所述初始图对应的预测信息中获取所述目标节点对应的预测值，并确定所述目标节点对应的预测值与所述标签信息包括的所述目标值之间的差异信息；根据所述差异信息构建所述图预测模型对应的损失函数；按照减少所述损失函数的值的方向更新所述第一权重参数和所述第二权重参数；基于更新的第一权重参数和更新的第二权重参数分别更新所述初始图对应的预测信息和所述邻居图集合。
[0252]
在一个实施例中，所述获取单元1001还用于：获取待处理图；所述处理单元1002，还用于：调用图结构估计模型中优化后的所述图预测模型对所述待处理图进行预测处理，得到所述待处理图对应的目标观测信息，所述目标观测信息包括所述待处理图对应的目标预测信息；调用所述图估计器基于所述目标观测信息进行估计处理得到目标估计图；调用所述图预测模型对所述目标估计图进行处理，得到所述目标估计图对应的预测结果，所述预测结果用于指示所述待处理图中每个节点所属类别。
[0253]
根据本发明的一个实施例，图3和图5所示的图结构估计模型的训练方法所涉及各个步骤可以是由图10所示的图结构估计模型的训练装置中的各个单元来执行的。例如，图3所述的步骤s301可由图10所示的图结构估计模型的训练装置中的获取收单元1001来执行，步骤s302
‑
步骤s304可由图10所示的图结构估计模型的训练装置中的处理单元1002来执行；再如，图5所示的图结构估计模型的训练方法中步骤s501可由图10所示的图结构估计模型的训练装置中获取单元1001来执行，步骤s502
‑
步骤s507可由图10所示的图结构估计模型的训练装置中的处理单元1002来执行。
[0254]
根据本发明的另一个实施例，图10所示的图结构估计模型的训练装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本发明的其它实施例中，基于图结构估计模型的训练装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
[0255]
根据本发明的另一个实施例，可以通过在包括中央处理单元(cpu)、随机存取存储介质(ram)、只读存储介质(rom)等处理元件和存储元件的例如计算机的通用计算设备上运
行能够执行如图3和图5所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图10中所示的图结构估计模型的训练装置，以及来实现本发明实施例的图结构估计模型的训练方法。所述计算机程序可以记载于例如计算机可读存储介质上，并通过计算机可读存储介质装载于上述计算设备中，并在其中运行。
[0256]
本发明实施例中，提出了一种图结构估计模型，由图预测模型和图估计器组成。在对图结构估计模型进行优化的过程中，可调用图结构估计模型中的图预测模型对初始图进行预测处理，得到所述初始图对应的观测信息，所述观测信息包括所述初始图对应的预测信息；然后调用图估计器基于所述标签信息和所述观测信息进行估计处理得到估计图；进一步的，调用所述图预测模型对所述估计图进行预测处理，得到所述估计图对应的预测信息；基于所述估计图对应的预测信息和所述初始图对应的标签信息对所述图预测模型进行优化。
[0257]
通过上述过程可见，对图预测模型的优化不仅仅是简单的基于初始图和初始图对应的标签信息，还要基于估计图对图预测模型进行优化。该估计图是图估计器基于图预测模型对初始图进行预测得到的观测信息进行估计得到的。换句话说，该估计图是在图预测模型的角度对初始图进行观测得到的，也就是说估计图相比于初始图而言，更能匹配图预测模型的性质，也就更符合图结构估计模型的性质。因此，基于估计图对图预测模型进行优化训练，可以提高图预测模型的准确度，从而可提高图结构估计模型的准确度。
[0258]
基于上述的方法以及装置实施例，本发明实施例还提供了一种图结构估计模型的训练设备，参见图11，为本发明实施例提供的一种图结构估计模型的训练设备的结构示意图。图11所示的训练设备可至少包括处理器1101、输入接口1102、输出接口1103以及计算机存储介质1104。其中，处理器1101、输入接口1102、输出接口1103以及计算机存储介质1104可通过总线或其他方式连接。
[0259]
计算机存储介质1104可以存储在图结构估计模型的训练设备的存储器中，所述计算机存储介质901用于存储计算机程序，所述计算机程序包括计算机程序，所述处理器901用于执行所述计算机存储介质1104存储的计算机程序。处理器1101(或称cpu(central processing unit，中央处理器))是图结构估计模型的训练设备的计算核心以及控制核心，其适于实现计算机程序，具体适于加载并执行：
[0260]
获取初始图以及所述初始图对应的标签信息；所述初始图包含多个节点，所述标签信息用于指示所述初始图中目标节点所属类别，所述目标节点为所述初始图的多个节点中任意一个或多个；调用图结构估计模型包括的图预测模型对所述初始图进行预测处理，得到所述初始图对应的观测信息；调用所述图结构估计模型包括的图估计器基于所述标签信息和所述观测信息进行估计处理得到估计图；并调用所述图预测模型对所述估计图进行预测处理，得到所述估计图对应的预测信息，所述估计图对应的预测信息用于指示所述估计图中各个节点所属类别；基于所述估计图对应的预测信息和所述标签信息对所述图预测模型进行优化。
[0261]
本发明实施例中，提出了一种图结构估计模型，由图预测模型和图估计器组成。在对图结构估计模型进行优化的过程中，可调用图结构估计模型中的图预测模型对初始图进行预测处理，得到所述初始图对应的观测信息，所述观测信息包括所述初始图对应的预测信息；然后调用图估计器基于所述标签信息和所述观测信息进行估计处理得到估计图；进
一步的，调用所述图预测模型对所述估计图进行预测处理，得到所述估计图对应的预测信息；基于所述估计图对应的预测信息和所述初始图对应的标签信息对所述图预测模型进行优化。
[0262]
通过上述过程可见，对图预测模型的优化不仅仅是简单的基于初始图和初始图对应的标签信息，还要基于估计图对图预测模型进行优化。该估计图是图估计器基于图预测模型对初始图进行预测得到的观测信息进行估计得到的。换句话说，该估计图是在图预测模型的角度对初始图进行观测得到的，也就是说估计图相比于初始图而言，更能匹配图预测模型的性质，也就更符合图结构估计模型的性质。因此，基于估计图对图预测模型进行优化训练，可以提高图预测模型的准确度，从而可提高图结构估计模型的准确度。
[0263]
本发明实施例中还提供了一种计算机存储介质(memory)，所述计算机存储介质是图结构估计模型的训练设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括图结构估计模型的训练设备的内置存储介质，当然也可以包括图结构估计模型的训练设备所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了图结构估计模型的训练设备的操作系统。并且，在该存储空间中还存放了适于被处理器901加载并执行的计算机程序；或者适于被处理器1101加载并执行的计算机程序，这些计算机程序可以是一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速ram存储器，也可以是非不稳定的存储器(non
‑
volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
[0264]
在一个实施例中，所述计算机存储介质可由处理器1101加载并执行计算机存储介质中存放计算机程序，以实现上述有关图3所示的图结构估计模型的训练方法的相应步骤。具体实现中，计算机存储介质中的计算机程序由处理器1101加载并执行如下步骤：
[0265]
获取初始图以及所述初始图对应的标签信息；所述初始图包含多个节点，所述标签信息用于指示所述初始图中目标节点所属类别，所述目标节点为所述初始图的多个节点中任意一个或多个；调用图结构估计模型包括的图预测模型对所述初始图进行预测处理，得到所述初始图对应的观测信息；调用所述图结构估计模型包括的图估计器基于所述标签信息和所述观测信息进行估计处理得到估计图；并调用所述图预测模型对所述估计图进行预测处理，得到所述估计图对应的预测信息，所述估计图对应的预测信息用于指示所述估计图中各个节点所属类别；基于所述估计图对应的预测信息和所述标签信息对所述图预测模型进行优化。
[0266]
在一个实施例中，所述处理器1101还用于执行：若未检测到结束训练事件，则获取调用所述图预测模型对所述估计图进行预测处理过程中得到的所述估计图对应的观测信息；调用所述图估计器基于所述标签信息和所述估计图对应的观测信息进行估计处理得到新的估计图，并调用优化后的图预测模型对所述新的估计图进行预测处理，得到所述新的估计图对应的预测信息，所述新的估计图对应的预测信息用于指示所述新的估计图中各个节点所属类别；基于所述新的估计图对应的预测信息和所述标签信息对所述优化后的图预测模型进行更新。
[0267]
在一个实施例中，，所述观测信息包括所述初始图对应的预测信息和所述初始图对应的观测图集合，所述初始图对应的预测信息用于指示所述初始图中各个节点所属类
别，所述观测图集合中包括所述初始图和所述初始图对应的邻居图集合；所述图预测模型包括第一个卷积层和第二个卷积层；所述处理器1101在调用所述图结构估计模型包括的图预测模型对所述初始图进行预测处理，得到所述初始图对应的观测信息时，执行如下步骤：
[0268]
获取所述初始图的节点特征矩阵，并将所述节点特征矩阵输入至所述第一个卷积层以基于所述第一个卷积层对应的第一权重参数进行卷积运算，得到第一个卷积层对应的节点表示矩阵；
[0269]
将所述第一个卷积层对应的节点表示矩阵输入至所述第二个卷积层以基于所述第二个卷积层对应的第二权重参数进行卷积运算，得到第二个卷积层对应的节点表示矩阵；对所述第二个卷积层对应的节点表示矩阵进行归一化处理得到所述初始图对应的预测信息；基于所述第一个卷积层对应的节点表示矩阵构造第一邻居图，以及基于所述第二个卷积层对应的节点表示矩阵构造第二邻居图，并基于所述初始图的节点特征矩阵构建目标邻居图；将所述第一邻居图、所述第二邻居图以及所述目标邻居图组成所述邻居图集合。
[0270]
在一个实施例中，所述图估计器包括结构子模型和观测子模型；所述处理器1101在调用所述图结构估计模型包括的图估计器基于所述标签信息和所述观测信息进行估计处理得到估计图时，执行如下步骤：
[0271]
调用所述结构子模型基于所述标签信息和所述初始图对应的观测信息中所述初始图对应的预测信息生成n个候选图，n为大于等于1的整数；并基于所述结构子模型的第一参数和所述n个候选图中每个候选图对应的邻接矩阵确定相应候选图对应的生成概率；
[0272]
调用所述观测子模型基于所述观测子模型的第二参数、所述初始图对应的观测信息以及所述每个候选图对应的邻接矩阵，计算相应候选图对应的观测信息存在概率；其中，所述候选图m对应的观测信息存在概率用于表示当所述候选图m作为所述估计图时，所述观测信息存在的概率，m大于等于1且小于等于n；基于每个候选图对应的生成概率和每个候选图对应的观测信息存在概率进行图估计得到估计邻接矩阵，并根据所述估计邻接矩阵生成所述估计图。
[0273]
在一个实施例中，所述n个候选图包括第一候选图，所述处理器1101在调用所述观测子模型基于所述观测子模型的第二参数、所述初始图对应的观测信息以及所述每个候选图对应的邻接矩阵，计算相应候选图对应的观测信息存在概率时，执行如下步骤：
[0274]
获取所述观测信息包括的数据的总数量，以及根据所述第二参数确定观测概率参数；获取所述观测信息中指示节点i和节点j之间存在边的数据的第一数量，以及根据所述第一数量和所述总数量确定所述观测信息中指示节点i和节点j之间不存在边的数据的第二数量；其中，节点i和节点j为所述第一候选图包括的任意两个节点且i小于j；根据所述观测概率参数、所述第一数量以及所述第二数量计算所述节点i和节点j间的边相关概率；将所述第一候选图中每两个节点间的边相关概率进行相乘运算，得到所述第一候选图对应的观测信息存在概率。
[0275]
在一个实施例中，所述观测概率参数包括第一类参数、第二类参数、第三类参数以及第四类参数；其中，所述第一类参数是指当节点i和节点j之间存在边时，所述观测集合中任一数据指示所述节点i和节点j之间边存在的概率；所述第二类参数是指当节点i和节点j之间存在边时，所述观测集合中任一数据指示所述节点i和节点j之间边不存在的概率；所述第三类参数是指当节点i和节点j之间不存在边时，所述观测集合中任一数据指示所述节
点i和节点j之间边不存在的概率，所述第四类参数是指当节点i和节点j之间不存在边时，所述观测集合中任一数据指示所述节点i和节点j之间边存在的概率。
[0276]
在一个实施例中，所述n个候选图中包括第一候选图和第二候选图，所述处理器1101在基于每个候选图对应的生成概率和每个候选图对应的观测信息存在概率进行图估计得到估计邻接矩阵时，执行如下步骤：
[0277]
获取所述第一参数的概率以及所述第二参数的概率；将所述第一参数的概率、所述第二参数的概率以及所述第一候选图对应的生成概率和所述第一候选图对应的观测信息存在概率输入至候选概率计算规则中进行运算，得到所述第一候选图作为估计图的第一候选概率；将所述第一参数的概率、所述第二参数的概率以及所述第二候选图对应的生成概率和所述第二候选图对应的观测信息存在概率输入至所述候选概率计算规则中进行运算，得到所述第二候选图作为估计图的第二候选概率；基于所述第一候选概率、所述第一候选图对应的邻接矩阵、所述第二候选概率以及所述第二候选图对应的邻接矩阵生成估计邻接矩阵。
[0278]
在一个实施例中，任一候选图对应的邻接矩阵包括m行m列，所述任一候选图对应的邻接矩阵包括m乘m个矩阵元素，所述估计邻接矩阵包括m行m列，所述估计邻接矩阵包括m乘m个目标矩阵元素；所述处理器1101在基于所述第一候选概率、所述第一候选图对应的邻接矩阵、所述第二候选概率以及所述第二候选图对应的邻接矩阵生成估计邻接矩阵时，执行如下步骤：
[0279]
获取所述第一候选图对应的邻接矩阵中第i行第j列位置处的第一矩阵元素，以及获取所述第二候选图对应的邻接矩阵中第i行第j列位置处的第二矩阵元素；将所述第一矩阵元素与所述第一候选概率进行相乘运算，得到第一运算结果，以及将所述第二矩阵元素与所述第二候选概率进行相乘运算，得到第二运算结果；将所述第一运算结果和所述第二运算结果进行相加运算，运算结果作为估计邻接矩阵中第i行第j列位置处的目标矩阵元素。
[0280]
在一个实施例中，基于所述第一候选概率、所述第一候选图对应的邻接矩阵、所述第二候选概率以及所述第二候选图对应的邻接矩阵生成估计邻接矩阵后，所述处理器1101还用于执行：
[0281]
根据所述第一候选概率和所述第二候选概率对所述第一参数和所述第二参数进行优化处理；基于优化处理后的第一参数和优化处理后的第二参数对估计邻接矩阵进行更新处理。
[0282]
在一个实施例中，所述处理器1101在根据所述第一候选概率和所述第二候选概率对所述第一参数和所述第二参数进行优化处理时，执行如下步骤：
[0283]
将所述第一候选概率和所述第二候选概率进行相加运算，得到所述第一参数和所述第二参数的联合后验概率表达式；利用预设不等式对所述联合后验概率表达式进行变换；基于所述第一参数对变换后的联合后验概率进行求导运算，得到所述第一参数对应的优化等式，以及基于所述第二参数对变化后的联合后验概率进行求导运算，得到所述第二参数对应的优化等式；对所述第一参数对应的优化等式求解得到优化处理后的第一参数，以及对所述第二参数对应的优化等式求解得到优化处理后的第二参数。
[0284]
在一个实施例中，所述处理器1101在根据所述估计邻接矩阵生成所述估计图时，
执行如下步骤：
[0285]
对所述估计邻接矩阵进行稀疏化处理，从所述估计邻接矩阵中提取目标邻接矩阵；根据所述目标邻接矩阵生成所述估计图。
[0286]
在一个实施例中，所述处理器1101在对所述估计邻接矩阵进行稀疏化处理，从所述估计邻接矩阵中提取目标邻接矩阵时，执行如下步骤：遍历所述估计邻接矩阵中每个目标矩阵元素，将所述估计邻接矩阵中小于等于阈值的矩阵元素替换为零，得到所述目标邻接矩阵。
[0287]
在一个实施例中，所述初始图对应的预测信息包括所述初始图的多个节点中每个节点对应的预测值，任一节点对应的预测值用于指示所述任一节点所属类别，所述标签信息包括用于指示目标节点所属类别的目标值，所述将所述第一邻居图和所述第二邻居图组成所述邻居图集合之后，所述处理器1101还用于：
[0288]
从所述初始图对应的预测信息中获取所述目标节点对应的预测值，并确定所述目标节点对应的预测值与所述标签信息包括的所述目标值之间的差异信息；根据所述差异信息构建所述图预测模型对应的损失函数；按照减少所述损失函数的值的方向更新所述第一权重参数和所述第二权重参数；基于更新的第一权重参数和更新的第二权重参数分别更新所述初始图对应的预测信息和所述邻居图集合。
[0289]
在一个实施例中，所述处理器1101还用于：获取待处理图，并调用图结构估计模型中优化后的所述图预测模型对所述待处理图进行预测处理，得到所述待处理图对应的目标观测信息，所述目标观测信息包括所述待处理图对应的目标预测信息；调用所述图估计器基于所述目标观测信息进行估计处理得到目标估计图；调用所述图预测模型对所述目标估计图进行处理，得到所述目标估计图对应的预测结果，所述预测结果用于指示所述待处理图中每个节点所属类别。
[0290]
本发明实施例中，提出了一种图结构估计模型，由图预测模型和图估计器组成。在对图结构估计模型进行优化的过程中，可调用图结构估计模型中的图预测模型对初始图进行预测处理，得到所述初始图对应的观测信息，所述观测信息包括所述初始图对应的预测信息；然后调用图估计器基于所述标签信息和所述观测信息进行估计处理得到估计图；进一步的，调用所述图预测模型对所述估计图进行预测处理，得到所述估计图对应的预测信息；基于所述估计图对应的预测信息和所述初始图对应的标签信息对所述图预测模型进行优化。
[0291]
通过上述过程可见，对图预测模型的优化不仅仅是简单的基于初始图和初始图对应的标签信息，还要基于估计图对图预测模型进行优化。该估计图是图估计器基于图预测模型对初始图进行预测得到的观测信息进行估计得到的。换句话说，该估计图是在图预测模型的角度对初始图进行观测得到的，也就是说估计图相比于初始图而言，更能匹配图预测模型的性质，也就更符合图结构估计模型的性质。因此，基于估计图对图预测模型进行优化训练，可以提高图预测模型的准确度，从而可提高图结构估计模型的准确度。
[0292]
根据本技术的一个方面，本发明实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品包括计算机程序，该计算机程序存储在计算机存储介质中。处理器1101从计算机存储介质中读取该计算机程序，处理器1101执行该计算机程序，使得训练设备执行如图3和图5所示的图结构估计模型的训练方法，具体地：
[0293]
获取初始图以及所述初始图对应的标签信息；所述初始图包含多个节点，所述标签信息用于指示所述初始图中目标节点所属类别，所述目标节点为所述初始图的多个节点中任意一个或多个；调用图结构估计模型包括的图预测模型对所述初始图进行预测处理，得到所述初始图对应的观测信息；调用所述图结构估计模型包括的图估计器基于所述标签信息和所述观测信息进行估计处理得到估计图；并调用所述图预测模型对所述估计图进行预测处理，得到所述估计图对应的预测信息，所述估计图对应的预测信息用于指示所述估计图中各个节点所属类别；基于所述估计图对应的预测信息和所述标签信息对所述图预测模型进行优化。