一种基于超图结构的模型训练方法、分类方法及装置与流程

1.本发明实施例涉及深度学习技术领域，尤其涉及一种基于超图结构的模型训练方法、分类方法及装置。


背景技术：

2.图神经网络(graph neural networks,gnns)基于图的特征传播策略来学习节点表示，由于在图数据上的良好表现受到越来越多的关注。
3.但是在实现本发明的过程中，发明人发现现有技术中至少存在以下技术问题：图神经网络很容易由于过平滑而无法获得更强大的表达能力，也就是随着网络层数增加，节点表示变得不可区分。比如，在图卷积神经网络(graph convolutional networks,gcns)中，最佳性能是由两层gcns实现，当深度增加过大时，会出现严重的性能退化。


技术实现要素：

4.本发明实施例提供一种基于超图结构的模型训练方法、分类方法及装置，以实现提高模型的鲁棒性。
5.第一方面，本发明实施例提供了一种基于超图结构的模型训练方法，包括：
6.获取样本数据对应的超图结构中的节点特征和超边特征；
7.将所述节点特征和所述超边特征输入至待训练的分类模型中，得到所述分类模型对所述样本数据的分类预测结果；其中，所述分类模型中包括超边特征传输模块、节点特征传输模块和分类网络模块，所述超边特征传输模块用于对所述超边特征进行传输处理，所述节点特征传输模块用于对所述节点特征进行传输处理，所述分类网络模块用于对所述超边特征传输模块和所述节点特征传输模块传输的特征信息进行分类处理，得到分类预测结果；
8.基于分类预测结果对所述分类模型进行参数调节，在调节后的分类模型不满足训练条件的情况下对所述调节后的分类模型进行迭代训练，直到满足所述训练条件时得到训练好的分类模型。
9.第二方面，本发明实施例还提供了一种基于超图结构的分类方法，包括：
10.获取待处理对象的超图结构对应的节点特征和超边特征；
11.将所述节点特征和所述超边特征输入至预先训练的分类模型中，得到所述分类模型输出的分类结果，其中，所述分类模型中包括超边特征传输模块、节点特征传输模块和分类网络模块，所述超边特征传输模块用于对所述超边特征进行传输处理，所述节点特征传输模块用于对所述节点特征进行传输处理，所述分类网络模块用于对所述超边特征传输模块和所述节点特征传输模块传输的特征信息进行分类处理，得到分类结果。
12.第三方面，本发明实施例还提供了一种基于超图结构的模型训练装置，包括：
13.第一特征提取模块，用于获取样本数据对应的超图结构中的节点特征和超边特征；
14.预测模块，用于将所述节点特征和所述超边特征输入至待训练的分类模型中，得到所述分类模型对所述样本数据的分类预测结果；其中，所述分类模型中包括超边特征传输模块、节点特征传输模块和分类网络模块，所述超边特征传输模块用于对所述超边特征进行传输处理，所述节点特征传输模块用于对所述节点特征进行传输处理，所述分类网络模块用于对所述超边特征传输模块和所述节点特征传输模块传输的特征信息进行分类处理，得到分类预测结果；
15.参数调节模块，用于基于分类预测结果对所述分类模型进行参数调节，在调节后的分类模型不满足训练条件的情况下对所述调节后的分类模型进行迭代训练，直到满足所述训练条件时得到训练好的分类模型。
16.第四方面，本发明实施例还提供了一种基于超图结构的分类装置，包括：
17.第二特征提取模块，用于获取待处理对象的超图结构对应的节点特征和超边特征；
18.分类预测模块，用于将所述节点特征和所述超边特征输入至预先训练的分类模型中，得到所述分类模型输出的分类结果，其中，所述分类模型中包括超边特征传输模块、节点特征传输模块和分类网络模块，所述超边特征传输模块用于对所述超边特征进行传输处理，所述节点特征传输模块用于对所述节点特征进行传输处理，所述分类网络模块用于对所述超边特征传输模块和所述节点特征传输模块传输的特征信息进行分类处理，得到分类结果。
19.第五方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例提供的基于超图结构的模型训练方法或者基于超图结构的分类方法。
20.第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例提供的基于超图结构的模型训练方法或者基于超图结构的分类方法。
21.本发明实施例提供的技术方案，通过在对分类模型的迭代训练过程的每一次训练中，将样本数据的特征信息，提取为节点特征和超边特征，将处理对象的特有特征和公有特征进行分别提取，从数据处理的源头进行增强，缓解对特有特征的收敛速度，以缓解模型处理过程中过平滑现象。分类模型中包括超边特征传输模块和节点特征传输模块，分别对输入的超边特征和节点特征进行独立的传输，二者互不干扰，避免了超边特征加快节点特征收敛速度的情况。同时超边特征传输模块和节点特征传输模块对超边特征和节点特征分别采用不同的传输方式，以得到样本数据传输的公有特征和特有特征，分类网络模块对提取的公有特征和特有特征进行预测得到分类预测结果，基于分类预测结果对当前次的分类网络模块进行参数调节，以得到当前次迭代更新的分类模型。通过迭代上述训练过程，在输入数据、特征传输的部分均进行了特征增强，相应的，训练得到的分类模型可缓解过平滑现象，提高模型的鲁棒性。
附图说明
22.图1为本发明实施例提供的一种基于超图结构的模型训练方法的流程图；
23.图2是本发明实施例提的一种超图的结构示意图；
24.图3是本发明实施例提供的一种分类模型的结构示意图；
25.图4是本发明实施例提供的另一种基于超图结构的模型训练方法的流程示意图；
26.图5是本发明实施例提供的一种基于超图结构的模型训练过程的示意图；
27.图6为本发明实施例提供的一种基于超图结构的分类方法的流程示意图；
28.图7是本发明实施例提供的一种基于超图结构的模型训练装置的结构示意图；
29.图8是本发明实施例提供的一种基于超图结构的分类装置的结构示意图；
30.图9是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
31.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
32.图作为一种数据结构，由节点和边组成，其中，一个边只能连接两个节点。超图中一条边可以连接多个节点，超图中的边为超边。示例性的，参见图2，图2是本发明实施例提的一种超图的结构示意图。对于任一超图结构，可定义超图为g＝(v,e)，其中v表征顶点集，顶点集共有n个节点，e表征超边集，超边集中包括m条超边。
33.基于超图的结构，将待处理数据转换为超图结构，其中，超图结构中各节点可以是对应各处理对象，具有关联的处理对象可以通过超边连接，不同的超边连接的处理对象可以是重叠，不同的超边可表征不同的关联特征。示例性的，处理对象可以是待分类的用户，关联特征可以是兴趣爱好，具有相同兴趣爱好的用户(即节点)可通过同一超边连接，以形成超图结构。通过将待处理数据转换为超图结构，基于连接多个节点的超边来表达高阶的数据结构关系。
34.本实施例中提供了一种基于超图结构的分类模型，该分类模型用于对超图结构中的各处理对象进行分类，在一些实施例中，分类模型为图神经网络模型，用于对超图结构进行分类处理。
35.但是由于图神经网络模型由于过平滑的问题无法通过增加模型深度得到更有效的表达，限制了模型性能，鲁棒性差。随着网络深度的增加，特征收敛到一个子空间，从而特征表示变得难以区分，该现象为过平滑现象。这是由于目前的图神经网络模型一般通过确定的传输方式，确定性的传输使得节点与其邻域高度相关，从而受到潜在数据噪声的误导，受到对抗干扰。
36.针对上述技术问题，本发明实施例提供了一种基于超图结构的模型训练方法，以实现训练得到具有鲁棒性的分类模型，实现对超图结构的高性能处理。
37.图1为本发明实施例提供的一种基于超图结构的模型训练方法的流程图，本实施例可适用于针对于超图结构进行分类的分类模型进行模型训练情况，该方法可以由本发明实施例提供的基于超图结构的模型训练装置来执行，该基于超图结构的模型训练装置可以由软件和/或硬件来实现，该基于超图结构的模型训练装置可以配置在电子计算设备上，具体包括如下步骤：
38.s110、获取样本数据对应的超图结构中的节点特征和超边特征。
39.s120、将所述节点特征和所述超边特征输入至待训练的分类模型中，得到所述分
类模型对所述样本数据的分类预测结果。
40.s130、基于分类预测结果对所述分类模型进行参数调节，在调节后的分类模型不满足训练条件的情况下对所述调节后的分类模型进行迭代训练，直到满足所述训练条件时得到训练好的分类模型。
41.本实施例中，样本数据为分类模型的处理对象的数据所形成的数据，处理对象的数据可以是包括各处理对象的特征信息。处理对象可以是待分类对象，例如可以包括但不限于待分类用户、待分类图像、待分类文本。在一些实施例中，基于分类模型的处理对象的类型获取样本数据，相应的，根据各类型的处理对象对应的样本数据，对分类模型进行训练，以得到用于对该类型的处理对象进行分类预测的分类模型。在一些实施例中，还可以是获取不同类型的处理对象对应的样本数据，相应的，基于多种类型的处理对象对应的样本数据对分类模型进行训练，以得到可对多种类型的处理对象进行分类预测的分类模型。
42.获取样本数据的超图结构，例如可以是接收外部输入的超图结构，该超图结构可以是基于样本数据中的处理对象以及处理对象的特征信息生成的，该超图结构中的各节点为样本数据中的待分类对象，各超边为样本数据中各待分类对象的关联特征。可选的，获取样本数据中各处理对象的特征信息，将各处理对象的特征信息进行匹配，确定至少两个处理对象之间的公有特征信息，基于公有特征信息形成超边，基于各处理对象形成节点，通过超边将具有公有特征信息的各处理对象对应的节点进行连接，形成超图结构。其中，进行匹配的特征信息可以是各处理对象的每一特征信息，还可以是预先设置的特征信息，对此不作限定。
43.对于样本图像的超图结构，提取超图结构中的各个节点以及各个超边，基于各节点的特征信息形成节点特征，基于各超边的特征信息形成超边特征。在一些实施例，在得到该超边特征和节点特征之后，还可以是将超边特征和节点特征分别转换为向量特征，以满足分类模型的输入需求。
44.在一些实施例中，获取样本数据对应的超图结构中的节点特征和超边特征，还可以是将样本数据中各处理对象的特征信息作为节点特征，将各处理对象的特征信息中的公有特征信息作为超边特征，省略了构建超图结构的过程，简化了节点特征和超边特征的提取过程。
45.节点特征作为超图结构中每一节点的特有特征，超边特征作为超图结构中的公有特征，其中，公有特征使得节点不可分，特有特征使得节点可分，即特有特征可降低过度平滑的收敛速度。通过将节点特征和超边特征分别提取，避免将超图结构中所有特征共同输入至模型中进行同步传输的情况下，超边特征作为节点特征的邻域特征，导致在传输过程中特征相关性快速提高的问题，在模型的输入端增强原始输入特征，达到从源头增加特征表达能力，以缓解模型的过平滑现象。
46.将提取的节点特征和超边特征输入到待训练的分类模型中，以得到该分类模型对节点特征和超边特征进行分类处理，得到的分类预测结果。示例性的，参见图3，图3是本发明实施例提供的一种分类模型的结构示意图。其中分类模型中包括超边特征传输模块、节点特征传输模块和分类网络模块，超边特征传输模块和节点特征传输模块分别与分类网络模块连接，节点特征输入至节点特征传输模块，超边特征输入至超边特征传输模块，超边特征传输模块用于对所述超边特征进行传输处理，节点特征传输模块用于对所述节点特征进
行传输处理，二者相互独立。通过相互独立的超边特征传输模块和节点特征传输模块分别对超边特征和节点特征分别进行独立传输，避免在特征传输的过程中节点特征和超边特征相互影响的情况，以缓解特征传输过程导致的过平滑现象。
47.超边特征传输模块和节点特征传输模块为不同的传输模型，实现对超边特征和节点特征不同的特征传输策略，其中，超边特征传输模块和节点特征传输模块中分别包括多个传输层，且传输层数不同，可选的，节点特征传输模块中的传输层数大于超边特征传输模块中的传输层数，实现了对超边特征和节点特征的针对性传输，避免了超边特征在过多的传输层中传输导致的过平滑现象。
48.在上述实施例的基础上，所述节点特征传输模块包括节点丢弃单元和第一特征传输单元，所述节点丢弃单元用于对输入的节点特征进行随机特征丢弃，得到扰动节点特征，所述第一特征传输单元用于对所述扰动节点特征进行特征传输。
49.其中，节点丢弃单元可以是dropfeature单元，用于通过对特征信息进行随机丢弃的方式进行特征增强。可选的，节点丢弃单元用于对输入的节点特征进行第一预设数量的随机特征丢弃，输入的节点特征中包括多个节点的特征信息，将第一预设数量节点的特征信息进行丢弃。第一预设数量可以是预先设置的数值，诸如1、2或者3等。第一预设数量还可以是基于第一预设比例和节点数量确定，例如，第一预设比例可以是10％、20％等，基于节点特征中节点数量与第一预设比例的乘积确定第一预设数量，需要说明的是，第一预设数量为正整数，可对节点数量与第一预设比例的乘积进行向上取整或向下取整，得到预设数据。基于第一预设数量对节点特征进行随机丢弃，可以是在输入的节点特征中，随机确定预设数据对应的节点，将确定的各节点的特征信息设置为零。
50.可选的，节点丢弃单元用于生成随机的二值掩码，基于二值掩码对输入的节点特征进行处理，得到扰动节点特征。例如可以是通过随机抽样的方式确定二值掩码，该二值掩码与节点数量相匹配。可选的，该二值掩码为符合伯努利分布的二值掩码，εi～bernoulli(1-δ)，其中，δ可以是进行特征丢弃的第一预设比例，例如10％或20％等。输入的节点特征可以为矩阵形式，例如矩阵x，将节点特征x与二值掩码相乘，得到扰动节点特征，即
51.在一些实施例中，节点丢弃单元还用于对扰动节点特征进行缩放，例如通过缩放参数对扰动节点特征进行缩放，以使缩放后的扰动节点特征与输入的原节点特征的期望值相同。
52.在上述实施例的基础上，超边特征传输模块包括超边丢弃单元和第二特征传输单元，所述超边丢弃单元用于对输入的超边特征进行随机特征丢弃，得到扰动超边特征，所述第二特征传输单元用于对所述扰动超边特征进行特征传输。
53.其中，超边丢弃单元可以是dropfeature单元，用于通过对特征信息进行随机丢弃的方式进行特征增强。超边丢弃单元与节点丢弃单元中对特征信息进行丢弃的方式可以相同，例如对输入的超边特征进行第二预设数量的随机特征丢弃，其中，第二预设数量与上述第一预设数量可以不同。相应的，第二预设数量可以是基于超边数量与第二预设比例确定，第二预设比例可以是与第一预设比例相同或不同，对此不作限定。可选的，超边丢弃单元用于生成随机的二值掩码，基于二值掩码对输入的超边特征进行处理，得到扰动超边特征。超
边丢弃单元生成的二值掩码与超边数量相匹配。扰动超边特征其中εe为对超边特征进行处理的二值掩码，xe为输入的超边特征。
54.本实施例中，通过输入的节点特征和超边特征进行随机特征丢弃的方式，提高特征信息在传输过程中的不确定性，实现了特征增强，进一步，对节点特征和超边特征分别进行随机的特征丢弃，二者互补影响，进一步实现特征增强，以缓解模型的过平滑现象。同时，对进行丢弃的节点或超边的整体特征向量设置为零，可通过完全忽略某些节点/超边的特征来生成更多的随机数据增强，从而提高鲁棒性。
55.第一特征传输单元对扰动节点特征进行传输，第二特征传输单元对扰动超边特征进行传输，第一特征传输单元和第二特征传输单元可以包括不同的传输层，不同的传输层之间进行线性变换。
56.可选的，第一特征传输单元用于基于第一传输参数对所述扰动节点特征在第一预设层数的传输层中进行传输，并将各传输层的特征信息进行融合处理。其中，第一传输参数可以是通过各节点的度、各超边的度以及超边-节点关联矩阵确定。对于超图结构g，节点与超边的相关性可通过|v|
×
|e|的关联矩阵h表示，即超边-节点关联矩阵。对于任一节点v，若该节点v属于超边e，则h(v,e)＝1，若该节点v不属于超边e，则h(v,e)＝0。节点的度用于表征任一节点与各超边的关系，超边的度用于表征任一超边与各节点的关系。其中任一节点的度可以是基于该节点与各超边的关联参数以及各超边的权重确定，即d(v)＝∑
e∈e
w(e)h(v,e)，其中，w(e)为超边e的权重，h(v,e)为该节点与超边e的关联参数。任一超边的度根据该超边与各节点的关联参数确定，即δ(e)＝∑
v∈v
h(v,e)。
57.第一传输参数的确定方式可以是：其中，h为超边-节点关联矩阵，de为包含超边的度的对角阵，dv为包含节点的度的对角阵，w包含超边权重的对角阵。其中，δ＝1-θ为标准超图拉普拉斯算子，该超图拉普拉斯算子为半正定的。
58.节点特征的传输过程为：其中为第k 1个传输层的输入节点特征表示，也是第k个传输层的输出节点特征表示，为第k 1个传输层的输出节点特征表示。第一特征传输单元中第一传输层输入的特征信息为扰动节点特征，即
59.第一特征传输单元将各传输层的特征信息进行融合处理，实现将浅层特征和深层特征的融合，对特征进行增强。第一特征传输单元输出的特征为通过将k 1个传输层的输出特征进行融合(其中k为第一特征传输单元中传输层的数量)，可缓解特征传输过程中的过平滑现象。
60.可选的，第二特征传输单元用于基于第二传输参数对所述扰动超边特征在第二预设层数的传输层中进行传输，并将各传输层的特征信息进行融合处理。其中，第二传输参数可以是通过各节点的度、各超边的度以及超边-节点关联矩阵确定，第一传输参数与第二传输参数的确定规则不同。第二传输参数可以为
61.超边特征的传输过程为其中，其中为第k 1个传输层的输入超边特征表示，也是第k个传输层的输出超边特征表示，为第k 1个传输层的输出超边特
征表示。第一特征传输单元中第一传输层输入的特征信息为扰动超边特征，即
62.第二特征传输单元将各传输层输出的特征信息进行融合处理，实现将浅层特征和深层特征的融合，对特征进行增强。第二特征传输单元输出的特征为通过将k’ 1个传输层的输出特征进行融合(其中k’为第一特征传输单元中传输层的数量)，可缓解特征传输过程中的过平滑现象。
63.在上述实施例的基础上，超边特征传输模块还包括目标超边处理单元，用于基于融合处理得到的超边传输信息与超边-节点关联矩阵得到目标超边传输信息。节点特征可以直接被当作特有特征用于节点分类，节点的公有特征通常需要结合多个超边的共有信息，对于任一节点，可通过平均包含这个节点的超边特征来获得它的公有特征表达，即其中，为第i个共有特征，hi为超边-节点关联矩阵中的第i行向量，相应的，总体的公有特征矩阵为
64.本实施例中，针对输入的节点特征和超边特征分别形成对应第一传输参数和第二传输参数，以对节点特征和超边特征分别进行不同策略的特征传输，在传输的过程中进行分离线性变化，以及各传输层特征的融合处理实现不同深度特征的融合，以缓解特征传输过程中的过平滑现象。
65.分类网络模块用于对所述超边特征传输模块和所述节点特征传输模块传输的特征信息进行分类处理，得到分类预测结果。分类网络模块可以是但不限于神经网络模型，在一些实施例中，分类网络模块为2层mlp(multilayer perception，多层感知器)。
66.超边特征传输模块和节点特征传输模块分别将得到的共有特征和特有特征传输至分类网络模块，分类网络模块通过对共有特征和特有特征进行处理得到分类预测结果，该分类预测结果中包括样本数据各处理对象的分类预测信息。在训练过程中的分类网络模块中包括待训练的网络参数，通过得到的在训练过程中的分类网络模块中包括待训练的网络参数，通过得到的分类预测结果生成损失函数对分类网络模块进行参数调节，以更新分类网络模块，进一步更新分类模型。
67.通过采集多组样本数据，基于各组样本数据对分类模型中的分类网络模块进行迭代训练，直到满足训练条件，得到训练完成的分类模型。其中，训练条件可以是训练此时和/或分类模型的训练精度。
68.本实施例提供的技术方案，通过在对分类模型的迭代训练过程的每一次训练中，将样本数据的特征信息，提取为节点特征和超边特征，将处理对象的特有特征和公有特征进行分别提取，从数据处理的源头进行增强，缓解对特有特征的收敛速度，以缓解模型处理过程中过平滑现象。分类模型中包括超边特征传输模块和节点特征传输模块，分别对输入的超边特征和节点特征进行独立的传输，二者互不干扰，避免了超边特征加快节点特征收敛速度的情况。同时超边特征传输模块和节点特征传输模块对超边特征和节点特征分别采用不同的传输方式，以得到样本数据传输的公有特征和特有特征，分类网络模块对提取的公有特征和特有特征进行预测得到分类预测结果，基于分类预测结果对当前次的分类网络模块进行参数调节，以得到当前次迭代更新的分类模型。通过迭代上述训练过程，在输入数
据、特征传输的部分均进行了特征增强，相应的，训练得到的分类模型可缓解过平滑现象，提高模型的鲁棒性。
69.在上述实施例的基础上，本发明实施例还提供了另一种基于超图结构的模型训练方法，参见图4，图4是本发明实施例提供的另一种基于超图结构的模型训练方法的流程示意图。可选的，所述样本数据中包括设置标签的第一样本数据和未设置标签的第二样本数据；所述基于分类预测结果对所述分类模型进行参数调节，包括：基于对所述样本数据进行多次预测处理得到的多个分类预测结果，以及第一样本数据的标签生成损失函数，基于损失函数对所述分类模型进行参数调节。
70.参见图4，该方法具体包括：
71.s210、获取样本数据的超图结构，所述样本数据中包括设置标签的第一样本数据和未设置标签的第二样本数据。
72.s220、提取所述超图结构的节点特征和超边特征。
73.s230、将所述节点特征和所述超边特征输入至待训练的分类模型中，得到所述分类模型对所述样本数据的分类预测结果。
74.s240、基于对所述样本数据进行多次预测处理得到的多个分类预测结果，以及第一样本数据的标签生成损失函数，基于损失函数对所述分类模型进行参数调节。在调节后的分类模型不满足训练条件的情况下对所述调节后的分类模型进行迭代训练，直到满足所述训练条件时得到训练好的分类模型。
75.本实施例中，通过对样本数据中局部数据设置标签，替代了对全部样本数据设置标签，简化了对样本数据的标签设置过程。可选的，标签可以包括正标签和负标签，相应的，第一样本数据为至少一个设置正标签的样本数据，和至少一个设置负标签的样本数据。
76.在一些实施例中，设置循环操作，以循环执行s230的步骤，对任一组样本数据的节点特征和超边特征进行多次循环处理，得到多个分类预测结果。在任一次循环中，分类模型对输入的节点特征和超边特征进行特征丢弃后传输，对传输得到的公有特征和特有特征进行分类识别，得到一分类预测结果。通过多次循环，可得到同一组样本数据对应的多个分类预测结果。可选的，预先设置循环次数，在满足循环次数时，停止循环，执行步骤s240。
77.在一些实施例中，设置并行执行操作，并行执行步骤s230，针对同一组样本数据得到多个分类预测结果，并基于多个分类预测结果执行步骤s240。具体的，可以是控制分类模型中的超边特征传输模块对输入的超边特征进行并行处理，得到多个公有特征，节点特征传输模块对输入的节点特征进行并行处理，得到多个特有特征，分类网络模型对接收的公有特征和特有特征进行随机组合后，得到多个分类预测结果。
78.示例性的，分类网络模块的输出的分类预测结果可以是：
79.其中，z
(s)
∈[0,1]n×c，是在的分类预测结果，c为类别数，n为样本数据中处理对象的数量，w为模型参数，s为增强次数，即分类预测结果的数量。
[0080]
考虑到分类器应为未标记样本输出相同的类别分布，通过保证未标记数据的多个输出之间的一致性来优化预测结果，即通过多个分类预测结果的差异生成的损失函数。在一些实施例中，损失函数包括各样本数据的一致性损失函数，该损失函数基于多个分类预
测结果、多个分类预测结果的平均分布确定，示例性的，任一分类预测结果中包括每一处理对象(即节点)的预测概率，将各分类预测结果中各处理对象的预测概率均值确定概率平均分布，基于各分类预测结果与概率平均分布的差值的均值确定损失函数。
[0081]
在一些实施例中，损失函数包括第一样本数据的监督损失函数和第二样本数据的一致性损失函数；其中，所述第一样本数据的监督损失函数基于第一样本数据的分类预测结果和标签生成；所述第二样本数据的一致性损失函数基于第二样本数据的多个分类预测结果、多个分类预测结果的平均分布确定。
[0082]
示例性的，在n个节点中有l个带标签的节点，即第一样本数据，其中标签yi∈{0,1}n×c。监督损失函数可以为s个特征表达的平均交叉熵损失，例如可以是：
[0083]
其中，0≤t≤1，用于控制类别分布，该t可以是正分类和负分类的分类阈值。为节点i在第s次增强中的预测结果。
[0084]
对于第二样本数据，根据各第二样本数据的在s次增强中的预测结果，确定平均分布，例如平均分布为基于平均分布可得到节点i属于类别j的概率其中，0≤j≤c-1。
[0085]
基于平均分布与各次增强对应的分类预测结果确定一致性损失函数，示例性的，一致性损失函数可以是：
[0086]
在上述实施例的基础上，损失函数为监督损失函数和一致性损失函数的和，即l＝l
sup
λl
con
，其中，λ为预设参数。
[0087]
基于上述损失函数对分类模型进行参数调节，得到当前次迭代更新的分类模型。
[0088]
在上述实施例的基础上，分类模型中的分类网络模块中包括待训练参数w，相应的，所述基于损失函数对所述分类模型进行参数调节，包括：基于所述损失函数对所述分类网络模块进行参数调节。
[0089]
本实施例的技术方案，通过采样部分设置标签的样本数据，对分类模型进行半监督训练，简化了标签的设置过程，降低了对样本数据进行预处理的工作量。通过对同一组样本数据进行多次增强处理，得到多个分类预测结果，基于同一组样本数据的多个分类预测结果的一致性原则生成损失函数，对分类模型进行参数调节，实现了对模型的半监督训练，简化了训练过程，提高了训练效率。
[0090]
在上述实施例的基础上，本发明实施例还提供的一种优选实例，参见图5，图5是本发明实施例提供的一种基于超图结构的模型训练过程的示意图，给定超图g＝(v,e)，定义它的特有特征为其与其他节点不同的个人信息，而共有特征是其与超边中的节点共享的公共信息。可选的，超边特征表示超边中节点的公有信息，而对于某些超图，我们可以通过对原始节点特征的分离直接获得节点公有特征和私有特征。定义节点特征矩阵以及超边特征矩阵其中，d与d’分别为节点特征矩阵和超边特征矩阵的特征维
度。
[0091]
对于超图g，节点特征矩阵x与超边特征矩阵xe在信息传播过程中，设置不同的传播规则，以解决过平滑问题，其中，传播规则包括丢弃规则、混合高阶特征和分离线性变化与信息融合。
[0092]
对于两种输入特征，通过随机删除某些节点和超边的全部特征向量，得到扰动特征矩阵和随机抽样符合伯努利分布的二值掩码εi～bernoulli(1-δ)，对于节点特征矩阵x乘二值掩码中相对应的值得到扰动节点特征相应的，对于超边特征矩阵xe乘二值掩码中相对应的值得到扰动超边特征
[0093]
对于扰动节点矩阵和扰动超边矩阵，使用进行缩放，以确保扰动特征矩阵的期望值等于原特征矩阵。
[0094]
针对节点特征，基于超图拉普拉斯矩阵进行信息传输：其中，相应的，针对超边特征，基于超图拉普拉斯矩阵进行信息传输：其中在上述传输过程中没有非线性变换。通过混合前面多各传输层的特征得到增强的数据表达：对节点特征的增强对超边特征的增强经多次特征融合得到的特征表达结合了浅层信息从而一定程度上防止了过平滑。这样，每个节点或超边的特征就不是一个单一的确定向量。每个节点或超边的特征通过来自其邻居的信息的随机混合得到增强。在同态假设下，每个节点或超边增强的特征是原特征的近似表示。
[0095]
假设总共有s个增强的特征表示。其中，节点特征可以直接被当作特有特征用于节点分类，节点的公有特征通常需要结合多个超边的共有信息。对任意xi,通过平均包含这个节点的超边特征来获得它的公有特征表达，即
[0096]
得到节点的增强特征表达后，通过一个2层的多层感知器来进行节点预测，得到的预测结果为
[0097]
基于预测结果确定损失函数，其中，损失函数包括带有标签的节点形成的监督损失函数和未设置标签的节点形成的一致性损失函数。其中，监督损失函数为一致性损失函数为
[0098]
相应的，整体的损失函数为l＝l
sup
λl
con
。基于该损失函数调整分类模型中mlp网络中的参数。经过迭代执行上述训练过程，迭代训练完成的分类模型。
[0099]
图6为本发明实施例提供的一种基于超图结构的分类方法的流程示意图，本实施例可适用于针对于超图结构进行分类的情况，该方法可以由本发明实施例提供的基于超图结构的分类装置来执行，该基于超图结构的分类装置可以由软件和/或硬件来实现，该基于超图结构的分类装置可以配置在电子计算设备上，具体包括如下步骤：
[0100]
s310、获取待处理对象的超图结构对应的节点特征和超边特征。
[0101]
s320、将所述节点特征和所述超边特征输入至预先训练的分类模型中，得到所述分类模型输出的分类结果。
[0102]
其中，所述分类模型中包括超边特征传输模块、节点特征传输模块和分类网络模块，所述超边特征传输模块用于对所述超边特征进行传输处理，所述节点特征传输模块用于对所述节点特征进行传输处理，所述分类网络模块用于对所述超边特征传输模块和所述节点特征传输模块传输的特征信息进行分类处理，得到分类结果。
[0103]
本实施例中，待处理对象可以是多个待分类的对象，各对象可分别对应多个特征信息，可以是基于各对象的特征信息形成超图结构，从而提取超图结构中的节点特征和超边特征。还可以是在多个对象的特征信息中抽取公有特征，形成超边特征，将各对象的特征确定为节点特征。
[0104]
将上述节点特征和超边特征输入到预先训练的分类模型中，例如将超边特征输入至超边特征传输模块，将节点特征输入至节点特征传输模块，以得到分类网络模块输出的分类结果。
[0105]
该分类模型为基于上述任意实施例提供的基于超图结构的模型训练方法训练得到的，该分类模型对不同的待处理对象具有鲁棒性，保证了分类结果的准确性。
[0106]
图7是本发明实施例提供的一种基于超图结构的模型训练装置的结构示意图，该装置包括：
[0107]
第一特征提取模块410，用于获取样本数据对应的超图结构中的节点特征和超边特征；
[0108]
预测模块420，用于将所述节点特征和所述超边特征输入至待训练的分类模型中，得到所述分类模型对所述样本数据的分类预测结果；其中，所述分类模型中包括超边特征传输模块、节点特征传输模块和分类网络模块，所述超边特征传输模块用于对所述超边特征进行传输处理，所述节点特征传输模块用于对所述节点特征进行传输处理，所述分类网络模块用于对所述超边特征传输模块和所述节点特征传输模块传输的特征信息进行分类处理，得到分类预测结果；
[0109]
参数调节模块430，用于基于分类预测结果对所述分类模型进行参数调节，在调节后的分类模型不满足训练条件的情况下对所述调节后的分类模型进行迭代训练，直到满足所述训练条件时得到训练好的分类模型。
[0110]
可选的，所述节点特征传输模块包括节点丢弃单元和第一特征传输单元，所述节点丢弃单元用于对输入的节点特征进行随机特征丢弃，得到扰动节点特征，所述第一特征传输单元用于对所述扰动节点特征进行特征传输；
[0111]
所述超边特征传输模块包括超边丢弃单元和第二特征传输单元，所述超边丢弃单元用于对输入的超边特征进行随机特征丢弃，得到扰动超边特征，所述第二特征传输单元用于对所述扰动超边特征进行特征传输。
[0112]
可选的，所述第一特征传输单元用于基于第一传输参数对所述扰动节点特征在第一预设层数的传输层中进行传输，并将各传输层的特征信息进行融合处理；
[0113]
所述第二特征传输单元用于基于第二传输参数对所述扰动超边特征在第二预设层数的传输层中进行传输，并将各传输层的特征信息进行融合处理。
architecture，isa)总线，微通道体系结构(micro channel architecture，mca)总线，增强型isa总线、视频电子标准协会(video electronics standards association，vesa)局域总线以及外围组件互连(peripheral component interconnect，pci)总线。
[0132]
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
[0133]
存储装置28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(random access memory，ram)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(compact disc-read only memory，cd-rom)、数字视盘(digital video disc-read only memory，dvd-rom)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储装置28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
[0134]
具有一组(至少一个)程序模块26的程序36，可以存储在例如存储装置28中，这样的程序模块26包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网关环境的实现。程序模块26通常执行本发明所描述的实施例中的功能和/或方法。
[0135]
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、摄像头、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，电子设备12还可以通过网关适配器20与一个或者多个网关(例如局域网(local area network，lan)，广域网wide area network，wan)和/或公共网关，例如因特网)通信。如图所示，网关适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(redundant arrays of independent disks，raid)系统、磁带驱动器以及数据备份存储系统等。
[0136]
处理器16通过运行存储在存储装置28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的基于超图结构的模型训练方法或者基于超图结构的分类方法。
[0137]
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的基于超图结构的模型训练方法或者基于超图结构的分类方法。
[0138]
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的基于超图结构的模型训练方法或者基于超图结构的分类方法。
[0139]
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意
组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0140]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的源代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0141]
计算机可读介质上包含的源代码可以用任何适当的介质传输，包括——但不限于否线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0142]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机源代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。源代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网关——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0143]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。