面向模态缺失的图表示学习方法、系统、装置及存储介质

1.本发明涉计算机技术领域，尤其涉及一种面向模态缺失的图表示学习方法、系统、装置及存储介质。


背景技术：

2.随着数据收集技术的进步，多模态数据急剧增加，多模态数据的整合能够提高机器学习在各种应用场景中的性能，然而如何整合模态缺失的数据仍然是一个具有挑战的问题。目前，大多数的图神经网络都假设顶点的所有特征可以获得，但是实际上顶点的特征可能只有一部分是可以获得的，比如说在社交网络中，部分用户不愿意填写年龄和性别这类信息，造成这类模态数据的缺失。
3.面对模态数据的缺失，目前常采用删除不完整的数据样本或插补缺失的模态等策略来处理这个问题，但是进行数据删除会显著减少训练数据的数量，当具有不同的缺失数据的大规模样本时可能会导致深度学习模型的过度拟合，基于插补的方法会在原始数据中引入额外的噪声，从而对学习模型的性能产生负面影响，并且有时会与复杂的辅助模型相关联，增加了计算的难度。综上，目前对于大规模模态缺失的数据整合方法得到的结果准确度较低。


技术实现要素：

4.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种面向模态缺失的图表示学习方法、系统、装置及存储介质，能够对模态缺失的图数据进行有效整合，提供较为准确的图表示结果。
5.一方面，本发明实施例提供了一种面向模态缺失的图表示学习方法，包括以下步骤：
6.获取模态缺失超图，其中，所述模态缺失超图包括多个资源超顶点，所述资源超顶点包括多种模态的表示矩阵；
7.对每一个所述资源超顶点内的多种所述模态的表示矩阵进行特征交互，得到每一个所述资源超顶点的特征融合矩阵；
8.对于每一个资源超顶点，将邻居资源超顶点的特征融合矩阵与当前资源超顶点的特征融合矩阵进行交互融合，并对当前资源超顶点的特征融合矩阵进行模态聚合得到当前资源超顶点的特征提取向量；
9.根据每一个资源超顶点的所述特征提取向量更新所述模态缺失超图，得到多模态超图；
10.将所述多模态超图输入图表示模型得到图表示结果。
11.根据本发明一些实施例，所述图表示模型包括双层自注意力残差连接的图神经网络，所述图神经网络包括基于紧框架构建的滤波器组，所述滤波器组包括低通滤波器、第一高通滤波器和第二高通滤波器。
12.根据本发明一些实施例，所述对每一个所述资源超顶点内的多种所述模态的表示矩阵进行特征交互融合，得到每一个所述资源超顶点的特征融合矩阵包括以下步骤：
13.根据所述资源超顶点内的每一个模态的表示矩阵进行所述模态内的特征融合，得到第一融合向量；
14.根据所述资源超顶点内的多种所述模态的表示矩阵对所述资源超顶点内的多种所述模态间的特征进行交互，得到第二融合向量；
15.根据多个所述第一融合向量和多个所述第二融合向量得到所述特征融合矩阵，其中，所述特征融合矩阵包括多个模态向量。
16.根据本发明一些实施例，所述根据所述资源超顶点内的每一个模态的表示矩阵进行所述模态内的特征融合，得到第一融合向量包括以下步骤：
17.根据所述模态的表示矩阵确定所述模态的特征值；
18.对所述模态的表示矩阵中的所有特征向量进行两两内积得到格拉姆矩阵；
19.根据所述特征值和所述格拉姆矩阵得到所述第一融合向量。
20.根据本发明一些实施例，所述根据多个所述第一融合向量和多个所述第二融合向量得到所述特征融合矩阵包括以下步骤：
21.将所述第一融合向量和所述第二融合向量均输入张量型随机配置神经网络进行向量维度转换和拼接得到所述特征融合矩阵。
22.根据本发明一些实施例，所述将邻居资源超顶点的特征融合矩阵与当前资源超顶点的特征融合矩阵进行交互融合包括以下步骤：
23.确定当前资源超顶点的缺失模态；
24.根据所述邻居资源超顶点对所述缺失模态的第一影响权重和所述邻居资源超顶点的特征融合矩阵中与所述缺失模态对应的模态向量确定所述当前资源超顶点的特征融合矩阵中的缺失模态向量；
25.根据所述邻居资源超顶点的特征融合矩阵中与所述缺失模态不同的模态向量对所述缺失模态的第二影响权重更新所述当前资源超顶点的特征融合矩阵中的缺失模态向量。
26.根据本发明一些实施例，所述对当前资源超顶点的特征融合矩阵进行模态聚合得到当前资源超顶点的特征提取向量包括以下步骤：
27.确定所述特征融合矩阵中多个模态向量的权重系数；
28.将每一个所述模态向量与所述权重系数相乘得到多个加权模态向量；
29.将多个所述加权模态向量相加得到所述当前资源超顶点的特征提取向量。
30.另一方面，本发明实施例还提供一种面向模态缺失的图表示学习系统，包括：
31.第一模块，用于获取模态缺失超图，其中，所述模态缺失超图包括多个资源超顶点，所述资源超顶点包括多种模态的表示矩阵；
32.第二模块，用于对每一个所述资源超顶点内的多种所述模态的表示矩阵进行特征交互，得到每一个所述资源超顶点的特征融合矩阵；
33.第三模块，用于对于每一个资源超顶点，将邻居资源超顶点的特征融合矩阵与当前资源超顶点的特征融合矩阵进行交互融合，并对当前资源超顶点的特征融合矩阵进行模态聚合得到当前资源超顶点的特征提取向量；
34.第四模块，用于根据每一个资源超顶点的所述特征提取向量更新所述模态缺失超图，得到多模态超图；
35.第五模块，用于将所述多模态超图输入图表示模型得到图表示结果。
36.另一方面，本发明实施例还提供一种面向模态缺失的图表示学习装置，包括：
37.至少一个处理器；
38.至少一个存储器，用于存储至少一个程序；
39.当所述至少一个程序被所述至少一个处理器执行，使得至少一个所述处理器实现如前面所述的面向模态缺失的图表示学习方法。
40.另一方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如前面所述的面向模态缺失的图表示学习方法。
41.本发明上述的技术方案至少具有如下优点或有益效果之一：通过在模态缺失超图的资源超顶点内的多种模态的表示矩阵进行特征交互以完善模态数据，进而得到资源超顶点的特征融合矩阵，然后进行资源超顶点间的特征融合矩阵交互，以完善资源超顶点中的缺失模态的数据，再对模态完善后的资源超顶点的进行模态聚合操作，从而得到资源超顶点的特征提取向量并更新多模态超图，然后将多模态超图输入图表示模型得到较为准确的图表示结果。
附图说明
42.图1是本发明实施例提供的面向模态缺失的图表示学习方法流程图；
43.图2是本发明实施例提供的面向模态缺失的图表示学习系统示意图；
44.图3是本发明实施例提供的面向模态缺失的图表示学习装置示意图；
45.图4是本发明实施例提供的模态缺失超图构建过程示意图；
46.图5是本发明实施例提供的资源超顶点特征表示与内部特征交互过程示意图；
47.图6是本发明实施例提供的模态缺失超图在三层图注意力网络机制的模型处理过程示意图；
48.图7是本发明实施例提供的基于紧框架的图神经网络构建过程示意图；
49.图8是本发明实施例提供的多模态超图在基于双层自注意力残差连接的图神经网络的图表示模型的处理过程示意图。
具体实施方式
50.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或者类似的标号表示相同或者类似的原件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
51.在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、左、右等指示的方位或者位置关系为基于附图所示的方位或者位置关系，仅是为了便于描述本发明和简化描述，而不是指示或者暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
52.本发明的描述中，如果有描述到第一、第二等只是用于区分技术特征为目的，而不
能理解为指示或者暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
53.本发明实施例提供了一种面向模态缺失的图表示学习方法，参照图1，本发明实施例的面向模态缺失的图表示学习方法包括但不限于步骤s110、步骤s120、步骤s130、步骤s140和步骤s150。
54.步骤s110，获取模态缺失超图，其中，模态缺失超图包括多个资源超顶点，资源超顶点包括多种模态的表示矩阵；
55.在一些实施例中，在现实的社交网络中，用户和资源之间互动产生数据，但是并不是对于所有的用户都会产生完整模态的资源，可能存在用户模态缺失的情况，基于此，构建的图结构为模态缺失超图。示例性地，参照图4，定义三种模态数据分别为i1、i2、i3，用户u1产生模态i1的资源，用户u2产生模态i1、i2的资源，用户u3产生模态i1、i2、i3的资源，用户u4产生模态i2、i3的资源，因此，构建对应于用户的资源超顶点，并根据用户间关系得到模态缺失图，资源超顶点包括用户u1包括模态i1的数据，资源超顶点包括用户u2和模态i1、i2的数据，资源超顶点包括用户u3和模态i1、i2、i3的数据，资源超顶点用户u4和模态i2、i3的数据。为了有效地表示超顶点之间的高阶连接，使用超边e共享资源超顶点的相似信息并显示模态缺失超图中的资源超顶点之间的关系，根据资源超顶点和超边构建包含多个资源超顶点的模态缺失超图g。
56.进一步地，参照图5，对模态缺失超图中的单一模态数据进行表示，利用简单的mlp(多层感知机)来构建编码器，其中各模态对应的编码器参数不共享，从而各模态的表示矩阵。定义fm(
·
；θm)为模态m的mlp的嵌入网络，θm为可训练学习的参数，对于每个资源超顶点vi的模态m的表示矩阵如公式(1)所示：
[0057][0058]
其中，fm为模态m的嵌入维度。
[0059]
步骤s120，对每一个资源超顶点内的多种模态的表示矩阵进行特征交互，得到每一个资源超顶点的特征融合矩阵；
[0060]
在一些实施例中，在得到模态的表示矩阵之后，为了缩小资源超顶点内部各种模态抽象表示之间的“语义鸿沟”，需在资源超顶点内部实现单一模态特征交互编码及各模态间特征新编码的深度交互。
[0061]
具体地，参照图5，首先，对于单一模态的表示矩阵，使用gram矩阵计算特征之间存在的关系，并分别得到单一模态对应的第一融合向量gram矩阵即格拉姆矩阵，n维欧式空间中任意k个向量y1，y2，...yk之间两两的内积所组成的矩阵，即为这k个向量的gram矩阵，gram矩阵是一个对称矩阵，gram矩阵用于度量矩阵中各个维度本身的特性以及各个维度之间的关系，矩阵中的特征向量内积之后得到的多尺度矩阵中，对角线元素提供了不同特征向量本身的信息，其余元素提供了不同特征向量之间的相关信息。采用gram矩阵变换的第一融合向量既能体现出有特征的个数，又能体现出不同特征间的紧密程度，其主要的表示形式如公式(2)所示：
[0062][0063]
其次，对于资源超顶点中每对模态或者两个以上的模态之间可能会出现高阶模态的相互作用，对于不同模态的表示矩阵，通过模态间表示矩阵两两外积的方式可以得到表示两者之间信息交互的二阶张量再通过计算三个不同模态的表示矩阵之间的外积得到表示三者信息交互的三阶张量以此类推即得到有限个不同阶次的张量，通过各个模态的表示矩阵之间的外积进行深度交互，得到多个第二融合向量
[0064]
进一步地，假设h(
·
)表示幂集运算并且对于每个子集可以从每个因子s上学到一种多模态互动及与其相关的一系列的信息。资源超顶点内的特征互补信息由许多因子组成，每个因子用一个f’维向量表示，在进行资源超顶点内的各模态特征交互的计算过程如下：
[0065]
如果s中只有一个元素，表示正在计算某一种模态m∈s的第一融合向量，第一融合向量的计算过程如公式组(3)所示：
[0066][0067][0068][0069]
其中，bm∈rf′
，b
m，m
∈rf′
，均为神经网络gm(
·
)和g
m，m
(
·
)的可训练参数，为表示矩阵对应的gram矩阵，表示模态m的特征值，该特征值可以为模态m的特征均值。
[0070]
如果s中存在超过一个的元素，表示正在计算不同模态之间的跨模态交互信息的第二融合向量。第二融合向量的计算过程如公式组(4)所示：
[0071][0072][0073]
其中，首先由求得s中的单一模态m的表示矩阵的交叉验证，进而得到s中相关模态表示矩阵的|s|层交叉验证最后再将输入图神经网络gs(
·
)中进行训练，bs和us均为图神经网络gs(
·
)的可训练参数。
[0074]
在获得第一融合向量和第二融合向量之后，利用支持张量输入的随机配置神经网络实现不同阶次张量到相同维度向量表示的转换。通过上述的过程，得到维度不同、阶次不同的多个第一融合向量和多个第二融合向量，因此，将多个第一融合向量和多个第二融合向量均输入支持张量输入的随机配置神经网络得到统一维度表示的融合向量在本发明实施例中的图5，可以得到7种融合向量，分别为根据多种融合向量得到资源超顶点的进行模态特征交互后的特征融合矩阵，其中，特征融合矩阵包括多个模态向量。
[0075]
步骤s130，对于每一个资源超顶点，将邻居资源超顶点的特征融合矩阵与当前资源超顶点的特征融合矩阵进行交互融合，并对当前资源超顶点的特征融合矩阵进行模态聚合得到当前资源超顶点的特征提取向量；
[0076]
在一些实施例中，由于部分资源超顶点内模态缺失会引起资源超顶点之间的模态信息不均衡，因此可以设计基于三层图注意力网络机制的模型补全和完整资源超顶点中缺少的模态数据。对于基于三层图注意力网络机制的模型的构建，在第一层图注意力网络中训练具有与缺失模态同一模态的邻居超顶点对当前资源超顶点的缺失模态的第一影响权重，在第二层图注意力网络中训练与缺失模态不同模态的邻居资源超顶点对对当前资源超顶点的缺失模态的，第二影响权重，在第三层图注意力网络中训练资源超顶点中不同模态的权重系数。通过上述的基于三层图注意力网络机制的模型可以基于与缺失模态相同的邻居资源超顶点的模态对当前资源超顶点的缺失模态进行补全，再基于与缺失模态相同的邻居资源超顶点的模态对当前资源超顶点的缺失模态进行完善，然后对资源超顶点中的多种模态进行聚合以得到资源超顶点的特征提取向量。
[0077]
示例性地，以资源超顶点之间为例，说明注意力网络的求解过程。
[0078]
模态缺失超图经过张量型随机配置网络得到的数据为h＝{h1，h2，h3，...hn}，hi∈rf，n代表资源超顶点的数量，f表示资源超顶点中的特征数量，矩阵h的大小是n
×
f，矩阵h表示所有资源超顶点的特征，r表示某一个资源超顶点的特征，r的大小为f
×
1。经过注意力网络的输出数据可以表示为{h1′
，h2′
，h3′
，...hn′
}，hi′
∈rf，f
′
表示资源超顶点的输出特征向量维度，设置权值矩阵w表示注意力网络输入与输出特征之间的关系。
[0079]
针对每个资源超顶点实行自注意的机制，则资源超顶点vj对于资源超顶点vi的重要性如公式(5)所示，其中关系函数定义为a：
[0080]eij
＝a(whi，whj)；
ꢀꢀ
(5)
[0081]
为了使注意力系数更容易计算和便于比较，引入了softmax函数对所有与资源超顶点vi相邻的资源超顶点vj进行正则化得到注意力系数，注意力系数α
ij
计算如公式(6)所示：
[0082][0083]
上述注意力系数经过注意力网络的输出层的leakyrelu函数后，得到的完整注意力系数如下公式(7)所示，其中，a是注意力网络中连接层与层之间的权重矩阵。
[0084][0085]
进一步地，根据上述资源超顶点间的注意力系数可以预测每个资源超顶点的输出特征如公式(8)所示：
[0086][0087]
在本实施例中，将上述注意力网络求解的方法应用到本实施例的三层图注意力网络机制的模型中，从而实现资源超顶点的缺失模态的补全完善和资源超顶点内的模态聚合，得到资源超顶点的特征提取向量。
[0088]
参照图6，首先，将模态缺失超图输入第一层自注意网络中，得到资源超顶点vi的所有邻居顶点对于资源超顶点vi的缺失模态m的表达式如公式(9)所示：
[0089][0090]
其中，σ为激活函数，为资源超顶点vi的所有邻居资源超顶点vj对于资源超顶点vi的缺失模态m的注意力系数，表示邻居资源超顶点vj的模态向量m，w
mn
表示模态向量m到映射低维的模态向量n的可训练权重，表示资源超顶点vi的邻居资源超顶点，的计算如公式(10)所示：
[0091][0092]
其中，αm表示资源超顶点vj对于资源超顶点vi的第一影响权重。
[0093]
通过上述过程，可以得到资源超顶点vi增加有信息k是资源超顶点vi所具有的邻居的数量。
[0094]
其次，将模态缺失超图输入第二层自注意网络中，得到资源超顶点vi的所有邻居顶点完善资源超顶点vi的缺失模态m，得到资源超顶点vi的模态m的表达式如公式(11)所示：
[0095][0096]
其中，σ为激活函数，β
m，n
为模态m与模态n之间的注意力系数，表示资源超顶点vi的低维度模态向量n，表示模态向量n到模态向量m空间的转换，β
m，n
的计算如公式(12)所示：
[0097][0098]
其中，β
m，n
表示邻居超顶点的其他模态对缺失模态的第二影响权重。
[0099]
通过上述过程，将资源超顶点vi的所有模态信息补充完整。
[0100]
然后，将模态缺失超图输入第三层自注意网络中对每个资源超顶点进行模态融合，得到资源超顶点vi的特征提取矩阵hi′
，hi′
计算如公式(13)所示：
[0101][0102]
其中，wj表示资源超顶点vi内模态向量j和其他模态向量的权重系数，表示资源超顶点vi内模态向量j，n表示资源超顶点vi内的模态向量数量。
[0103]
步骤s140，根据每一个资源超顶点的特征提取向量更新模态缺失超图，得到多模态超图；
[0104]
步骤s150，将多模态超图输入图表示模型得到图表示结果。
[0105]
在一些实施例中，图表示模型包括双层自注意力残差连接的图神经网络，图神经网络包括基于紧框架构建的滤波器组，滤波器组包括低通滤波器、第一高通滤波器和第二高通滤波器。
[0106]
其中，参照图7，图神经网络通过以下方式构建：
[0107]
针对得到的大规模的模态缺失超图γ，通过多层聚类对图的特征进行提取。将大规模的模态缺失超图细化为不同层次的子图以此得到树形结构。
[0108]
根据树形结构在树的每一层构造对应该层的正交基。正交基的好处在于可以很方便地表示空间中的点，用数学语言表示为两个向量u和v的乘积，当u
·
v＝0，这两个向量相互垂直或相互正交，u和v也即该层的正交基，同时，层与层之间可以快速实现正交基共享与
扩充，以此得到图上的多尺度紧框架变换，该变换具有等价于快速傅里叶变换(fft)的算法复杂度。
[0109]
基于卷积定理设计基于多尺度紧框架的图卷积网络，该网络运用基于张量的小波变换，直接把傅里叶变换f(ω)的基替换，即将无限长的三角函数基换成了有限长的会衰减的小波基，不仅能够获取信号的频率，还可以定位到时间，解决了傅里叶变换不能刻画时间域上信号的局部特性以及没有时频分析的缺点，小波变换函数wt(α，τ)的表示如公式(14)所示，其中，小波变换有尺度α和平移量τ两个变量。尺度α控制小波函数的伸缩，平移量τ控制小波函数的平移，f(t)表示输入的图信号，表示小波的基。
[0110][0111]
设计图上的紧框架变换，具体的框架操作流程为：通过对给定一个具有结构(邻接矩阵)和特征信息图的图信号f，构造一个低通和两个高通小波变换矩阵w
r，j
|r＝0,1，...，n；j＝1，...，j}，同时，定义是r次切比雪夫多项式，是图拉普拉斯矩阵，将其与输入特征矩阵连续相乘以产生小波系数，可表示为公式(15)：
[0112][0113]
图信号可以根据建立的框架进行分解，然后用对偶框架重构，同时调整正交基集里一些新的向量以及空间位置，并且设置上下界相等，成为紧框架。把输入的图信号与基或框架作内积以进行函数空间到系数空间的变换，变换后的能量(内积的平方和度量)仍然有一个大于0的上下界，由于框架的冗余性，框架内低通和两个高通小波变换函数系数的表达不具有唯一性。此外，系数通过可训练的网络滤波器进行计算，并通过压缩率进行图像的压缩，得到图卷积正确的嵌入图，收缩激活的帧卷积表示如公式(16)所示：
[0114]
λshrinkage(diag(θ)(wx
′
)))，x
′
＝xw；
ꢀꢀ
(16)
[0115]
其中，θ为网络滤波器，x是图的特征矩阵，重构算子λ是分解算子w的帧变换矩阵的重新排列。通过再次使用转置对齐的变换矩阵，重构激活系数并将其发送回空间域作为卷积输出。
[0116]
在本实施例中，参照图8，多模态超图在基于双层自注意力残差连接的图神经网络的图表示模型中的处理过程为：
[0117]
对于多模态超图的特征提取向量输入上述多尺度框架的图神经网络进行正常的滤波操作，得到的输出向量为x
(1)
，将原来输入的特征提取向量不经过加工直接到输出层得到向量x
(2)
，将经过分解矩阵后得到的向量记为x
(3)
，将向量x
(1)
、x
(2)
和x
(3)
经过加权平均后得到输出向量x
′
，输出向量x
′
通过公式(17)计算：
[0118][0119]
其中，i取值为1，2，3，wi表示x(i)的权重。
[0120]
经过多次重复上述步骤，然后经过重构因子λ得到最后的图表示结果x，从而实现对大规模的模态缺失超图的图表示学习。
[0121]
在本实施例中，拟融合小波分析的方法来设计图上的紧框架变换，以此定义新的谱图卷积，并设计快速卷积计算算法进行特征提取向量的卷积运算。通过构建基于残差连接的深度递归图神经网络实现高效图表示学习。基于上述紧框架的图卷积神经网络，支持高频、低频图信息的协同处理，即分别通过高通滤波(high-pass)和低通滤波(low-pass)双
通道分层进行图上的资源超顶点信息的聚合，相对于现有的图神经网络只支持低通滤波，本实施例的图神经网络能够避免低通滤波造成的信息损失。
[0122]
根据本发明一些具体实施例，步骤s120包括但不限于以下步骤：
[0123]
步骤s210，根据资源超顶点内的每一个模态的表示矩阵进行模态内的特征融合，得到第一融合向量；
[0124]
步骤s220，根据资源超顶点内的多种模态的表示矩阵对资源超顶点内的多种模态间的特征进行交互，得到第二融合向量；
[0125]
步骤s230，根据多个第一融合向量和多个第二融合向量得到特征融合矩阵，其中，特征融合矩阵包括多个模态向量。
[0126]
根据本发明一些具体实施例，步骤s210包括但不限于以下步骤：
[0127]
步骤s310，根据模态的表示矩阵确定模态的特征值；
[0128]
步骤s320，对模态的表示矩阵中的所有特征向量进行两两内积得到格拉姆矩阵；
[0129]
步骤s330，根据特征值和所述格拉姆矩阵得到第一融合向量。
[0130]
根据本发明一些具体实施例，步骤s230包括但不限于以下步骤：
[0131]
步骤s410，将第一融合向量和第二融合向量均输入张量型随机配置神经网络进行向量维度转换和拼接得到特征融合矩阵。
[0132]
根据本发明一些具体实施例，步骤s130中的将邻居资源超顶点的特征融合矩阵与当前资源超顶点的特征融合矩阵进行交互融合包括但不限于以下步骤：
[0133]
步骤s510，确定当前资源超顶点的缺失模态；
[0134]
步骤s520，根据邻居资源超顶点对缺失模态的第一影响权重和邻居资源超顶点的特征融合矩阵中与缺失模态对应的模态向量确定当前资源超顶点的特征融合矩阵中的缺失模态向量；
[0135]
步骤s530，根据邻居资源超顶点的特征融合矩阵中与缺失模态不同的模态向量对缺失模态的第二影响权重更新当前资源超顶点的特征融合矩阵中的缺失模态向量。
[0136]
根据本发明一些具体实施例，步骤s130中的对当前资源超顶点的特征融合矩阵进行模态聚合得到当前资源超顶点的特征提取向量包括但不限于以下步骤：
[0137]
步骤s610，确定特征融合矩阵中多个模态向量的权重系数；
[0138]
步骤s620，将每一个模态向量与权重系数相乘得到多个加权模态向量；
[0139]
步骤s630，将多个加权模态向量相加得到当前资源超顶点的特征提取向量。
[0140]
另一方面，本发明实施例还提供一种面向模态缺失的图表示学习系统，参照图2，面向模态缺失的图表示学习系统包括：
[0141]
第一模块，用于获取模态缺失超图，其中，所述模态缺失超图包括多个资源超顶点，所述资源超顶点包括多种模态的表示矩阵；
[0142]
第二模块，用于对每一个所述资源超顶点内的多种所述模态的表示矩阵进行特征交互，得到每一个所述资源超顶点的特征融合矩阵；
[0143]
第三模块，用于对于每一个资源超顶点，将邻居资源超顶点的特征融合矩阵与当前资源超顶点的特征融合矩阵进行交互融合，并对当前资源超顶点的特征融合矩阵进行模态聚合得到当前资源超顶点的特征提取向量；
[0144]
第四模块，用于根据每一个资源超顶点的所述特征提取向量更新所述模态缺失超
图，得到多模态超图；
[0145]
第五模块，用于将所述多模态超图输入图表示模型得到图表示结果。
[0146]
可以理解的是，上述面向模态缺失的图表示学习方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述面向模态缺失的图表示学习方法实施例相同，并且达到的有益效果与上述面向模态缺失的图表示学习方法实施例所达到的有益效果也相同。
[0147]
参照图3，图3是本发明一个实施例提供的面向模态缺失的图表示学习装置的示意图。本发明实施例的面向模态缺失的图表示学习装置包括一个或多个控制处理器和存储器，图3中以一个控制处理器及一个存储器为例。
[0148]
控制处理器和存储器可以通过总线或者其他方式连接，图3中以通过总线连接为例。
[0149]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于控制处理器远程设置的存储器，这些远程存储器可以通过网络连接至该面向模态缺失的图表示学习装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0150]
本领域技术人员可以理解，图3中示出的装置结构并不构成对面向模态缺失的图表示学习装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0151]
实现上述实施例中应用于面向模态缺失的图表示学习装置的面向模态缺失的图表示学习方法所需的非暂态软件程序以及指令存储在存储器中，当被控制处理器执行时，执行上述实施例中应用于面向模态缺失的图表示学习装置的面向模态缺失的图表示学习方法。
[0152]
此外，本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，可使得上述一个或多个控制处理器执行上述方法实施例中的面向模态缺失的图表示学习方法。
[0153]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波
或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0154]
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。