面向模态缺失的图表示学习方法、系统、装置及存储介质

技术特征：
1.一种面向模态缺失的图表示学习方法，其特征在于，包括以下步骤：获取模态缺失超图，其中，所述模态缺失超图包括多个资源超顶点，所述资源超顶点包括多种模态的表示矩阵；对每一个所述资源超顶点内的多种所述模态的表示矩阵进行特征交互，得到每一个所述资源超顶点的特征融合矩阵；对于每一个资源超顶点，将邻居资源超顶点的特征融合矩阵与当前资源超顶点的特征融合矩阵进行交互融合，并对当前资源超顶点的特征融合矩阵进行模态聚合得到当前资源超顶点的特征提取向量；根据每一个资源超顶点的所述特征提取向量更新所述模态缺失超图，得到多模态超图；将所述多模态超图输入图表示模型得到图表示结果。2.根据权利要求1所述的面向模态缺失的图表示学习方法，其特征在于，所述图表示模型包括双层自注意力残差连接的图神经网络，所述图神经网络包括基于紧框架构建的滤波器组，所述滤波器组包括低通滤波器、第一高通滤波器和第二高通滤波器。3.根据权利要求1所述的面向模态缺失的图表示学习方法，其特征在于，所述对每一个所述资源超顶点内的多种所述模态的表示矩阵进行特征交互融合，得到每一个所述资源超顶点的特征融合矩阵包括以下步骤：根据所述资源超顶点内的每一个模态的表示矩阵进行所述模态内的特征融合，得到第一融合向量；根据所述资源超顶点内的多种所述模态的表示矩阵对所述资源超顶点内的多种所述模态间的特征进行交互，得到第二融合向量；根据多个所述第一融合向量和多个所述第二融合向量得到所述特征融合矩阵，其中，所述特征融合矩阵包括多个模态向量。4.根据权利要求3所述的面向模态缺失的图表示学习方法，其特征在于，所述根据所述资源超顶点内的每一个模态的表示矩阵进行所述模态内的特征融合，得到第一融合向量包括以下步骤：根据所述模态的表示矩阵确定所述模态的特征值；对所述模态的表示矩阵中的所有特征向量进行两两内积得到格拉姆矩阵；根据所述特征值和所述格拉姆矩阵得到所述第一融合向量。5.根据权利要求3所述的面向模态缺失的图表示学习方法，其特征在于，所述根据多个所述第一融合向量和多个所述第二融合向量得到所述特征融合矩阵包括以下步骤：将所述第一融合向量和所述第二融合向量均输入张量型随机配置神经网络进行向量维度转换和拼接得到所述特征融合矩阵。6.根据权利要求5所述的面向模态缺失的图表示学习方法，其特征在于，所述将邻居资源超顶点的特征融合矩阵与当前资源超顶点的特征融合矩阵进行交互融合包括以下步骤：确定当前资源超顶点的缺失模态；根据所述邻居资源超顶点对所述缺失模态的第一影响权重和所述邻居资源超顶点的特征融合矩阵中与所述缺失模态对应的模态向量确定所述当前资源超顶点的特征融合矩阵中的缺失模态向量；
根据所述邻居资源超顶点的特征融合矩阵中与所述缺失模态不同的模态向量对所述缺失模态的第二影响权重更新所述当前资源超顶点的特征融合矩阵中的缺失模态向量。7.根据权利要求6所述的面向模态缺失的图表示学习方法，其特征在于，所述对当前资源超顶点的特征融合矩阵进行模态聚合得到当前资源超顶点的特征提取向量包括以下步骤：确定所述特征融合矩阵中多个模态向量的权重系数；将每一个所述模态向量与所述权重系数相乘得到多个加权模态向量；将多个所述加权模态向量相加得到所述当前资源超顶点的特征提取向量。8.一种面向模态缺失的图表示学习系统，其特征在于，包括：第一模块，用于获取模态缺失超图，其中，所述模态缺失超图包括多个资源超顶点，所述资源超顶点包括多种模态的表示矩阵；第二模块，用于对每一个所述资源超顶点内的多种所述模态的表示矩阵进行特征交互，得到每一个所述资源超顶点的特征融合矩阵；第三模块，用于对于每一个资源超顶点，将邻居资源超顶点的特征融合矩阵与当前资源超顶点的特征融合矩阵进行交互融合，并对当前资源超顶点的特征融合矩阵进行模态聚合得到当前资源超顶点的特征提取向量；第四模块，用于根据每一个资源超顶点的所述特征提取向量更新所述模态缺失超图，得到多模态超图；第五模块，用于将所述多模态超图输入图表示模型得到图表示结果。9.一种面向模态缺失的图表示学习装置，其特征在于，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得至少一个所述处理器实现如权利要求1至7任一项所述的面向模态缺失的图表示学习方法。10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序被由所述处理器执行时用于实现如权利要求1至7任一项所述的面向模态缺失的图表示学习方法。

技术总结
本发明公开一种面向模态缺失的图表示学习方法、系统、装置及存储介质，涉及计算机技术领域。本申请通过在模态缺失超图的资源超顶点内的多种模态的表示矩阵进行特征交互以完善模态数据，进而得到资源超顶点的特征融合矩阵，然后进行资源超顶点间的特征融合矩阵交互，以完善资源超顶点中的缺失模态的数据，再对模态完善后的资源超顶点的进行模态聚合操作，从而得到资源超顶点的特征提取向量并更新多模态超图，然后将多模态超图输入图表示模型得到较为准确的图表示结果。得到较为准确的图表示结果。得到较为准确的图表示结果。


技术研发人员：李明 段嘉峰 梁吉业 王宇光 陈雨婷
受保护的技术使用者：浙江师范大学
技术研发日：2022.04.24
技术公布日：2022/8/16