基于对抗网络的多模态数据的重构方法及装置

技术特征：
1.一种基于对抗网络的多模态数据的重构方法，其特征在于，所述方法包括：获取资源对象的多模态原始数据集和初始对抗网络；所述多模态原始数据集包含随机缺失的多模态数据和完整的多模态数据；利用初始对抗网络中的编码器对所述多模态原始数据集进行编码，得到多个低维语义空间；将所述多个低维语义空间联合进行平均池化，得到统一语义表示空间；根据所述初始对抗网络中的解码器将所述资源对象从所述统一语义表示空间映射到模态数据空间进行解码，得到所述资源对象的重构数据；利用所述资源对象的多模态原始数据和重构数据建立均方差重构损失；根据所述均方差重构损失和所述多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络；利用所述训练好的对抗网络中的编码器和解码器对所述资源对象的多模态原始数据进行编码和解码，得到重构后的多模态数据。2.根据权利要求1所述的方法，其特征在于，获取初始对抗网络的过程包括：采用gan生成对抗缺失样本，根据所述对抗缺失样本进行对抗网络训练，得到初始对抗网络。3.根据权利要求1所述的方法，其特征在于，利用所述资源对象的多模态原始数据和重构数据建立均方差重构损失，包括：根据所述资源对象的完整的多模态数据与完整的多模态数据的重构数据进行计算，得到第一均方差重构损失；根据所述资源对象的随机缺失的多模态数据与随机缺失的多模态数据的重构数据进行计算，得到第二均方差重构损失；将所述第一均方差重构损失和所述第二均方差重构损失进行加和，得到均方差重构损失。4.根据权利要求3所述的方法，其特征在于，根据所述资源对象的完整的多模态数据与完整的多模态数据的重构数据进行计算，得到第一均方差重构损失，包括：其中，h表示模态的个数,v表示模态的序号,n表示样本个数，n表示样本序号，表示第n个样本的第v个模态完整的多模态数据，表示第n个样本的第v个模态完整的多模态数据的重构数据，g
v
(z
n
)表示第n个样本的完整的多模态数据的重构数据。5.根据权利要求3所述的方法，其特征在于，根据所述资源对象的随机缺失的多模态数据与随机缺失的多模态数据的重构数据进行计算，得到第二均方差重构损失
其中，m
vn
表示缺失的数据映射，第n个样本的第v个模态随机缺失的多模态数据，表示第n个样本的第v个模态随机缺失的多模态数据的重构数据，表示第n个样本的随机缺失的多模态数据的重构数据。6.根据权利要求5所述的方法，其特征在于，获取多模态原始数据的散度损失的过程，包括：包括：包括：其中，表示散度损失，p
nk
表示n个实例到聚类中心k的概率，表示第v个模态中n个实例到聚类中心k的概率，f
k
表示编码器函数，表示第n个样本的第v个模态的统一语义表示空间，表示聚类中心k的第v个模态的正态分布均差，δ表示样本中所有模态的方差。7.根据权利要求6所述的方法，其特征在于，根据所述均方差重构损失和所述多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络，还包括：根据所述均方差重构损失和多模态原始数据的散度损失构建总损失函数；对所述总损失函数进行梯度计算，根据计算结果反向修正初始对抗网络中的编码器和解码器的参数，直至收敛，得到训练好的对抗网络。8.一种基于对抗网络的多模态数据的重构装置，其特征在于，所述装置包括：获取数据集模块，用于获取资源对象的多模态原始数据集和初始对抗网络；所述多模态原始数据集包含随机缺失的多模态数据和完整的多模态数据；编码平均模块，用于利用初始对抗网络中的编码器对所述多模态原始数据集进行编码，得到多个低维语义空间；将所述多个低维语义空间联合进行平均池化，得到统一语义表示空间；解码模块，用于根据所述初始对抗网络中的解码器将所述资源对象从所述统一语义表示空间映射到模态数据空间进行解码，得到所述资源对象的重构数据；损失计算模块，用于利用所述资源对象的多模态原始数据和重构数据建立均方差重构损失；
训练模块，用于根据所述均方差重构损失和所述多模态原始数据的散度损失对初始对抗网络进行训练，得到训练好的对抗网络；重构模块，用于利用所述训练好的对抗网络中的编码器和解码器对所述资源对象的多模态原始数据进行编码和解码，得到重构后的多模态数据。9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请涉及一种基于对抗网络的多模态数据的重构方法、装置、计算机设备和存储介质。所述方法包括：利用利用初始对抗网络中编码器对多模态原始数据集进行编码，得到多个低维语义空间；将多个低维语义空间联合进行平均池化，得到统一语义表示空间；根据解码器进行解码，得到资源对象的重构数据；利用资源对象的多模态原始数据和重构数据建立均方差重构损失；根据均方差重构损失和多模态原始数据的散度损失对初始对抗网络进行训练，利用训练好的初始对抗网络对资源对象的多模态原始数据进行编码和解码，得到重构后的多模态数据。采用本方法能够能够重构缺失的多模态数据。法能够能够重构缺失的多模态数据。法能够能够重构缺失的多模态数据。


技术研发人员：冯旸赫 姚晨蝶 刘忠 程光权 黄金才 国子婧 周玉珍 施伟
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：2022.01.17
技术公布日：2022/5/30