一种跨模态数据检索方法、装置及设备与流程

技术特征：
1.一种跨模态数据检索方法，其特征在于，包括：获取包含第一模态数据和第二模态数据的数据集；对所述数据集进行处理，生成训练集；构建特异特征提取网络，及，模态转换网络；将所述训练集输入至所述特异特征提取网络，生成第一模态数据对应的第一特征和第二模态对应的第二特征；利用所述第一特征和所述第二特征，对所述模态转换网络进行训练；利用所述特异特征提取网络及训练好的模态转换网络，在每种模态各自的特征空间进行跨模态检索。2.根据权利要求1所述的方法，其特征在于，所述对所述数据集进行处理，生成训练集，包括：分析所述第一模态数据和第二模态数据，分别得到与所述第一模态数据同类的第二模态数据以及与所述第一模态数据同异类的第二模态数据；将所述第一模态数据、与所述第一模态数据同类的第二模态数据、与所述第一模态数据同异类的第二模态数据以三元组的形式整合为第一数据组；分析所述第一模态数据和第二模态数据，得出与所述第二模态数据同类的第一模态数据以及与所述第二模态数据同异类的第一模态数据；将所述第二模态数据、与所述第二模态数据同类的第一模态数据、与所述第二模态数据同异类的第一模态数据整合以三元组的形式为第二数据组；将所述第一数据组和第二数据组作为训练集。3.根据权利要求2所述的方法，其特征在于，所述构建特异特征提取网络，包括：构建包括第一特征提取器和第二特征提取器的特异特征提取网络；所述第一特征提取器和第二特征提取器的结构相同，均包含一个最大池化层和七个卷积层。4.根据权利要求3所述的方法，其特征在于，所述构建包括第一特征提取器和第二特征提取器的特异特征提取网络，包括：按照特定结构构建所述第一特征提取器和第二特征提取器；所述特定结构具体为：第一卷积层、最大池化层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层；将所述第二卷积层的输入与所述第四卷积层的输出参差连接；将所述第五卷积层的输入与所述第七卷积层的输出参差连接。5.根据权利要求4所述的方法，其特征在于，所述将所述训练集输入至所述特异特征提取网络，生成第一模态数据对应的第一特征和第二模态对应的第二特征，包括：通过所述第一特征提取器对所述第一数据组进行特征提取，生成第一特征；通过所述第二特征提取器对所述第二数据组进行特征提取，生成第二特征。6.根据权利要求1所述的方法，其特征在于，所述利用所述第一特征和所述第二特征，对所述模态转换网络进行训练，包括：对所述第一特征和所述第二特征进行模态内排序损失约束和交叉熵约束；将约束后的数据通过模态转换矩阵，得到第一转换特征和第二转换特征；
对所述第一特征和第二转换特征进行三元组约束，对所述第二特征和第一转换特征进行三元组约束，得到训练好的模态转换矩阵，进而得到训练好的模态转换网络。7.根据权利要求1所述的方法，其特征在于，还包括：根据所述数据集，生成数据随机的测试集；将所述测试集作为输入，进行跨模态检索，生成测试结果。8.一种跨模态数据检索装置，其特征在于，包括：训练数据获取模块，用于获取包含第一模态数据和第二模态数据的数据集；数据处理模块，用于对所述数据集进行处理，生成训练集；构建模块，用于构建特异特征提取网络，及，模态转换网络；训练模块，用于将所述训练集输入至所述特异特征提取网络，生成第一模态数据对应的第一特征和第二模态对应的第二特征；还用于利用所述第一特征和所述第二特征，对所述模态转换网络进行训练；跨模态检索模块，用于利用所述特异特征提取网络及训练好的模态转换网络，在每种模态各自的特征空间进行跨模态检索。9.根据权利要求8所述的装置，其特征在于，还包括：测试模块，用于根据所述数据集，生成数据随机的测试集；将所述测试集作为输入，进行跨模态检索，生成测试结果。10.一种跨模态数据检索设备，其特征在于，包括：主控器，及与所述主控器相连的存储器；存储器，其中存储有程序指令；所述主控器用于执行存储器中存储的程序指令，执行如权利要求1～7任一项所述的方法。

技术总结
本发明涉及一种跨模态数据检索方法、装置及设备，该方法包括：获取包含第一模态数据和第二模态数据的数据集；对数据集进行处理，生成训练集；构建特异特征提取网络，及，模态转换网络；将训练集输入至特异特征提取网络，生成第一模态数据对应的第一特征和第二模态对应的第二特征；利用第一特征和第二特征，对模态转换网络进行训练；利用特异特征提取网络及训练好的模态转换网络，在每种模态各自的特征空间进行跨模态检索。可以理解的是，本发明利用搭建的特异特征提取网络，分别提取双模态数据特征，利用模态转换网络进行转换，能够使得每一种模态的数据特征在各自的特征空间，进行相似度度量，避免了因为公共空间投射带来的信息损失。损失。损失。


技术研发人员：马骏
受保护的技术使用者：北京芯联心科技发展有限公司
技术研发日：2022.09.01
技术公布日：2022/12/5