融合语义相似性嵌入和度量学习的跨模态图文检索方法

技术特征：
1.融合语义相似性嵌入和度量学习的跨模态图文检索方法，其特征在于，步骤如下：输入图像文本对其中x
i
是输入图像数据，x
j
是输入的文本数据，其中n表示图像文本对数；根据图像特征提取网络提取图像的深度特征表征向量根据文本特征提取网络g
φ
提取文本的特征表征向量g
φ
(x
j
)，其中图像特征提取网络中的参数代表，φ表示文本特征提取网络中的参数代表；在图像特征提取网络和文本特征提取网络末端分别引入线性分类层，将图像深度特征表征向量和文本的特征表征向量g
φ
(x
j
)映射到标签空间得到预测图像特征向量预测文本特征向量txt
p
＝p(g
φ
(x
j
))；将图像深度特征表征向量和文本的特征表征向量g
φ
(x
j
)进行拼接得到拼接向量其中c(
·
,
·
)表示在深度上对特征进行拼接；将拼接向量输入相似性度量网络r
ψ
中得到相似性分数矩阵其中n
image
、n
text
分别表示图像和文本样本集总数；最后将图像深度特征表征向量文本的特征表征向量g
φ
(x
j
)、预测特征向量预测文本特征向量txt
p
＝p(g
φ
(x
j
))和相似性分数矩阵s
i,j
在单模态表征空间、跨模态公共表征空间和相似性度量学习空间中进行训练学习，得到最后的检索网络模型。2.根据权利要求1所述的融合语义相似性嵌入和度量学习的跨模态图文检索方法，其特征在于，所述的图像数据x
i
是图像的原始像素特征，文本数据x
j
是通过word2vec自然语言模型抽取的特征矢量。3.根据权利要求1所述的一种融合语义相似性嵌入和度量学习的跨模态图文检索方法，其特征在于，所述的图像特征提取网络包括：vgg19网络和若干层全连接神经网络组成，其中vgg19网络初始参数在imagenet上进行预训练和微调得到，全连接神经网络的隐藏层单元数目分别为4096、1024、1024、256和c；其中隐藏层采用relu激活函数，c为数据集的总类别数；所述的文本特征提取网络包括：textcnn网络和若干层全连接层组成，其中全连接层隐含层单元数分别为300、1024、1024、256和c，其中隐含层采用relu激活函数，c为数据集的总类别数。4.根据权利要求1所述的融合语义相似性嵌入和度量学习的跨模态图文检索方法，其特征在于，所述的相似性度度量网络由三层全连接神经网络构成，其中每一层隐藏神经元个数分别为512、1024、1，所有层都采用relu激活函数，最后一层输出层采用sigmoid函数得到相似性分数矩阵s
i,j
。5.根据权利要求1所述的融合语义相似性嵌入和度量学习的跨模态图文检索方法，其
特征在于，其所述的单模态表征空间的标签域监督损失l1，定义为：其中l＝[y1,y2,...,y
n
]，l表示标签向量，|| ||
f
表示frobenius范数。6.根据权利要求1所述的融合语义相似性嵌入和度量学习的跨模态图文检索方法，其特征在于，其所述的跨模态公共表征空间的损失l2，定义为：其中|| ||
f
表示frobenius范数。7.根据权利要求1所述的融合语义相似性嵌入和度量学习的跨模态图文检索方法，其特征在于，其所述的度量学习空间的损失l3为：这里令相似性得分回归逼近真实的样本对之间的语义一致性，1表示图像文本样本对之间的相似性矩阵，其元素{0,1}如果两个输入样本对属于同一类则为1，不是同一类则为0；最终得目标函数为：l＝l1 λl2 l3，其中λ＝0.1。8.根据权利要求1所述的融合语义相似性嵌入和度量学习的跨模态图文检索方法，其特征在于，所述训练采用adam优化器，设置学习率为10-4
，迭代训练500次，得到最终的检索网络模型。

技术总结
本发明提出一种融合语义相似性嵌入和度量学习的跨模态图文检索方法，具体包括：首先构建特征嵌入模块抽取每个模态的深度特征，然后在图像和文本的单模态表征空间和跨模态公共表征空间通过标签域监督信息和语义一致性监督信息分别进行表征学习。同时，设计一个深度相似性度量网络对融合后的图像文本对进行相似性比较，得到相似性得分，通过语义相似性矩阵监督相似性学习。通过损失函数将模型统一到一个整体的框架内，训练可得到端到端的跨模态图文检索模型。通过实验表明，本发明能够有效解决跨模态图文检索中精确度不高的问题。效解决跨模态图文检索中精确度不高的问题。效解决跨模态图文检索中精确度不高的问题。


技术研发人员：曾焕强 阮海涛 朱建清 曹九稳 侯军辉 王勇涛 施一帆
受保护的技术使用者：华侨大学
技术研发日：2022.04.14
技术公布日：2022/7/29