基于Transformer模型的房源图文一致性识别方法及系统与流程

摘要: 本申请属于识别领域,尤其涉及一种基于transformer模型的房源图文一致性识别方法及系统。背景技术:1、对房源图文一致性的审核通常依赖多模态深度学习模型。例...
基于Transformer模型的房源图文一致性识别方法及系统与流程

本申请属于识别领域,尤其涉及一种基于transformer模型的房源图文一致性识别方法及系统。

背景技术:

1、对房源图文一致性的审核通常依赖多模态深度学习模型。例如,现有技术中已有房源图文匹配方法采用双流网络架构,分别对房源图像的全局视觉特征和表述文本的全局语义特征进行编码,并通过计算二者的余弦相似度判断图文是否匹配。然而,房源数据本身具有较强的结构化特征,文本和图像中不仅包含房间布局等整体信息,还包含大量细节要素,例如具体家具对象、家具材质属性以及所在空间场景。现有常规图文匹配方法多采用全局特征向量进行单一维度比对,在面对局部细节不一致的房源样本时,容易因局部差异被全局特征掩盖而产生误判。多层编码器架构例如transformer虽然能够提取较丰富的语义信息,但也容易带来模型参数量增加,进而提高部署和推理成本。现有技术中,通过层间参数共享机制限制模型规模,但难以体现神经网络在不同深度层级对特征提取侧重点的差异,使各层在处理文本和图像特征时灵活性不足,影响中间特征表示质量。此外,在网络输出端,现有方案通常缺少面向房源领域特性的多维度特征解耦机制,使相似度计算仍停留在粗粒度对齐层面。因此,如何在控制多层编码器参数规模的同时,使共享参数能够适应不同网络层的多模态特征处理需求,并在判定阶段实现多维度细粒度特征对齐,输出准确的图文一致性判别结果,是本领域技术人员亟需解决的技术问题。

技术实现思路

1、为了提升房源图文一致性识别的准确率,本发明提供一种基于transformer模型的房源图文一致性识别方法及系统。

2、本发明第一方面提供了一种基于transformer模型的房源图文一致性识别方法,包括以下步骤:

3、获取待识别房源的图像和表述文本;对所述表述文本提取房源属性关键词并结合属性位置编码得到初始文本序列向量;将所述图像分割为多个图像块并拼接类别词元得到初始图像序列向量;初始化一组跨层共享的核心参数;

4、对于多层transformer编码器中的任一当前编码器层,聚合输入的文本序列向量与图像序列向量生成全局层级上下文摘要;利用所述全局层级上下文摘要对所述核心参数进行仿射变换,为文本和图像分别生成所述当前编码器层专用的处理参数;将所述处理参数进行维度重塑后,分别对输入向量进行模态内自注意力处理,得到中间文本表示和中间图像表示;基于所述中间表示执行跨模态交叉注意力交互,分别得到所述当前编码器层的文本序列输出和图像序列输出;

5、在编码器最终层,对输出的文本和图像序列向量分别进行映射,提取对象、属性和场景三个维度的信息,获得文本侧与图像侧各自的对象向量、属性向量及场景向量;分别计算文本侧与图像侧在对应维度向量间的相似度分数,将所述相似度分数基于非负权重系数加权求和得到总分数,根据所述总分数与预设阈值的比较结果得到房源图文一致性判别结果。

6、本发明第二方面提供了一种基于transformer模型的房源图文一致性识别系统,包括以下模块:

7、拼接模块,用于获取待识别房源的图像和表述文本;对所述表述文本提取房源属性关键词并结合属性位置编码得到初始文本序列向量;将所述图像分割为多个图像块并拼接类别词元得到初始图像序列向量;初始化一组跨层共享的核心参数;

8、交互模块,用于对于多层transformer编码器中的任一当前编码器层,聚合输入的文本序列向量与图像序列向量生成全局层级上下文摘要;利用所述全局层级上下文摘要对所述核心参数进行仿射变换,为文本和图像分别生成所述当前编码器层专用的处理参数;将所述处理参数进行维度重塑后,分别对输入向量进行模态内自注意力处理,得到中间文本表示和中间图像表示;基于所述中间表示执行跨模态交叉注意力交互,分别得到所述当前编码器层的文本序列输出和图像序列输出;

9、计算模块,用于在编码器最终层,对输出的文本和图像序列向量分别进行映射,提取对象、属性和场景三个维度的信息,获得文本侧与图像侧各自的对象向量、属性向量及场景向量;分别计算文本侧与图像侧在对应维度向量间的相似度分数,将所述相似度分数基于非负权重系数加权求和得到总分数,根据所述总分数与预设阈值的比较结果得到房源图文一致性判别结果。

10、本发明通过从房源表述文本中提取属性关键词,并结合属性位置编码,强化了房源关键信息在文本序列中的表达能力。通过初始化跨层共享的核心参数,在编码过程中聚合图文输入生成全局层级上下文摘要,并基于该摘要对核心参数进行仿射调制,生成各编码层对应的专用处理参数。该机制在控制模型整体参数量的同时,使各层网络能够完成模态内特征提取,并通过跨模态交叉注意力交互实现图文特征融合。在输出阶段,本发明从对象、属性和场景三个维度分别提取文本侧与图像侧信息并计算相似度,同时通过训练阶段的维度标注约束或弱监督约束,使对应特征提取器学习相应语义空间,最后经加权求和得到总分数并完成判别,从而能够识别图像与文本在局部细节及整体环境上的匹配程度,提高房源图文一致性识别的准确率。

1.一种基于transformer模型的房源图文一致性识别方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,所述对所述表述文本提取房源属性关键词并结合属性位置编码得到初始文本序列向量,包括:

3.根据权利要求1所述的方法,其特征在于,所述将所述图像分割为多个图像块并拼接类别词元得到初始图像序列向量,包括:

4.根据权利要求1或3所述的方法,其特征在于,所述聚合输入的文本序列向量与图像序列向量生成全局层级上下文摘要,包括:

5.根据权利要求1所述的方法,其特征在于,所述利用所述全局层级上下文摘要对所述核心参数进行仿射变换,为文本和图像分别生成所述当前编码器层专用的处理参数,包括:

6.根据权利要求1或5所述的方法,其特征在于,所述将所述处理参数进行维度重塑后,分别对输入向量进行模态内自注意力处理,得到中间文本表示和中间图像表示,包括:

7.根据权利要求1所述的方法,其特征在于,所述基于所述中间表示执行跨模态交叉注意力交互,分别得到所述当前编码器层的文本序列输出和图像序列输出,包括:

8.根据权利要求1所述的方法,其特征在于,所述在编码器最终层,对输出的文本和图像序列向量分别进行映射,提取对象、属性和场景三个维度的信息,获得文本侧与图像侧各自的对象向量、属性向量及场景向量,包括:

9.根据权利要求1所述的方法,其特征在于,所述分别计算文本侧与图像侧在对应维度向量间的相似度分数,将所述相似度分数基于非负权重系数加权求和得到总分数,根据所述总分数与预设阈值的比较结果得到房源图文一致性判别结果,包括:

10.一种基于transformer模型的房源图文一致性识别系统,其特征在于,包括以下模块: