多模态图像内容智能识别方法、装置及介质与流程

本发明属于人工智能与多模态数据处理，具体的涉及多模态图像内容智能识别方法、装置及介质。

背景技术：

1、在数字技术创新公共服务平台多模态图像内容智能识别实际业务场景下，平台接收企事业单位、行业用户上传的大量业务图像资源，包含技术凭证扫描件、项目申报截图、技术合同照片、技术难题相关业务图片等多类图像数据，同时配套采集技术领域、交易属性、合同条款等业务文本元数据，依托跨模态细粒度互补特征挖掘处理，建立图像局部细粒度特征与文本业务语义特征之间的关联映射关系，完成图像智能识别、自动分类标注，为平台技术和资金需求发布、揭榜挂帅匹配、定向定制合作、技术合同自动生成、数字资产交易等上层业务提供识别输入支撑。在现有面向该类业务的多模态处理方案中，普遍会对业务侧非结构化原始文本元数据做规范化处理，拆解形成技术领域、交易属性、合同条款等多类结构化文本单元，分别对各结构化文本单元执行语义编码得到文本业务语义特征；同时对业务图像实施网格分块处理，提取各个图像子块对应的图像局部细粒度视觉特征，后续借助跨模态关联运算建立两类特征之间的映射关联，以此实现图像模态与业务文本模态的信息融合，用来区分平台内大量视觉外观高度相似、但实际业务含义完全不同的业务歧义样本。但是在平台真实业务数据环境下，不同类型结构化文本单元之间信息熵分布极度不均衡，存在显著的语义稀疏性现象。部分结构化文本单元例如技术领域标签，大多为有限集合内的高频重复离散词汇，单条单元承载的有效业务区分信息量偏低；另一部分结构化文本单元例如合同条款字段，属于长尾低频业务文本，文本内部包含大量业务实体、编号、数值、约束条件，单条单元承载的业务信息密度高。与之相对，图像经过网格分块之后，各个图像子块输出的局部细粒度视觉特征具备固定向量维度，各子块之间信息密度整体处于相对均匀状态。由此带来文本元数据模态内部不同业务字段信息密度差异巨大，而图像细粒度特征各子块信息密度趋于均衡，二者之间形成跨模态信息密度失配的客观业务数据现状。现有常规跨模态关联处理手段，大多直接将编码完成的全部文本语义特征与图像局部细粒度特征送入注意力机制完成关联权重学习，依赖模型从样本数据当中自主学习不同特征之间的关联关系。该处理方式在平台业务场景下存在固有缺陷：能够区分业务歧义样本的关键判别信息，往往蕴藏在合同条款这类高密度、低频次的长尾细微文本差异当中，例如合同编号、交易约束数值、技术边界描述的细微差别，该类关键判别信号本身样本出现频次低；而技术领域这类低密度、高频次的通用业务字段样本出现频次高，特征信号能量更强。在跨模态关联运算过程中，高频通用字段对应的语义特征会占据主导地位，挤压、淹没低频高密度关键判别文本特征，使得可以区分歧义样本的细微业务语义信号被稀释。更进一步，平台业务内该类外观近似、业务含义不同的歧义样本天然属于小样本，可用于模型训练学习的同类样本数量稀缺，仅依靠注意力机制自主学习特征权重，没有充足样本数据支撑模型学习到低频关键文本特征的重要程度，无法自发完成高频通用特征抑制与低频判别特征放大。最终造成跨模态细粒度互补特征挖掘环节的特征融合失效，图像局部细粒度特征与文本业务语义特征之间生成的关联映射关系发生偏移，外观高度相似的业务歧义样本依旧会出现特征空间混叠。该问题会直接传导至下游业务链路，使得多模态识别输出错误的分类标注结果，进一步引发技术合同自动生成出错、揭榜需求供需双方错配、数字资产归类异常等业务故障，降低数字技术创新公共服务平台技术交易、揭榜合作业务整体运行可靠性。因此，在数据预处理以及跨模态特征融合阶段，如何依托平台业务先验知识，构建不依赖大量标注样本的动态语义加权归一化或者信息瓶颈过滤机制，自动识别、放大能够区分业务歧义样本的低频关键文本特征，抑制高频通用结构化文本单元带来的信号干扰，克服结构化文本元数据语义稀疏性与图像细粒度特征信息密度失配带来的融合失效问题，成为该类数字技术创新公共服务平台多模态图像内容智能识别技术落地过程中亟待解决的新颖数据处理技术问题。

技术实现思路

1、本发明的目的在于提供多模态图像内容智能识别方法，同时提供了一种多模态图像内容智能识别装置及一种计算机可读存储介质，以解决上述背景技术中提出的问题。

2、为了解决上述技术问题，本发明提供如下技术方案：

3、多模态图像内容智能识别方法，包括步骤：采集业务图像数据及配套的业务文本元数据，对所述业务文本元数据进行结构化拆解，得到多个结构化文本单元，并对所述业务图像数据进行网格分块，得到多个图像子块；分别对所述结构化文本单元进行语义编码，得到文本语义特征向量集合，并分别对所述图像子块进行视觉特征提取，得到图像局部细粒度视觉特征向量集合；基于平台历史业务数据库中已入库的全量结构化文本单元数据，按照业务字段类型分组计算每种业务字段类型的信息熵值，并根据所述信息熵值对各文本语义特征向量执行动态语义加权归一化处理，得到加权归一化文本特征向量集合；构建信息瓶颈过滤模块，对所述加权归一化文本特征向量集合进行过滤与放大处理，提取低频关键判别特征，输出文本判别增强特征向量集合；对所述图像局部细粒度视觉特征向量集合执行自适应聚合处理，输出图像聚合视觉特征向量集合；将所述文本判别增强特征向量集合与所述图像聚合视觉特征向量集合输入跨模态特征融合模块，采用交叉注意力机制建立图像局部细粒度视觉差异与文本关键判别语义差异之间的关联映射，输出跨模态融合特征向量；将所述跨模态融合特征向量输入多模态识别分类器，输出业务图像的识别分类与标注结果。

4、进一步，所述对所述业务文本元数据进行结构化拆解，得到多个结构化文本单元，包括：对所述业务文本元数据进行字段边界识别，确定各业务字段的起止位置；按照所述起止位置将所述业务文本元数据切分为多个文本片段；将各所述文本片段归类至预定义的业务字段分类体系中对应的业务字段类型，生成所述结构化文本单元。

5、进一步，所述按照业务字段类型分组计算每种业务字段类型的信息熵值，包括：按照业务字段类型对所述全量结构化文本单元数据进行分组，得到各业务字段类型对应的文本单元子集；对所述文本单元子集中的取值内容进行词频统计，计算各取值内容的出现概率；基于所述出现概率，利用信息熵计算逻辑确定各业务字段类型的信息熵值，所述信息熵值用于表征对应业务字段类型的数据分布离散程度。

6、进一步，所述根据所述信息熵值对各文本语义特征向量执行动态语义加权归一化处理，包括：对各业务字段类型的信息熵值进行归一化映射，得到各业务字段类型的归一化语义稀疏性指标；基于所述归一化语义稀疏性指标，利用单调递增映射函数计算各业务字段类型对应的动态语义权重系数；将各文本语义特征向量与其所属业务字段类型的动态语义权重系数进行加权运算，并进行范数归一化处理，得到所述加权归一化文本特征向量集合。

7、进一步，所述构建信息瓶颈过滤模块，对所述加权归一化文本特征向量集合进行过滤与放大处理，包括：构建包含编码器网络、瓶颈压缩层和解码器网络的信息瓶颈过滤模块；以最大化瓶颈特征与业务分类标签的互信息量且最小化瓶颈特征与原始输入特征的互信息量为优化目标，对所述信息瓶颈过滤模块进行训练；将所述加权归一化文本特征向量集合输入训练后的信息瓶颈过滤模块，通过所述瓶颈压缩层过滤高频通用冗余信息并保留低频关键判别信息，输出所述文本判别增强特征向量集合。

8、进一步，所述对所述图像局部细粒度视觉特征向量集合执行自适应聚合处理，输出图像聚合视觉特征向量集合，包括：基于各图像子块在原始业务图像中的网格位置索引，构建空间位置关系矩阵；利用所述空间位置关系矩阵对所述图像局部细粒度视觉特征向量集合进行上下文关联聚合，生成包含全局空间布局信息的图像聚合视觉特征向量集合。

9、进一步，所述采用交叉注意力机制建立图像局部细粒度视觉差异与文本关键判别语义差异之间的关联映射，包括：将所述文本判别增强特征向量集合作为查询向量，将所述图像聚合视觉特征向量集合作为键向量和值向量；计算所述查询向量与所述键向量的相似度得分，生成跨模态注意力权重矩阵；利用所述跨模态注意力权重矩阵对所述值向量进行加权求和，实现文本语义对图像视觉特征的定向增强，输出所述跨模态融合特征向量。

10、进一步，所述业务图像数据包括技术凭证扫描件、项目申报系统界面截图或技术合同签署页照片；所述业务文本元数据包括技术领域描述、交易属性字段或合同条款内容。

11、一种多模态图像内容智能识别装置，包括：数据采集与预处理模块，用于采集业务图像数据及配套的业务文本元数据，对所述业务文本元数据进行结构化拆解，得到多个结构化文本单元，并对所述业务图像数据进行网格分块，得到多个图像子块；特征编码模块，用于分别对所述结构化文本单元进行语义编码，得到文本语义特征向量集合，并分别对所述图像子块进行视觉特征提取，得到图像局部细粒度视觉特征向量集合；动态加权模块，用于基于平台历史业务数据库中已入库的全量结构化文本单元数据，按照业务字段类型分组计算每种业务字段类型的信息熵值，并根据所述信息熵值对各文本语义特征向量执行动态语义加权归一化处理，得到加权归一化文本特征向量集合；特征过滤模块，用于构建信息瓶颈过滤模块，对所述加权归一化文本特征向量集合进行过滤与放大处理，提取低频关键判别特征，输出文本判别增强特征向量集合；视觉聚合模块，用于对所述图像局部细粒度视觉特征向量集合执行自适应聚合处理，输出图像聚合视觉特征向量集合；跨模态融合模块，用于将所述文本判别增强特征向量集合与所述图像聚合视觉特征向量集合输入跨模态特征融合模块，采用交叉注意力机制建立图像局部细粒度视觉差异与文本关键判别语义差异之间的关联映射，输出跨模态融合特征向量；识别分类模块，用于将所述跨模态融合特征向量输入多模态识别分类器，输出业务图像的识别分类与标注结果。

12、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的多模态图像内容智能识别方法的步骤。

13、本技术还公开了一种电子设备，包括：

14、至少一个处理器；以及

15、与所述至少一个处理器通信连接的存储器；其中，

16、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述本发明多模态图像内容智能识别方法。

17、有益效果：本技术通过基于平台历史业务数据库全量数据计算各业务字段类型的信息熵值，并据此对文本语义特征向量执行动态语义加权归一化处理，有效解决了现有技术中不同业务字段类型之间信息密度差异巨大导致的跨模态融合失效问题。信息熵值能够客观度量各业务字段类型的数据分布离散程度，使高信息密度的长尾低频业务字段获得更大的权重系数，低信息密度的高频通用业务字段获得更小的权重系数，从而在跨模态关联运算之前即在文本模态内部完成信息密度的再均衡，避免高频通用字段特征信号对低频关键判别特征信号的挤压和淹没。在此基础上，本技术构建信息瓶颈过滤模块，以最大化瓶颈特征与业务分类标签互信息量且最小化瓶颈特征与原始输入特征互信息量为双重优化目标，在瓶颈压缩过程中主动过滤与分类任务无关的高频通用冗余信息，保留并增强蕴藏在长尾低频细微文本差异中的关键判别信息，使文本模态特征的判别区分能力得到进一步提升，且该机制依托平台业务先验知识构建，不依赖大量标注样本进行权重学习，克服了歧义样本数量稀缺条件下注意力机制无法自主学习特征权重的局限。同时，本技术对图像局部细粒度视觉特征向量执行基于空间位置关系与视觉相似度的自适应聚合处理，使图像模态特征的信息密度分布更加集中均匀，与经过动态加权和信息瓶颈过滤处理后的文本模态特征形成密度适配，改善了两种模态之间信息密度失配的客观数据现状。最终通过跨模态交叉注意力机制，文本关键判别语义差异与图像局部细粒度视觉差异之间能够建立准确的关联映射，视觉外观高度相似但业务含义完全不同的业务歧义样本在特征空间中的混叠现象得到有效缓解，分类标注结果的准确率呈显著提升趋势，下游技术合同自动生成、揭榜需求匹配、数字资产归类等业务的运行可靠性随之持续改善。