一种面向多图像场景的多模态关系抽取方法及系统

摘要: 本发明属于人工智能与多模态信息抽取,具体涉及一种面向多图像场景的多模态关系抽取方法及系统。背景技术:1、多模态关系抽取旨在结合文本语义与图像视觉线索,判断给定文...
一种面向多图像场景的多模态关系抽取方法及系统

本发明属于人工智能与多模态信息抽取,具体涉及一种面向多图像场景的多模态关系抽取方法及系统。

背景技术:

1、多模态关系抽取旨在结合文本语义与图像视觉线索,判断给定文本中指定实体对之间的关系类别。相比纯文本关系抽取,图像能够提供对象类别、场景环境、动作状态和空间布局等视觉补充信息,在社交媒体内容理解、新闻报道分析和知识图谱构建等应用场景中具有重要价值。现有多模态关系抽取研究主要围绕跨模态融合展开。早期方法通常将整张图像作为输入,提取全局视觉特征后与文本表示进行拼接或跨模态注意力交互,用于辅助关系预测。然而,整张图像特征同时包含目标对象、背景区域和其他无关视觉内容,模型可能关注图像中显著但与目标关系无关的区域,在图像与文本之间存在语义偏差时,这种直接融合方式还可能将错误视觉信息引入关系表示。随着研究发展,部分方法开始从粗粒度整图融合转向细粒度实体-对象对齐,通过提取图像中的局部候选区域,并利用跨模态检索、区域重加权或对比学习等方式,建立文本实体与视觉对象之间的对应关系。此外,为降低无关视觉内容的干扰,部分方法引入特征去噪、信息瓶颈或互信息最大化等机制,筛选与关系判断相关的视觉证据,抑制背景噪声的影响。

2、然而,上述主流方法和相应数据集主要采用一段文本对应一幅图像的输入形式,通常假设关系相关的视觉线索能够由单幅图像充分提供。但在真实应用场景中,社交媒体帖子、新闻报道和网络内容中的同一段文本往往关联多幅图像。不同图像可能从不同角度展示实体外观、事件背景和交互行为,共同提供关系判断所需的视觉证据。多图像输入虽然能够提供更丰富的视觉信息,但也带来了新的技术问题:视觉内容数量增加导致有效证据分散,同时引入更多无关信息和视觉冗余。若模型仅对多幅图像进行平均融合、特征拼接或粗粒度注意力聚合,容易受到无关图像和显著背景对象的干扰。另一方面,目标关系不仅依赖单个视觉对象的类别或属性,还依赖头实体和尾实体相关对象之间的局部空间布局和交互语义,例如两个人物之间的距离、动作姿态和共同出现的场景上下文,对于区分细粒度人物关系具有重要作用。现有方法主要关注区域特征筛选和图像级相关性建模,对实体相关对象所构成的联合局部区域及其空间交互关系缺少显式建模。当多幅图像中头尾实体对应对象分散在不同图像中,或目标实体缺乏清晰独立的视觉主体时,模型还可能捕捉到与关系无关的显著视觉模式。

3、因此,多图像场景下的多模态关系抽取不能简单视为单图像任务的输入扩展,需要更精细的对象级视觉筛选机制、更明确的文本实体与视觉对象对齐方式,以及能够刻画实体对局部空间交互语义的视觉融合结构,以减少无关视觉信息对关系判断的干扰,提高多图像场景下关系抽取的准确性。

技术实现思路

1、为解决现有技术中存在的缺陷,本发明提供如下技术方案:

2、一种面向多图像场景的多模态关系抽取方法,包括:

3、获取输入文本、与所述输入文本关联的多幅图像以及所述输入文本中的头实体和尾实体;

4、对所述图像进行候选视觉对象检测,采用视觉语义相似度计算以及层次聚类法,构建关键对象视觉区域集合;

5、根据所述头实体的文本表示和所述尾实体的文本表示,分别从所述关键对象视觉区域集合中选择满足预设相关性要求的第一关键视觉对象和第二关键视觉对象;

6、根据所述第一关键视觉对象的位置信息和所述第二关键视觉对象的位置信息,确定覆盖所述第一关键视觉对象和所述第二关键视觉对象的联合区域,从对应图像中提取所述联合区域的视觉特征,得到联合视觉区域特征;

7、将所述头实体的文本表示、所述尾实体的文本表示、所述关键对象视觉区域集合的视觉特征以及所述联合视觉区域特征进行多模态融合,获得多模态融合特征;

8、根据所述多模态融合特征进行关系分类,获得所述头实体与所述尾实体之间的关系类别。

9、优选的,得到关键视觉对象区域集合的方法包括:

10、利用目标检测器对与所述输入文本关联的图像进行目标检测,获得候选视觉对象;

11、利用视觉编码器对每幅图像中的候选视觉对象进行特征提取,获得候选视觉对象特征;

12、计算各候选视觉对象特征之间的相似度,并根据所述相似度采用层次聚类法将候选视觉对象划分为若干对象簇;

13、计算每个对象簇的中心特征,选取与所述中心特征距离最近的候选视觉对象作为所述对象簇的代表对象;

14、将各对象簇对应的代表对象组成所述关键对象视觉区域集合。

15、优选的,获得所述第一关键视觉对象和与所述第二关键视觉对象的方法包括:

16、计算所述头实体的文本表示与所述关键对象视觉区域集合中各候选视觉对象特征之间的第一相关性得分;根据所述第一相关性得分,从所述关键对象视觉区域集合中选择与头实体相关性最高的候选视觉对象作为第一关键视觉对象;

17、计算所述尾实体的文本表示与所述关键对象视觉区域集合中各候选视觉对象特征之间的第二相关性得分;根据所述第二相关性得分,从关键对象级视觉区域集合中选择与尾实体对应相关性最高的候选视觉对象作为第二关键视觉对象。

18、优选的,获得多模态融合特征的方法包括:

19、将所述头实体的文本表示作为查询,对所述关键对象视觉区域集合的视觉特征进行多头注意力操作,获得头实体视觉增强表示;

20、将所述尾实体的文本表示作为查询,对所述关键对象视觉区域集合的视觉特征进行多头注意力操作,得到尾实体视觉增强表示;

21、将所述联合视觉区域特征映射至与实体对文本表示相同的特征空间,并以残差方式与所述实体对文本表示相加,得到联合区域增强表示;

22、对所述头实体视觉增强表示、所述尾实体视觉增强表示和所述联合区域增强表示进行拼接和映射,得到统一视觉增强特征;

23、根据所述实体对文本表示和所述统一视觉增强特征计算门控向量,利用所述门控向量控制所述统一视觉增强特征向所述实体对文本表示的注入比例,得到所述多模态融合特征。

24、优选的,获得所述实体对文本表示的方法包括:

25、对输入文本的头实体和尾实体进行实体标记处理,得到实体标记后的文本序列;

26、利用文本编码器对所述文本序列进行编码,获得文本序列中各词元对应的上下文语义表示;

27、根据头实体和尾实体在文本序列中的位置,对所述上下文语义表示进行平均池化,获得头实体表示和尾实体表示;

28、将所述头实体表示与所述尾实体表示进行拼接映射,获得实体对文本表示。

29、优选的,关键对象视觉区域集合的视觉特征包括a人物区域特征、b人物区域特征、建筑物特征、道路特征以及代表性街景对象特征;

30、所述联合视觉区域特征用于表示人物对象与周围地点环境共同出现时的空间和场景信息。

31、本发明还提供一种面向多图像场景的多模态关系抽取系统,用于实现所述方法,包括:

32、多模态数据获取模块,用于获取输入文本、与所述输入文本关联的多幅图像以及所述输入文本中的头实体和尾实体;

33、关键对象视觉区域获取模块,用于对所述图像进行候选视觉对象检测,采用视觉语义相似度计算以及层次聚类法,构建关键对象视觉区域集合;

34、关键视觉对象选取模块,用于根据所述头实体的文本表示和所述尾实体的文本表示,分别从所述关键对象视觉区域集合中选择满足预设相关性要求的第一关键视觉对象和第二关键视觉对象;

35、联合视觉区域特征获取模块,用于根据所述第一关键视觉对象的位置信息和所述第二关键视觉对象的位置信息,确定覆盖所述第一关键视觉对象和所述第二关键视觉对象的联合区域,从对应图像中提取所述联合区域的视觉特征,得到联合视觉区域特征;

36、多模态融合模块,用于将所述头实体的文本表示、所述尾实体的文本表示、所述关键对象视觉区域集合的视觉特征以及所述联合视觉区域特征进行多模态融合,获得多模态融合特征;

37、关系抽取模块,用于根据所述多模态融合特征进行关系分类,获得所述头实体与所述尾实体之间的关系类别。

38、优选的,关键对象视觉区域获取模块包括:

39、候选对象获取单元,用于利用目标检测器对与所述输入文本关联的图像进行目标检测,获得候选视觉对象;

40、特征提取单元,用于利用视觉编码器对每幅图像中的候选视觉对象进行特征提取,获得候选视觉对象特征;

41、聚类单元,用于计算各候选视觉对象特征之间的相似度,并根据所述相似度采用层次聚类法将候选视觉对象划分为若干对象簇;

42、代表对象选取单元,用于计算每个对象簇的中心特征,选取与所述中心特征距离最近的候选视觉对象作为所述对象簇的代表对象;

43、集合构建单元,用于将各对象簇对应的代表对象组成所述关键对象视觉区域集合。

44、与现有技术相比,本发明的有益效果为:本技术提供的一种多图像场景下的多模态关系(mre-mi)抽取方法,可对多幅图像中的候选视觉对象进行筛选,减少冗余图像和无关视觉区域对关系判断的干扰;可根据文本实体信息,对图像中的关键视觉对象进行对齐,确定与主体实体和客体实体相关的视觉证据;可通过对象级视觉区域和联合视觉区域的融合,增强模型对实体间语义关系和局部交互信息的表达能力;可根据不同样本中文本信息和视觉信息的重要程度,自适应调整多模态特征的融合权重。本技术通过对多图像中的关键视觉信息进行筛选、对齐和融合,达到提高多图像场景下多模态关系抽取准确性和稳定性的目的。