基于层级语义联合优化的开放词汇目标检测方法及系统

本发明涉及计算机视觉与自然语言处理交叉，具体涉及一种层级语义联合优化的开放词汇目标检测方法及系统。

背景技术：

1、检索到的最接近技术路线主要包括：regionclip的候选区域与文本概念对齐、detclip的类别概念字典及定义增强、baron的上下文区域集合对齐，以及nraa的邻域区域关系建模。现有技术已分别关注文本概念扩展、区域级语义匹配和邻域上下文利用，因此背景技术应避免笼统主张“现有技术不利用定义或上下文”，而应聚焦其尚未形成三层文本、三层视觉和差异化损失之间的确定对应关系。

2、开放词汇目标检测用于识别和定位训练类别集合之外的目标，通常借助视觉—语言预训练网络，将候选区域的视觉特征映射至文本语义空间，并依据区域特征与类别文本特征之间的相似关系确定目标类别。该类方法能够利用文本携带的开放语义扩展检测类别，但检测性能取决于文本表达、视觉表征及跨模态对齐机制之间的适配程度。

3、一种较为接近的技术路线是利用类别名称、图像描述或者类别定义构造文本特征，并使候选区域与相应文本进行对齐。部分方案利用类别名称完成区域分类，部分方案通过概念字典中的类别描述补充语义，另有方案利用图像描述监督区域与词语匹配。上述文本通常分别承担图像级监督、类别识别或者概念补充功能，缺少按照全局场景、目标实例和细粒度定义建立固定层级对应关系的处理机制。当类别名称相近、目标外观相似或者图像描述包含多个对象时，单一文本或者有限层级文本难以同时限定目标场景、目标类别及类别定义，容易产生不同语义粒度之间的信息错配。

4、另一类接近方案在候选边界框特征之外，利用邻近区域或者区域集合补充上下文信息。若邻域仅按照固定位置或者随机区域确定，容易混入无关背景；若仅按照候选框重叠关系选择邻域，则可能遗漏与目标具有语义联系但空间重叠较小的相邻对象。现有处理通常将邻域信息作为统一区域特征参与对齐，未明确区分目标实例与邻域语义各自对应的文本层级，导致上下文信息对类别判别的约束不清晰。

5、此外，已有训练方式多采用区域与类别文本之间的对比损失，或者采用图像与文本之间的整体匹配损失。不同粒度的视觉特征和文本特征在同一损失中共同更新时，其语义范围和匹配难度不同，局部目标语义可能受到全局场景干扰，邻域语义也可能偏离类别定义。因此，如何分别建立图像级、实例级和邻域级视觉特征与对应文本特征之间的匹配关系，并通过相互配合的优化约束保持多粒度语义一致性，是本领域需要解决的技术问题。

技术实现思路

1、针对现有技术存在的上述不足，本发明的目的在于提供一种基于层级语义联合优化的开放词汇目标检测方法。通过联合优化学习方法对结构化文本语义与层次化视觉特征进行精准对齐来提升模型对类别语义的区分能力与对新类别的泛化能力。

2、为实现上述目的，本发明采用一种基于层级语义联合优化的开放词汇目标检测方法，具体内容包括以下步骤：

3、搭建结构化文本概念体系；

4、本部分旨在构建标准化、可扩展的结构化概念字典，并基于字典生成结构化文本内容，完成统一编码，形成由全局、实例到细粒度或上下文的递进式文本语义体系。

5、收集图像字幕等语料，借助 nltk 工具完成分词、词性标注，提取实体名词。对文本进行规范化、词根提取，过滤虚词、形容词、副词等非核心词汇，同时对名词去重，并依据名词出现频次（频次≥3）剔除低频噪声词汇，合并数据集原生类别标签得到初始名词列表。

6、进一步地，执行名词规范化处理：统一单词单复数形式、保留不可数名词与固定复数词汇，修正字符格式，再结合 wordnet 知识库与上下位词检索，剔除位置、场景、抽象事物等非实体词汇，仅保留物体、食物、人物等可检测目标对应的名词，得到标准化名词集合。

7、进一步地，依托 wordnet 知识库，对集合内每一个名词检索类别定义，选取关联度最高的前m条定义（本发明中m=5），按照固定格式组建结构化概念字典，字典条目形式为：

8、,

9、其中  为第  个名词， 至  为对应的语义定义。

10、进一步地，采用两类固定模板分别生成标签文本与定义文本：

11、

12、

13、将名词及其对应定义依次填入模板，生成类别标签文本和类别定义文本。

14、进一步地，采用冻结状态文本编码器，分别对图像字幕、类别标签文本、类别定义文本进行编码，得到三类文本对应的特征：

15、

16、其中，分别为图像字幕、类别标签文本、类别定义文本，分别为对应的文本嵌入。

17、构建层次化视觉特征表征；

18、本部分基于骨干网络、区域建议网络以及融合型邻域采样算法，提取图像级、实例级、邻域级三层视觉特征，兼顾图像全局布局、目标本体细节与周边上下文信息。

19、通过骨干网络提取整幅图像的全局特征，捕捉整体空间布局、场景氛围与目标分布等全局信息。再通过区域建议网络生成初始候选框并提取对应的实例级特征，聚焦目标对象本体细节。

20、进一步地，使用邻域采样机制，开展空间邻域与语义邻域融合采样：以目标框为基准生成多方向空间邻域，捕捉空间上下文。具体地，为避免极端长宽比，水平方向和垂直方向的采样概率为：

21、

22、其中，p为基础概率、为缩放因子。

23、进一步地，以当前目标框为中心，计算其与其余目标之间的交并比。满足交并比阈值0.2且邻域目标的物体性得分满足阈值0.85，判定二者之间存在强语义关联，该邻域目标被纳入语义邻域。

24、进一步地，合并两类邻域形成紧凑上下文区域，提取邻域级特征，丰富目标周边关联信息。最终形成图像级、实例级、邻域级三层视觉特征，将其通过语义感知层进行维度转换和语义增强并通过冻结的文本编码器编码得到对应的图像嵌入、实例嵌入和邻域嵌入。

25、不同粒度语义的联合优化学习；

26、本部分建立图像级、实例级、邻域级一一对应的跨模态对齐关系，分层设计损失函数并加权融合，通过联合对比学习完成模型迭代优化，实现结构化文本特征与层次化视觉特征的语义协同优化。

27、图像级视觉特征与图像描述特征对齐，匹配全局场景语义。通过构建标签矩阵y来标识图像嵌入和图像字幕嵌入的对应关系，计算视觉与文本的双向相似度：

28、

29、其中，为温度参数。

30、采用软标签交叉熵损失计算双向损失约束：

31、

32、进一步地，实例级视觉特征与类别标签特征对齐，采用匈牙利算法完成实例嵌入与类别标签嵌入的最优匹配。在最优匹配的视觉与文本特征之间构建双向对比损失：

33、

34、进一步地，邻域级视觉特征与类别定义特征对齐，基于上述匹配索引提取对应的邻域嵌入和类别定义嵌入，计算相似度并筛选精炼类别定义嵌入构建双向对比损失：

35、

36、进一步地，通过加权融合形成总损失，协同优化不同层级对齐效果。该机制充分利用多层级语义互补性，精准挖掘已知类别与新颖类别间潜在语义关联。

37、与现有技术相比，本发明具有的显著的进步和预料不到的技术效果：

38、本发明实现了多层次、全方位的语义表征能力，显著增强模型对类别内涵的刻画深度与全面性。相较于仅依赖单一形式的视觉-文本对齐方法，本发明构建包含图像字幕、类别标签、类别定义的三层结构化文本描述，从全局场景、对象实例、细粒度或上下文特征三个维度完整覆盖类别语义；图像字幕提供整体场景上下文，类别标签明确类别核心标识，类别定义揭示类别本质属性，三者相互补充、协同增强，使模型能够精准区分细粒度类别差异，有效提升新颖类别识别准确率。

39、本发明具备复杂场景下的强适应性与稳定性。本发明采用空间邻域与语义邻域联合采样策略，充分挖掘目标周边空间结构与语义关联信息。空间邻域补充空间上下文，语义邻域强化关联物体特征，丰富视觉特征表达，增强特征辨识度。

40、本发明建立层级语义联合优化机制，大幅提升视觉与文本特征匹配的精准度与一致性。本发明实现图像级、实例级、邻域级三层跨模态对齐，图像级对齐匹配全局场景语义，实例级对齐聚焦目标实例特征，邻域级对齐捕捉上下文细节信息；多层级匹配对齐相互配合、逐层细化，有效解决单层级对齐粒度单一、匹配粗糙的问题，使视觉特征与文本语义高度契合，显著提升跨模态匹配鲁棒性。

41、本发明开放域泛化能力突出，显著提升新颖类别检测性能。本发明通过图像级、实例级、邻域级联合对比学习，强化多层级语义关联挖掘。联合损失函数协同优化全局、实例、细粒度语义一致性，充分捕捉已知类别与新颖类别间潜在语义联系。

42、与现有技术相比，本发明并非仅对开放词汇目标检测中的文本信息、实例特征或上下文信息进行独立处理，而是围绕图像级、实例级和邻域级语义之间的对应关系，构建结构化文本概念、层次化视觉表征以及分层语义联合优化相互协同的技术机制。本发明利用类别名称及其语义定义形成标签级文本特征和定义级文本特征，并将图像描述形成图像级文本特征，使不同粒度的文本信息分别承担全局场景约束、实例类别识别和细粒度语义补充功能，避免仅使用类别名称时语义表达不足、类别含义相近时区分能力有限的问题。

43、在视觉特征处理方面，本发明不仅提取图像级视觉特征和候选目标的实例级视觉特征，还根据候选边界框的空间关系、交并比关系和物体性得分关系，分别获得空间邻域与语义邻域，并将当前候选边界框及两类邻域融合为邻域区域。该邻域区域同时包含目标自身信息、空间上下文信息以及具有语义关联的邻近目标信息，能够减少固定范围扩展造成的无关背景干扰，也能够克服仅依据候选框重叠关系难以覆盖有效上下文的问题。空间邻域和语义邻域并非简单叠加，而是共同约束邻域区域的范围和内容，使邻域视觉特征能够与类别定义文本建立更稳定的细粒度语义对应关系。

44、在模型训练过程中，本发明将图像级视觉语义特征与图像描述文本特征进行双向软标签对齐，将实例级视觉语义特征与类别标签文本特征进行双向对比对齐，并将邻域级视觉语义特征与类别定义文本特征进行双向对比对齐，再利用具有不同权重的联合损失对可训练参数进行统一更新。该分层优化方式能够防止单一粒度损失主导模型训练，使全局场景、局部目标及邻域语义在同一语义空间中保持相互约束。其技术效果并非三个损失分别产生的效果的机械相加，而在于图像级语义为实例识别提供场景约束，实例级语义保证目标类别判别，邻域级语义进一步修正类别歧义和局部信息缺失，由此提高基础类别与开放类别之间的语义迁移能力。

45、基于上述协同机制，本发明在保持文本编码网络参数不变的情况下，可通过更新结构化概念字典并编码新增类别名称及其定义，实现新增类别与实例视觉特征、邻域视觉特征的分层匹配，降低新增类别适配对重新训练基础模型的依赖。尤其对于外观相似但语义不同、目标局部特征不足、目标受到遮挡或目标周围存在强干扰背景的检测场景，本发明能够同时利用类别名称、语义定义、目标实例和邻域上下文进行判别。相较于仅采用类别标签对齐、仅采用固定邻域扩展或仅采用单一对比损失的现有方案，本发明能够在控制邻域噪声的同时增强开放类别的细粒度识别能力，该技术效果来源于三层文本、三层视觉和三类损失之间特定的对应及联合约束关系，并非本领域技术人员将各独立手段简单组合即可合理预期。