基于联想记忆的遮挡目标准确定位方法

本发明涉及计算机视觉，更具体的说是涉及基于联想记忆的遮挡目标准确定位方法。

背景技术：

1、红外目标检测广泛应用于弹载制导、海面监视、周界警戒以及无人平台感知等场景。与可见光成像相比，红外成像能够反映目标与背景之间的热辐射差异，在夜间、弱光以及部分复杂环境条件下具有较好的目标感知能力。然而，在实际应用过程中，目标容易受到场景中其他物体以及烟雾、云雾、火光等因素的遮挡或遮蔽，导致其轮廓与结构信息难以在红外图像中完整呈现。例如，在弹载制导场景下，对海面舰船目标进行探测和定位时，舰船目标可能受到云雾、烟雾或者局部火光的遮挡，使得红外图像中仅有部分目标区域能够被清晰辨识。

2、由于红外图像通常具有纹理信息匮乏、目标边界模糊等特点，当目标受到遮挡时，其用于表征完整空间范围的有效视觉信息进一步减少，从而增加目标边界与位置判定的难度，并导致定位精度下降。

3、遮挡对目标检测的影响不仅表现为目标特征信息减少以及检测置信度降低，更重要的是会直接破坏检测框定位所需要的完整目标结构和边界信息。对于完整可见的目标，检测网络能够根据目标轮廓、空间结构及内部特征确定目标的整体位置；而当目标受到遮挡后，遮挡区域内的结构及边界信息无法从当前图像中直接获得，检测网络只能依据剩余可见区域推断目标的完整位置和尺度。因此，即使检测网络仍能依据局部可见特征判断目标的存在，也可能难以准确估计其完整空间范围，进而导致预测框出现位置偏移、宽高估计误差或向可见区域收缩等现象，最终降低预测框与真实目标完整边界之间的重合程度。对于弹载制导等对目标空间位置和边界精度要求较高的应用场景，上述定位误差还可能进一步影响后续目标跟踪、制导决策以及状态估计的准确性。

4、针对遮挡条件下的目标检测问题，现有方法主要通过增加遮挡训练样本、构造人工遮挡数据、增强局部目标特征，或者对目标的可见区域、局部组成部分及遮挡状态进行建模，以提升检测模型在目标信息不完整情况下的检测能力。部分方法还通过预测目标可见区域、目标局部结构或者利用上下文信息辅助推断完整目标范围。然而，此类方法总体上仍主要依赖当前图像中能够观测到的目标信息，并通过训练数据学习从局部可见信息到完整目标位置之间的映射关系。当目标的关键部位边界或者大范围目标结构受到遮挡时，图像中用于判断完整目标空间范围的信息本身已经缺失，仅依赖有限的可见特征，仍然难以稳定恢复目标在无遮挡状态下的完整结构和准确边界。

5、在人类视觉认知过程中，对受到遮挡的目标进行识别和定位时，并非完全依赖直接观测到的视觉信息。人类能够结合以往观察同类目标所形成的视觉记忆，根据当前可见的局部特征联想到目标可能具有的完整结构，并利用已有记忆对当前缺失的视觉信息进行补充。例如，当舰船的一部分受到云雾或烟雾遮挡时，人仍能够依据当前可见的舰体局部结构，并结合以往形成的舰船整体形态记忆，对被遮挡部分的可能位置和范围进行联想，从而形成对舰船完整空间位置的判断。该过程体现了一种联想记忆机制，即由当前局部视觉信息触发与目标相关的完整记忆表征，并利用所检索的记忆信息补充当前观测中缺失的目标特征。

6、现有目标检测中的部分记忆机制能够保存和利用历史特征、样本表征或者先验信息，但相关技术主要用于时序信息聚合、上下文增强、特征匹配或者语义表征增强等任务，并未充分针对单幅红外图像中由于目标遮挡造成的完整目标结构及边界信息缺失问题进行设计。对于遮挡目标的准确定位，如何利用当前可见的目标特征，从训练阶段构建的完整目标记忆中检索并关联与当前目标相匹配的记忆信息，并利用检索到的记忆表征补偿遮挡导致的结构信息缺失，进而恢复目标的完整空间范围，仍是亟待解决的关键问题。

7、因此，需要研究一种面向遮挡目标的记忆增强定位方法，使检测系统不再仅依赖当前图像中有限的可见目标信息，而是借鉴人类视觉的联想记忆机制，依据遮挡目标的局部观测特征，从训练阶段形成的完整目标记忆中检索与当前目标相匹配的表征，并利用相关记忆补偿遮挡造成的结构与空间信息缺失，进而恢复目标的完整空间范围并实现检测框的准确定位与置信度的可靠估计，从而提升云雾、烟雾、火光等复杂遮挡条件下的目标定位精度，满足弹载制导、海面监视等场景的应用需求。

技术实现思路

1、本发明旨在解决目标受遮挡时，由于目标区域特征不完整而导致检测框定位偏差与置信度不准确的问题，提供基于联想记忆的遮挡目标准确定位方法。该方法利用未被遮挡目标样本的目标区域特征构建视觉记忆库，根据受遮挡候选目标的识别结果检索相关记忆特征，并结合干扰遮挡信息和特征差异，对联想记忆特征进行连续调节，在保留当前目标区域特征的基础上补充完整目标的先验信息，对候选目标的检测框和检测置信度进行修正。

2、为了实现上述目的，本发明采用如下技术方案：

3、本发明实施例提供基于联想记忆的遮挡目标准确定位方法，包括以下步骤：

4、获取待检测图像，将所述待检测图像输入经训练的干扰分割与目标检测一体化网络，获得候选目标的初始检测框、目标类别、初始检测置信度、目标区域特征及对应的干扰遮挡信息，作为识别结果；

5、根据所述干扰遮挡信息从所述候选目标中确定受遮挡的候选目标；

6、针对所述受遮挡的候选目标，基于预先构建的视觉记忆库进行记忆查找与对比，所述视觉记忆库包括多个记忆组，每个记忆组存储有未遮挡目标样本的记忆特征及对应的目标属性信息；根据所述受遮挡的候选目标的目标属性信息在所述视觉记忆库中选取候选记忆组，并结合所述受遮挡的候选目标的目标区域特征与所述候选记忆组内的记忆特征，获得所述受遮挡的候选目标对应的联想记忆特征；

7、基于所述受遮挡的候选目标的目标区域特征和所述联想记忆特征进行检测结果修正，得到所述待检测图像中目标的准确定位结果。

8、在一个实施例中，所述视觉记忆库的构建包括：

9、将训练数据集输入所述干扰分割与目标检测一体化网络，获得目标区域特征，提取包括目标类别、目标主轴方向和目标区域特征响应强度的目标属性信息；

10、筛选未被遮挡目标样本的目标区域特征与目标属性信息建立记忆单元，将所述目标区域特征作为记忆特征，并根据所述目标属性信息将所述记忆单元划分为多个记忆组，形成所述视觉记忆库。

11、在一个实施例中，所述根据所述干扰遮挡信息从所述候选目标中确定受遮挡的候选目标，包括：

12、根据候选目标的初始检测框确定候选目标区域，从所述干扰分割与目标检测一体化网络输出的干扰遮挡概率图中提取对应区域的干扰遮挡信息；

13、根据所述干扰遮挡信息确定候选目标的干扰遮挡程度，将所述干扰遮挡程度达到预设阈值的候选目标确定为受遮挡的候选目标。

14、在一个实施例中，在基于所述视觉记忆库进行记忆查找与对比之前，还包括：

15、根据所述受遮挡的候选目标的初始检测框中心位置进行局部分组，在每个局部分组内按照初始检测置信度保留排名靠前的k个候选目标，k为预设正整数；

16、对保留的候选目标执行所述记忆查找与对比。

17、在一个实施例中，所述根据所述受遮挡的候选目标的初始检测框中心位置进行局部分组包括：

18、按照初始检测置信度由高到低的顺序，对受遮挡的候选目标进行排序；

19、从尚未分组的候选目标中选取初始检测置信度最高的候选目标作为基准候选目标，以其初始检测框的中心位置为基准中心，以所述初始检测框的宽度和高度中的较大值与预设尺度系数的乘积为分组半径，将尚未分组的、与所述基准候选目标的类别相同且初始检测框中心到所述基准中心的欧氏距离不大于所述分组半径的候选目标，与所述基准候选目标划分至同一局部分组；

20、重复上述分组过程，直至所有受遮挡的候选目标均完成分组。

21、在一个实施例中，所述根据所述受遮挡的候选目标的目标属性信息在所述视觉记忆库中选取候选记忆组，并结合所述受遮挡的候选目标的目标区域特征与所述候选记忆组内的记忆特征，获得所述受遮挡的候选目标对应的联想记忆特征；包括：

22、根据保留的候选目标的识别结果确定目标类别、目标主轴方向和目标区域特征响应强度，从所述视觉记忆库中确定与候选目标类别相同的记忆组；

23、计算记忆组内所有记忆单元的目标主轴方向均值和目标区域特征响应强度均值；

24、根据候选目标的目标主轴方向与所述记忆组的目标主轴方向均值之间的差异，以及候选目标的目标区域特征响应强度与所述记忆组的目标区域特征响应强度均值之间的差异，按照预设权重计算属性距离，并根据所述属性距离选取属性距离最小的记忆组作为候选记忆组；

25、将候选目标的目标区域特征作为查询特征，对所述查询特征和候选记忆组内的记忆特征进行归一化处理，并通过点积计算获得相似度；

26、对所述相似度进行归一化，获得各记忆特征对应的联想记忆权重，利用所述联想记忆权重对相应的未归一化记忆特征进行加权求和，获得候选目标对应的联想记忆特征。

27、在一个实施例中，所述基于所述受遮挡的候选目标的目标区域特征和所述联想记忆特征进行检测结果修正；包括：

28、基于候选目标的识别结果以及对应的联想记忆特征，获得各空间位置的连续门控权重；

29、利用所述连续门控权重调节所述联想记忆特征，并与候选目标的目标区域特征进行拼接，获得目标修正特征；

30、将所述目标修正特征输入经训练的检测修正模块，输出检测框修正参数和检测置信度修正参数，据此修正候选目标的初始检测框和初始检测置信度，得到目标准确定位结果。

31、在一个实施例中，所述基于候选目标的识别结果以及对应的联想记忆特征，获得各空间位置的连续门控权重；包括：

32、从候选目标的识别结果中获取对应的干扰遮挡信息和目标区域特征；

33、根据候选目标的目标区域特征与对应的联想记忆特征计算特征差异图；

34、将所述干扰遮挡信息和特征差异图在空间位置上对齐后，输入经训练的连续门控权重预测模块，获得各空间位置的连续门控权重。

35、在一个实施例中，所述连续门控权重预测模块，包括三层卷积层和两层非线性激活层；

36、第一层非线性激活层位于第一层卷积层之后，第二层非线性激活层位于第二层卷积层之后；

37、将干扰遮挡信息和特征差异图调整至相同空间尺寸后沿通道维进行拼接，并作为第一层卷积层的输入；第一层卷积层和第二层卷积层用于进行特征融合，第三层卷积层输出各空间位置的门控响应，并经归一化处理得到连续门控权重。

38、在一个实施例中，所述利用所述连续门控权重调节所述联想记忆特征，并与候选目标的目标区域特征进行拼接，获得目标修正特征；包括：

39、将所述连续门控权重与联想记忆特征在空间位置上对齐，通过逐元素相乘获得调节后的联想记忆特征；

40、在保留候选目标的目标区域特征的基础上，将所述目标区域特征与调节后的联想记忆特征沿通道维度进行拼接，获得目标修正特征。

41、在一个实施例中，所述将所述目标修正特征输入经训练的检测修正模块，输出检测框修正参数和检测置信度修正参数，据此修正候选目标的初始检测框和初始检测置信度；包括：

42、将所述目标修正特征输入经训练的检测修正模块，获得检测框修正参数和预测定位质量；所述检测框修正参数包括中心位置偏移参数和宽度、高度的尺度偏移参数；

43、根据所述中心位置偏移参数和尺度偏移参数，对候选目标的初始检测框的中心位置、宽度和高度进行修正，获得修正后的检测框；

44、根据所述预测定位质量确定检测置信度修正参数，据此对候选目标的初始检测置信度进行修正，获得修正后的检测置信度；

45、根据修正后的检测框和检测置信度进行非极大值抑制，获得目标准确定位结果。

46、在一个实施例中，所述检测修正模块，包括：检测框修正参数预测分支和检测置信度修正参数预测分支；每个分支均包括：两层全连接层和一层非线性激活层；所述非线性激活层位于第一层全连接层之后；第一层全连接层用于对所述目标修正特征进行隐空间映射和特征融合；

47、所述检测框修正参数预测分支中的第二层全连接层用于输出候选检测框修正参数；所述检测框修正参数包括中心点横向修正参数、中心点纵向修正参数、宽度尺度修正参数和高度尺度修正参数；

48、所述检测置信度修正参数预测分支中的第二层全连接层用于输出预测定位质量。

49、在一个实施例中，根据所述预测定位质量确定检测置信度修正参数，包括：

50、根据所述预测定位质量相对于预设参考定位质量的差异，确定检测置信度修正参数；根据所述检测置信度修正参数在初始检测置信度的logit空间内进行修正，获得修正后的检测置信度。

51、在一个实施例中，所述干扰分割与目标检测一体化网络，包括：特征提取网络、目标检测分支和干扰分割分支；

52、所述特征提取网络，用于提取输入图像的特征图；

53、所述目标检测分支，基于所述特征图获得候选目标的初始检测框、目标类别和初始检测置信度；

54、所述干扰分割分支，基于所述特征图获得干扰遮挡区域对应的干扰遮挡概率图。

55、在一个实施例中，所述目标类别、目标主轴方向和目标区域特征响应强度，按以下方式确定：

56、对于训练图像，根据未被遮挡目标样本的类别标注确定目标类别；对于待检测图像，根据预测目标类别确定目标类别；

57、对于训练图像，以水平标注框作为目标框；对于待检测图像，以检测框作为目标框；对目标框内像素强度大于区域内像素强度均值的显著像素空间分布进行主成分分析，以二维坐标协方差矩阵最大特征值对应的特征向量方向作为目标主轴方向；将所述目标主轴方向对应的角度映射至[0°,180°)；

58、对目标区域特征在通道维度和空间维度的特征响应求平均，获得目标区域特征响应强度。

59、在一个实施例中，所述根据所述目标属性信息将所述记忆单元划分为多个记忆组包括：

60、根据所述目标类别、目标主轴方向所属的预设方向区间以及目标区域特征响应强度所属的预设强度等级区间，确定各记忆单元的属性标签；

61、将属性标签相同的记忆单元划分至同一记忆组。

62、在一个实施例中，所述预设方向区间和预设强度等级区间按以下方式确定：

63、将[0°,180°)划分为多个互不重叠的预设方向区间，根据目标主轴方向对应的角度确定其所属的预设方向区间；

64、根据训练数据集中未被遮挡目标样本的目标区域特征响应强度统计分布，确定多个预设强度等级区间的划分边界，根据目标区域特征响应强度确定其所属的预设强度等级区间。

65、在一个实施例中，所述视觉记忆库的构建与检测修正模块的训练采用分阶段方式：

66、先利用训练数据集中干扰遮挡程度不高于第一阈值的完整目标样本构建视觉记忆库，并固定所述干扰分割与目标检测一体化网络以及视觉记忆库；

67、再以非极大值抑制之前的候选目标作为训练样本，根据候选目标区域内的干扰遮挡程度筛选受遮挡候选目标，训练检测修正模块以及连续门控权重预测模块；

68、在推理阶段，仅对受遮挡且进入对应局部分组前k名保留集合的候选目标执行视觉记忆联想和检测结果修正，其余候选目标保留初始检测框和初始检测置信度，最后将全部候选目标合并后执行非极大值抑制。

69、经由上述技术方案可知，本发明提供了基于联想记忆的遮挡目标准确定位方法，借鉴人类视觉认知中依据局部可见信息联想已有记忆、推断目标整体形态的过程，将未遮挡目标的视觉记忆作为先验，结合当前目标的遮挡状态，自适应融合目标特征与记忆特征，弥补遮挡造成的目标信息缺失，实现目标定位与置信度修正。具体有益效果如下：

70、（1）利用未被遮挡目标样本的目标区域特征构建视觉记忆库，为受遮挡目标提供完整目标的特征先验，有助于补充遮挡造成的目标特征缺失，减轻检测框向局部可见区域收缩所引起的定位偏差。

71、（2）根据目标类别、目标主轴方向和目标区域特征响应强度组织记忆特征，并结合属性匹配和特征相似度进行记忆读取，使联想记忆特征的获取具有明确的目标属性依据，减少无关记忆特征的参与。

72、（3）在非极大值抑制之前，对受遮挡候选目标进行局部分组并保留各组内排名靠前的候选目标，为同一局部区域内的多个候选检测框提供修正机会，同时限制参与记忆联想的候选目标数量，控制额外处理开销。

73、（4）结合干扰遮挡信息和当前目标区域特征与联想记忆特征之间的差异，生成各空间位置的连续门控权重，对联想记忆特征进行调节；通过通道拼接保留当前目标区域特征，使检测修正模块能够同时利用当前观测信息与记忆先验信息，对检测框和检测置信度进行联合修正。