边检遮挡目标跨镜头检索方法及系统与流程

本发明涉及图像识别，具体为边检遮挡目标跨镜头检索方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、边检口岸、执勤通道、车辆查验区等场景一般布设多路监控，用于在图像识别技术的的支持下实现目标回溯性检查与轨迹串联。由于现场人员密集、行李物品多、通道设施复杂，目标常被其他物体部分遮挡，导致图像中仅保留局部外观区域。

3、针对遮挡条件下的目标检索，现有技术一般通过人体姿态估计或部位解析定位可见区域，再进行局部特征对齐，但依赖的外部模型在低分辨率或拥挤场景下易出错。或是通过注意力机制或特征擦除增强单张图像内部的可见特征，一定程度上降低了遮挡干扰。另一类则是尝试利用同一目标在不同摄像头下的跨摄像头互补信息：例如，部分方案在训练阶段将同一目标的多张图像进行特征融合或知识蒸馏，使单图特征获得多视角信息。

4、然而，现有的跨摄像头互补方式通常对多张图像的全局特征进行简单平均或融合，忽略了不同视角下各局部区域的可靠性差异，导致遮挡严重的区域和未遮挡的区域被同等对待，使得可靠区域的判别信息被稀释；与此同时，现有的跨摄像头互补方式常按固定空间位置对齐不同摄像头的图像，而跨摄像头图像间的姿态、尺度和视角差异较大，固定位置对齐容易将不同语义区域错误对应，反而引入背景或遮挡物噪声。因此，现有跨摄像头信息利用方式难以精准地对当前图像中真正缺失的局部区域进行有效补充，限制了遮挡条件下检索精度的进一步提升。

技术实现思路

1、本发明提供边检遮挡目标跨镜头检索方法及系统，能够准确判断局部区域可靠性，并按语义对应关系从跨摄像头邻居中向低可信区域精准注入互补线索，解决边检执勤场景中遮挡目标跨摄像头检索问题。

2、为了实现上述目的，本发明采用如下技术方案：

3、本发明的第一个方面提供了边检遮挡目标跨镜头检索方法，包括以下步骤：

4、获取边检期间的目标图像，提取其空间特征图和全局描述子；

5、根据空间特征图中各空间位置对目标身份判别的贡献强弱，生成局部证据可信度图，并以可信度图的互补量得到局部不确定性图；依据局部不确定性图，从空间特征图提取上下文校正特征，并与原始的空间特征图进行连续融合，得到重校准特征图；

6、在训练阶段，对同一目标标识下不同摄像头来源的训练样本检索跨镜头邻居；将当前样本与邻居样本的重校准特征图分别划分为多个局部区域块，计算各区域块之间的相似度矩阵并进行软对齐，按照当前样本对应区域块的不确定性强度，对低可信区域块注入来自跨镜头邻居的互补线索，得到补偿特征图；基于全局目标描述子、重校准特征图和补偿特征图构建联合训练目标，训练特征提取网络；

7、检索阶段，利用训练后的特征提取网络提取查询目标和图库目标的描述子，对图库描述子进行跨摄像头近邻结构校正，并结合直接相似度、校正后相似度以及场景类别线索输出候选排序结果。

8、进一步的，生成局部证据可信度图，具体为：利用身份判别权重与空间特征图各空间位置的特征向量计算类别判别响应，对类别判别响应进行空间归一化后得到可信度图；可信度图用于表示局部区域对目标身份检索的有效贡献程度。

9、进一步的，上下文校正特征通过对原始空间特征依次执行深度可分离卷积、逐点卷积和归一化得到；连续融合根据局部不确定性图在原始空间特征和上下文校正特征之间进行，并通过可学习校正系数限制替换强度。

10、进一步的，将当前样本与邻居样本的重校准特征图分别划分为多个局部区域块，计算各区域块之间的相似度矩阵并进行软对齐，具体为：由自适应网格池化、条带池化或多尺度池化得到局部区域块；对当前样本区域块和跨镜头邻居区域块分别进行归一化后计算相似度矩阵，再在邻居区域块维度进行归一化加权，获得与当前区域块语义对应的互补区域块。

11、进一步的，跨镜头邻居检索限定于同一目标标识、不同摄像头编号且非自身图像的候选集合；当不存在有效跨摄像头邻居或候选邻居质量低于预设阈值时，保持当前样本局部区域块不变，并使该样本仅通过身份判别、检索度量和局部重校准相关损失参与训练。

12、进一步的，按照当前样本对应区域块的不确定性强度，对低可信区域块注入来自跨镜头邻居的互补线索，具体为：不确定性强度越高，则注入的互补线索比例越大；不确定性强度越低，则保留当前样本原始观测特征的比例越大。

13、进一步的，联合训练目标包括身份分类损失、三元组排序损失、局部补偿特征身份损失和描述子一致性约束；描述子一致性约束用于限制主检索路径描述子与训练辅助路径描述子在身份语义空间中的偏移，使训练阶段获得的遮挡鲁棒性保留到实际检索阶段的主检索路径中。

14、进一步的，对图库描述子进行跨摄像头近邻结构校正，具体为：对每个图库描述子在不同摄像头或不同点位的图库样本中检索近邻，依据温度缩放相似度计算近邻权重，对近邻描述子加权求和并归一化，得到校正图库描述子；结构校正过程不使用测试身份标签。

15、进一步的，场景类别线索还包括摄像头点位连通关系和采集时间间隔；融合得分通过直接相似度、校正后相似度、点位连通关系、时间间隔和场景类型匹配关系加权得到；对各元数据项设置有效性标志和可靠度系数，当相应元数据缺失时将该项权重置零并对其余有效线索的权重重新归一化。

16、本发明的第二个方面提供实现上述方法所需的系统，包括：

17、视频图像接入与特征提取单元，被配置为：获取边检期间的目标图像，提取其空间特征图和全局描述子；

18、可信度评估与重校准单元，被配置为：根据空间特征图中各空间位置对目标身份判别的贡献强弱生成局部证据可信度图和局部不确定性图，并依据局部不确定性图在原始空间特征与上下文校正特征之间进行连续融合，得到重校准特征图；

19、跨镜头补偿训练单元，被配置为：在训练阶段，对同一目标标识下不同摄像头来源的训练样本检索跨镜头邻居，进行区域块软对齐和互补线索注入，并构建联合训练目标训练特征提取网络；

20、检索输出单元，被配置为：在检索阶段提取查询目标和图库目标的描述子，进行图库跨摄像头近邻结构校正，并融合相似度及场景类别线索输出候选排序结果。

21、与现有技术相比，以上一个或多个技术方案存在以下有益效果：

22、1.通过身份判别响应生成局部证据可信度图，区分对目标身份判别有稳定贡献的高可信区域和受遮挡影响的低可信区域，无需外部姿态估计或人体解析模型，避免了误差传播，且连续权重比二值掩码更适合真实遮挡场景中部分可见、部分遮挡的过渡状态。

23、2.通过跨镜头邻居检索、局部区域块划分与相似度软对齐，从同一目标的不同摄像头图像中按语义对应关系定位当前图像缺失的线索，仅对低可信区域进行补充，避免了全局平均导致的线索稀释和固定位置对齐导致的语义错位，能够在保留已有可靠身份线索的同时有效弥补遮挡造成的信息缺失，提升严重遮挡场景下跨摄像头目标检索的精度。

24、3.通过描述子一致性约束限制主检索路径与训练辅助路径在身份语义空间中的偏移，使训练阶段通过跨镜头补偿获得的遮挡鲁棒性能够迁移到实际检索阶段的主检索路径中，且训练完毕后跨镜头补偿单元不再加载，保持部署阶段的轻量化。