基于共孔径多波段特征融合的目标检测方法及系统与流程

本发明涉及多波段图像检测，更具体地说，它涉及基于共孔径多波段特征融合的目标检测方法及系统。

背景技术：

1、在固定点位的园区周界、道路出入口和仓储边界监控中，目标检测通常采用可见光成像，或采用可见光成像与红外成像协同的方式。共孔径成像装置能够在同一视场同步取得可见光图和红外图，并通过通道校正和空间配准使两幅图处于共同空间坐标。可见光图在现场照度较高时通常具有较清晰的纹理和边线，红外图在现场照度较低或现场能见距离下降时能够提供另一类目标与背景响应信息，因此两种波段常被同时用于固定场景检测。

2、现有的双波段检测流程通常先统一图像尺寸并完成归一化，再由可见光分支和红外分支分别进行编码，得到对应融合尺度的可见光编码图和红外编码图；随后通过拼接、卷积、加权或其他直接融合方式形成普通融合图，并将普通融合图送入颈部网络和目标检测头，输出目标类别、目标框位置和置信度。部分方法还会从可见光编码图和红外编码图取得边线位置，用于辅助配准、融合或候选区域筛选。

3、在上述流程中，直接融合通常按空间位置对可见光编码图和红外编码图进行统一处理，难以判断某一单波段边线是否得到另一波段的空间支持。单波段边线可能来自遮挡、反射、背景纹理或传感器响应差异；如果这类边线未经连接关系检查就参与局部融合，可能使普通融合图出现缺少跨波段依据的边线信息。另一方面，按整幅图设置的融合权重或按全局条件调整的处理方式，难以针对不同位置保留可见光图和红外图各自的互补信息。

4、已有的边线处理还可能只进行同位置匹配、连通段筛选或闭环搜索，但这些处理未必能够同时限定连通段的两个端部均连接到共点区，也未必能够限定闭合路径同时包含可见光桥段和红外桥段，并将波段切换限制在共点区。由此，仍需要一种面向共同空间坐标的多波段目标检测方法，能够依据边线的空间连接关系筛选可参与融合的连通段，在满足双波段闭环条件的位置选择相应编码图，并在未形成被接受闭环时保持普通融合图。

技术实现思路

1、本发明提供基于共孔径多波段特征融合的目标检测方法及系统，解决了背景技术中提出的技术问题。

2、为了实现上述的发明目的，本发明提供如下的技术方案。

3、基于共孔径多波段特征融合的目标检测方法，包括：

4、通过共孔径成像装置同步取得同视场可见光图和红外图，置于共同空间坐标形成对准后可见光图和对准后红外图；

5、分别编码二者，在对应融合尺度得到可见光编码图和红外编码图，将可见光编码图和红外编码图基准融合得到普通融合图，融合不依赖边线和闭环；

6、分别取得可见光边线图和红外边线图，确定共同边线区、可见光独有边线区和红外独有边线区；

7、以共同边线区中的连通小区接触可见光独有边线区或红外独有边线区的连通段端部形成共点区集合，将两端接触不同共点区的连通段按波段确定为可见光桥段和红外桥段；

8、将共同边线连续路径、可见光桥段和红外桥段作为连接共点区的路径单元，搜索从共点区返回该共点区且路径单元和中间共点区不重复的简单闭环，闭环含可见光桥段和红外桥段且仅在共点区切换波段；

9、对各被接受闭环，在可见光桥段和红外桥段位置分别取可见光编码图和红外编码图，其余为普通融合图并形成接力融合图；

10、无被接受闭环则接力融合图为普通融合图；

11、检测接力融合图并输出目标类别、目标框位置和置信度。

12、与现有技术相比，本发明具有如下实质性特点和显著进步：

13、本发明通过共孔径成像装置同步取得同视场的可见光图和红外图并置于共同空间坐标，在对应融合尺度分别形成可见光编码图和红外编码图，以不依赖边线和闭环的基准融合得到普通融合图；再根据可见光边线图和红外边线图确定共同边线区、可见光独有边线区、红外独有边线区和共点区，利用两端接触不同共点区的连通段形成可见光桥段和红外桥段，并以路径单元搜索同时包含可见光桥段和红外桥段且仅在共点区切换波段的闭环，仅在可见光桥段位置选择可见光编码图、在红外桥段位置选择红外编码图，其他位置保持普通融合图后执行目标检测。因此，可将单波段边线进入融合结果的条件限定为具有跨波段连接依据的空间闭环，减少无连接依据的边线对融合图的干扰，并保留两波段在不同位置提供的互补信息；无被接受闭环时回退为普通融合图，保持检测流程的连续性。

1.基于共孔径多波段特征融合的目标检测方法，其特征在于，包括：

2.根据权利要求1所述的基于共孔径多波段特征融合的目标检测方法，其特征在于，确定所述共同边线区、所述可见光独有边线区和所述红外独有边线区包括：

3.根据权利要求2所述的基于共孔径多波段特征融合的目标检测方法，其特征在于，所述共点区集合由所述共同边线区中的连通小区组成，所述连通小区与所述可见光独有边线区中的连通段端部或所述红外独有边线区中的连通段端部接触，且所述可见光桥段和所述红外桥段的连通段内部不穿过第三个共点区。

4.根据权利要求1所述的基于共孔径多波段特征融合的目标检测方法，其特征在于，所述共同边线连续路径连接两个共点区，所述路径单元通过共点区首尾连接形成所述简单闭环。

5.根据权利要求1所述的基于共孔径多波段特征融合的目标检测方法，其特征在于，在同一对共点区之间同时存在可见光桥段和红外桥段时，基于现场照度与相机参考照度的比较结果以及现场能见距离与最远监控距离的比较结果确定所述路径单元的搜索顺序；当现场照度不低于相机参考照度且现场能见距离不少于最远监控距离时，先搜索可见光桥段，否则先搜索红外桥段。

6.根据权利要求1所述的基于共孔径多波段特征融合的目标检测方法，其特征在于，取得所述可见光边线图和所述红外边线图包括：

7.根据权利要求1所述的基于共孔径多波段特征融合的目标检测方法，其特征在于，在至少三个对应的融合尺度分别得到可见光编码图和红外编码图，分别得到可见光编码图和红外编码图对应的各融合尺度的接力融合图，将各融合尺度的接力融合图输入颈部网络得到多尺度汇聚图，并将所述多尺度汇聚图输入目标检测头。

8.根据权利要求1所述的基于共孔径多波段特征融合的目标检测方法，其特征在于，对接力融合图执行目标检测包括：