一种双光图像目标检测跟踪系统及识别追踪方法与流程
本发明属于多源图像融合与目标检测跟踪,具体涉及一种双光图像目标检测跟踪系统及识别追踪方法。
背景技术:
1、在无人机巡检、低空安防这类全天候作业场景中,单纯用可见光相机在夜间或者强逆光环境下基本拍不清楚目标,所以行业内普遍的做法是加上红外热成像,利用红外不受光照影响的特性来补足可见光的短板。目前主流的双光融合检测方案大致分两类:一类是把两张图在通道维度拼在一起然后过卷积,另一类是加一个注意力机制让网络自己学权重。
2、大多数双光融合检测技术把生成一张视觉效果好的融合图像作为优化目标,评价的时候用的是psnr、ssim这类像素级的图像质量指标。这些指标衡量的只是融合结果跟原始图像在像素层面有多接近,实际使用中出现的情况是:红外图像里目标和背景的热对比度,对检测来说很关键。但为了融合画面看着平滑自然,融合过程中往往会把这种高对比度压下来,结果检测网络拿到特征后反而分不清目标在哪。同理,可见光在强光区的纹理细节,一旦跟红外信息融合,边缘就糊了。最终融合后的检测精度,还不如单一模态在自己擅长的场景下表现好。
技术实现思路
1、本发明的目的在于提供一种双光图像目标检测跟踪系统及识别追踪方法,以解决上述背景技术中提出的问题。
2、为实现上述目的,本发明提供如下技术方案:一种双光图像目标检测跟踪系统,包括
3、图像采集模块,同步采集目标场景的可见光图像和红外图像;
4、任务感知融合模块,接收所述可见光图像和所述红外图像,以目标检测损失作为指导信号提取并融合所述可见光图像和所述红外图像的多层级特征,输出面向目标检测任务的特征权重图;所述任务感知融合模块不生成供人眼判读的融合图像;
5、目标检测模块,根据所述特征权重图进行目标检测,输出目标的位置信息和类别信息,并将检测损失反馈至所述任务感知融合模块以调整融合参数;
6、目标跟踪模块,根据所述目标检测模块输出的位置信息和类别信息对目标进行逐帧追踪,输出目标的连续运动轨迹;
7、主控与通信模块,协调各模块之间的数据流传输与时序同步,并将检测结果和跟踪结果输出至外部设备。
8、进一步的,所述任务感知融合模块包括:
9、双流特征提取单元,分别对所述可见光图像和所述红外图像进行多尺度特征提取,得到可见光特征图和红外特征图;
10、任务感知门控单元,根据所述目标检测模块反馈的分类损失和回归损失的梯度方向,生成各空间位置和各特征层的模态选择权重;
11、差异驱动保持单元,实时监控融合后特征分布与单一模态原始特征分布之间的差异度,当所述差异度超过设定范围时强制调整对应位置的特征融合权重。
12、进一步的,所述双流特征提取单元采用特征金字塔结构提取三个尺度的特征图,尺度分别为原图的1/4、1/8和1/16;所述差异驱动保持单元中所述设定范围以差异度度量,当融合特征与原始红外特征的差异度超过0.5时触发权重回退。
13、进一步的,所述任务感知门控单元在可见光特征梯度方向一致时增大可见光分支的激活权重并抑制红外分支,在可见光梯度方向散乱时切换为红外分支主导,并将可见光分支在对应空间位置的特征图冻结。
14、进一步的,所述目标检测模块包括:
15、检测推理单元,根据所述特征权重图执行前向推理,输出目标边界框回归值和目标类别概率值;
16、损失计算单元,根据所述目标边界框回归值和目标类别概率值与真实标签计算分类损失和回归损失,并将所述分类损失和回归损失反馈至所述任务感知融合模块。
17、进一步的,所述目标跟踪模块包括:
18、跟踪状态估计单元,根据当前帧的目标检测结果与历史帧的跟踪轨迹,采用卡尔曼滤波器估计目标在当前帧的预测位置,卡尔曼滤波器的状态向量取中心点x坐标、中心点y坐标、目标宽度、目标高度以及各自的速度共8维;
19、置信度评估单元,实时计算当前跟踪结果的置信度分数,当所述置信度分数低于0.4时向所述目标检测模块发送重检测触发信号;
20、轨迹管理单元,维护目标的连续运动轨迹,对跟踪丢失的目标进行轨迹挂起,在目标重新出现时恢复轨迹。
21、进一步的,所述主控与通信模块包括不同计算单元,所述不同计算单元将所述任务感知融合模块和所述目标检测模块的卷积运算分配至npu执行,将卡尔曼滤波和矩阵运算分配至gpu执行,将逻辑控制与数据调度分配至arm处理器执行;所述npu、所述gpu和所述arm处理器构成流水线并行结构,相邻模块之间通过共享内存进行零拷贝数据传递。
22、本发明还公开了一种双光图像目标识别追踪方法,包括跟踪系统,具体包括如下步骤:
23、步骤一,通过图像采集模块同步采集可见光图像和红外图像;
24、步骤二,通过任务感知融合模块提取两路图像的多层级特征,依据检测损失反馈的梯度方向生成各位置的模态选择权重,在可见光有效的区域抑制红外、在可见光失效的区域切换为红外主导,同时监控融合特征与原始特征的偏差程度并在偏差过大时回调融合权重,输出特征权重图;
25、步骤三,通过目标检测模块根据所述特征权重图做前向推理,输出目标框和类别,计算检测损失并反馈至融合模块;
26、步骤四,通过目标跟踪模块根据当前帧检测结果和历史轨迹预测目标位置,计算跟踪置信度,低于0.4时触发重检测,更新目标轨迹;
27、步骤五,通过主控与通信模块将上述步骤的计算任务分配至不同计算单元并行执行,将目标位置、类别和轨迹输出至外部设备。
28、与现有技术相比,本发明的有益效果是:
29、在本发明中,采用检测任务的损失作为指导信号来指导融合,不像传统方法那样还要额外约束融合结果符合人眼视觉的主观评价标准,融合模块直接输出特征权重图,不生成中间融合图像,省掉了这部分计算量,门控单元根据检测头传回来的梯度动态调整可见光和红外在各个位置的权重,可见光信号好的地方就少用红外,可见光失效的地方自动切换成红外主导,这个切换机制是在训练阶段通过模拟遮挡和光照突变学出来的,不需要人工设定切换规则。实测中夜间低照度场景下的检测召回率相比传统基于图像质量评价的融合方案有明显提升。
1.一种双光图像目标检测跟踪系统,其特征在于:包括
2.根据权利要求1所述的一种双光图像目标检测跟踪系统,其特征在于:所述任务感知融合模块包括:
3.根据权利要求2所述的一种双光图像目标检测跟踪系统,其特征在于:所述双流特征提取单元采用特征金字塔结构提取三个尺度的特征图。
4.根据权利要求2所述的一种双光图像目标检测跟踪系统,其特征在于:所述任务感知门控单元在可见光特征增大可见光分支的激活权重并抑制红外分支,在可见光梯度方向散乱时切换为红外分支主导。
5.根据权利要求1所述的一种双光图像目标检测跟踪系统,其特征在于:所述目标检测模块包括:
6.根据权利要求1所述的一种双光图像目标检测跟踪系统,其特征在于:所述目标跟踪模块包括:
7.根据权利要求1所述的一种双光图像目标检测跟踪系统,其特征在于:所述主控与通信模块包括不同计算单元,所述不同计算单元将所述任务感知融合模块和所述目标检测模块的卷积运算分配至npu执行,将卡尔曼滤波和矩阵运算分配至gpu执行,将逻辑控制与数据调度分配至arm处理器执行;相邻模块之间通过共享内存进行零拷贝数据传递。
8.一种双光图像目标识别追踪方法,包括权利要求1至7任一项所述的跟踪系统,其特征在于:具体包括如下步骤:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com