一种基于车载图像识别的低照度动态目标检测方法

本发明涉及计算机视觉与智能驾驶，尤其涉及一种基于车载图像识别的低照度动态目标检测方法。

背景技术：

1、在智能网联汽车的目标检测任务中，yolo系列单阶段检测算法因实时性强、精度高等优点被广泛应用。yolov8模型采用backbone-neck-head架构：骨干网络基于改进cspnet结构提取多尺度图像特征；颈部网络采用pan-fpn模块进行自上而下和自下而上的双向特征融合；检测头采用decoupled-head结构将分类与回归分离。在夜晚行车场景下，受低光照强度和噪声干扰影响，相机拍摄的图像较暗且细节难以分辨，现有方案通常采用传统retinex算法或msr算法对图像进行增强后再送入检测模型。针对小目标检测，现有方案通过注意力机制或重构主干网络提升特征表达。针对遮挡目标，现有方案主要依赖单帧图像进行检测，部分研究开始引入多帧特征融合增强时序信息。

2、针对上述及现有的相关技术，存在以下缺陷：现有目标检测模型主要依赖单帧图像进行检测，当目标被遮挡或运动模糊时，单帧图像中目标的可见区域有限，模型难以提取有效的特征信息，容易出现误检漏检现象。部分多帧融合方案未针对夜晚行车场景的特点进行优化，在静态场景或帧间差异较小的场景中性能提升有限，且容易引入冗余计算。

技术实现思路

1、本发明要解决的技术问题是：现有技术中存在检测模型依赖单帧图像，遮挡或运动模糊时难以取得完整目标特征，容易产生漏检的缺点，为此我们提出一种基于车载图像识别的低照度动态目标检测方法。

2、为了实现上述目的，本技术采用了如下技术方案：一种基于车载图像识别的低照度动态目标检测方法，包括以下步骤：

3、s1、由车载摄像头连续采集夜晚行车场景的低照度图像，按帧形成当前图像；

4、s2、将当前图像输入yolov8检测网络，由骨干网络提取多尺度特征，并由检测头输出当前检测框及置信度，同时由检测头的embedding分支同步提取当前reid外观特征；

5、s3、将当前检测框、当前reid外观特征及置信度输入多帧图像融合模块，由多帧图像融合模块建立定长缓存队列，按时间顺序维护最近五帧的历史检测框、历史reid外观特征及历史置信度；

6、s4、计算每一当前检测框与各历史检测框的giou，将giou达到匹配阈值的检测框组成候选目标对，从中选取giou最大的历史检测框作为匹配对象；

7、s5、依据匹配对象与当前检测框确定运动偏移量，将历史reid外观特征传播至当前帧位置，并依据giou和历史置信度确定传播权重，与当前reid外观特征加权融合；

8、s6、以融合特征修正当前帧检测结果；对giou未达到匹配阈值的当前目标保留当前特征，对未与当前检测框匹配的历史目标保留历史特征，供后续帧重新匹配；

9、s7、输出修正后的当前帧目标检测结果，将当前检测框、当前reid外观特征及置信度写入缓存队列，并移出时间最早的一帧数据。

10、优选的，s1还包括在形成当前图像后执行的图像增强过程，图像增强过程包括以下步骤：

11、s11、将当前图像输入deep retinex-net的decomnet分解网络，通过五层卷积与relu激活堆叠输出三通道反射分量和单通道照射分量；

12、s12、将照射分量输入relightnet重光照网络，经三级下采样捕获多尺度光照信息，再经三级上采样配合跳跃连接重建特征，将三个尺度的特征图拼接后经一乘一卷积压缩通道，输出增强照射分量；

13、s13、将反射分量与增强照射分量执行元素级乘积，得到输入yolov8检测网络的增强图像。

14、优选的，decomnet分解网络采用低光照图像和正常光照参考图像的配对数据进行训练，各损失分量均采用l1范数作为距离度量，以重构损失使反射分量与照射分量的乘积重建输入图像，以互重构损失保持反射分量跨光照不变，以反射率一致性损失对齐两幅图像的反射分量，并以反射率梯度的指数衰减作为光照平滑权重，使照射分量分段平滑；互重构损失的权重系数为0.001，光照平滑损失的权重系数为0.1，反射率一致性损失的权重系数为0.01，训练时仅更新decomnet参数并冻结relightnet参数。

15、优选的，relightnet重光照网络输出从低光照到正常光照所需的单通道光照增量图，将单通道光照增量图沿通道复制三次，以低光照图像的反射分量与复制后的光照增量图的乘积相对正常光照参考图像的l1范数和relight平滑损失形成relight阶段总损失，relight平滑损失的权重系数为3，训练时仅更新relightnet参数并冻结decomnet参数。

16、优选的，s2中将s13得到的增强图像输入yolov8n检测网络进行目标检测，yolov8n检测网络的颈部网络以bifpn加权特征融合模块整体替换pan-fpn模块中的四个concat层；bifpn加权特征融合模块接收来自骨干网络第四层的八十乘八十p3特征、来自骨干网络第六层的四十乘四十p4特征和来自骨干网络第九层的二十乘二十p5特征，输出六十四通道的p3特征、一百二十八通道的p4特征和二百五十六通道的p5特征，并将p3特征、p4特征和p5特征输入原decoupled-head检测头，不增加p2检测层。

17、优选的，bifpn加权特征融合模块按照以下步骤构建：

18、删除pan-fpn模块中仅具有一条输入边且对特征融合贡献较小的中间节点；

19、在同一层级的输入节点与输出节点之间增加直连路径，使原始特征绕过中间变换传递至融合输出端；

20、将通道拼接替换为可学习权重加权融合，对输入特征图按归一化权重加权求和，再经relu激活和一乘一卷积恢复至原通道数。

21、优选的，可学习权重为通过反向传播更新的标量权重，其初始值为1，通过归一化处理使融合权重处于零至一；p5特征层接收原始p5特征和p4上采样特征并采用二维权重向量，p4特征层接收原始p4特征、p5下采样特征和p3上采样特征并采用三维权重向量，分别按归一化权重对输入特征图进行加权融合。

22、优选的，deep retinex-net、带有bifpn加权特征融合模块的yolov8检测网络以及多帧图像融合模块按照以下步骤完成训练并执行推理：

23、在低光照图像和正常光照参考图像的配对数据上独立预训练deep retinex-net，完成预训练后固定deep retinex-net的权重；

24、将bifpn加权特征融合模块和多帧图像融合模块与yolov8检测网络联合训练，deep retinex-net不参与联合训练；

25、推理时将低照度图像输入固定权重的deep retinex-net得到增强图像，将增强图像输入带有bifpn加权特征融合模块的yolov8检测网络得到初步检测结果，再将初步检测结果输入多帧图像融合模块，与历史帧目标进行关联匹配和特征融合，输出最终检测结果。

26、优选的，s3中，定长缓存队列维护最近五帧的检测框、reid外观特征向量及置信度，每帧存储检测框坐标、由yolov8检测头的embedding分支同步提取的reid外观特征向量及置信度分数，不设置附加网络层；车载摄像头的帧率为十赫兹，最近五帧形成零点五秒的时间窗口。

27、优选的，s4包括以下步骤：

28、s41、根据当前帧检测框与历史帧检测框的交集区域、并集区域以及包含两个检测框的最小矩形区域计算giou；

29、s42、遍历历史帧检测框，将giou达到匹配阈值的当前帧检测框与历史帧检测框组成候选目标对，并采用最邻近匹配方法选取giou最大的历史帧检测框作为匹配对象；

30、s5包括以下步骤：

31、s51、根据关联结果计算历史帧检测框与当前帧检测框的运动偏移量，将匹配对象对应的历史reid外观特征传播至当前帧位置；

32、s52、结合giou相似度和历史置信度确定传播权重，按照传播权重对传播后的历史reid外观特征与当前reid外观特征进行加权融合；

33、s6包括以下步骤：

34、s61、对giou未达到匹配阈值的当前帧检测框保留当前reid外观特征；

35、s62、对历史帧中未与当前帧检测框匹配的目标保留其历史reid外观特征，供后续帧重新匹配。

36、本发明的技术效果和优点：

37、本发明中，通过deep retinex-net对低照度图像的反射分量和照射分量进行分解及重光照处理，能够减少传统图像增强方法对人工参数的依赖，保留夜晚行车图像中的纹理、边缘和暗部目标信息；采用bifpn加权特征融合模块替换yolov8n颈部网络中的四个concat层，能够根据不同尺度特征对检测任务的贡献调整融合权重，加强低层细节信息与高层语义信息的双向传递；通过最近五帧的检测框、reid外观特征和置信度进行giou关联、运动位置传播和加权融合，能够在目标被短时遮挡或发生运动模糊时利用历史有效特征补充当前帧特征，减少小目标及遮挡目标的误检和漏检；本方法仅以车载摄像头图像作为必要输入，不增加额外传感器负担，并保持实时目标图像识别检测准确能力。