一种基于可见光与红外图像融合的目标检测方法与流程

技术特征：
1.一种基于可见光与红外图像融合的目标检测方法，其特征在于，步骤如下：步骤一、建立实验数据集，包括可见光图像数据集和红外图像数据集；步骤二、使用yolov4算法作为基础网络对可见光图像和红外图像分别进行检测；步骤三、通过d
‑
s证据理论决策级加权融合方式对检测结果进行融合：通过d
‑
s证据理论决策级加权融合的方式对可见光图像和红外图像中经步骤二同时准确检测到的目标的检测框位置进行融合，从而得到融合图像中对应目标的准确检测框位置。2.根据权利要求1所述的一种基于可见光与红外图像融合的目标检测方法，其特征在于，yolov4算法依次包括输入端、神经网络模块、目标检测模块、预测模块，输入的图像经神经网络模块卷积，然后经目标检测模块检测，由预测模块输出预测的检测框。神经网络模块由cbm模块、csp1模块、csp2模块、csp8模块、csp8模块、csp4模块构成；目标检测模块包括四级采样融合模块，第一级采样融合模块和第二级采样融合模块均由cbl模块、上采样模块与另一个cbl模块共同连接concat融合模块，concat融合模块再连接一个cbl模块输出；第三级采样融合模块和第四级采样融合模块均由cbl模块、上采样模块连接concat融合模块，concat融合模块再连接一个cbl模块输出；预测模块包括三组cbl conv模块构成，三组cbl conv模块分别接收第二级采样融合模块、第三级采样融合模块和第四级采样融合模块提取的特征。在神经网络模块中，经cbm模块、csp1模块、csp2模块、csp8模块获得第一层特征，再经csp8模块获得第二层特征，在经csp4模块获得第三层特征，第三层特征进入目标检测模块中依次经cbl模块、spp模块、cbl模块处理后得到特征p1进入第一级采样融合模块，经cbl模块、上采样模块后与第二层特征融合，输出融合特征p2，该融合特征p2再进入第二级采样融合模块与第一层特征融合输出融合特征p3，融合特征p3输出到第一组cbl conv模块输出检测框；融合特征p3和融合特征p2进入第三级采样融合模块融合输出融合特征p4，融合特征p4输出到第二组cbl conv模块输出检测框，融合特征p4与特征p1进入第四级采样融合模块融合输出融合特征p5，融合特征p5输出到第三组cbl conv模块输出检测框。3.根据权利要求1所述的一种基于可见光与红外图像融合的目标检测方法，其特征在于，步骤三中，加权融合的计算表示为以下：式子中d
v
、d
r
分别为可见光图像和红外图像中目标的准确检测框，β分别为d
v
、d
r
对应的权值，d
f
目标在融合图像中对应目标的检测位置；以为0.7，β为0.3作为最终的权值组合，通过上式对目标准确检测结果进行合并。

技术总结
本发明公开一种基于可见光与红外图像融合的目标检测方法，建立实验数据集，包括可见光图像数据集和红外图像数据集；使用YOLOv4算法作为基础网络对可见光图像和红外图像分别进行检测；通过D


技术研发人员：陈田 李帆 李唐兵 刘衍 高小伟 谭启昀
受保护的技术使用者：国家电网有限公司 北京御航智能科技有限公司
技术研发日：2021.09.08
技术公布日：2021/12/7