一种基于YOLOv12的RGB-IR多模态目标识别模型及识别方法

摘要: 本发明属于计算机视觉与图像处理,是一种基于yolov12的rgb-ir多模态目标识别模型及识别方法。背景技术:1、随着多传感器技术的发展,在安防监控、自动驾驶以...
一种基于YOLOv12的RGB-IR多模态目标识别模型及识别方法

本发明属于计算机视觉与图像处理,是一种基于yolov12的rgb-ir多模态目标识别模型及识别方法。

背景技术:

1、随着多传感器技术的发展,在安防监控、自动驾驶以及工业探伤等领域,可见光与红外多模态成像系统的应用越来越普遍。其中,可见光图像(即rgb)有丰富的纹理和颜色细节,但是在低光照或者烟雾环境中成像效果很差;而红外图像(即ir),是根据物体发出的热辐射进行成像,不受光照的影响,可以实现全天候的工作,但是缺少纹理细节,并且背景噪声大。将二者结合起来能够有效地提高全天候下的检测能力。然而,现有的rgb-ir目标检测技术仍存在以下显著问题:

2、1.小目标特征易丢失:在一些应用场景如工业探伤或是远距离监控时,目标所占像素非常少。传统的卷积神经网络在下采样的时候会很容易丢失小目标空间信息,而且现有的iou损失函数对于小目标的中心点漂移不敏感,会导致定位精度低。

3、2.红外特征提取不充分:大部分算法都是直接使用可见光的主干网络去提取红外特征,忽略红外图像“对比度低、边缘模糊”特性,使得重要的热辐射特征未得到有效的利用。

4、3.模态融合机制单一:现有的融合方式大多是简单的通过通道拼接或者是加权求和的方式来进行融合,很难解决两个模态之间存在的视差偏移问题。部分研究引入了注意力机制,但是往往会带来较高的计算量并且不能够充分利用多尺度的感受野来对齐不同模态的特征。

5、因此,针对复杂光照环境下微小目标特征易丢失、红外图像纹理缺失及多模态特征对齐困难,成为需要解决的技术问题。

技术实现思路

1、为了解决上述现有技术中存在的问题,本发明设计了一种基于yolov12的rgb-ir多模态目标识别模型及识别方法。

2、本发明所采用的技术方案是:一种基于yolov12的rgb-ir多模态目标识别模型,其特征包括:双流骨干网络,用于分别接收可见光图像和红外图像并进行特征提取;

3、红外特征提取模块,用于对红外特征进行多尺度特征提取与空间信息保留;

4、特征增强模块,用于基于红外纹理梯度信息对rgb和ir特征进行交互增强;

5、双向特征融合模块,用于对增强后的rgb和ir特征进行跨模态全局特征融合;

6、yolov12检测头模块,用于对融合后的特征进行目标分类与回归预测,并利用多任务损失函数进行训练优化。

7、一种基于yolov12的rgb-ir多模态目标识别方法,其特征在于,基于上述一种基于yolov12的rgb-ir多模态目标识别模型,包括以下步骤:

8、s1、通过双流骨干网络分别接收可见光图像和红外图像并进行特征提取;

9、s2、利用红外特征提取模块对红外特征进行多尺度特征提取与空间信息保留;

10、s3、利用特征增强模块基于红外纹理梯度信息对rgb和ir特征进行交互增强;

11、s4、利用双向特征融合模块对增强后的rgb和ir特征进行跨模态全局特征融合;

12、s5、将融合后的特征送入yolov12检测头进行目标分类与回归预测,并利用多任务损失函数进行训练优化。

13、进一步,在步骤s2中,在yolov12可见光图像特征提取保持不变的基础上,额外引入一条分支进行红外特征提取,红外特征提取分支采用了红外特征提取模块,该模块采用多分支并行结构,包含三个并行的卷积分支,卷积核大小分别为3x3、5x5和7x7,用于提取不同感受野下的红外小目标特征;三个并行的卷积分支所提取的特征经过拼接后,通过一个1x1卷积进行通道融合;融合后的特征进一步通过空间注意力分支,该分支由依次连接的1x1 卷积、3x3卷积和sigmoid激活函数构成,生成的空间注意力图与融合特征进行逐元素相乘,最后与原始输入进行残差连接输出。

14、进一步,步骤s2的具体计算流程如下:

15、首先,通过多个不同感受野的深度卷积分支提取多尺度特征:

16、

17、式中,为输入的红外特征,dwconvk×k表示卷积核大小为k×k的深度卷积操作,fdw-k为对应尺度的特征图;

18、随后,将在通道维度上对多尺度特征进行级联:

19、

20、其中,concat是通道级联操作,fconcat代表级联后的特征图;

21、接着,通过1×1卷积进行特征融合:

22、

23、式中,ffuse为融合后的特征图;

24、然后,生成空间注意力权重:

25、

26、其中,ms为空间注意力图;

27、最后,通过残差连接得到增强后的红外特征:

28、

29、式中,ymdsf为红外特征提取模块的输出特征。

30、进一步,在步骤s3中,所述特征增强模块的具体结构为:该模块包含红外梯度提取单元和双向交叉增强路径;所述红外梯度提取单元利用sobel算子分别计算红外特征在水平和垂直方向的梯度,并合成红外梯度幅值图;

31、双向交叉增强路径有ir增强rgb和rgb增强ir。ir增强rgb:使用红外梯度幅值图经过卷积和sigmoid函数得到红外注意力权重,并将其与红外特征进行相乘然后加到rgb特征中来补充rgb特征中的纹理细节; rgb增强ir:使用rgb特征产生全局注意力权重,并用红外梯度幅值图产生门控权重,将rgb特征、全局注意力权重以及门控权重这三部分相乘再加到红外特征上,在保持红外热源信息的基础上又引入可见光语义信息。

32、进一步,所述的红外梯度提取单元具体计算方式如下:

33、

34、其中,为输入的红外特征,sx和sy分别为水平方向和垂直方向的sobel算子,conv3×3表示3×3卷积操作,gx和gy分别为水平和垂直方向的梯度图;

35、然后,计算红外梯度幅值图来衡量目标边缘的显著程度:

36、

37、式中,gir为最终的红外梯度幅值图,ε为防止分母为零的极小值,取。

38、进一步,所述的双向交叉增强路径具体计算方式如下所示:

39、首先,使用红外梯度幅值图生成红外注意力权重:

40、

41、其中,σ表示sigmoid激活函数,conv1×1表示1×1卷积操作,air为红外注意力权重;

42、然后,利用红外注意力权重增强可见光特征:

43、

44、式中,frgb为输入的可见光特征,☉表示逐元素乘法,frgb’为增强后的可见光特征;

45、同时,利用可见光特征生成可见光引导权重:

46、

47、以及利用红外梯度幅值图生成门控权重:

48、

49、最后,利用可见光引导权重和门控权重增强红外特征:

50、

51、其中,mgate是门控权重,fir’表示增强后的红外特征。

52、进一步,在步骤s4中,所述双向特征融合模块的具体结构为:该模块采用双向交叉注意力机制,分别以可见光特征为查询q检索红外特征,以及以红外特征为查询q检索可见光特征;在生成值向量v时,采用多尺度值投影单元,该单元包含多个并行的3x3空洞卷积分支;针对可见光分支,采用的第一组空洞率设置为[1,2,3];针对红外分支,采用的第二组空洞率设置为[2,3,4],以适应不同模态特征的尺度差异;两个方向的交叉注意力输出经过拼接和融合卷积处理后,与原始的rgb和ir输入进行双重残差连接,得到最终的融合特征。

53、进一步,在步骤s5中,采用inner-mpdiou损失函数优化边界框回归。

54、进一步,采用inner-mpdiou损失函数优化边界框回归,具体形式如下:

55、

56、其中,inner-mpdiou是基于辅助边界框和最小点距离交并比的损失函数,具体计算方式如下:

57、

58、式中,iouinner为预测框和真实框分别按照预设尺度因子缩放后所得到的辅助边界框之间的交并比,d1和d2分别为预测框和真实框中心在两个对角线方向上的距离和分别为最小外接矩形的宽度和高度;

59、所述的多任务损失函数包含分类损失、边界框回归损失和分布焦点损失;其中分类损失采用二元交叉熵损失bceloss,采用inner-mpdiou损失函数优化边界框回归,分布焦点损失dfl用于优化边界框的分布预测,三者加权求和从而指导模型参数更新;公式如下:

60、

61、其中,λbox、λcls、λdfl分别是边界框损失、分类损失和分布焦点损失的权重系数,lbox为边界框损失,lcls为分类损失,ldfl为分布焦点损失。

62、与现有技术相比,本发明的有益效果是:

63、本发明将可见光和红外图像特征进行深度融合,并将其集成到一个高效的基于yolov12的检测框架中:在红外特征提取模块有效地保留了红外图像中的微弱的小目标信息;在特征增强模块使用梯度信息解决模态间的特征不匹配问题;在特征融合模块实现跨模态特征的全局交互。同时,该模型保持了yolov12的高速推理能力并提高了低照度、复杂背景以及恶劣天气下检测精度和鲁棒性的性能,实现了全天候、高精度的目标测量。