面向全天候的跨模态自适应融合行人目标检测系统及方法

1.本发明涉及图像处理、目标检测技术领域，具体涉及为一种面向全天候的跨模态自适应融合行人目标检测系统及方法。


背景技术：

2.行人目标检测技术在计算机视觉领域是一个十分重要的研究课题，在视频监控，自动驾驶，军事侦查，人机交互等领域得到了广泛的应用。行人目标检测在实际应用中仍然存在较多的挑战，比如目标被遮挡，背景杂乱，低图像分辨率等等。
3.理论上，利用单一视觉传感器的检测算法可以进行准确的行人检测，但在实际的全天候检测中，由于光线、亮度环境多变性和不同摄像头成像的差异性，单一的可见光及红外传感器采集的图像都不能顾及所有的情况，常导致不同原因的行人漏检和误检，准确率不佳。比如，可见光摄像头对光照非常敏感，在昏暗的亮度条件下，获取的图像整体像素值较低，导致图像中目标的纹理、形状、细节等成像信息有限，容易发生识别错误；红外图像普遍存在分辨率较差的问题，一般只能表现出图像中目标前景的轮廓信息，背景细节粗糙，与人眼视觉感知效果的差距较大。因此如何利用这两种模态设计更为鲁棒的面向全天候的行人目标检测器十分重要。
4.目前，已经有了很多的行人检测方法，但是过去大多数对行人检测的研究多集中于单一可见图像或者单一红外图像，造成检测器的鲁棒性不强，无法全天候适应。通常来说，可见波段对于光照变化敏感，在夜间、昏暗或雾霾等环境表现欠佳，红外波段又缺乏细节信息，对于热辐射差异较小或其他热源干扰情况下检效果较差，因此现有的行人检测研究更多地放在了这两种模态的信息融合方面上，让各个模态的特征信息优势互补。具体来说，在多光谱行人检测中，可见光及红外双模态输入的行人检测器在光照较好时，可见光模态分支可以很好地获取行人的外观颜色信息，而红外模态作为多光谱行人检测的另一端输入源，其使用红外成像技术提供的红外图片在黑暗条件下可以较好地显示出人体轮廓信息，弥补可见光模态的不足，多模态行人检测器有效地利用了多模态图像之间的信息，提升了网络模型的鲁棒性。
5.但是，现存的行人检测方法存在以下缺点：已有的多模态行人检测方法仅侧重的是对各个模态特征进行简单的特征加强，未能高效地利用两种模态的特征信息，也未充分考虑模态与模态之间的关系；其次，现有大多数方法未能关注到每种模态对检测任务的贡献不同，无法有效地自适应环境的动态变化。因此，研究一种面向全天候的跨模态自适应融合行人目标检测方法是当前亟待解决的问题。
6.专利《一种基于特征融合深度神经网络的多光谱行人检测方法》(公开号：cn111898427a)也提出了一种多光谱行人检测方法，然而该方法中仅仅针对损失函数进行优化，该方法无法自适应选择最优模态进行加权输出，因此无法自适应外界环境的变化，实现全天候检测。


技术实现要素：

7.本发明的技术解决问题：克服现有技术的不足，提供一种面向全天候的跨模态自适应融合行人目标检测方法，通过自适应加权思想可以很好地选择最可信模态输出，采用加权融合可见光与红外模态特征思想，更好地实现全天候行人检测；而且可以充分地对输入的可见光及红外模态特征进行融合增强，并且能够自适应选择最可信的模态进行检测输出，提升了网络模型在全天候条件下的行人检测能力，降低误检率。
8.本发明方法采用可见光及红外行人图像这两种模态图像作为网络的输入，针对两路输入的图像分别提取特征，将提取后的特征送入跨模态差分信息融合模块，进而将不同路的模态特征信息进行融合增强，提高可见光及红外模态分支的特征信息表达。接下来，将增强后的可见光及红外特征信息送入置信度感知自适应融合模块，利用重新加权思想，让算法模型能够选择更加可信的模态同时抑制另外一种模态的特征表达，进而在全天候条件下自适应实现行人目标的检测，提升了行人目标检测器在白天及夜晚等恶劣光照条件下的检测能力，保证了算法的鲁棒性。
9.为了达到上述目的，本发明技术解决方案为：
10.一种面前全天候的跨模态自适应融合行人目标检测系统，包括图像输入及预处理部分、特征提取及增强部分和检测头及结果输出部分；
11.图像输入及预处理部分，用于可见光模态分支和红外模态分支输入图像的尺寸统一，并采用缩放、翻转、随机裁剪、色彩变换操作对输入的训练样本集进行数据扩充；
12.特征提取及增强部分，特征提取部分利用单阶段多框预测检测器ssd算法框架对可见光模态分支及红外模态分支输入的图像进行多尺度特征提取，获得提取后双模态多尺度特征，即可见光模态分支的多尺度可见光特征fr和红外模态分支的多尺度红外特征f
t
；特征增强部分，利用跨模态差分信息融合模块对提取后的双模态多尺度特征进行特征增强，分别得到增强后的可见光模态特征及红外模态特征；
13.检测头及结果输出部分，检测头部分首先利用置信度感知自适应融合模块产生可见光模态置信度权重wr及红外模态置信度权重w
t
，对增强后的可见光及红外模态特征进行加权融合，其中可见光模态置信度权重wr及红外模态置信度权重w
t
依据外界光照强度变化而自适应变化，因此目标检测系统的整体网络框架依照外界光照的强度变化自适应地对不同模态提取到的特征进行加权融合，即在良好光照条件下，wr大于或等于w
t
，可见光模态特征起主导作用；在恶劣光照条件下，wr小于w
t
红外模态特征起主导作用；置信度感知自适应融合模块使得整体网络框架依据外界光照变化而自适应地加权融合可见光及红外模态的特征，使得更可靠的模态的特征得到增强表达；再将获得的自适应加权融合后的可见光及红外模态特征送入全连接层，进行整体网络框架的网络模型训练，并保存训练得到的网络模型参数；训练过程中的多任务损失部分用于计算可见光模态分支和红外模态分支的分类损失和回归损失，实现网络模型参数优化，最后利用获得的最优网络参数进行网络模型推理部署，得到在可见光及红外模态下的行人目标检测结果，实现全天候行人目标检测。
14.进一步，所述特征提取部分利用单阶段多框预测检测器ssd算法框架对可见光模态分支及红外模态分支输入的图像进行多尺度特征提取，获得提取后双模态多尺度特征，即可见光模态分支的多尺度特征和红外模态分支的多尺度特征的具体如下：
15.利用单阶段多框预测检测器ssd算法框架进行多尺度特征提取产生不同分辨率的
特征图提升对不同尺度行人目标的检出率，其中选取图1中所示的r_fm1,r_fm2,r_fm3,r_fm4,r_fm5五个特征层作为可见光模态分支的多尺度特征fr，进行可见光模态特征提取，其中r_fm1,r_fm2前两个为浅层网络特征层，r_fm3,r_fm4,r_fm5后三个为深层网络特征层；选取图1中所示的t_fm1,t_fm2,t_fm3,t_fm4,t_fm5五个特征层作为红外模态分支的多尺度特征f
t
，进行红外模态特征提取，其中t_fm1,t_fm2前两个为浅层网络特征层，t_fm3,t_fm4,t_fm5后三个为深层网络特征层；浅层网络特征层r_fm1,r_fm2,t_fm1,t_fm2负责检测行人的细节和纹理信息，深层网络特征层r_fm3,r_fm4,r_fm5,t_fm3,t_fm4,t_fm5负责行人的全局信息和语义信息；这种多尺度特征提取方法提取使网络模型获得不同的感受野，能够在不同尺度的行人目标上捕获特征信息；
16.所述不同分辨率是考虑到64倍的下采样率使得网络相比于16倍及32倍的下采样率会导致网络模型丢失多的行人细节信息，因此在目标检测系统的整体网络框架的前端的特征提取部分的最后一层输出，采用空洞卷积使得最后一层特征图r_fm5及t_fm5的下采样率仍与上一层特征图r_fm4及t_fm4的下采样率相同，保持为32；因此可见光模态分支和红外模态分支的特征图的下采样率均分别为4，8，16，32，32，两路分支的特征图尺寸大小分别输入图像大小的1/4，1/8，1/16，1/32，1/32。
17.进一步，所述增强部分中，利用跨模态差分信息融合模块对提取后的双模态多尺度特征进行特征增强，分别得到增强后的可见光模态特征及红外模态特征实现为：
18.跨模态差分信息融合模块将输入的多尺度可见光特征fr及多尺度红外特征f
t
进行差分提取，得到两者的初步差分特征fc，将初步获取的差分特征分别进行最大池化和平均池化，然后通过全连接层利用tanh激活函数进行激活，获取融合后的特征向量vc为：
[0019]vc
＝σ(mlp(avgpool(fc)) mlp(maxpool(fc)))
[0020]
式中，σ表示tanh激活函数，avgpool和maxpool分别代表平均池化和最大池化操作；再利用融合后的特征向量vc对可见光模态及红外模态进行特征融合增强，获得增强后的可见光模态特征e_fr及增强后的红外模态特征e_f
t
，其计算过程表示为：
[0021][0022][0023]
式中，代表残差方程，
⊕
及
⊙
代表矩阵对应元素依次相加及矩阵对应元素依次相乘操作，如图2所示，f
rc
及f
tc
分别代表输入的多尺度可见光特征fr及多尺度红外特征f
t
经过特征向量vc加权融合后的可见光模态信息融合特征及红外模态信息融合特征。
[0024]
进一步，所述检测头及结果输出部分中，置信度感知自适应融合模块加权融合来自增强后的不同模态的特征图时，可见光模态置信度权重wr及红外模态置信度权重w
t
分别为：
[0025][0026][0027]
式中，p1代表检测目标为行人的概率，p0分代表为背景的概率；r和t分别代表可见光模态和红外模态；最终使用乘法运算在增强后的可见光模态特征e_fr及红外模态特征e_f
t
上利用获得的可见光模态置信度权重wr及红外模态置信度权重w
t
执行特征加权融合，加强整体网络框架对红外及可见光模态的感知能力。
[0028]
进一步：所述多任务损失部分，利用focal loss函数计算网络模型的分类损失，smooth l1函数计算网络模型的回归损失，将两者的加权和作为整体网络框架的总损失函数，其中：
[0029]
分类损失函数l
cls
采用focal loss函数进行计算，如下：
[0030][0031]
式中，s

，s-分别代表正负样本，超参数α＝0.25，γ＝2，si代表样本i的为行人目标概率；
[0032]
位置回归损失采用smooth l1进行计算，如下：
[0033][0034]
式中，x代表位置回归中回归框的坐标值；
[0035]
整体网络框架的多任务损失函数l
total
为：
[0036]
l
total
＝l
cls
λ
lreg
[0037]
式中，λ为控制分类损失及回归损失计算的超参数，设λ＝1。
[0038]
如图4所示，本发明的一种面向全天候的跨模态自适应融合行人目标检测方法，包括以下步骤：
[0039]
步骤1：利用单阶段多框预测检测器ssd算法框架对红外和可见光双模态输入的图像进行多尺度特征提取，选取r_fm1,r_fm2,r_fm3,r_fm4,r_fm5五个特征层作为可见光模态分支的多尺度可见光特征；选取t_fm1,t_fm2,t_fm3,t_fm4,t_fm5五个特征层作为红外模态分支的多尺度红外特征；再利用跨模态差分信息融合模块对提取后的可见光及红外模态多尺度特征进行特征增强，得到增强后的可见光模态特征及红外模态特征；
[0040]
步骤2：利用置信度感知自适应融合模块对从特征提取及增强部分获取的增强后的可见光模态特征及红外模态特征进行加权选择，置信度感知自适应融合模块自适应加权融合来自步骤1增强后的可见光模态及红外模态特征，使得整体网络框架能够对增强后的可见光模态及红外模态自适应加权融合更加可依赖的模态用于后续的检测输出；多任务损失部分用于计算可见光模态分支及红外模态分支的分类损失和回归损失，实现网络模型参数优化；最后利用获得的最优网络参数进行网络模型推理部署，得到在可见光及红外模态下的行人目标检测结果，实现全天候行人目标检测。
[0041]
本发明提出的行人目标检测方法与现有技术相比的优点有：
[0042]
(1)本发明采用一种双流跨模态可见光及红外图像对作为网络的输入，解决了单一模态输入的网络无法全天候检测的不足。实验结果表明可见光模态与红外模态可以提供在白天或者夜晚条件下互补的视觉信息，算法可以自适应实现全天候行人目标检测，鲁棒性获得提升；
[0043]
(2)本发明设计了一种跨模态差分信息融合模块，该模块将可见光模态及红外模态获取的特征信息进行差分提取，获取两种模态的差分特征，后续用来增加各个模态的特征表征，增强后的各个模态更好地对输入图像进行了特征表达。该模块可以更好地利用不同模态之间的相互关系信息，减少了冗余信息的学习，向网络传达了更多的有效信息。
[0044]
(3)本发明的一种置信度感知自适应融合模块，借助置信度感知表达的方法将各个模态的特征信息进行重新加权，进而使检测器可以更好地自适应选择可依赖性更高的模态进行后续检测输出。
附图说明
[0045]
图1为本发明的面向全天候的跨模态自适应融合行人目标检测系统结构框图；
[0046]
图2为本发明跨模态差分信息融合模块示意图；
[0047]
图3为本发明置信度感知自适应融合模块示意图；
[0048]
图4为本发明实施例模型训练和测试流程图；
[0049]
图5为本发明两组实际应用场景测试图。
具体实施方式
[0050]
下面结合附图及实施例对本发明进行详细说明。
[0051]
如图1所示，本发明分为图像输入及预处理部分，特征提取及增强部分，检测头及结果输出部分三大部分。其具体实现步骤如下：
[0052]
步骤一：由图像处理及预处理部分将成对的可见光及红外双流模态训练图片行人目标检测数据集进行划分，将标注信息转化为网络模型可直接读取的格式，数据集划分为训练集及测试集，并对数据集进行相应的预处理，即采用缩放、翻转、随机裁剪、色彩变换、等操作对输入的训练样本集进行数据扩充；
[0053]
其中，实验环境配置：ubuntu18.04，gpu型号为rtx 3070，cudnn版本为8.0.5，cpu型号为intel(r)core(tm)i7-10850k@3.60ghz。输入的图片尺度统一转化为640
×
512像素；最大迭代次数inter_size设为120,000次；训练批次尺寸batch_size设为16；初始学习率设为0.001，在迭代至80,000次、100,000次的时候学习率衰减10倍；测试频率设为1000次迭代/1次；采用xavier初始化方法随机初始化网络卷积层；反向传播方法采用sgd随机梯度下降算法；动量参数设为0.9；分类iou阈值参数设为0.5；锚框的纵横比设定为0.41；
[0054]
步骤二：由特征提取及增强部分对经过步骤一中预处理后的双流模态训练图片进行初步特征提取，如图1所示，具体表现为利用提取ssd算法框架对各个模态分别进行多尺度特征提取，选取r_fm1,r_fm2,r_fm3,r_fm4,r_fm5作为可见光模态分支的多尺度可见光特征fr；t_fm1,t_fm2,t_fm3,t_fm4,t_fm5作为红外模态分支的多尺度红外特征f
t
。考虑到64倍的下采样率使得网络相比于16倍及32倍的下采样率会导致网络模型丢失多的行人细节信息，因此在整体网络框架前端的特征提取部分的最后一层输出，采用空洞卷积使得最后一层特征图r_fm5及t_fm5的下采样率仍与上一层特征r_fm4及t_fm4的下采样率相同，保持为32；因此可见光模态分支和红外模态分支的特征图的下采样率均分别为4，8，16，32，32，两路分支的特征图尺寸大小分别输入图像大小的1/4，1/8，1/16，1/32，1/32，图1中h及w分别代表输入图像的高和宽；
[0055]
步骤三：针对各个分支模态提取的多尺度特征，将其送入跨模态信息融合模块，进行互补特征增强。所述跨模态信息融合模块如图2所示，具体表现为在：
[0056]
将可见光模态特征fr及红外模态特征f
t
进行差分特征提取，得到初步差分特征fc，将初步获取的差分特征进行最大池化和平均池化，然后送入全连接网络，利用tanh激活函
数对网络进行激活，获取融合特征向量vc，因此vc可以表示为：
[0057]vc
＝σ(mlp(avgpool(fc)) mlp(maxpool(fc)))
[0058]
式中，σ表示tanh激活函数，avgpool和maxpool分别代表平均池化和最大池化操作；
[0059]
步骤四：利用融合特征向量vc对双路模态进行特征融合增强，获取可见光模态增强后的特征e_fr及红外模态增强后的特征e_f
t
，如图2所示，具体操作表示为：
[0060][0061][0062]
式中，代表残差方程，
⊕
及
⊙
代表矩阵对应元素依次相加及矩阵对应元素依次相乘操作，f
rc
及f
tc
分别代表输入的可见光特征fr及红外特征f
t
经过特征向量vc加权融合后的可见光模态信息融合特征及红外模态信息融合特征。
[0063]
步骤五：将经过增强后的可见光模态特征及红外模态特征送入置信度感知自适应融合模块进行自适应特征加权，所述置信度感知自适应融合模块如说图1及图3所示，具体表现为，该模块为一种两路模态输入的结构，融合来自不同模态的特征图，红外模态置信度权重wr及可见光模态置信度权重w
t
分别为：
[0064][0065][0066]
式中，p1代表检测目标为行人的概率，p0分代表为背景的概率；r和t分别代表可见光模态和红外模态；如图3所示，该网络模型可以自适应地选择最可靠的模态对其进行加权用于后续的检测输出；其中，在良好光照条件下，行人外观轮廓清晰，因此红外和可见光特征是连续互补的，可见光模态置信度权重wr＝0.98及红外模态置信度权重w
t
＝0.96都具有较高的权重值，网络模型利用这些权重值去加权各个模态，自适应输出；在一般光照条件下，由于可见光图像中行人轮廓模糊，较难识别，因此网络给予可见光分支较低的可见光模态置信度权重wr＝0.28，给予红外分支较高的可见光模态置信度权重w
t
＝0.88，这样网络模型可以更加可依赖地关注红外分支行人特征；在恶劣光照条件下，如夜晚行人，可见光图像行人极难获取行人轮廓信息，因此网络模型更加关注红外分支行人特征，因此给予可见光分支极低的可见光模态置信度权重wr＝0.13，给予红外分支较高的可见光模态置信度权重w
t
＝0.96；通过上述方法，可见光模态及红外模态分支特征信息自适应加权融合，网络模型可以更好地选择可信赖的分支特征进行检测输出；
[0067]
步骤六：将网络送入全连接层网络，根据上述设定在步骤一中划分的训练集上开始训练，并保存训练得到的网络模型及参数。其中，利用步骤一中的分类iou阈值来判定检测的正误。检测头部分为分类损失和回归损失的加权和，具体表现为：分类损失采用focal loss进行计算，处理正负样本不均衡问题，即分类损失函数l
cls
表示为：
[0068][0069]
式中，s

，s-分别代表正负样本，超参数α＝0.25，γ＝2，si代表样本i为行人目标的概率；位置回归损失采用smooth l1进行计算，如下：
[0070][0071]
因此，总的损失函数l
total
表示为：
[0072]
l
total
＝l
cls
λ
lreg
[0073]
式中，λ为控制分类损失及回归损失计算的超参数，本发明设λ＝1。
[0074]
步骤七：判断是否完成步骤一中所设置的inter_size次batch_size张图片的迭代，如果是则转到步骤八；否则返回步骤六继续训练网络模型；
[0075]
步骤八：根据步骤七获得的卷积神经网络模型及网络参数，对步骤一中的测试集进行测试，得到检测识别准确率，如果识别准确率能够满足实际工程需要，则所述的卷积神经网络模型能够应用到实际的行人目标检测的任务，执行步骤九，若不满足，根据测试准确率继续对构建的网络模型及相关参数和方法进行调整，并重新进行训练网络；
[0076]
步骤九：将满足实际工程需求的卷积神经网络模型的参数应用到跨模态行人目标检测的实际场景中去，调用网络模型对测试集数据进行推理计算，得到对应的置信度预测结果和检测框位置，然后通过参数解码及非极大值抑制后处理得到最终应当保留的检测框，输出行人检测结果。
[0077]
以上实施例模型训练及测试流程图如图4所示，实际检测结果如图5所示，从可见光图像检测效果1,2及红外图像检测效果1,2,可以看出所提出的行人检测算法模型可以准确地定位不同光照条件不同尺度的多行人目标，检测效果优良，定位准确。表明本发明可以很好地实现全天候条件下行人检测，提高了网络模型在不同的光照条件下不同尺度的行人目标检出率。
[0078]
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。