一种基于动态权重定位蒸馏的可见光和红外融合目标检测方法

技术特征：
1.一种基于动态权重定位蒸馏的可见光和红外融合目标检测方法，该方法包括两个教师网络和一个学生网络，三个网络都采用yolov5，结构完全一致；该方法步骤包括：步骤1：将可见光图像送入一个教师网络中训练得到教师网络teacher1，将红外图像送入另一个教师网络中训练得到教师网络teacher2；步骤2：首先将两个教师网络输出的(x,y,w,h)形式的检测框，转化为(t,b,l,r)的表示形式，其中，x,y,w,h分别表示检测框的中心坐标x,y和宽高w,h，t,b,l,r分别表示检测框采样点到上下左右各边的距离；然后对两个教师网络的检测输出头进行修改，检测输出头表示检测网络最后的输出卷积层，将原来输出的4通道(x,y,w,h)扩展为输出检测框(t,b,l,r)各边区间上的n个logits值；然后对教师网络teacher1和teacher2的网络权重通过训练进行小幅度更新，使两个教师网络输出为检测框(t,b,l,r)各边区间上的n个logits值，再通过softmax函数得到区间上的概率分布；每条边的回归值描述为离散积分的形式：式中，b表示检测框，e∈b表示e为检测框的一条边，表示该边预测值；[e
min
,e
max
]表示该边可能落在的一个区间；x表示区间中的一个值，pr(x)表示落在该值的概率；步骤3：按照知识蒸馏的方法，采用广义softmax函数s(
·
,τ)，即带温度系数τ的softmax函数，将教师网络teacher1和teacher2输出的位置logits值z
t1
,z
t2
，转换为概率分布p
t1
,p
t2
；温度系数τ为超参数，设置为τ＞1用于软化分布，使概率分布携带更多的信息用于蒸馏；s(
·
,τ)公式如下：步骤4：将可见光和红外图像进行拼接后输入学生网络中训练一个学生网络student，训练时除本身目标检测网络的损失函数约束外，用两个教师网络输出的软化概率分布p
t1
,p
t2
对学生网络进行蒸馏；采用步骤2和步骤3相同的方法将学生网络的输出转换为软化概率分布p
s
；用动态权重对蒸馏损失进行加权，总的损失函数如下：l
total
＝l
detect
αl
ld
(student,teacher1) βl
ld
(student,teacher2)
ꢀꢀꢀꢀꢀꢀ
(0.3)式中，l
detect
表示目标检测损失函数，l
ld
()表示定位蒸馏损失，α,β为动态权重；动态权重α,β是通过对teacher1和teacher2网络的检测结果进行定量评价获得；在训练学生网络时，获取到每个批量数据在教师网络的输出结果，用map指标对结果进行评价，得到两个教师网络在该批数据下的检测指标map
t1
,map
t2
，α,β的计算公式如下：定位蒸馏损失l
ld
()是对教师网络和学生网络的软化概率分布计算损失，采用kl散度衡量两个分布的关系，计算公式如下：l
ld
(student,teacher)＝l
kl
(p
s
,p
t
)＝l
kl
(s(z
s
,τ),s(z
t
,τ))
ꢀꢀꢀꢀꢀꢀ
(0.5)式中，p
s
,p
t
为学生和教师网络输出值的软化概率分布；z
s
,z
t
为学生和教师网络的
logits输出值；l
kl
(
·
)是kl散度损失；目标检测损失计算公式如下：式中，l
bbox
,l
class
,l
object
分别表示检测框损失、类别损失、目标置信度损失；iou表示检测框与真实框的交并比，giou表示由iou改进而来的带距离度量的广义交并比；s表示分辨率；j表示批量大小；表示类别标签值；p
i
(c)表示类别预测概率；表示对象标签；c
i
表示对象预测置信度；表示该预测为正例时值为1，表示该预测为负例时值为1，c∈classes表示所有需要检测的前景类别；步骤5：在检测阶段，将可见光和红外共同输入训练好的学生网络，实现可见光和红外的融合目标检测。

技术总结
该发明公开了一种基于动态权重定位蒸馏的可见光和红外融合目标检测方法，属于多模态目标检测领域。本发明中采用两个教师网络，一个学生网络，两个教师网络分别用可见光和红外图片进行训练，然后采用定位蒸馏(Localization Distillation)的方法将知识蒸馏到学生网络，学生网络的输入为可见光和红外图片拼接(Concat)在一起。三个网络都采用YOLOv5，结构完全一致。另外，通过对每个批量(Batch)数据在教师网络中的检测结果进行评价，通过检测指标动态的调整蒸馏损失的权重。本发明可以在不增加计算开销的基础上实现可见光和红外图像融合目标检测。见光和红外图像融合目标检测。见光和红外图像融合目标检测。


技术研发人员：何明洲 吴庆波 李宏亮 孟凡满 许林峰 潘力立
受保护的技术使用者：电子科技大学
技术研发日：2022.10.28
技术公布日：2023/1/31