一种基于Retinex理论的夜间无人机跟踪低照度图像增强方法

技术特征：
1.一种基于retinex理论的夜间无人机跟踪低照度图像增强方法，其特征在于：所述增强方法作为预处理步骤用于现有的无人机跟踪算法；所述增强方法的低照度增强模型为基于retinex理论的深度学习网络模型，包括一个光照估计模块和一个去噪模块，先用光照估计模块估计低照度图像的光照分量，再根据retinex理论得到低照度图像的反射分量，最后通过去噪模块去除反射分量中的噪声，从而得到增强结果。2.根据权利要求1所述的一种基于retinex理论的夜间无人机跟踪低照度图像增强方法，其特征在于：所述增强方法模型的训练包含以下步骤：步骤s1、获取一组低照度图像，用于训练低照度图像增强模型；步骤s2、通过光照估计模块得到低照度图像的光照分量；步骤s3、根据图像的光照分量得到低照度图像的反射分量；步骤s4、利用去噪模块对其进行去噪；步骤s5、构建4个损失函数用于引导整个模型的训练过程；步骤s6、将训练好的模型嵌入到无人机跟踪算法中，将增强操作作为跟踪算法的预处理步骤，以对跟踪的视频帧图像进行低照度增强。3.根据权利要求2所述的一种基于retinex理论的夜间无人机跟踪低照度图像增强方法，其特征在于，所述步骤s1中，获取低照度图像的方法为：从公开数据集darkface中获取1000张低照度图像，并将图像的大小调整为600
×
400像素。4.根据权利要求2所述的一种基于retinex理论的夜间无人机跟踪低照度图像增强方法，其特征在于，所述步骤s2中，光照估计模块一共包含3层输入特征尺寸为600
×
400
×
3大小、输出尺寸为600
×
400
×
3的卷积神经网络，具体结构如下：第一卷积层、第二卷积层的卷积核大小为3
×
3、输入通道数为3、输出通道数为3、步长为1、填充为1，卷积之后为批归一化层和relu激活层；第三卷积层的卷积核大小为3
×
3、输入通道数为3、输出通道数为3、步长为1、填充为1，卷积之后为sigmoid激活层。5.根据权利要求2所述的一种基于retinex理论的夜间无人机跟踪低照度图像增强方法，其特征在于，所述步骤s3中，获得反射分量的公式为：其中，r表示低照度图像的反射分量，y代表输入的低照度图像，i代表低照度图像的光照分量，表示元素除。6.根据权利要求2所述的一种基于retinex理论的夜间无人机跟踪低照度图像增强方法，其特征在于，所述步骤s4中，去噪模块包括6层卷积神经网络，先将大小为600
×
400的低照度图像输入到第一层，输出特征尺寸为600
×
400
×
16大小，然后经过4层输入尺寸为600
×
400
×
16、输出尺寸为600
×
400
×
16的卷积网络，最后把第3层的输出结果和第5层的输出结果进行相加操作，将相加后的结果输入到最后一层，输出结果为600
×
400
×
3大小的增强图像，所述去噪模块中包含的6层卷积神经网络的具体结构如下：第一卷积层的卷积核大小为3
×
3、输入通道数为3、输出通道数为16、步长为1、填充为1，卷积之后为批归一化层和relu激活层；第二到第五卷积层的卷积核大小为3
×
3、输入通道数为16、输出通道数为16、步长为1、填充为1，卷积之后为批归一化层和relu激活层；
第六卷积层的卷积核大小为3
×
3、输入通道数为16、输出通道数为3、步长为1、填充为1，卷积之后为sigmoid激活层。7.根据权利要求2所述的一种基于retinex理论的夜间无人机跟踪低照度图像增强方法，其特征在于，所述步骤s5中，构建的损失函数共有4个，包括以下步骤：首先构建语义保真度损失函数，用于抑制图像语义信息的退化，将mse损失函数作为语义保真度损失，其公式如下所示：其中，t代表迭代次数，u
t
代表通过光照估计模块得到的光照图；然后构建光照平滑度损失函数，所述光照平滑度损失函数用于保持光照图相邻像素之间的平滑度，使用一范数来保持光照图的平滑度，其公式可以表述为：其中，n代表光照图的像素数量，n(p)代表5
×
5大小的窗口中p的邻近元素，w
p，q
表示权重，其计算公式为c表示yuv颜色通道，在用所述光照平滑度损失函数进行操作之前，先将rgb图像转换为yuv图像；接着构建去噪损失函数，以去除反射图中的噪声，它的公式可以表述为：其中，代表一阶微分运算符，r
t
代表低照度的图像反射分量；最后构建颜色强度损失函数，为了避免出现颜色失真的问题，需要限制图像rgb通道中每个通道的颜色强度，它的公式如下所示：其中，h和w是图像的高度和宽度，(m，n)代表颜色通道的集合，其值为{(r，g)，(r，b)，(b，g)}，i
m
代表m通道的颜色强度；训练的总损失函数可以表述为为：l＝λ1l
sem
λ2l
ill
λ3l
den
λ4l
col
ꢀꢀꢀꢀꢀꢀ
(6)，其中，λ表示每个损失函数的权重值。

技术总结
本发明属于低照度图像增强技术领域，公开了一种基于Retinex理论的夜间无人机跟踪低照度图像增强方法，包括：首先，获取一组低照度图像，用于训练低照度图像增强模型；通过光照估计模块得到低照度图像的光照分量；根据图像的光照分量得到低照度图像的反射分量；利用去噪模块对其进行去噪；构建4个损失函数用于引导整个模型的训练过程；将训练好的模型嵌入到无人机跟踪算法中，将增强操作作为跟踪算法的预处理步骤，以对跟踪的视频帧图像进行低照度增强。本发明利用低照度图像增强算法作为无人机跟踪算法的预处理步骤，可以有效促进无人机在夜间低光场景中的跟踪能力。夜间低光场景中的跟踪能力。夜间低光场景中的跟踪能力。


技术研发人员：何龙杰 郑洪源
受保护的技术使用者：南京航空航天大学
技术研发日：2022.09.30
技术公布日：2022/12/16