一种基于Retinex理论的夜间无人机跟踪低照度图像增强方法

一种基于retinex理论的夜间无人机跟踪低照度图像增强方法
技术领域
1.本发明涉及低照度图像增强技术领域，尤其是一种基于retinex理论的夜间无人机跟踪低照度图像增强方法。


背景技术：

2.近年来，基于卷积神经网络的跟踪算法发展迅速，表现出色。然而，虽然这些跟踪算法在白天场景中确实拥有不俗的表现，但将其应用到夜晚低照度场景时，其表现往往差强人意。在无人机夜晚跟踪的应用场景中，即便是那些最先进的跟踪算法的鲁棒性也不理想。通常，为了解决低光照问题，跟踪算法可以在进行跟踪之前利用低光增强算法进行预处理。
3.现有的低照度增强算法主要包括以下几种：
4.第一种方法是基于retinex理论的低照度图像增强算法。retinex理论是1963年land提出的一种人类视觉的亮度和颜色感知模型，根据retinex模型，图像可以被分解为反射分量和光照分量。物体的颜色和亮度是由物体的反射能力决定的，物体本身的颜色不受光照非均匀性的影响。研究者们基于此理论提出了多种低照度图像增强算法，如ssr、msrcr等。
5.第二种方法是基于深度学习的低照度图像增强算法。近年来，基于深度学习的图像增强算法是成为了该领域较为热门的一个方向，旨在采用图像的先验知识，采用人工智能技术对图像进行增强。鉴于retinex理论在低照度图像方法中的不错表现，有研究者将retinex和深度学习结合起来，提出了retinexnet。该模型设计了一个将输入图像分割为反射和光照的decon-net模块和一个对光照图进行增强的enhance-net模块，然后重建调整后的光照图和反射图以获得增强的结果。除了将retinex和深度网络结合，还有基于生成对抗网络(gan)的低照度增强算法。由于低照度图像增强算法的训练通常需要经过仔细筛选的配对的低光图像和高光图像进行训练，为了解决这一问题，有学者提出了enlightengan，以一种无监督学习的方式训练增强模型，该模型不需要配对的图像就能训练，大大节省了训练成本。
6.以上算法都促进了低照度增强研究领域的发展。然而，现有的大多数低照度增强算法主要是用于促进人类的视觉感知，直接将其应用于夜间无人机跟踪领域难以取到令人满意的效果。因此，寻找一种有效的低照度增强方法来促进夜间无人机跟踪是一项迫切而又具有挑战性的任务。


技术实现要素：

7.本发明的目的是解决上述现有方法存在的缺陷，提供一种基于retinex的夜间无人机跟踪低照度图像增强方法，以有效促进夜间无人机跟踪。本发明采用的技术手段如下：
8.一种基于retinex的夜间无人机跟踪低照度图像增强方法，包括以下步骤：
9.步骤s1、获取一组低照度图像，用于训练低照度图像增强模型；
10.步骤s2、通过光照估计模块得到低照度图像的光照分量；
11.步骤s3、根据图像的光照分量得到低照度图像的反射分量；
12.步骤s4、利用去噪模块对其进行去噪；
13.步骤s5、构建4个损失函数用于引导整个模型的训练过程；
14.步骤s6、将训练好的模型嵌入到无人机跟踪算法中，将增强操作作为跟踪算法的预处理步骤，以对跟踪的视频帧图像进行低照度增强。
15.所述步骤s1中，获取低照度图像的方法为：从公开数据集darkface中获取1000张低照度图像，并将图像的大小调整为600
×
400像素。
16.所述步骤s2中，光照估计模块一共包含3层输入特征尺寸为600
×
400
×
3大小、输出尺寸为600
×
400
×
3的卷积神经网络，具体结构如下：
17.第一卷积层、第二卷积层的卷积核大小为3
×
3、输入通道数为3、输出通道数为3、步长为1、填充为1，卷积之后为批归一化层和relu激活层；
18.第三卷积层的卷积核大小为3
×
3、输入通道数为3、输出通道数为3、步长为1、填充为1，卷积之后为sigmoid激活层。
19.所述步骤s3中，获得反射分量的公式为：
[0020][0021]
其中，r表示低照度图像的反射分量，y代表输入的低照度图像，i代表低照度图像的光照分量，表示元素除。
[0022]
所述步骤s4中，去噪模块包括6层卷积神经网络，先将大小为600
×
400的低照度图像输入到第一层，输出特征尺寸为600
×
400
×
16大小，然后经过4层输入尺寸为600
×
400
×
16、输出尺寸为600
×
400
×
16的卷积网络，最后把第3层的输出结果和第5层的输出结果进行相加操作，将相加后的结果输入到最后一层，输出结果为600
×
400
×
3大小的增强图像，所述去噪模块中包含的6层卷积神经网络的具体结构如下：
[0023]
第一卷积层的卷积核大小为3
×
3、输入通道数为3、输出通道数为16、步长为1、填充为1，卷积之后为批归一化层和relu激活层；
[0024]
第二到第五卷积层的卷积核大小为3
×
3、输入通道数为16、输出通道数为16、步长为1、填充为1，卷积之后为批归一化层和relu激活层；
[0025]
第六卷积层的卷积核大小为3
×
3、输入通道数为16、输出通道数为3、步长为1、填充为1，卷积之后为sigmoid激活层。
[0026]
所述步骤s5中，构建的损失函数共有4个，包括以下步骤：
[0027]
首先构建语义保真度损失函数，用于抑制图像语义信息的退化，将mse损失函数作为语义保真度损失，其公式如下所示：
[0028][0029]
其中，t代表迭代次数，u
t
代表通过光照估计模块得到的光照图；
[0030]
然后构建光照平滑度损失函数，所述光照平滑度损失函数用于保持光照图相邻像素之间的平滑度，使用一范数来保持光照图的平滑度，其公式可以表述为：
[0031]
[0032]
其中，n代表光照图的像素数量，n(p)代表5
×
5大小的窗口中p的邻近元素，w
p，q
表示权重，其计算公式为c表示yuv颜色通道，在用所述光照平滑度损失函数进行操作之前，先将rgb图像转换为yuv图像；
[0033]
接着构建去噪损失函数，以去除反射图中的噪声，它的公式可以表述为：
[0034][0035]
其中，代表一阶微分运算符，r
t
代表低照度的图像反射分量；
[0036]
最后构建颜色强度损失函数，为了避免出现颜色失真的问题，需要限制图像rgb通道中每个通道的颜色强度，它的公式如下所示：
[0037][0038]
其中，h和w是图像的高度和宽度，(m，n)代表颜色通道的集合，其值为{(r，g)，(r，b)，(b，g)}，im代表m通道的颜色强度；
[0039]
训练的总损失函数可以表述为为：
[0040]
l＝λ1l
sem
λ2l
ill
λ3l
den
λ4l
col
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)，
[0041]
其中，λ表示每个损失函数的权重值。
[0042]
本发明所述方案的优势在于：
[0043]
第一，本发明提出了一种新颖的低照度增强方法，与以往的低照度增强算法不同，该算法不是以促进人类视觉感知为目标，而是用于无人机跟踪。
[0044]
第二，模型由一个光照图估计模块和一个去噪模块组成，不需要配对的低光图像和高光图像，该模型可以用普通的低照度图像进行有效训练。
[0045]
本发明通过上述两方面的技术特征，利用低照度图像增强算法作为跟踪算法的预处理步骤，从而解决了无人机难以在夜间进行目标跟踪的问题，有效促进了无人机在夜间低光场景中的跟踪能力。
附图说明
[0046]
下面结合附图和具体实施方式对本发明进一步详细的说明：
[0047]
附图1为本发明一种基于retinex理论的夜间无人机跟踪低照度图像增强方法的流程示意图；
[0048]
附图2为本发明一种基于retinex理论的夜间无人机跟踪低照度图像增强方法的整体框架图；
[0049]
附图3为使用了本发明一种基于retinex理论的夜间无人机跟踪低照度图像增强方法与没有使用本发明的跟踪算法的跟踪结果对比图(左图为没有使用本发明的跟踪算法的跟踪结果，右图为使用本发明的跟踪算法的跟踪结果，箭头所指是跟踪目标)。
具体实施方式
[0050]
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
[0051]
本实施例提供了一种基于retinex理论的夜间无人机跟踪低照度图像增强方法，如图1所示，包括以下步骤：
[0052]
步骤s1、获取一组低照度图像，用于训练低照度图像增强模型；
[0053]
步骤s2、通过光照估计模块得到低照度图像的光照分量；
[0054]
步骤s3、根据图像的光照分量得到低照度图像的反射分量；
[0055]
步骤s4、利用去噪模块对反射分量进行去噪；
[0056]
步骤s5、构建4个损失函数用于引导整个模型的训练过程；
[0057]
步骤s6、将训练好的模型嵌入到无人机跟踪算法中，将增强操作作为跟踪算法的预处理步骤，以对跟踪的视频帧图像进行低照度增强。
[0058]
所述步骤s1中，获取低照度图像的方法为：从公开数据集darkface中获取1000张低照度图像，并将图像的大小调整为600
×
400像素。
[0059]
所述步骤s2中，光照估计模块一共包含3层输入特征尺寸为600
×
400
×
3大小、输出尺寸为600
×
400
×
3的卷积神经网络，具体结构如下：
[0060]
第一卷积层、第二卷积层的卷积核大小为3
×
3、输入通道数为3、输出通道数为3、步长为1、填充为1，卷积之后为批归一化层和relu激活层；
[0061]
第三卷积层的卷积核大小为3
×
3、输入通道数为3、输出通道数为3、步长为1、填充为1，卷积之后为sigmoid激活层。
[0062]
所述步骤s3中，获得反射分量的公式为：
[0063][0064]
其中，r表示低照度图像的反射分量，y代表输入的低照度图像，i代表低照度图像的光照分量，表示元素除。
[0065]
所述步骤s4中，去噪模块包括6层卷积神经网络，先将大小为600
×
400的低照度图像输入到第一层，输出特征尺寸为600
×
400
×
16大小，然后经过4层输入尺寸为600
×
400
×
16、输出尺寸为600
×
400
×
16的卷积网络，最后把第3层的输出结果和第5层的输出结果进行相加操作，将相加后的结果输入到最后一层，输出结果为600
×
400
×
3大小的增强图像，所述去噪模块中包含的6层卷积神经网络的具体结构如下：
[0066]
第一卷积层的卷积核大小为3
×
3、输入通道数为3、输出通道数为16、步长为1、填充为1，卷积之后为批归一化层和relu激活层；
[0067]
第二到第五卷积层的卷积核大小为3
×
3、输入通道数为16、输出通道数为16、步长为1、填充为1，卷积之后为批归一化层和relu激活层；
[0068]
第六卷积层的卷积核大小为3
×
3、输入通道数为16、输出通道数为3、步长为1、填充为1，卷积之后为sigmoid激活层。
[0069]
所述步骤s5中，构建的损失函数共有4个，包括以下步骤：
[0070]
首先构建语义保真度损失函数，用于抑制图像语义信息的退化，将mse损失函数作为语义保真度损失，其公式如下所示：
[0071][0072]
其中，t代表迭代次数，u
t
代表通过光照估计模块得到的光照图；
[0073]
然后构建光照平滑度损失函数，所述光照平滑度损失函数用于保持光照图相邻像素之间的平滑度，使用一范数来保持光照图的平滑度，其公式可以表述为：
[0074]
[0075]
其中，n代表光照图的像素数量，n(p)代表5
×
5大小的窗口中p的邻近元素，w
p，q
表示权重，其计算公式为c表示yuv颜色通道，在用所述光照平滑度损失函数进行操作之前，先将rgb图像转换为yuv图像；
[0076]
接着构建去噪损失函数，以去除反射图中的噪声，它的公式可以表述为：
[0077][0078]
其中，代表一阶微分运算符，r
t
代表低照度的图像反射分量；
[0079]
最后构建颜色强度损失函数，为了避免出现颜色失真的问题，需要限制图像rgb通道中每个通道的颜色强度，它的公式如下所示：
[0080][0081]
其中，h和w是图像的高度和宽度，(m，n)代表颜色通道的集合，其值为{(r，g)，(r，b)，(b，g)}，im代表m通道的颜色强度；
[0082]
训练的总损失函数可以表述为为：
[0083]
l＝λ1l
sem
λ2l
ill
λ3l
den
λ4l
col
ꢀꢀꢀꢀꢀꢀꢀꢀ
(6)，
[0084]
其中，λ表示每个损失函数的权重值。
[0085]
所述增强方法包括一个光照估计模块和一个去噪模块，将增强方法作为预处理步骤嵌入到跟踪算法中，如图2所示。
[0086]
本发明实施例提供的一种基于retinex的夜间无人机跟踪低照度图像增强方法至少包括如下技术效果：
[0087]
本发明能有效促进无人机夜间跟踪能力。如图3所示，在本发明的帮助下，无人机跟踪算法在夜间也有不错的表现。
[0088]
以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。