基于多支路金字塔大核卷积网络的海上图像去雾方法

1.本发明涉及图像处理技术领域，特别涉及一种基于多支路金字塔大核卷积网络的海上图像去雾方法。


背景技术：

2.目前，随着人机结合程度的持续增加，未来战争的战场力量编组模式将发生颠覆性变化，无人机、无人潜航器、战斗机器人等多种新型智能化武器装备将在未来战场上发挥重要作用，承担战场侦察、监视、攻击、通信中继等多项任务。海上场景实时监控是海战场态势评估和威胁估计的基础，然而海上场景图像通常伴随着雾气、云层等干扰，降低图像内容的有效性并模糊图像信息，这会对诸多下游任务产生严重影响。
3.海上场景实时监控是海战场态势评估和威胁估计的基础，光学遥感图像海面舰船目标实时监控的核心任务是如何获得实时高清海面场景图像，它在渔业管理、海上救援、海域交通监控以及海战场态势感知等领域具有广阔的应用前景。然而，由于航空图像数据量大且易受海面情况、天气条件、光照条件及成像探测器参数等多种因素的影响，海面上存在雾气、海杂波、云层等自然环境的干扰，这会对实时系统中基于视觉的决策产生负面影响。


技术实现要素：

4.为克服上述现有技术的不足，本发明提出一种基于多支路金字塔大核卷积网络的海上图像去雾方法，包括：
5.获取待处理图像；
6.将所述待处理图像输入预先训练的多支路金字塔的大核编码解码网络，得到去雾图像；
7.其中，所述支路金字塔的大核编码解码网络包括第一模块、第二模块、多支路金字塔模块、自注意力机制模块、全局路径聚合模块；
8.优选的，所述第一模块用于针对所述待处理图像进行深度卷积，包括依次连接的一级卷积层、二级卷积层、三级卷积层和四级卷积层；所述第一模块中通道数量为64。
9.优选的，所述第一卷积层的深度为3
×
3的卷积层；
10.所述第二卷积层的深度为7
×
7的卷积层；
11.所述第三卷积层的深度为1
×
1的卷积层；
12.所述第四卷积层的深度为7
×
7的卷积层。
13.优选的，所述第二模块包括第一处理单元和第二处理单元；所述第一处理单元的输出端和所述第二处理单元的输入端进行逐像素相加；所述第一处理单元包括依次连接的批归一化、第一1
×
1卷积层、第二13
×
13卷积层和第三1
×
1卷积层；所述第二处理单元包括依次连接的批归一化、第四1
×
1卷积层、swish激活函数和第五1
×
1卷积层。
14.优选的，所述多支路金字塔模块包括第一支路和第二支路；
15.所述第一支路包括依次连接的第一阶梯单元、第一转换单元、第二阶梯单元、第二
转换单元、第三阶梯单元、第四阶梯单元、第一上采样单元、第五阶梯单元、第二上采样单元和第六阶梯单元；
16.所述第二支路包括依次连接的一级阶梯单元、一级转换单元、二级阶梯单元、二级转换单元、三级阶梯单元、三级转换单元、四级阶梯单元、五级阶梯单元、一级上采样单元、六级阶梯单元、二级上采样单元、七级阶梯单元、三级上采样单元和八级阶梯单元；
17.优选的，所述自注意力机制模块包括第一全局平均池化层、第一全连接层和第二全连接层；所述全局平均池化层、第一全连接层和第二全连接层依次连接，生成待处理图像的注意力得分，基于所述注意力得分，获取包含注意力的特征。
18.优选的，所述全局路径聚合模块包括依次连接的第二全局平均池化层、第三全连接层、第四全连接层和上采样层，得到全局特征；所述全局特征和所述包含注意力的特征进行逐像素聚合，得到局部-全局混合特征；
19.将所述局部-全局混合特征通过全局3x3卷积层和全局上采样进行处理，得到去雾图像；
20.通过组合损失函数判别所述去雾图像的去雾等级，当所述去雾等级大于预设的阈值时，判定所述去雾图像符合要求。
21.优选的，所述组合损失函数对应的计算式如下：
22.l
total
＝α1l
adv
α2l
mse
α3l
per
23.其中，所述l
adv
表示对抗性损失函数表达式；l
mse
表示mse损失函数表达式；l
per
表示感知相似性损失函数表达式；α1表示对抗性损失所占的权重配置参数；α2表示mse损失所占的权重配置参数；α3表示感知相似性损失所占的权重配置参数。
24.优选的，所述对抗性损失函数表达式l
adv
如下：
[0025][0026]
其中，b表示小批次中的样本数量，i＝1,2,
…
,b；d()表示判别器的输出；g()表示生成的图像；z表示输入的有雾图像；
[0027]
所述mse损失函数表达式l
mse
如下：
[0028][0029]
其中，k表示生成图像中的像素数量，j＝1,2,
…
,k，r表示真实无雾图像；
[0030]
所述感知相似性损失函数表达式l
per
如下：
[0031][0032]
其中，p表示vgg 16模型中conv3-3层输出特征图中的元素数量，n＝1,2,
…
,p。
[0033]
优选的，所述将所述待处理图像输入预先训练的多支路金字塔的大核编码解码网络之前，还包括：
[0034]
将所述待处理图像通过暗通道先验方法进行一级处理，得到待处理图像的雾深估计子信息；
[0035]
将所述待处理图像的雾深估计子信息和待处理图像进行图像融合，得到一级输入图像；
[0036]
将所述一级输入图像输入预先训练的多支路金字塔的大核编码解码网络。
[0037]
与最接近的现有技术相比，本发明具有的有益效果如下：
[0038]
本发明提供了一种基于多支路金字塔大核卷积网络的海上图像去雾方法，包括：获取待处理图像；将所述待处理图像输入预先训练的多支路金字塔的大核编码解码网络，得到去雾图像；其中，所述支路金字塔的大核编码解码网络包括第一模块、第二模块、多支路金字塔模块、自注意力机制模块、全局路径聚合模块；本发明通过构建多支路金字塔的大核编码-解码网络，组成反射预测、着色预测和语义预测的混合表征空间，过程中通过应用深度卷积，减少计算量，并且在进行深度卷积时，采用大核卷积，有利于提供足够的感受野和空间信息，获取更多的非线性和跨通道的信息通信；在多支路金字塔模块中包含三个支路，分别进行反射预测、着色预测及语义预测；反射和着色预测任务为无雾图像生成任务提供了丰富的颜色和纹理互补信息，使网络能够生成具有自然颜色和精细细节的高质量无雾图像。
[0039]
本发明的其它特征将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
[0040]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0041]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0042]
图1为本发明提供的一种基于多支路金字塔大核卷积网络的海上图像去雾方法的流程示意图；
[0043]
图2为本发明提供的一种基于多支路金字塔大核卷积网络的海上图像去雾方法的体系结构图；
[0044]
图3为本发明提供的一种基于多支路金字塔大核卷积网络的海上图像去雾方法中深度卷积过程示意图；
[0045]
图4为本发明提供的一种基于多支路金字塔大核卷积网络的海上图像去雾方法中多支路金字塔模块中第一支路的结构图；
[0046]
图5为本发明提供的一种基于多支路金字塔大核卷积网络的海上图像去雾方法中多支路金字塔模块中第二支路的结构图；
[0047]
图6为海上浓雾场景3d仿真环境示意图；
[0048]
图7为不同的算法模型对应的有效感受野对比图；
[0049]
图8为不同的算法模型进行去雾实验对应的实验结果图；
[0050]
其中，lkedn-mhp：多支路金字塔的大核编码-解码网络；psnr：峰值信噪比；ssim：结构相似性指数度量。
具体实施方式
[0051]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0052]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，“多个”的含义是两个或两个以上，除非另有明确具体的限定。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0053]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
[0054]
实施例1：
[0055]
本发明实施例提供了一种基于多支路金字塔大核卷积网络的海上图像去雾方法，流程示意图如图1所示，包括：
[0056]
步骤1：获取待处理图像；
[0057]
步骤2：将所述待处理图像输入预先训练的多支路金字塔的大核编码解码网络，得到去雾图像；
[0058]
其中，所述支路金字塔的大核编码解码网络包括第一模块、第二模块、多支路金字塔模块、自注意力机制模块、全局路径聚合模块；
[0059]
具体的，步骤2包括：
[0060]
所述第一模块用于针对所述待处理图像进行深度卷积，包括依次连接的一级卷积层、二级卷积层、三级卷积层和四级卷积层；所述第一模块中通道数量为64，体系结构图如图2所示，输入数据为512
×
512
×
3的rgb图像，首先经过暗通道先验方法得到雾深估计子信息并在通道维度与输入的彩色图像融合作为局部卷积路径的输入；第一模块表示与输入最紧密相接的层的集合，由于我们的目标是高性能的下游预测任务模型的骨干网络，而通常下游预测任务的输入数据尺寸较大，因此我们希望在开始阶段通过几个卷积层捕获更多细节；第一模块中的通道数量c1为64，在第一个3
×
3和2
×
2下采样后，本发明构建了一个深度7
×
7层来捕获低层感知，一个1
×
1卷积和另一个深度7
×
7来进行下采样，其中，深度卷积过程示意图如图3所示，不同于常规卷积操作，深度卷积的一个卷积核负责一个通道，即一个通道只被一个卷积核卷积；通过应用深度卷积，可以减小计算量；
[0061]
所述第一卷积层的深度为3
×
3的卷积层；
[0062]
所述第二卷积层的深度为7
×
7的卷积层；
[0063]
所述第三卷积层的深度为1
×
1的卷积层；
[0064]
所述第四卷积层的深度为7
×
7的卷积层。
[0065]
所述第二模块包括第一处理单元和第二处理单元；所述第一处理单元的输出端和所述第二处理单元的输入端进行逐像素相加；所述第一处理单元包括依次连接的批归一化、第一1
×
1卷积层、第二13
×
13卷积层和第三1
×
1卷积层；所述第二处理单元包括依次连接的批归一化、第四1
×
1卷积层、swish激活函数和第五1
×
1卷积层；
[0066]
第二模块中使用了短路连接方式与深度大内核，且在大核卷积后使用1
×
1卷积层来增加深度，因为除了大核卷积层提供足够的感受野和聚集空间信息的能力外，模型的表征能力也与深度密切相关，为了提供更多的非线性和跨通道的信息通信，本发明中使用1
×
1层来增加深度，第二模块中的通道数量c2为128，通过使用了一个类似的卷积系列处理模块，它由短路连接、批归一化、两个1
×
1卷积层和swish激活函数组成，与在全连接层之前使用层归一化，有利于被融合到卷积操作中以进行有效的推理。
[0067]
所述多支路金字塔模块包括第一支路和第二支路；
[0068]
所述第一支路包括依次连接的第一阶梯单元、第一转换单元、第二阶梯单元、第二转换单元、第三阶梯单元、第四阶梯单元、第一上采样单元、第五阶梯单元、第二上采样单元和第六阶梯单元；
[0069]
所述第二支路包括依次连接的一级阶梯单元、一级转换单元、二级阶梯单元、二级转换单元、三级阶梯单元、三级转换单元、四级阶梯单元、五级阶梯单元、一级上采样单元、六级阶梯单元、二级上采样单元、七级阶梯单元、三级上采样单元和八级阶梯单元；
[0070]
第一支路用于进行反射预测和着色预测；第二支路用于进行语义预测；反射和着色预测任务为无雾图像生成任务提供了丰富的颜色和纹理互补信息，使网络能够生成具有自然颜色和精细细节的高质量无雾图像；其中，第一支路的结构图如图4所示，第二支路的结构图如图5所示，第一支路中包含6个阶梯单元，编码器和解码器各包含3各阶梯单元，其中，每个阶梯单元中包含若干个大核卷积块，每个大核卷积块中的深度卷积都使用一个5
×
5的内核进行重参数化，在每个大核卷积块之后放置一个前馈卷积网络模块，而在第二支路中包含8个阶梯单元，并第一支路的特征进行逐像素融合；
[0071]
所述自注意力机制模块包括第一全局平均池化层、第一全连接层和第二全连接层；所述全局平均池化层、第一全连接层和第二全连接层依次连接，生成待处理图像的注意力得分，基于所述注意力得分，获取包含注意力的特征；自注意力机制模块由全局平均池化层和两层全连接生成注意力得分，然后将注意力得分附加在融合后的多支路金字塔的输出中，使模型学会关注更重要的信息；为了有效地融合互补特征，通过自注意力机制模块自适应地增强适当的互补特征通道，同时削弱不相关的通道，显著提高了特征聚合的有效性，自注意力机制模块在突出重要信息的同时，还可减少冗余信息，进一步优化特征聚合的性能。
[0072]
所述全局路径聚合模块包括依次连接的第二全局平均池化层、第三全连接层、第四全连接层和上采样层，得到全局特征；所述全局特征和所述包含注意力的特征进行逐像素聚合，得到局部-全局混合特征；
[0073]
将所述局部-全局混合特征通过全局3x3卷积层和全局上采样进行处理，得到去雾图像；
[0074]
通过组合损失函数判别所述去雾图像的去雾等级，当所述去雾等级大于预设的阈值时，判定所述去雾图像符合要求；为局部卷积路径补充全局特征信息，通过全局平均池化、全连接层与上采样得到的特征与包含注意力得分的特征经过逐像素聚合，可得到局部-全局混合特征。全局路径聚合模块有利于提高效率，同时仍保持聚合全局信息的能力，局部与全局两条路径的混合输出通过3
×
3卷积与上采样转换为原始尺寸，得到生成的去雾清晰化图像，此外，辨别器将生成图像或真实无雾图像作为输入，通过编码器与全连接得到输出，采用多支路金字塔中的编码器，以鼓励鉴别器具有与生成器相同的提取和分析高级特征的能力，从而使两个网络相互竞争以提高其性能；
[0075]
所述组合损失函数对应的计算式如下：
[0076]
l
total
＝α1l
adv
α2l
mse
α3l
per
[0077]
其中，所述l
adv
表示对抗性损失函数表达式；l
mse
表示mse损失函数表达式；l
per
表示感知相似性损失函数表达式；α1表示对抗性损失所占的权重配置参数；α2表示mse损失所占的权重配置参数；α3表示感知相似性损失所占的权重配置参数。
[0078]
所述对抗性损失函数表达式l
adv
如下：
[0079][0080]
其中，b表示小批次中的样本数量，i＝1,2,
…
,b；d()表示判别器的输出；g()表示生成的图像；z表示输入的有雾图像；
[0081]
所述mse损失函数表达式l
mse
如下：
[0082][0083]
其中，k表示生成图像中的像素数量，j＝1,2,
…
,k，r表示真实无雾图像；
[0084]
所述感知相似性损失函数表达式l
per
如下：
[0085][0086]
其中，p表示vgg 16模型中conv3-3层输出特征图中的元素数量，n＝1,2,
…
,p；
[0087]
判别器的评判损失函数如下：
[0088][0089]
本发明通过采用对抗性损失、均方差损失和感知相似性损失的组合，有利于兼顾像素质量和人类感知，优选的，α1＝500，α2＝500，α3＝500和α4＝1。
[0090]
所述将所述待处理图像输入预先训练的多支路金字塔的大核编码解码网络之前，还包括：
[0091]
将所述待处理图像通过暗通道先验方法进行一级处理，得到待处理图像的雾深估计子信息；
[0092]
将所述待处理图像的雾深估计子信息和待处理图像进行图像融合，得到一级输入图像；
[0093]
将所述一级输入图像输入预先训练的多支路金字塔的大核编码解码网络；
[0094]
在一个具体的实施例中，构建了海上浓雾场景3d仿真环境，如图6所示，每对图像中，左侧为浓雾条件下的目标样本，右侧为清晰无雾条件下的目标样本。共采集18540张不同角度、不同目标大小及不同光照条件的图像，每幅图像大小为1920
×
1080像素，其中浓雾图像9648张，清晰图像8892张。为了提高网络的学习能力，采用了数据増广方法：首先，对每幅训练图像采用随机裁剪方法，裁剪出5块与原始图像具有相同宽高比的图像块；随后，还采用了水平翻转方法，将训练样本数增加一倍，同时创建训练图像新的几何纹理变化。为了验证本文提出的lkedn-mhp的普适性，额外增加了一组室外浓雾场景的公开数据集o-haze。
[0095]
模型的训练与测试
[0096]
在geforce gtx titan x图形卡上进行训练与测试。网络输入大小为512
×
512，训练次数为1000次。在前800个周，学习率固定为10-4
，在最后200个周期，我们线性衰减学习率
为零。使用峰值信噪比(psnr)和结构相似性指数度量(ssim)度量来测量lkedn-mhp的去雾性能。设置每批次样本的数量为1，这样在图像恢复任务中可获得更好的结果。在多支路金字塔中，每个阶梯模块包含三个架构超参数：大核卷积块的数量、通道维度和内核大小，将包含上述参数的模型称为lkedn-mhp-b(b for base)，在此基础上，设计了更宽的模型称为lkedn-mhp-l(l for large)，在实验中每个阶梯模块的架构超参数设置如表1所示：
[0097]
表1架构超参数设置
[0098][0099]
通过本发明的算法，在自建的仿真数据集与o-haze数据集上的性能与其它目前最先进的算法进行了比较，为更好的体现本文提出算法的优越性，选取基于cnn的最先进算法(edn-gtm)与基于vit的最先进算法(dehazeformer)作为代表进行实验对比，不同的算法模型对应的有效感受野对比图如图7所示，亮色区域面积越大表明有效感受野越大，在测量特征图中心位置相对于输入的梯度的绝对值，对于32个随机选择的含雾输入图像，结果在每个特征图的所有通道上取平均值，由图7可知，通过大内核卷积构建的有效感受野最大；
[0100]
对各算法模型进行去雾实验，对应的实验结果图如图8所示，量化去雾结果如表2所示，
[0101]
表2自建数据集和o-haze数据集的量化去雾结果
[0102][0103]
本发明在自建数据集与o-haze数据集中的去雾效果均达到最优，由表2可知，在基于数字孪生的仿真环境中获取的自建海上浓雾图像数据集量化实验结果中，本发明提出的lkedn-mhp-b的psnr达到了25.79db，实现了最佳的海上图像去雾性能，在此基础上本方案的lkedn-mhp-l的psnr进一步提升了2.39db，且在ssim指标上也达到了最优的0.8856，因此，本发明中提出的lkedn-mhp算法在自建的仿真数据集与真实户外浓雾场景数据集上都取得了良好的结果。结果表明，提出的lkedn-mhp方案具有设计良好的体系结构，可以有效地执行海上图像雾霾去除任务。
[0104]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0105]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0106]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0107]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0108]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。