一种基于深度学习的水下热扰动图像恢复方法与流程

1.本发明涉及水下热扰动图像复原技术领域，尤其涉及一种基于深度学习的水下热扰动图像恢复方法。


背景技术：

2.光在水环境传播时会面临严重的吸收和散射效应，导致水下的图像细节模糊、对比度低等问题。尤其是，当水下环境存在不稳定热源，热源产生温度场与不均匀密度的水体环境相结合，导致成像路径中产生湍流现象，使得所采集的图像出现图形扭曲、离焦模糊以及颜色失真等一系列图像降质问题。
3.利用图像后处理的方法对水下降质图像进行复原处理，恢复图像细节，提升图像质量，一直是水下机器视觉领域的研究热点和难点问题，近年来水下热扰动扭曲图像的复原技术主要集中在三种方法上：幸运区融合、迭代配准和波形估计。
4.但是，首先，基于幸运区拼接、融合的算法易造成图像信息丢失，导致几何失真和模糊，基于迭代的图像配准算法往往时间复杂度较高，复原实时性无法得到保证，波形估计非常依赖水面波动模型的建立，模型过于简化则无法保证复原结果的准确性，模型过于复杂则会导致更高的时间复杂度。
5.其次，现有公开号为：cn112907464a，名称为“一种水下热扰动图像复原方法”的专利，以及现有公开号为：cn112907465a，名称为“一种基于深度学习的水下热扰动图像复原的系统及方法”的专利，均公开有水下热扰动图像的复原方法，但是，其对数据需要进行较多的预处理操作，数据处理速度较慢，其中，“一种水下热扰动图像复原方法”的专利中，卷积时的特征图padding为0，卷积之后的特征图尺寸会变小，存在多次卷积之后无法进行后续步骤的问题。


技术实现要素：

6.为了解决上述背景技术中所提到的技术问题，而提出的一种基于深度学习的水下热扰动图像恢复方法。
7.为了实现上述目的，本发明采用了如下技术方案：
8.一种基于深度学习的水下热扰动图像恢复方法，包括以下步骤：
9.s1、通过数据采集装置采集训练数据，训练数据包括水下热扰动图像、真实无扭曲图像；
10.s2、水下热扰动图像输入生成网络，生成无扭曲图像；
11.s3、真实无扭曲图像、生成无扭曲图像输入判别网络，二者经过融合后输出判别结果。
12.作为上述技术方案的进一步描述：
13.所述步骤s2中，生成网络是基于u-net网络的改进模型，改进方式包括：在input后的卷积特征图添加注意力机制，并跳跃连接到output输出前的卷积层，通过注意力机制提
高输入图像边缘细节恢复能力。
14.作为上述技术方案的进一步描述：
15.所述注意力机制对输入图像的处理步骤包括：
16.s21、通过sobel算子提取输入特征图图像中的轮廓信息；
17.s22、将图像降维为1维，并对1维图进行二值化；
18.s23、设置图像轮廓部分的高、低频信息；
19.s24、处理后图像与输入特征图图像进行像素级乘，加深图像轮廓信息。
20.作为上述技术方案的进一步描述：
21.所述轮廓部分的高频信息置为0.5，低频部分的信息为1.5。
22.作为上述技术方案的进一步描述：
23.所述步骤s2中，u-net网络的改进方式还包括：在下采样时选择minpooling操作。
24.作为上述技术方案的进一步描述：
25.所述步骤s3中，判别网络是基于gan网络的改进模型，改进方式包括：在gan网络中加入全局判别器和局部判别器，全局判别器对特征图使用大卷积核来获得更大感受野的特征图，实现图像语义的判别，局部判别器通过小卷积核来获取图像纹理的局部特征，实现图像细节部分的判别。
26.作为上述技术方案的进一步描述：
27.所述步骤s3中，真实无扭曲图像和生成无扭曲图像以concat的方式融合输入判别网络中，经过数次卷积后，先分别进入全局判别器和局部判别器进行判断，再进行融合输出最终判别结果。
28.作为上述技术方案的进一步描述：
29.所述步骤s1中，所述数据采集装置包括加热器、光源、温度显示器、加热开关、水下相机和目标物；
30.水下热扰动图像的采集：开启加热器，水下相机拍摄目标物，采集水下热扰动图像；
31.真实无扭曲图像的采集：关闭加热器，水下相机拍摄目标物，采集真实无扭曲图像。
32.综上所述，由于采用了上述技术方案，本发明的有益效果是：首先，本发明利用图像处理方法分析水下热干扰光学成像的主要误差影响，根据影响规律设计图像复原的网络模型，结合深度卷积神经网络强大的特征提取能力，构造热干扰图像到无干扰图像的非线性映射，最终实现水下热干扰图像的高精度复原，其次，基于单个生成器网络的扭曲图像恢复框架，端到端的直接恢复出无扭曲图片，引入注意力机制，提出新的网络框架，更好的恢复图像细节，最后，在如今强大的gpu算力下可以保证复原实时性且不过多依赖其他不确定模型从而保证准确性。
附图说明
33.图1示出了根据本发明实施例提供的一种基于深度学习的水下热扰动图像恢复方法的流程示意图；
34.图2示出了根据本发明实施例提供的一种基于深度学习的水下热扰动图像恢复方
法的水下热扰动复原模型的结构示意图；
35.图3示出了根据本发明实施例提供的一种基于深度学习的水下热扰动图像恢复方法的注意力机制的结构示意图；
36.图4示出了根据本发明实施例提供的一种基于深度学习的水下热扰动图像恢复方法的minpooling的操作流程示意图；
37.图5示出了根据本发明实施例提供的一种基于深度学习的水下热扰动图像恢复方法的判别网络的结构示意图；
38.图6示出了根据本发明实施例提供的一种基于深度学习的水下热扰动图像恢复方法的数据采集装置的结构示意图。
具体实施方式
39.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
40.实施例一
41.请参阅图1-6，本发明提供一种技术方案：一种基于深度学习的水下热扰动图像恢复方法，包括以下步骤：
42.s1、通过数据采集装置采集训练数据，训练数据包括水下热扰动图像、真实无扭曲图像；
43.具体的，如图6所示，数据采集装置包括水槽、加热器、光源、温度显示器、加热开关、水下相机和目标物，加热器、目标物、光源和水下相机置于水槽中；
44.水下热扰动图像的采集：开启加热器，水下相机拍摄目标物，采集水下热扰动图像，具体的，在水槽中加入清水，通过调整温度以及水下相机的位置、目标物的位置来采集多组水下热扰动图像；
45.真实无扭曲图像的采集：关闭加热器，水下相机拍摄目标物，采集真实无扭曲图像；
46.s2、水下热扰动图像输入生成网络，生成无扭曲图像；
47.具体的，如图2和图4所示，生成网络是基于u-net网络的改进模型，改进方式包括：(1)如图2所示，为提高生成网络对图像边缘细节的恢复能力，在input后的卷积特征图添加注意力机制，即图2中的edge attention，并跳跃连接到output输出前的卷积层，使其能够最大程度的保持图像的细节信息与轮廓信息，其中，如图3所示，注意力机制对输入图像的处理步骤包括：
48.s21、通过sobel算子提取输入特征图图像中的轮廓信息；
49.s22、将图像降维为1维，并对1维图进行二值化；
50.s23、设置图像轮廓部分的高、低频信息，轮廓部分的高频信息置为0.5，低频部分的信息为1.5；
51.s24、处理后图像与输入特征图图像进行像素级乘，加深图像轮廓信息；
52.(2)如图4所示，针对水下图像背景偏白，且对颜色消退的影响，在下采样时选择
minpooling操作，一般下采样部分只有maxpooling和avgpooling操作，minpooling操作即采用2
×
2的卷积方式，只保留数值最小的点，也即颜色最深的像素点，使得深色得以在卷积中很好的保留；
53.s3、真实无扭曲图像、生成无扭曲图像输入判别网络，二者经过融合后输出判别结果，基于gan网络的训练方式，生成网络利用判别网络的反馈信息来调整网络参数，使生成的图片获得更高的分数，经过一定量的交替迭代训练后，最终，判别网络不能区分真实数据和生成数据时，认定生成网络达到了最优点，即恢复出高质量的无扭曲图像；
54.具体的，如图5所示，判别网络是基于gan网络的改进模型，改进方式包括：在gan网络中加入全局判别器和局部判别器，全局判别器即图5中的global discrimination，局部判别器即图5中的patch discrimination，全局判别器对特征图使用大卷积核，如7
×
7，11
×
11的卷积，来获得更大感受野的特征图，实现图像语义的判别，局部判别器通过小卷积核，如3
×
3的卷积，来获取图像纹理等局部特征，实现图像细节部分的判别，使得判别网络兼顾图像局部细节和全局语义特征进行判别，主要通过判别结果来反馈指导生成网络，让生成网络恢复的图像既要在目标物的外观轮廓上接近无扭曲图像，也要在纹理等细节上符合无扭曲图像的正常特征；
55.进一步地，真实无扭曲图像和生成无扭曲图像以concat的方式融合输入判别网络中，经过数次卷积后，先分别进入全局判别器和局部判别器进行判断，再进行融合输出最终判别结果，具体的，根据判别网络对生成网络的判别来反向传播来调整改进u-net网络的卷积层，进一步拟合出合适的卷积层参数，如果判别网络认为生成网络生成的图像为假，则导致改进u-net网络额度损失函数结果欠拟合，对改进u-net网络卷积层加大调整力度；
56.本方法具备以下多个优点：(1)端到端的训练与输出图像；(2)泛化性能高，任意环境训练后都能有很好的效果；(3)无需其他先验的知识；(4)更好地处理图像局部与整体之间的关系。
57.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。