一种面向水土复合污染监测的遥感湍流图像复原方法

本发明涉及图像增强，具体涉及一种面向水土复合污染监测的遥感湍流图像复原方法。

背景技术：

1、城市河道与滨岸带水土复合污染具有空间破碎化、隐蔽性强、水陆交互复杂‌特征，通过对地表水体污染摸排、水陆污染扩散溯源、水土交界污染监测，能够推动环境治理从被动响应转为主动预警，进而通过真实可靠数据支撑生态修复工程精准落地。目前水土复合污染遥感图像修复主要有包含维纳滤波、盲反卷积、高斯滤波等信号处理算法的传统数字图像去模糊技术和包含原生unet网络、普通生成对抗网络gan、deblurgan去模糊网络等模型的基础深度学习图像复原技术，但是传统数字图像技术无需依托深度学习算力，运行速度快，多用于常规航拍图像全局模糊修复，但是传统数字图像技术无法解决非线性图像模糊问题，基础深度学习图像复原技术相对传统数字图像技术具有较好解决非线性图像模糊问题，从而被广泛用于地表遥感、交通航拍、地质遥感等各类图像去模糊场景，可实现航拍图像整体清晰度提升。

2、如中国专利申请号为202311725750.0，公布日为2024.02.27，分类号为g06t5/00的专利文献，其公开了一种基于多尺度生成对抗网络的大气湍流图像复原方法及系统，涉及大气湍流退化图像复原技术领域，包括如下步骤：建立大气湍流退化图像数据集；以deblurgan网络模型作为基础网络模型利用数据集进行训练，得到大气湍流图像复原网络模型，大气湍流图像复原网络模型包括生成器和判别器；在生成器的网络结构中引入级联空洞卷积模块，且引入注意力机制模块，用于对生成器进行优化；损失函数包括对抗损失项和内容损失项，对生成器输出的复原图像利用损失函数作为图像去模糊的正则约束，用于修复生成器输出的复原图像的图像边缘扭曲现象；验证大气湍流图像复原模型。

3、上述文献，通过在大气湍流图像复原中使用多尺度生成对抗网络，结合级联空洞卷积和注意力机制，通过deblurgan网络模型进行训练，引入马尔科夫鉴别器和对抗损失函数，优化生成器和判别器结构，以解决对多帧图像和复杂数据的依赖问题，提高图像复原的视觉质量；但是其图像处理仅仅通过gan模型校验图像整体真伪，无法针对性修复水体专属色度特征与水面微观纹理，修复后的水体存在色彩失真、水面波纹纹理缺失、岸带地表纹理违和等问题，无法从水体色差异常以及水面漂浮污染物轮廓和水体浑浊梯度三个方面区分水体污染还是水面噪声，从而无法使得图像进行可靠复原进而导致失真，多模态大语言模型接入失真图像后，会大幅降低水土污染等级评估准确率，从而无法形成一体化监测评估闭环。

技术实现思路

1、本发明的目的在于提供一种面向水土复合污染监测的遥感湍流图像复原方法，能够对遥感图像中的干扰进行精准修复，以有效提升污染特征提取精度，确保图像复原的准确性。

2、为达到上述目的，本发明提供一种面向水土复合污染监测的遥感湍流图像复原方法，包括以下步骤：

3、s1、采集水域图像，然后将具有湍流模糊、运动模糊、水面反光退化的干扰水域图像和无干扰水域图像构建水系配对数据集；

4、s2、对采集的水域图像进行标准化预处理，按照预设比例将水系配对数据集划分成训练集和测试集；

5、s3、构建以swin-u-net主干网络为基础的金字塔注意力生成对抗网络，通过编码器提取干扰水域图像的多尺度特征，然后通过特征金字塔生成将多尺度特征形成不同尺度特征图，多头注意力模块对不同尺度特征图通过窗口多头注意力与空间注意力相结合确定每个尺度特征图的综合注意力权重，将不同尺度特征图与综合注意力权重融合后得到不同尺度的注意力增强特征图，通过解码器对不同尺度的注意力增强特征图进行解码输出特征图，再通过多尺度判别器对输出特征图进行全局、色度、纹理的三重判别；

6、s4、构建包含l1损失、感知损失、对抗损失和光谱损失的混合损失函数，并依次改变与对抗损失对应的权重系数和与对抗损失、感知损失相对应的权重系数以分别将训练集导入金字塔注意力生成对抗网络进行两个阶段训练，训练完成后得到水域图像复原模型；

7、s5、将采集的水域图像重新输入水域遥感图像复原模型得到无失真水域复原图像。

8、以上方法，在提取水域图像后通过金字塔注意力生成对抗网络中金字塔对多尺度特征形成不同尺度特征图，然后多头注意力模块从窗口多头注意力和空间注意力形成综合注意力权重，这样使得不同尺度特征图能从窗口上和空间上分别铺装图像局部细节特征以及空间上关联性，进而形成不同尺度注意力增强特征图，通过多头注意力模块自适应聚焦水域污染关键区域，能够精准处理近水面独有非均匀大气湍流噪声，以适配贴近水面航拍的复杂干扰环境，避免无法修复局部湍流模糊的局限性，而通过全局、色度、纹理三重判别，则能够分别识别水域图像的水域轮廓、水体色彩、微观纹理，进而保留航拍的水域区域划分、水体色差、浑浊梯度污染特征，使得复原图像完全贴合航拍实景，并且能区分是水体色差还是水面噪声引起水体色差的情况；对复原图像分别调整对抗损失以及对抗损失和感知损失两个阶段进行分段训练，则能够先确保整体水域图像无畸变，再精细化修复水陆交界线、水面波纹的关键细节，避免复原图像边缘过度平滑，确保整个水域图像复原模型的可靠性，从而使得后续只需要将采集到的水域图输入到水域图像复原模型中即可得到乌石镇水域复原图像，进一步提升污染特征的提取精度。

9、进一步的，步骤s5还包括：将水域复原图像输入水土复合污染智能评估系统，并提取水域区域分割与污染特征，将水域污染空间位置和污染扩散范围录入水土污染知识图谱，确定空间实体关联关系，接着将水域复原图像输入知识增强大语言模型，结合土壤理化检测数据、历史水质台账数据，完成污染动态评价、空间自动画像、污染溯源分析，最终输出分区治理决策。

10、以上设置，将水域复原图像输入到水土符合污染智能评估系统中，并将水域区域以及污染特征进行提取，并与水土污染情况对应，从而能可靠地确定水土污染的位置以及情况，并且将水域复原图像输入只是增强大语言模型中，可以在输入相关参数之后输出对应的治理方案，将水域复原图像适配水土污染智能评估平台，能够满足水域关键污染细节的评估并形成闭环监测评估。

11、进一步的，在步骤s3中，包括：步骤s3.1-s3.4，

12、s3.1、通过编码器提取水域图像中受湍流干扰的多尺度特征，编码器包括一个以上基于swin transformer架构的swin block模块，水域图像作为输入特征经过swin block模块后得到第一特征图，然后经过连接在swin block模块输出端的最大池化层进行池化并输出第二特征图，swin block模块包括2个窗口注意力层、2个移位窗口注意力层、1个归一化层与1个relu激活函数，编码器处理过程如下公式（1）和（2）所示：

13、（1），

14、（2），

15、

fswin为swin block模块的第一特征图，relu为激活函数，为归一化层，为移位窗口注意力层，为窗口注意力层，

fin为swin block模块的输入特征图，

θω为窗口注意力层参数，

θsω为移位窗口注意力层参数，

fpool为池化后的第二特征图，为池化层，stride为层数。

16、以上设置，能够通过以为窗口以及窗口以及激活函数提取第一特征图，然后再通过池化处理提取第二特征，有效捕捉受湍流干扰图像的多尺度特征。

17、进一步的，在步骤s3.1中，编码器包括四个swin block模块，经过swin block模块处理过程还包括：

18、水域图像作为输入特征图像

it经过第一个swin block模块后，输出通道数为64、尺寸为256×256的特征图

f1，通过窗口注意力提取浅层纹理特征；经过第二个swin block模块后，输出通道数为128、尺寸为128×128的特征图

f2，提取中层特征；经过第三个swinblock模块后，输出通道数为256、尺寸为64×64的特征图

f3，提取深层语义特征；经过第四个swin block模块后，输出通道数为512、尺寸为32×32的特征图

f4，通过长距离注意力捕捉全局特征，特征提取过程如下公式（3）所示：

19、（3），

20、当时，

f0=

it，

θω,i、

θsω,i分别为第

i个swin block模块的窗口注意力参数和移位窗口注意力参数。

21、以上设置，能够使得编码器通过调整窗口与移位窗口注意力机制即可扩大图像区域，无需通过堆叠卷积实现，这样在降低计算量的同时，能够提升对图像中污染区域长距离特征的提取能力，避免特征提取的局限性。

22、进一步的，步骤s3.2包括：构建金字塔多头注意力模块pam，金字塔多头注意力模块pam包括特征金字塔、多头注意力模块和融合模块，金字塔多头注意模块pam处理过程包括：

23、s3.2.1、通过3个不同尺度的卷积核对步骤s3.1的特征图

f4进行并行卷积操作，生成3个不同尺度的特征图，且分别对应小尺度特征图、中尺度特征图、大尺度特征图，以形成特征金字塔，如下公式（5）所示：

24、（5），

25、

θs/m/l分别为预设3种不同尺度卷积核的权重参数，

fs,

fm,

fl分别对应小尺度特征图、中尺度特征图、大尺度特征图；

26、s3.2.2、对每个不同尺度的特征图进行自适应平均池化，在swin-u-net主干网络的窗口多头注意力中，将特征图的全局空间特征压缩为通道特征，并通过2个全连接层与

sigmoid激活函数计算通道注意力权重，然后在swin-u-net主干网络的空间注意力中，对每个不同尺度的特征图进行1×1卷积降维，通过

sigmoid激活函数计算空间注意力权重，将通道注意力权重与空间注意力权重相乘，得到每个不同尺度特征图对应的综合注意力权重，如下公式（6）所示：

27、（6），

28、为不同尺度特征图对应的综合注意力权重，为不同尺度特征图对应的通道注意力权重，为不同尺度特征图对应的空间注意力权重，通过

sigmoid激活函数归一化至[0,1]区间；

29、s3.2.3、将每个不同尺度特征图与其对应的综合注意力权重相乘，得到增强后的不同尺度特征图，然后将增强后的不同尺度特征图进行拼接，并通过1×1卷积降维，得到融合后的注意力增强特征图，如下公式（7）所示：

30、（7），

31、concat(·)为通道拼接操作，为融合卷积的权重参数。

32、以上设置，通过多尺度卷积核形成多尺度特征金字塔，以覆盖水域遥感图像中水体污染区不同尺度的关键细节特征；通过swin-u-net主干网络中的窗口多头注意力与空间注意力相结合并自适应分配综合注意力权重后，能够分别提取特征图中的局部细节特征和构建图像全局空间依赖关系，进而有效减少水域遥感图像受云雾散射、海面湍流等因素干扰而出现模糊、细节丢失、对比度降低的影响，同时增强水域遥感图像中海面与海岸、水体与悬浮物质的海面全局污染范围特征的关联性，从而达到抑制无关背景特征干扰的效果。

33、进一步的，在步骤s3.3中，包括：

34、通过解码器将金字塔多头注意力模块pam输出的注意力增强特征图

fpam，通过一个以上的反卷积块进行上采样逐步恢复图像的空间分辨率，输出与输入特征图像

it尺寸相同的复原图像

ic；

35、在步骤s3.3中解码器处理过程包括：解码器采用与编码器对称的结构，包括4个反卷积块、4个swin transformer块；每个反卷积块包括1个2×2的反卷积层、1个swintransformer子模块、1个归一化层与1个relu激活函数，如下公式（8）所示：

36、（8），

37、为反卷积块的输出特征图，relu为激活函数，为归一化层，为反卷积层权重参数，为swin transformer子模块的移位窗口注意力参数，为反卷积层；为解码器输入特征图；为swin transformer子模块；

38、上采样后，对编码器输出的特征图进行通道调整，然后与解码器对应反卷积块输出的特征图进行拼接，将在编码器中提取的浅层纹理特征与深层语义特征进行跳跃连接融合，如下公式（9）所示：

39、（9），

40、为解码器第

i个反卷积块的输出特征图，为编码器对应层级的特征图，为通道调整卷积的权重参数，为跳跃连接融合后的输出特征。

41、以上设置，通过对特征图上采样，以恢复经过金字塔多头注意力模块pam的特征图空间分辨率。

42、通过跳跃连接特征融合与swin transformer子块的协同作用，解码器能够将编码器提取的浅层纹理特征与深层语义特征进行跳跃连接融合，弥补图像在上采样过程中出现的细节特征丢失，同时能够进一步细化污染细节特征，提升复原图像的清晰度与细节特征表现力。

43、进一步的，步骤s3.4包括多尺度判别器对解码器输出的特征图进行多重判别，多尺度判别器包括并行分支设置的全局判别器、色度判别器和纹理判别器，多尺度判别器的整体判别函数如下公式（10）所示：

44、（10），

45、

x为多尺度判别器输入，为多尺度判别器参数，

dg(·),

dc(·),

dt(·)分别为全局判别器、色度判别器、纹理判别器的输出，,,分别为与全局判别器、色度判别器、纹理判别器对应的损失权重。

46、以上设置，便于后续通过

leakyrelu激活函数判定图像真伪，计算判别损失并反向传递反馈，实现生成器与判别器的协同优化，从而提升水系污染图像的复原质量与视觉真实性。

47、进一步的，在步骤s3.4中，还包括：

48、全局判别器包括5个卷积块与1个输出层，每个卷积块包括4×4卷积、归一化层与

sigmoid激活函数，全局判别函数如下公式（11）所示：

49、（11），

50、为全局分支卷积序列运算，为预设的全局判别器参数，σ(•)为

sigmoid激活函数，全局判别器输出；

51、色度判别器包括2个卷积块，色度判别函数如下公式（12）所示：

52、（12），

53、

rgb2cbcr(·)为

rgb空间到

cbcr空间的转换函数，

convseqc(·)为色度分支卷积序列运算，σ(•)为

sigmoid激活函数，为预设色度判别器参数；

54、纹理判别器包括2个卷积块，纹理判别函数如下公式（13）所示：

55、（13），

56、

dog(·)为高斯差分滤波操作，

convseqt(·)为纹理分支卷积序列运算，σ(·)为

sigmoid激活函数，为预设纹理判别器参数。

57、以上设置，通过全局判别器能够识别水系污染图像的全局结构差异，抑制复原图像出现全局几何畸变；通过色度判别器能够判别输入图像的色度是否相同，减少湍流失真而导致的色度偏移，进而保障复原图像的光谱保真度；通过纹理判别器能够提高判别水系污染细节纹理特征的真实性，推动生成器优化图像细节特征，提升图像复原效果，减少图像伪清晰现象。

58、进一步的，步骤s4中混合损失函数如下公式（14）所示：

59、（14），

60、为混合损失函数，为l1损失，为感知损失，为对抗损失，为光谱损失，分别为与l1损失、感知损失、对抗损失、光谱损失对应的权重系数。

61、以上设置，通过不同损失项的加权融合，能够实现客观精度与主观视觉效果的协同优化，同时确保复原图像的光谱一致性。

62、进一步的，步骤s4还包括：

63、保持混合损失函数中与l1损失、感知损失以及光谱损失相对应的权重系数不变，使与对抗损失对应的权重系数变小，将训练集导入金字塔注意力生成对抗网络进行第一阶段训练；

64、保持混合损失函数中与l1损失、光谱损失相对应的权重系数不变，使与对抗损失、感知损失相对应的权重系数变大，将训练集导入金字塔注意力生成对抗网络进行第二阶段训练。

65、以上设置，通过第一阶段训练能够优先修复图像整体模糊与大范围湍流畸变，确保图像中的水域全局轮廓的清晰度与精准度；通过第二阶段训练能够优化图像中的水面微观纹理、水陆交界边缘细节特征，避免图像过度平滑。