一种基于空间调制与混合注意力的湍流图像恢复方法

本发明涉及图像处理方法，具体涉及一种基于空间调制与混合注意力的湍流图像恢复方法。

背景技术：

1、随着远距离成像技术在安防监控、天文观测、海事搜救及遥感测绘等领域的广泛应用，成像质量受环境因素的影响日益凸显。其中，大气湍流是限制远距离成像性能的关键因素之一。由于大气温度、压力和湿度的随机波动导致折射率发生非线性变化，光波在穿过大气介质时会产生波前畸变。

2、在实际应用场景中，如边境长程监控、远距离无人机航拍、天文望远镜对地观测等，大气湍流会导致采集到的图像序列出现严重的几何扭曲（图像抖动、物体形变）和空间非均匀模糊（局部清晰度严重下降）。因此，解决大气湍流带来的退化问题具有显著的实际意义：通过复原清晰的图像，可以显著提高后端任务（如目标检测、人脸识别、车牌识别）在恶劣天气下的识别准确率；有效的大气湍流抑制方案能够突破环境限制，使成像系统在更远距离下依然保持可用的成像分辨率；在海上搜救或自动驾驶等实时性要求高的任务中，清晰的视觉反馈是确保决策正确、保障人员与设备安全的重要前提。

3、针对静态成像环境，大气湍流的退化过程可简化建模为：

4、

5、其中，为第时刻的退化图像，为清晰潜像，为随机形变算子，为加性噪声，为大气湍流引发的模糊算子。

6、传统的湍流图像恢复方法中，基于自适应光学的技术可用于补偿图像中的湍流效应，但是它们需要非常大型、复杂、脆弱且昂贵的硬件。传统的图像复原方法往往依赖于复杂的物理先验或计算昂贵的优化算法，难以在实时性和泛化性之间取得平衡。

7、近年来，深度学习技术的进步极大地推动了大气湍流复原的发展，在数据驱动框架下，chak等人[1]验证了模拟退化数据增强与gan结构在图像恢复中的有效性。为了深入挖掘湍流退化的物理特性，部分研究开始探索特征解耦与先验引导策略：lau等人[2]基于退化算子的可交换性设计了解耦机制以消除几何扭曲，其模型对真实世界的复杂耦合退化过程表达能力有限；而yasarla等人[3]则引入蒙特卡洛采样来估计模糊与形变的先验分布，通过物理启发式的信息融合提升了网络的恢复精度，但是在有限算力下只能获得退化的近似估计。

8、另外，鉴于大气湍流退化呈现出显著的时空变异性，具有语义感知能力的自注意力机制展示了极佳的适配性。相较于在全局共用统一算子的传统卷积网络，transformer能够根据图像内容动态分配权重，从而精准捕获非均匀退化特征。在单帧复原任务中，相关研究已验证了transformer架构的卓越性能。然而，将此类架构扩展至多帧湍流抑制时，局部高频细节建模能力不足，且高昂的存储开销成为制约算法落地的关键瓶颈。尽管有研究尝试在时间维度引入该机制，但其几何级增长的计算复杂度与内存占用在实际工程中往往难以承受。

9、[1] wai ho chak, chun pong lau, and lok ming lui. subsampledturbulence removal network. arxiv preprint arxiv:1807.04418, 2018.

10、[2] chun pong lau, yu hin lai, and lok ming lui. restoration ofatmospheric turbulence-distorted images via rpca and qua siconformal maps.inverse problems, 35(7):074002, 2019.

11、[3] rajeev yasarla and vishal m patel. learning to restore a singleface image degraded by atmospheric turbulence using cnns. arxiv preprintarxiv:2007.08404, 2020.

技术实现思路

1、本发明的目的是解决传统的湍流图像恢复方法中，基于自适应光学的技术需要非常大型、复杂、脆弱且昂贵的硬件问题，传统算法的实时性与泛化性的矛盾问题，以及transformer架构扩展时图像恢复精度差、建模能力不足的问题，而提供一种基于空间调制与混合注意力的湍流图像恢复方法。

2、为实现上述目的，本发明所提供的技术解决方案为：

3、一种基于空间调制与混合注意力的湍流图像恢复方法，其特殊之处在于，包括以下步骤：

4、步骤1、对湍流图像进行预处理；

5、步骤2、将预处理后的湍流图像输入预训练的深度学习网络；获得去除了大气湍流退化的高质量图像；

6、所述深度学习网络基于非对称编码器-解码器构建，其中编码器包括四个依次级联的编码层级，前三个编码层级均为门控线性基准块，第四个编码层级为28层连续的门控线性基准块；所述门控线性基准块包括依次设置的第一归一化层、第一1×1逐点卷积层、3×3深度可分离卷积层、第一门控线性单元、湍流感知空间调制模块、多头转置注意力模块、第二1×1逐点卷积层、第一残差加法层以及特征细化块；

7、所述3×3深度可分离卷积层，用于对输入特征通过学习偏移量动态调整卷积核采样点位置，模拟并校正由大气湍流引起的像素位移和几何扭曲，得到初步校正后的特征图b1；

8、所述湍流感知空间调制模块，用于对输入特征进行全局建模，生成空间权值图m，再通过逐像素相乘的方式对第一归一化层输出结果进行加权调制，动态补偿空间非均匀退化，得到特征图b2；

9、所述多头转置注意力模块，用于将特征图b2在通道维度上计算交叉协方差，生成全局注意力图，得到特征图b3；

10、所述第一残差加法层，用于接收第二1×1逐点卷积层输出结果与输入第一归一化层的原始特征，并进行残差逐元素相加，并将相加结果输入特征细化块；

11、所述特征细化块，用于对相加结果进行强化特征表示，得到特征图b4；

12、所述解码器包括三个依次级联的解码层级，用于对编码特征逐层解码。

13、进一步地，步骤1具体为：

14、对湍流图像随机裁剪、水平和/或垂直翻转、多角度旋转及坐标轴转置，得到预处理后的湍流图像。

15、进一步地，步骤2中，编码器的四个编码层级从输入至输出依次为：第一编码层级、第二编码层级、第三编码层级以及第四编码层级，通道数分别为32，64，128，256；

16、所述第一编码层级、第二编码层级、第三编码层级分别跳跃连接解码器的三个解码层级。

17、进一步地，所述特征细化块包括依次连接的第二归一化层、第三1×1逐点卷积层、第二门控线性单元、第四1×1逐点卷积层以及第二残差加法层；

18、所述第二归一化层的输入端连接第一残差加法层的输出端，所述第四1×1逐点卷积层的输出端连接第二残差加法层的输入端；

19、所述第二残差加法层，用于对第一残差加法层输出的相加结果及第四1×1逐点卷积层输出结果进行残差逐元素相加，得到特征图b4，作为下一层门控线性基准块或解码器的输入。

20、进一步地，所述解码器包括第三解码层级、第二解码层级以及第一解码层级，通道数依次为128，64，32；

21、第三解码层级、第二解码层级以及第一解码层级分别跳跃连接第三编码层级、第二编码层级、第一编码层级；

22、第三解码层级连接第四编码层级的输出端，对第四编码层级输出结果进行上采样，并与第三编码层级的输出特征进行通道融合，得到第三通道融合特征；

23、第二解码层级对第三通道融合特征进行上采样，并与第二编码层级的输出特征进行通道融合，得到第二通道融合特征；

24、第一解码层级对第二通道融合特征进行上采样，并与第一编码层级的输出特征进行通道融合，得到去除大气湍流退化的高质量图像。

25、进一步地，所述编码器中，各编码层级之间通过strided conv下采样；

26、所述解码器中，各解码层级之间通过pixelshuffle上采样。

27、进一步地，步骤2中，所述3×3深度可分离卷积层内的计算公式为：

28、；

29、式中，表示输入特征上的采样位置，表示输入特征在处的像素值，表示第n个采样点的卷积核权重，n表示卷积核的采样点总数，表示标准卷积中第n个采样点的固定偏移量，表示输入特征给定坐标处的特征值，表示第n个采样点的可学习偏移量，用于模拟湍流引起的像素抖动路径。

30、进一步地，步骤2中，所述湍流感知空间调制模块中，对输入特征进行全局建模生成空间权值图；表示实数集，h表示高度，表示宽度；

31、通过逐像素相乘的方式对特征进行加权调制，表示为：

32、；

33、式中，表示像素级乘法，表示原始特征图b，表示特征图b2。

34、进一步地，步骤2中，所述多头转置注意力模块包括：

35、归一化层，用于对输入的特征图b2进行归一化，得到输入特征，h表示高度，表示宽度；c表示通道数；

36、卷积层，用于对输入特征进行卷积操作和深度卷积操作，生成查询、键和值，表示为：

37、；

38、；

39、；

40、式中，为逐像素卷积，为深度卷积；

41、全局特征重构层，用于对查询、键k重塑，并根据重塑结果计算交叉协方差，得到通道注意力矩阵a，将通道注意力矩阵a与值相乘实现全局特征重构。

42、进一步地，步骤2中，根据重塑结果计算通道注意力矩阵a的公式为：

43、a；

44、表示查询的重塑结果，；表示对键的重塑结果，；表示可学习的缩放参数。

45、与现有技术相比，本发明具有的有益技术效果如下：

46、1、本发明提供的一种基于空间调制与混合注意力的湍流图像恢复方法，基于非对称编码器-解码器构建深度学习网络，为增强深层特征的表示学习能力，第四个编码层级采用了重度级联设计（如包含28层连续的门控线性基准块），而前三个编码层级保持轻量化配置，以平衡计算效率与恢复精度。

47、2、本发明提供的一种基于空间调制与混合注意力的湍流图像恢复方法，在门控线性基准块中采用“先校正、后细化”的协同策略，确保几何位移校正与纹理特征增强有序进行。

48、3、本发明提供的一种基于空间调制与混合注意力的湍流图像恢复方法，在编码器的前三个编码层级设置为门控线性基准块，通过归一化确保深层网络在处理高动态范围的湍流退化图像时，保持梯度的稳定性；采用门控线性单元（sg）替代传统激活函数，通过将特征图沿通道维度拆分并进行元素级乘法，实现对无效噪声特征的自动抑制。利用3×3深度可分离卷积层（depth-wise convolution）以极低的参数量实现对局部相邻像素的空间建模。

49、4、本发明提供的一种基于空间调制与混合注意力的湍流图像恢复方法，在门控线性基准块中设置3×3深度可分离卷积层，通过学习一个额外的偏移量分支来动态调整采样点的位置，自适应调整卷积核的形状，“追踪”被扭曲的边缘特征，从而在源头上抑制重影现象，恢复准确的几何结构。

50、5、本发明提供的一种基于空间调制与混合注意力的湍流图像恢复方法，在深度学习网络中加入湍流感知空间调制模块，能够动态地为受干扰严重的区域分配更高的响应权重，实现对空间非均匀退化的精准补偿。

51、6、本发明提供的一种基于空间调制与混合注意力的湍流图像恢复方法，引入多头转置注意力模块（mdta），在保持线性计算复杂度的前提下，捕捉图像的全局上下文信息以修复精细纹理。

52、7、本发明提供的一种基于空间调制与混合注意力的湍流图像恢复方法，在结构设计上，多头转置注意力模块与3×3深度可分离卷积层（校正几何位置偏移）以及湍流感知空间调制模块（分配局部特征权重）形成了功能互补的层次化处理机制，三者协同工作，分别从几何、局部与全局层面系统应对湍流退化，共同增强模型的复原与重建能力。