基于区域退化约束图与闭环重退化校验的图像恢复方法、计算机设备及存储介质与流程

本发明属于图像恢复领域，特别涉及一种基于区域退化约束图与闭环重退化校验的图像恢复方法。

背景技术：

1、图像恢复是计算机视觉和数字图像处理中的关键技术之一，广泛应用于遥感图像、监控视频以及图像增强等领域。在实际应用中，图像通常会受到噪声、模糊、压缩伪影、低照度、雾化、雨雪遮挡等多种退化因素的影响。这些退化因素可能是独立的，也可能是多种退化共同作用的结果。

2、现有的图像恢复方法大多基于全图恢复策略，即假设图像退化是均匀的，采用单一的恢复策略进行图像处理。然而，这种方法在应对多重退化因素的交织作用时，往往难以达到理想的恢复精度。实际应用中，图像往往呈现出明显的区域性差异，某些区域可能受噪声影响较大，而另一些区域则可能受到模糊或压缩伪影的影响。全图恢复方法通常缺乏对这些区域间差异的精细化建模，导致恢复结果往往难以满足高质量的恢复需求。

3、例如，基于深度学习的图像恢复方法通常采用卷积神经网络或生成对抗网络进行图像修复，这些方法虽然在一些简单的退化场景中表现出色，但在面对复杂的退化模式时，其恢复效果容易受到限制。特别是在图像受多重退化因素影响的情况下，现有图像恢复方法往往缺乏针对不同区域退化差异的自适应动态调整机制，也不能有效处理不同区域之间的退化差异，导致恢复结果出现过度增强或虚假纹理等问题。

4、为了克服这些问题，越来越多的研究开始关注区域级别的图像恢复方法。这些方法通过对图像进行区域划分，针对每个区域的退化情况进行单独处理，从而提高恢复精度。然而，现有的区域恢复方法大多忽略区域之间的退化关联，或者仅仅依赖于单一特征来描述区域之间的关系。这使得区域恢复效果仍然受到限制。

5、因此，如何有效地利用图像区域之间的退化相关性、空间邻接关系、结构一致性和语义一致性，针对不同区域采用自适应恢复策略，并通过区域间约束关系对恢复过程进行联合优化，成为图像恢复领域中的一大挑战。

技术实现思路

1、发明目的：为了克服以上不足，本发明的目的是提供一种基于区域退化约束图与闭环重退化校验的图像恢复方法，旨在解决现有技术中图像恢复效果不佳，尤其是在复杂的多退化耦合场景下，恢复结果存在过度增强和虚假纹理等问题。

2、为了解决这一问题，本发明提供了一种新的图像恢复方法。该方法通过引入区域退化约束图来描述图像不同区域之间由退化相似性、空间关联性、结构相似性和语义一致性共同确定的区域约束关系，同时结合闭环重退化校验机制，根据模拟退化图像与待恢复图像之间的一致性误差修正退化描述和恢复策略，从而提高区域级恢复结果的稳定性和可信度。

3、其中，区域退化约束图不是单纯用于区域建模，而是影响恢复路由权重；恢复路由权重不是只根据单区域退化向量生成，而是由图传播后的图增强退化特征生成；重退化一致性误差不是只评价最终图像，而是反向修正退化描述向量，并进一步改变边权和路由；可信度图不是附加输出，而是用于控制低可信区域的保守恢复强度。

4、技术方案：为了实现上述目的，本发明提供了一种基于区域退化约束图与闭环重退化校验的图像恢复方法，包括：

5、s1）：获取包含至少一种退化因素的待恢复图像；

6、s2）：将待恢复图像划分为多个初始图像单元，并对同质区域合并，得到多个图像区域，并提取各图像区域的空间位置、局部结构和语义信息，建立图像区域之间的空间邻接关系，得到用于构建区域退化约束图的候选邻接边集合；

7、s3）：通过退化感知模型对图像区域进行局部退化特征提取，得到对应的区域退化描述向量；

8、s4）：结合各图像区域的空间邻接关系、结构相似性、语义一致性以及退化相似性，构建用于表征区域退化关联与恢复约束的区域退化约束图；

9、s5）：获得图增强退化特征，并基于图增强退化特征生成每个图像区域对应的恢复路由权重；并将图像区域内容输入至多个恢复专家分支，得到多个候选恢复特征；随后基于恢复路由权重对多个候选恢复特征进行加权融合，得到初步恢复图像；

10、s6）：生成对应图像区域的重退化参数，并基于重退化参数对初步恢复图像进行重退化模拟，并对退化模拟结果进行融合，得到模拟退化图像；将模拟退化图像与待恢复图像进行一致性校验，得到一致性误差；

11、s7）：根据一致性误差，对区域退化描述向量、区域退化约束图和恢复路由权重进行闭环更新，并基于更新后的恢复路由权重重新生成恢复结果，输出最终恢复图像和区域恢复可信度图。

12、其中，所述的基于区域退化约束图与闭环重退化校验的图像恢复方法，所述s2）中得到用于构建区域退化约束图的候选邻接边集合的具体过程如下： s201）：根据划分的初始图像单元的特征计算相邻初始图像单元之间的结构一致性评分，当结构一致性评分大于或等于预设结构一致性阈值时，将对应的相邻初始图像单元合并为同一图像区域，得到多个结构一致的图像区域；

13、s202）：记录每个图像区域在待恢复图像中的空间位置信息；

14、s203）：提取每个图像区域的局部结构信息和语义信息，

15、s204）：根据图像区域之间的空间邻接关系、中心点距离、结构相似性和语义一致性，建立图像区域之间的候选邻接关系，得到用于构建区域退化约束图的候选邻接边集合。

16、其中，所述的基于区域退化约束图与闭环重退化校验的图像恢复方法，所述s3）中区域退化描述向量的具体方法如下： s301）：将每个图像区域输入退化感知模型，提取该图像区域对应的局部退化特征；

17、s302）：局部退化特征分别输入多个退化预测头，得到每个图像区域对应的区域退化描述向量；

18、s303）：区域退化描述向量包括噪声强度、模糊尺度、模糊方向、压缩伪影强度、低照度程度、雾化程度、雨雪遮挡概率和退化不确定性中的至少一种，其中，所述退化不确定性由退化感知模型中的不确定性预测头输出，所述退化不确定性包括退化参数预测方差、对数方差或置信度反向量化值中的至少一种。

19、进一步的，所述的基于区域退化约束图与闭环重退化校验的图像恢复方法，所述构建用于表征区域退化关联与恢复约束的区域退化约束图的具体过程如下：

20、s401）：将每个图像区域作为区域退化约束图中的一个节点，并将该图像区域对应的区域退化描述向量、空间位置、局部结构信息和语义信息作为节点特征；  s402）：根据不同图像区域之间的空间邻接关系建立候选边；

21、s403）：根据不同图像区域之间的退化描述向量相似度、纹理连续性、边缘方向一致性、亮度分布相似性和语义类别一致性，分别量化得到所述退化相似性、结构相似性和语义一致性，并以此计算候选边的边权；

22、s404）：根据节点、节点特征、候选边和边权构建区域退化约束图。

23、进一步的，所述的基于区域退化约束图与闭环重退化校验的图像恢复方法，所述区域退化约束图表示为：

24、

25、其中，表示节点集合，每个节点对应一个图像区域；表示边集合，用于连接存在退化关联的图像区域；表示邻接权重矩阵；

26、第个节点与第个节点之间的边权由以下方式确定：

27、

28、其中，表示行归一化函数，表示两个图像区域之间归一化后的退化相似性，基于区域退化描述向量之间的余弦相似度确定；分别表示第个图像区域和第个图像区域的区域退化描述向量；

29、表示两个图像区域之间归一化后的空间关联性，分别表示第个图像区域和第个图像区域的空间位置信息；

30、表示两个图像区域之间归一化后的结构相似性，分别表示第个图像区域和第个图像区域的局部结构特征；表示两个图像区域之间归一化后的语义一致性，分别表示第个图像区域和第个图像区域的语义信息；分别表示退化相似性、空间关联性、结构相似性和语义一致性的权重系数，且满足：

31、且

32、所述相似性函数的输出值被归一化至相同取值范围内，以避免不同特征度量之间由于量纲差异造成边权计算偏置。

33、更进一步的，所述初步恢复图获得的具体过程如下：

34、s501）：将区域退化约束图中的节点特征输入图信息传播模块，获得每个图像区域的图增强退化特征；

35、s502）：将图增强退化特征输入恢复路由生成模块，得到每个图像区域对应的恢复路由权重；

36、s503：将待恢复图像中每个图像区域的图像内容输入共享特征编码模块，得到对应的区域输入特征，并将区域输入特征分别输入多个基于深度神经网络构建的恢复专家分支，得到多个候选恢复特征；

37、s504：根据每个图像区域对应的恢复路由权重，对多个候选恢复特征进行加权融合，得到对应图像区域的区域恢复特征；

38、s505：将各图像区域对应的区域恢复特征输入图像重建模块，并根据各图像区域的空间坐标或区域掩码进行融合，得到初步恢复图像。

39、进一步优选地，所述基于深度神经网络构建的恢复专家分支包括去噪恢复专家分支、去模糊恢复专家分支、去压缩伪影恢复专家分支、去雾恢复专家分支、去雨雪遮挡恢复专家分支和低照度增强专家分支中的至少一种；

40、所述恢复路由权重用于控制不同恢复专家分支在对应图像区域中的参与程度，且第个个图像区域对应的恢复路由权重满足：

41、

42、其中，表示第个图像区域对第个恢复专家分支的恢复路由权重，表示恢复专家分支的数量；第个图像区域的区域恢复特征通过以下方式获得：

43、其中，表示图像区域的区域恢复特征，表示第个图像区域的输入特征，表示第个基于深度神经网络构建的恢复专家分支。

44、更进一步的，所述s7）根据一致性误差，对区域退化描述向量、区域退化约束图和恢复路由权重进行闭环更新，并基于更新后的恢复路由权重重新生成恢复结果，输出最终恢复图像和区域恢复可信度图，具体过程如下：

45、s701）：根据一致性误差计算每个图像区域对应的局部一致性误差，当目标图像区域的局部一致性误差大于预设误差阈值时，对该目标图像区域对应的区域退化描述向量进行修正；

46、s702）：根据修正后的区域退化描述向量重新计算目标图像区域与其他图像区域之间的边权，并更新区域退化约束图；

47、s703）：根据更新后的区域退化约束图重新生成恢复路由权重，并调整对应图像区域的恢复强度；

48、s704）：基于调整后的恢复路由权重和恢复强度重新生成恢复结果，得到最终恢复图像；

49、s705）：根据局部一致性误差、退化估计不确定性以及恢复前后结构变化量，生成区域恢复可信度图；

50、s706）：当某一图像区域在区域恢复可信度图中的可信度低于预设可信度阈值时，降低该图像区域的纹理生成强度、边缘增强强度和细节补偿强度，并保留更多来自待恢复图像的原始观测信息，以减少虚假纹理和过度恢复。

51、还包括一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实施一种基于区域退化约束图与闭环重退化校验的图像恢复方法。

52、还包括一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现一种基于区域退化约束图与闭环重退化校验的图像恢复方法。

53、上述技术方案可以看出，本发明具有如下有益效果：

54、本发明所述的基于区域退化约束图与闭环重退化校验的图像恢复方法能够实现精确的区域级恢复：本方案中通过区域退化约束图的引入，能够有效描述图像不同区域之间由退化相似性、空间关联性、结构相似性和语义一致性共同确定的区域约束关系，从而根据每个区域的具体退化特性以及区域间一致性约束自适应生成恢复路由权重，避免传统全图统一恢复策略难以适应区域退化差异的问题，提高恢复精度和细节保留能力。

55、多退化因素处理能力：本发明能够同时处理图像中的多种退化因素（如噪声、模糊、压缩伪影、低照度等），并通过闭环重退化校验机制优化恢复过程，避免了过度增强和虚假纹理的生成，从而使恢复结果更加自然和真实。

56、提高恢复结果的可信度：本发明通过量化每个区域恢复结果的可信程度，结合一致性误差的闭环反馈更新机制，有效保证了恢复结果的高精度与可靠性，避免了传统方法中无法准确评估恢复质量的问题。

57、广泛的应用前景：本发明的图像恢复方法具有较强的通用性，适用于图像增强、监控修复、遥感图像恢复、低照度图像增强等多个领域，能够在复杂和多变的退化场景中实现高质量的图像恢复，具有较强的市场潜力和广泛的应用价值。

58、综上所述，本发明通过引入由退化相似性、空间关联性、结构相似性和语义一致性共同构成的区域退化约束图，并结合闭环重退化校验机制，对区域退化描述向量、约束边权和恢复路由权重进行迭代更新，从而改善现有图像恢复技术在多退化耦合和区域退化差异明显场景下的恢复稳定性和可信度。