一种基于双层优化权重重分配的图像复原监督学习方法

1.本发明涉及图像处理技术领域，更具体的说是涉及一种图像复原监督学习框架及方法。


背景技术：

2.近几年以来，图像复原掀起了图像处理领域广泛地研究与讨论。降质退化的图像损失了大量的图像细节并且颜色畸变严重，这一现象极大地降低图像质量并对后续高级的视觉任务，例如，图像分割、图像检测、目标跟踪等，产生重要的影响。特别是在自动驾驶、城市监控等应用领域，雾天天气、雨雪天气以及环境噪声会造成极大的干扰，甚至造成现有技术的失效。因此，如何有效地复原降质退化的图像尤为关键。
3.在实际生活中，图像降质退化的原因多种多样，从而衍生出各类的图像复原子任务，例如：图像去雾、图像去水、图像去雨、图像去模糊、图像去反射等等。基于不同的子任务，研究员们根据不同降质过程的本质设计了针对性的各类退化模型加性模型、乘性模型、指数模型以及对数模型。图像复原各类子任务的发展历程大致相同，大致均可分为传统基于先验的图像复原方法与基于监督学习的深度网络图像复原方法两大类，以下我们以图像去雾为例，介绍图像去雾算法的发展背景。
4.在图像去雾子任务中，图像受雾影响的过程经常简化为如下的大气散射模型：
5.i(x)＝t(x)j(x) (1-t(x))a
6.其中，i(x)代表受雾污染的图像，j(x)代表原始图像，a代表环境光，t(x)代表图像深度。在上式中，受雾污染的图像已知，环境光可估计，而原始图像与图像深度均不可知，对于只有一个约束的大气散射模型要求解原始图像高度不适定。
7.传统的去雾算法大多基于各种物理先验求解不适定的去雾问题，例如，暗通道先验、颜色衰减先验以及全局先验。在暗通道先验中，作者发现真实场景中非天空的区域在r、g、b三个通道中至少有一个通道数值趋近于0：基于此统计规律，作者利用暗通道先验获取图像深度信息，进而求解不适定问题下的原始图像。其他物理先验的求解过程与暗通道相似，但基于不同的统计规律：颜色衰减先验分析图像的近景、中景与远景时发现雾的浓度与图像亮度和饱和度之差呈正比；全局先验分析图像的颜色空间发现真实场景数十万的像素颜色可以很好地聚类成几百个独特的颜色点。传统去雾算法基于统计规律对大气散射模型引入额外的约束，进而求解不适定的去雾问题。
8.近些年以来，随着深度学习在图像检测、图像分割等图像处理领域取得惊人的进展以及大数据驱动下各种数据集的完善，基于监督学习的图像去雾方法被不断提出并且取得了很好的成效。监督学习的去雾算法前期也是基于大气散射模型，设计深度神经网络直接拟合大气散射模型中的重要参数，例如，图像深度信息以及环境光。最近，考虑到大气散射模型本身的局限性，更多端到端网络架构的监督模型被开发出来，在不同数据集上表现出巨大的优势。
9.目前，图像去雾算法可分为基于物理先验的去雾算法和基于监督学习的去雾算法
两大类。其中，基于物理先验的去雾算法虽然具有很好的可解释性但均建立在特定的统计规律上，当图像满足这些物理先验时，去雾效果明显；当图像信息与物理先验相违背时，去雾算法失效。这使得基于物理先验的去雾算法缺乏较好的泛化能力，无法应对复杂多变的真实雾化场景。相比于基于物理先验的去雾算法，基于监督学习的去雾算法在数据驱动下能够拟合出更复杂的高维图像映射关系，并且在真实场景中具有相对较好的泛化能力。
10.虽然，目前各式各样的图像复原算法取得了长足的发展进步，但是，现存的监督学习图像复原算法往往忽略了自然场景图像退化过程中在不同区域分布不均匀的事实：在损失函数设计时忽略了每个区域之间不同的重要性，而是将不同区域的损失函数平等地加和。这样不合理的损失函数设计导致了监督图像复原算法训练网络模型时对重污染退化区域无法有效地恢复，因此，如何有效地解决因退化过程分布不均匀所导致的局部图像复原不理想的问题是本领域技术人员亟需解决的问题。


技术实现要素：

11.有鉴于此，本发明提供了一种图像复原监督学习框架及方法，通过设计内外两个优化循环，内循环优化在传统监督图像复原算法的基础上对不同重要性样本赋上相应的学习权重，外循环优化则对不同重要性样本进行权重分配，从而对降质退化严重的区域赋上较大的学习权重，对相对较轻的区域赋上较小的学习权重。为了实现上述目的，本发明采用如下技术方案：
12.一种基于双层优化权重重分配的图像复原监督学习方法，包括内循环图像复原优化网络与外循环权重重分配优化网络；
13.获取退化降质样本和相应的真值样本；
14.固定外循环权重重分配优化网络参数，降质退化样本输入至所述内循环图像复原优化网络进行去退化估计，通过将去退化估计图像与真值样本对比计算内循环图像复原优化网络损失函数，对内循环图像复原优化网络参数进行更新优化；
15.降质退化样本分别输入至更新前后的内循环图像复原优化网络进行去退化估计，通过将更新前后的去退化估计图像与真值样本对比，计算外循环权重重分配优化网络损失函数和外循环奖励，固定更新后内循环图像复原优化网络参数，通过外循环奖励对外循环权重重分配优化网络参数进行更新优化，作为所述外循环权重重分配优化网络参数；
16.判断是否到达迭代次数，若否则继续重复执行内循环图像复原优化网络与外循环权重重分配优化网络的交替优化；若是，则输出最终更新优化后的内循环图像复原优化网络。
17.优选的，所述内循环图像复原优化网络参数进行更新优化具体包括，
18.将降质退化样本直接送入内循环图像复原优化网络中，同时将降质退化样本和真值样本合并后送入外循环权重重分配网络；获取每个合并后样本对应的学习权重；
19.对每个合并后样本的学习权重与每个样本的图像复原损失函数做点积操作，得到内循环优化的最终损失函数。
20.优选的，所述内循环图像复原优化网络参数进行更新优化的过程中，从训练集中剪裁出降质退化样本和相应的真值样本输入至所述内循环图像复原优化网络。
21.优选的，所述内循环图像复原优化网络采用监督图像复原网络模型。
22.优选的，所述外循环权重重分配优化网络参数进行更新优化的过程中，分别从训练集与验证集剪裁出降质退化样本和相应的真值样本；
23.将训练集剪裁出的降质退化样本输入至更新前的内循环图像复原优化网络，计算得到去退化估计图像一，同时将验证集剪裁出的降质退化样本输入至更新后的内循环图像复原优化网络，计算得到去退化估计图像二；
24.将去退化估计图像一和去退化估计图像二分别与真值样本对比得到训练集和验证集对应样本的损失函数。
25.优选的，通过反向传播，对所述训练集和验证集对应样本的损失函数进行求导，求取更新前后的内循环图像复原优化网络的降质退化样本梯度，将两者的梯度做点积操作，得到梯度点积结果；
26.利用正则项算子对训练集中每个样本的权重求偏导，得到每个样本相对于正则项算子的求偏导结果；
27.根据所述梯度点积结果与所述每个样本的求偏导结果，得到每个样本对应的外循环奖励。
28.优选的，所述外循环权重重分配优化网络训练过程中，每个样本对应的外循环奖励与外循环奖励比较值进行比较，根据比较结果更新当前样本的权重系数。
29.优选的，外循环奖励比较值包括：
30.所有样本外循环奖励函数的均值作为所述外循环奖励比较值；或，
31.利用critic网络对每一样本的价值进行评估，并将评估值作为每一个样本外循环奖励的比较值。
32.优选的，在更新当前样本的权重系数后，通过输入样本的外循环奖励更新所述外循环奖励比较值。
33.优选的，所述外循环权重重分配优化网络包括：经典残差网络、u-net、dense-net，transformer、fa模块以及多层感知机；
34.经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种图像复原监督学习框架及方法，通过设计内外两个优化循环，将上述不合理的加和损失函数转变为加权损失函数，内循环实现加权的监督图像复原优化，外循环实现不同重要性样本权重的重分配，使其对降质退化严重的区域赋上较大的学习权重，对降质退化较轻的区域赋上较小的学习权重，从而显著地提高监督图像复原算法的性能，有效地解决降质退化分布不均匀所导致局部图像复原不理想的问题以生成色调更自然的去退化后图像。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
36.图1是本发明提供的一种去雾监督学习方法的流程图；
37.图2是本发明提供的内循环损失函数计算流的流程图；
38.图3是本发明提供的外循环损失函数计算流的流程图。
具体实施方式
39.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
40.本发明公开了一种基于双层优化权重重分配的图像复原监督学习方法，主要包括内循环图像复原优化网络与外循环权重重分配优化网络；
41.首先，获取降质退化样本和相应的真值样本；
42.固定外循环权重重分配优化网络参数，降质退化样本输入至所述内循环图像复原优化网络进行去退化估计，通过将去退化估计图像与真值样本对比计算内循环图像复原优化网络损失函数，对内循环图像复原优化网络参数进行更新优化；
43.所述内循环图像复原优化网络参数进行更新优化具体包括，
44.将从训练集中剪裁出的降质退化样本和相应的真值样本直接送入内循环图像复原优化网络中，同时将上述降质退化样本和真值样本合并后送入外循环权重重分配网络；获取每个合并后样本对应的学习权重；
45.对每个合并后样本的学习权重与损失函数做点积操作，得到内循环优化的最终损失函数。
46.所述内循环图像复原优化网络采用监督图像复原网络模型，考虑到图像大小以及cpu、gpu内存等硬件条件，可在内循环图像复原优化网络前后设计下采样/上采样结构解决硬件限制。
47.进一步的，目前面对由于图像大小以及cpu、gpu内存不足导致的硬件限制时，一般有两种解决方式：
48.1、采用下采样-去雾-上采样的结构，经过下采样后图像尺寸大大减少，然后对缩小后的图像进行处理，再经过上采样过程恢复原始的图像大小。
49.2、采用分块的方式，将图像分成不同的小块，对不同的小块分别进行处理后，然后再将不同的小块拼接成原始图像大小。
50.经过实验验证，采用下采样/上采样的结构效果更优，克服了分块方式中块与块之间不连续，图像复原断层割裂的问题，并且在此结构中，采用卷积下采样以及卷积上采样的方式，相比于最近邻、双线性、三线性插值采样的方式，采样恢复出的图像细节更加细腻、丰富。
51.然后，训练集与验证集的降质退化样本分别输入至更新前后的内循环图像复原优化网络进行去退化估计，通过将更新前后的去退化估计图像与真值样本对比，计算外循环权重重分配优化网络损失函数和外循环奖励；固定更新后内循环图像复原优化网络参数，通过外循环奖励对外循环权重重分配优化网络参数进行更新优化，作为所述外循环权重重分配优化网络参数；
52.所述外循环权重重分配优化网络参数进行更新优化的过程中，分别从训练集与验证集剪裁出降质退化样本和相应的真值样本；
53.将训练集剪裁出的降质退化样本输入至更新前的内循环图像复原优化网络，计算得到去退化估计图像一，同时将验证集剪裁出的降质退化样本输入至更新后的内循环图像
复原优化网络，计算得到去退化估计图像二；
54.将去退化估计图像一和去退化估计图像二分别与真值样本对比得到训练集和验证集对应样本的损失函数。
55.通过反向传播，对所述训练集和验证集对应样本的损失函数进行推导，求取更新前后的内循环图像复原优化网络的降质退化样本梯度，这里利用了pytorch里面的自动求导(autograd)功能，通过设置训练集和验证集的损失函数，利用反向传播自动求导功能，保留保存在模型参数中的梯度信息作为损失函数对网络参数的梯度；然后将两者的梯度做点积操作，得到梯度点积结果；
56.利用正则项算子对训练集中每个样本的权重求偏导，得到每个样本的求偏导结果；对于每一种正则项算子都有其特定的数学公式，以熵函数为例，熵的表达式为：
[0057][0058]
对熵求每一样本偏导：
[0059][0060]
由以上推导可直接求出对应正则项算子对于每一样本的偏导数，外循环奖励具体推导公式如下：
[0061][0062]
由上述推导可知，外循环损失函数对网络参数的导数可近似为类似强化学习中policygradient的参数更新形式，第一部分代表每一个样本所对应权重，第二部分奖励函数决定前者权重的更新，若奖励函数高于所有样本外循环奖励函数的均值，则代表该样本相比于其他样本更加重要，进而提高该样本在损失函数中的权重系数；反之，则降低其权重系数。通过以上的网络设计与优化过程，在实验中发现，降质退化严重的区域以及纹理、颜色丰富的区域趋向于更大的权重分配，这些区域往往更加难以恢复，与最初的直觉相符。
[0063]
进一步的，根据所述梯度点积结果与所述每个样本的求偏导结果，得到每个样本对应的外循环奖励。
[0064]
外循环权重重分配优化网络训练过程中，每个样本对应的外循环奖励与外循环奖励比较值进行比较，根据比较结果更新当前样本的权重系数。
[0065]
外循环奖励的比较手段有多种，包括：
[0066]
1、可以计算出所有样本外循环奖励的均值作为比较值，训练过程中输入的样本外循环奖励均与这一标准值进行比较(实际上是做减法)，指导每一样本的权重更新。
[0067]
2、引入评论家(critic)网络对每一样本的价值进行评估，并将评估值作为每一个样本外循环奖励的比较值，进而指导每一样本的权重更新，但同时为了优化引入的评论家
(critic)网络，需要额外的损失函数进行优化更新，操作较为繁琐。
[0068]
同时，比较更新权重系数后进而通过输入样本的外循环奖励更新这一比较值。以上两种比较手段在本质上均是归一化的操作，只比较样本间的相对情况。
[0069]
具体更新过程如下：
[0070][0071]
经过以上数学推导，外循环网络损失函数可近似等价于以下形式：
[0072][0073]
外循环权重重分配网络优化目标为损失函数的最小化，即近似损失函数的最小化。从数学表达式中可知，近似损失函数由样本权重的对数加和组成，其中c为正实数。当样本的外循环奖励大于我们设置的奖励标准值时(即ri为正数时)，要使得函数-c
iri
logw(xi,yi；φ)最小，依据对数函数的单调性，需要增大w(xi,yi；φ)，即增大样本的权重系数；当样本的外循环奖励小于我们设置的奖励标准值时(即ri为负数时)，要使得函数-c
iri
logw(xi,yi；φ)最小，依据对数函数的单调性，需要减小w(xi,yi；φ)，即降低样本的权重系数。以上实现损失函数最小化的过程，通过pytorch中的反向传播梯度自动求导更新实现。
[0074]
此外，所述外循环权重重分配优化网络由经典的残差网络、u-net、dense-net以及多层感知机组成，也可以是transformer、fa等复杂结构网络，网络结构可经验性设计。本专利通过对损失函数梯度简单的推导，引入强化学习奖励机制指导参数更新，并设计熵正则项，以提高外循环网络的探索性。
[0075]
最后，判断是否到达迭代次数，若否则继续重复执行内循环图像复原优化网络与外循环权重重分配优化网络的交替优化；若是，则输出最终更新优化后的内循环图像复原优化网络。
[0076]
基于双层优化权重重分配的图像复原监督学习方法是一种通用的训练方法，可兼容任意一种基于监督学习的图像复原算法并有效地提升其网络性能。此图像复原监督学习方法主要包括内循环权重图像复原网络与外循环权重重分配网络，可数学化描述为以下的双层优化问题：
[0077][0078][0079]
其中，在公式中，
[0080]
[0081][0082]
对φ的优化为外循环权重重分配优化，对θ的优化为内循环加权图像复原优化，w(x,y；φ)为fw(x,y；φ)外循环网络的输出学习权重，l(
·
)为经典的l1/l2损失算子。
[0083]
该数学公式包含两层优化，即对内循环图像复原优化网络参数的优化，及对外循环权重重分配优化网络的优化。为了保证优化的稳定性，避免同时对以上两个网络参数优化所带来的负面耦合效应，采用了交替更新优化的方法，在优化内循环图像复原优化网络时，固定外循环网络参数；在优化外循环权重重分配优化网络时，固定内循环网络参数。同时在更新优化内循环网络时，设计了基于权重的损失函数，由其展开式可知，基于权重的损失函数建立在训练集上，并且在每个样本l1/l2损失算子前添加了重要性权重系数，以实现对不同样本学习的调控；在更新优化外循环网络时，采用了加和形式的损失函数，由其展开式可知，加和形式的损失函数建立在验证集上，且每一个样本的权重相同，在此基础上还添加了正则化项，以满足特定的权重分配要求(例如，添加熵正则项避免在一个batch中样本权重分布过于极端，保证优化的稳定性)。
[0084]
总而言之，针对内循环与外循环两个网络参数的优化，采用了交替更新优化的方式，固定一个，优化另一个，并且，针对每一个网络参数优化分别设计了对应的损失函数，对于内循环网络，期望其在训练集上损失函数最小；对于外循环网络，期望其在验证集上损失函数最小。设计训练集与验证集的目的是增强最终图像复原模型的泛化能力。
[0085]
在一种实施例中，通过reside合成雾化数据集进行训练(实例中以图像去雾子任务为例，此框架也应用于任何一种图像复原子任务中，例如图像去水，图像去雨等等，步骤与图像去雾步骤一致，只需更改相对应的训练集与验证集数据集即可)，其去雾监督学习方法流程如图1所示，
[0086]
s1：从reside合成雾化数据集its中随机抽取5000张雾化图像作为训练集，另抽取500张作为验证集，同时从sots中选择500张雾化图像作为测试集；
[0087]
s2：内循环去雾网络采取ffa-net网络框架，外循环权重网络采用下采样残差网络框架，并对内外循环网络进行网络参数初始化；
[0088]
s3：随机从训练集中抽取一组样本，包含10张雾化图像；
[0089]
s4：对所选的10张雾化图像进行剪裁操作，剪裁出240*240的图像区域，作为内外循环的网络输入；
[0090]
s5：固定住外循环权重网络参数，通过内循环损失函数计算流(图2)对内循环去雾网络参数进行更新；
[0091]
s6：保存更新前后的内循环去雾网络，并根据外循环损失函数计算流(图3)得到外循环优化奖励；
[0092]
s7：基于外循环优化奖励，固定住内循环去雾网络参数，对外循环权重重分配网络参数进行相应的更新；
[0093]
s8：判断是否达到最大迭代次数：如果否返回s2步骤继续交替优化；如果是停止优化，得到所需的内循环去雾网络。
[0094]
进一步的，所述s5步骤内循环损失函数计算流(如图2)具体包括：
[0095]
s51：分别从训练集中裁剪出雾化样本与真值样本；
[0096]
s52：将雾化样本送入内循环去雾网络fd(x；θ)，其中，x为雾化图像，θ为内循环网络参数，同时将雾化样本与真值样本合并后，送入外循环权重重分配网络fw(x,y；φ)，其中，x为雾化图像，y为真实图像，φ为外循环网络参数；
[0097]
s53.1：通过内循环去雾网络获取去雾后的估计图像与真值图像对比，得到每个样本对应的l1/l2损失函数，l1，l2，l3，l4为每个样本的损失函数；
[0098]
s53.2：通过外循环权重重分配网络获取每个样本对应的学习权重；外循环权重重分配网络的功能参见图2虚线框，将原本均等权重的样本重新分配为加权的样本。横坐标为样本编号，纵坐标为样本权重，经过权重重分配网络后每个样本具有不同的权重系数，这些权重与样本的l1/l2算子加权构成外循环的损失函数。
[0099]
s54：对每个样本的学习权重与损失函数做点积操作得到内循环优化的最终损失函数j(d
t
；φ
*
,θ)，其中，外循环网络参数φ
*
假设为最优固定，内循环网络参数θ可优化，至此计算流结束。
[0100]
进一步的，所述s6步骤外循环损失函数计算流(如图3)具体包括：
[0101]
s61：分别从训练集与验证集中裁剪出雾化样本；
[0102]
s62：将训练集的裁剪雾化样本送入更新前的内循环去雾网络fd(x；θ
t
)中，同时将验证集的剪裁雾化样本送入更新后的内循环去雾网络fd(x；θ
t-1
)中；
[0103]
s63：通过更新前后的内循环去雾网络获取训练集与验证集裁剪雾化样本的去雾估计图像，并与真值图像对比得到相应的l1/l2损失函数；
[0104]
s64：通过反向传播求取训练集裁剪样本的梯度信息与验证集裁剪样本的梯度信息然后将两者的梯度做点积操作；
[0105]
其中，为反向传播求梯度算子，d
t
为训练集，1(d
t
；θ
t-1
)为建立在训练集上单个样本在更新前内循环去雾优化网络上的l1\l2损失函数，dv为验证集，j(dv；θ
t
)为建立在验证集上的加和损失函数，并且内循环网络参数θ固定，仅用作测试验证集上网络性能；
[0106]
s65：最后，利用正则项算子对训练集和验证集中每个样本的权重求偏导；
[0107]
根据所述梯度点积结果与正则项算子对权重的偏导结果，得到所述外循环奖励。本专利中采用熵形式，原则上可以使用任意合理的正则项约束，例如kl散度正则项；r为外循环强化学习奖励参数。
[0108]
本发明提供的基于双层优化权重重分配的图像复原监督学习框架在测试应用时并不会增加额外的硬件消耗，内循环图像复原网络可采用任意子任务下通用的图像复原深度模型，而外循环权重重分配网络仅仅用于训练阶段，在测试阶段可以直接移除。
[0109]
本方案通过引入权重分配、双层优化验证以及强化学习奖励机制思想，充分考虑了真实自然场景中降质退化分布不均匀的现象，可应用到任意通常的监督图像复原算法上，实验结果表明，基于双层优化的监督图像复原训练框架可以显著地提高监督图像复原算法的性能，有效地解决降质退化分布不均匀所导致局部去退化不理想的问题以及生成色调更自然的去退化后图像，为后续图像检测、目标跟踪以及图像分割提供质量更高的原始图像，增强自动驾驶、城市监控在低质恶劣环境下的鲁棒性与泛化性。
[0110]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置
而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0111]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。