基于循环生成对抗残差网络及QTP损失项的黑夜图像增强方法及系统与流程

技术特征：
1.一种基于循环生成对抗残差网络及qtp损失项的黑夜图像增强方法，其特征在于，包括以下步骤：步骤1：收集黑夜场景图像和对应白天场景图像形成数据集；将数据集划分为测试集和训练集，并进行数据预操作；步骤2：搭建循环生成对抗残差网络，其网络结构由一对生成网络g
a
与判别网络以及另一对生成网络g
b
与判别网络组成；所述生成网络采用编码网络 残差块 解码网络结构，所述生成网络学习白天图像和黑夜图像之间的残差，用于进行黑夜白天域之间的转换；判别网络结构由五层卷积层组成，输出为一维单节点，用于判断生成域是否真实；步骤3：训练循环生成对抗残差网络的第一对生成网络g
a
与判别网络，该生成网络g
a
完成黑夜域到白天域的转换，判别网络完成对生成网络g
a
的预测白天场景图像同真实白天场景图像进行比较，二者对抗协同进行训练，直至判别网络无法区分生成网络g
a
的生成结果是预测白天场景图像还是真实白天场景图像；而后训练第二对生成网络g
b
与判别网络，完成真实白天场景图像到预测黑夜场景图像的转换，训练过程和第一对类似，在第一对生成网络g
a
训练完成后训练第二对生成网络g
b
，二者交替训练；在所述循环生成对抗残差网络的训练中，将训练集数据和预操作后的数据作为输入以达到增加训练数据量的目的，将其随机切割成256*256像素尺寸以加快网络训练速度，随后将256*256像素尺寸的图像输入到循环生成对抗残差网络的生成网络，生成预测白天图像；将此生成图像经过总体损失函数的计算后更新反传，再输入对应的判别网络进行判别；循环生成对抗残差网络的生成网络和判别网络在训练过程中交替更新，目标是使得总体损失函数最小，使得网络尽量收敛，得到接近收敛的黑夜增强网络；步骤4：将实际需要处理的黑夜场景图像输入训练好的黑夜增强网络，得到增强后的生成白天图像。2.如权利要求1所述的基于循环生成对抗残差网络及qtp损失项的黑夜图像增强方法，其特征在于，步骤1中包括数据预操作：剪裁图像、缩放图像尺寸大小、图像旋转与翻转，最后将图像像素矩阵以均值方差皆为0.5归一化至[0，1]，作为循环生成对抗残差网络的输入内容。3.如权利要求1所述的基于循环生成对抗残差网络及qtp损失项的黑夜图像增强方法，其特征在于，步骤3中对于循环生成对抗残差网络的训练，包括两组损失项；循环对抗网络损失项和qtp损失项；循环对抗网络损失项包括l
gan
、l
cycle
、l
identity
；所述qtp损失项包括l
quality
、l
task
、l
phase
；其中，l
quality
为质量损失：首先用基本模型resnet50提取语义特征，然后将语义特征输入到超网络中，质量预测目标网络进行质量预测的结果输出，该输出值的范围是[0，100]，数值越大则表示图像质量越优异，该数值结果评估出图像优劣；l
task
为任务损失：建立可以评估预测图像白天概率的白天概率预测器，训练白天概率预测器的生成网络，使得该生成网络能输出一张像素值非黑即白的标签图，计算该标签图的像素平均值从而得到一幅图像的白天概率预测值；获得了图像的白天概率预测值，将该概率预测值归一化到[0，1]之间后，加入循环生成对抗残差网络中，作为一损失项约束循环生成对抗残差网络的训练；l
phase
为感知损失：在循环生成对抗残差网络训练的时候，保持生成图像和原始黑夜的
相位一致来达到保持生成图像内容与原始黑夜图像一致的目的，在语义内容维度上约束了生成对抗网络。4.如权利要求3所述的基于循环生成对抗残差网络及qtp损失项的黑夜图像增强方法，其特征在于，白天概率预测器的网络结构由三层卷积层，九个残差模块，三层反卷积层构成。5.如权利要求3所述的基于循环生成对抗残差网络及qtp损失项的黑夜图像增强方法，其特征在于，白天概率预测器的数据准备过程为：首先分别将黑夜数据集和白天数据集进行随机切块拼接，使得拼接之后的图像由黑夜域的小块和白天域的小块组成，再给合成的拼接图打上标签；如果小块是属于黑夜的，则标签为0，如果是属于白天的则置255，那么拼接图对应的生成一张标签图；对于经过上述过程标定的标签图，统计属于白天标签的像素个数占整体图像尺寸的比率代表这张图属于白天的概率；由于全黑像素值为0，全白像素值为255，如果将[0，255]归一化到[0，1]之后，那么白天概率就是对应计算整张图像素的平均值；在数据准备过程中，准备10000
‑
15000张拼接的图像和经过标定的标签图提供给白天概率预测器进行训练。6.如权利要求3所述的基于循环生成对抗残差网络及qtp损失项的黑夜图像增强方法，其特征在于，白天概率预测器的训练方式是将白天概率预测器生成的标签图和经过标定的标签图做均方误差，使得二者尽可能接近；最后准确率达到80％以上的吻合以后投入使用。7.如权利要求1所述的基于循环生成对抗残差网络及qtp损失项的黑夜图像增强方法，其特征在于，步骤3中总体损失函数具体定义如下：l
overall
＝λ
gan
l
gan
λ
cycle
l
cycle
λ
identity
l
identity
λ
quality
l
quality
λ
taskltask
λ
phase
l
phase
，其中，λ
gan
、λ
cycle
、λ
identity
、λ
quality
、λ
task
、λ
phase
的值根据实际训练效果在0.001
‑
10之间调整。8.如权利要求7所述的基于循环生成对抗残差网络及qtp损失项的黑夜图像增强方法，其特征在于，生成对抗式损失函数：其中，g为循环生成对抗残差网络的生成网络，d为判别网络，y～q(y)表示图像数据y采样于训练集真实白天数据分布q(y)，x～p(x)表示图像数据x采样于训练集输入黑夜数据分布p(x)，判别网络希望最大化公式中大括号内的函数，而生成网络希望最小化公式中大括号内的函数；循环一致性损失函数：l
cycle
＝||g
b
(g
a
(x)
‑
x||1 ||g
a
(g
b
(y)
‑
y||1其中，g
a
为黑夜到白天的生成网络，g
b
为白天到黑夜的生成网络，g
a
的输入一般为真实黑夜场景图像x，是用来生成预测白天图像的生成网络，g
b
的输入一般为真实白天场景图像y，是用来生成预测黑夜图像的生成网络，公式中|| ||1表示l1范数；identity损失函数：l
identity(
g
a
，g
b
)＝e
y～q(y)
[||g
a
(y)
‑
y||1] e
x～p(x)
[|g
b
(y)
‑
x||1]。9.如权利要求7所述的基于循环生成对抗残差网络及qtp损失项的黑夜图像增强方法，其特征在于，quality损失函数：
其中，n表示同时进行优化的图像数量，l
quality
表示损失函数；x
i
为输入真实黑夜图像，g
a
(x
i
)指的是生成的预测白天图像，y
i
为非严格监督的参考真实白天图像；quality(g
a
(x
i
))，quality(y
i
)分别表示生成的预测白天图像和参考真实白天图像的质量得分；task损失函数：其中，g
a
(x
i
)表示生成的预测白天场景图像，g
dp
()为白天概率预测器的输出，该输出为一张像素矩阵，avg()指代像素级别的平均，通过计算该矩阵的平均像素值即可视为该图白天概率值，n表示同时进行计算的图像数量；perception损失函数：其中，表示傅里叶变换的相位谱；分子<，＞表示张量点积，分母中|| ||2表示l2范数，x
i
指的是输入黑夜场景图像，g
a
(x
i
)表示生成的预测白天场景图像，n表示同时进行计算的图像数量。10.一种基于循环生成对抗残差网络及qtp损失项的黑夜图像增强系统，其特征在于，包括：存储器和处理器；所述存储器上存储有计算机程序，当所述计算机程序被所述处理器执行时，实现如权利要求1
‑
9任一项所述的方法。11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1
‑
9任一项所述的方法。

技术总结
本发明提出了一种基于循环生成对抗残差网络及QTP损失项的黑夜图像增强方法，通过QTP三个维度的损失项来分别使得无监督黑夜增强任务面临的问题得到改善。这种混合损失包括在循环对抗网络的损失项以外，另外加上三个部分:质量损失、任务损失和感知损失。质量部分通过加强参考图像和增强结果质量分数之间的相似性来解决模糊图像或伪色问题。任务部分从约束增强结果具有更高的白天概率的角度来解决增强效果不足的问题，也就是白天概率最大化。感知部分通过保持黑夜增强前后图像傅里叶相位谱一致的方法来限制域转换后缺失的语义信息，保证黑夜图像和增强图像的内容一致性。通过融合新的损失函数，最终得到可学习且更理想的黑夜图像增强模型。的黑夜图像增强模型。的黑夜图像增强模型。


技术研发人员：邱崧 郭皓明 徐伟 陈昕苑 孙力 李庆利 丰颖
受保护的技术使用者：华东师范大学
技术研发日：2021.07.16
技术公布日：2021/11/4