一种基于半监督学习的全面屏手机图像增强方法

1.本发明涉及全面屏手机图像增强方法，更具体地说是涉及一种基于半监督学习的全面屏手机图像自适应增强方法。


背景技术：

2.人们对更好视觉体验的追求促使了全面屏手机的兴起，此时屏下摄像技术对于全面屏手机来说是必不可少的。然而，在屏下摄像技术中，嵌在摄像头前方的显示屏会影响透光率和透光方向，导致全面屏手机拍摄的图像出现饱和度退化、色彩偏差和对比度降低等现象。因此，全面屏手机拍摄的图像如何具有高饱和度和鲜艳色彩等令人愉悦的视觉效果，已经成为一个新的真实场景图像增强问题。
3.单张图像增强旨在增强低质量图像的对比度和照度。由于约束和优化等方面的各种挑战，它已成为计算机视觉领域的活跃研究点。在图像增强领域，已经提出了许多基于深度学习的方法。这些方法提取有效且具有代表性的特征，性能优于基于先验的算法。但是，基于深度学习的方法始终需要大量的有标签图像数据对来学习低质量和高质量图像之间的映射关系。由于真实场景的有标签图像数据对不易获取，大多数方法都在合成的有标签数据对上进行训练。由于合成图像本身的局限性，在合成图像数据集上训练的方法始终不能很好地泛化到真实场景中的图像增强上。


技术实现要素：

4.本发明针对现有深度学习增强方法，真实场景数据集的数量有限和模型泛化能力较差等缺点，提出一种基于半监督学习的全面屏手机图像增强方法。
5.在同一场景中，尽管全面屏手机拍摄的图像与其对应高质量图像之间的数据分布不同，但仍然存在相关性。本发明分析了hsv颜色空间的色调、饱和度和明度通道的统计特征，发现色调和饱和度通道在低质量图像和高质量图像之间差异很大，明度通道的差异较小。为了拟合不同通道间的映射关系，提出了色调和饱和度通道的曲线估计方法。通过轻量级的深度卷积神经网络来学习色调和饱和度通道的逐像素自适应曲线参数。然后，将利用学习到的映射曲线参数对真实拍摄所得的低质量图像进行迭代增强，得到对应的高质量图像。
6.该方法的基本思路就是：
7.1.增强曲线估计，本发明利用轻量级的卷积神经网络学习得到图像色调和饱和度通道增强曲线，根据公式(1)，增强曲线可以自动调整每个像素点色调和饱和度增强的幅度，从色调和饱和度通道将低质量图像映射到高质量图像，其中自适应参数取决于输入，所有操作均逐像素进行。进一步提出了通道和空间注意力模块，该模块包含通道注意力和空间注意力，用于随着网络层数的加深提取低质量输入图像的注意力感知特征。
8.in＝i
n-1
μ
nin-1
(1-i
n-1
)
ꢀꢀꢀꢀ
(1)
9.其中，in表示第n次增强后的图像i，μn表示第n次增强曲线参数。
10.2.级联网络，将曲线估计模块堆叠，以增加网络深度来增加模型性能。网络模型可以多种方式级联。尽管本发明采用较为简单的堆叠式架构来级联增强曲线估计模块，但级联是通用的框架，其他深度增强方法也可以类似的方式堆叠以提高其性能。
11.3.半监督学习，为了全面考虑有标签数据对数量的有限性的和模型的泛化能力，本发明提出了一种通过曲线估计进行全面屏手机图像增强的半监督深度学习网络。有监督的分支在有标签的图像对上进行训练，并应用有参考的损失函数来约束训练过程。此外，无监督分支在无标签的图像上进行训练，并以通道先验等无参考的损失函数来约束训练过程。
12.本发明的技术方案为：
13.一种基于半监督学习的全面屏手机图像增强方法，其步骤包括：
14.1)选取或构建一数据集，所述数据集中的每一图像数据对包括由覆盖透明玻璃和不覆盖透明玻璃的同一部智能手机对同一场景所拍摄的图像；其中，覆盖透明玻璃的智能手机所拍摄的图像为低质量图像，不覆盖透明玻璃的智能手机所拍摄的图像为高质量图像；
15.2)构建一图像增强模型，所述图像增强模型包括多个卷积神经网络构成的级联网络；
16.3)采用有监督方式利用所述数据集训练所述图像增强模型：首先利用所述图像增强模型对低质量图像y进行增强得到增强图像y’，然后与低质量图像y对应的有标签高质量图像y进行损失函数计算，优化所述图像增强模型；
17.4)采用无监督方式利用所述数据集训练所述图像增强模型：首先利用步骤3)优化后的所述图像增强模型对低质量图像y进行增强得到增强图像y’，然后基于增强图像y’计算饱和度损失函数、色调通道损失函数和空间一致性损失函数优化所述图像增强模型；
18.5)利用步骤4)优化后的所述图像增强模型对全面屏手机拍摄图像的色调和饱和度通道进行迭代增强，得到对应的高质量的图像。
19.进一步的，利用所述图像增强模型对低质量图像y进行增强得到增强图像y’的方法为：利用卷积神经网络学习得到低质量图像y的色调和饱和度通道增强曲线，然后根据公式in＝i
n-1
μ
nin-1
(1-i
n-1
)调整低质量图像y中每个像素点色调和饱和度增强的幅度，从色调和饱和度通道将低质量图像y映射得到增强图像y’；其中，in表示对低质量图像y进行第n次迭代增强后的图像，μn表示第n次色调和饱和度通道增强曲线参数，增强图像y’为对低质量图像y进行最后一次迭代增强后的图像。
20.进一步的，每次级联时，卷积神经网络利用前一级联网络模块得到的增强图像，来学习得到后一级联网络模块的色调和饱和度通道增强曲线图。
21.进一步的，每次级联时，卷积神经网络将所得增强图像通过连接操作和注意力机制，提取多通道曲线图，并将其分离成多条自适应的色调和饱和度通道增强曲线，分别用于对输入图像进行迭代增强。
22.进一步的，在有监督和无监督的训练过程中，对所得到色调和饱和度通道增强曲线采用曲线平滑损失函数，通过约束各方向的梯度来保持每一曲线的平滑度。
23.进一步的，采用有监督方式利用所述数据集训练所述图像增强模型时，使用均方误差损失函数来确保增强图像y’接近标签图像y。
24.一种服务器，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行上述方法中各步骤的指令。
25.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述方法的步骤。
26.与现有技术相比，本发明的积极效果为：
27.不仅在结构相似度(structural similarity,ssim)和峰值信噪比(peak signal noise ratio,psnr)等指标上表现较好，并且可以达到实时增强的效果，尤其是在4k超高清图像上。
附图说明
28.图1为本发明的整体框架图。
具体实施方式
29.本发明提出一种基于半监督学习的全面屏手机图像增强方法，下面结合具体实施方式对本发明作进一步的详细说明。
30.1.构建真实数据集，因为较难收集有标签的数据对，构建真实场景的训练数据对是图像增强任务的主要挑战，为了克服该问题，许多研究通过各种图像处理算法来合成有标签数据对。本发明建立了一个可用于特定图像质量增强任务的全面屏手机图像增强数据集。数据集中的每一图像数据对是由覆盖和不覆盖透明玻璃的同一部智能手机对同一场景所拍摄的图像，包括在室内和室外环境中拍摄的图像。室外拍摄场景包括街景，公园，古现代建筑物等。在整个收集过程中，均采用默认相机设置。
31.2.增强曲线估计，本发明学习多条图像增强曲线，该曲线可以自动调整每个像素点增强的幅度，从色调和饱和度通道将低质量图像映射到增强图像，其中自适应参数取决于输入，所有操作均逐像素进行。进一步提出了通道和空间注意力模块，该模块包含增强网络中的通道注意力和空间注意力，用于随着网络层数的加深提取注意力感知特征。在模型中，输入低质量图像到多层卷积神经网络中，并通过连接操作和注意力机制，有效提取多通道曲线图，并分离成多条自适应的色调和饱和度通道增强曲线，分别用于在原始低质量输入图像的基础上进行迭代增强。
32.3.级联网络，将增强曲线估计模块堆叠，以增加网络深度来增加模型性能。网络模型可以以多种方式级联。尽管本发明采用较为简单的堆叠式架构来级联增强曲线估计模块，但级联是通用的框架，其他深度增强方法也可以类似的方式堆叠以提高其性能。将经过上一个曲线估计模块增强后的图像输入到下一个曲线估计模块进行级联增强，即在下一个曲线估计模块中重新计算新的增强曲线图，再次进行迭代增强，以达到更好的增强效果。
33.4.有监督分支训练及优化，基于有标签的数据，将构建的级联网络进行模型训练，使用均方误差损失函数来确保增强图像y’接近标签图像y。
34.5.无监督分支训练及优化。在步骤4所得模型参数的基础上，基于无标签的数据，使用饱和度损失函数、色调通道损失函数和空间一致性损失函数来约束无监督分支训练。另外，为了保持相邻像素之间的一致性，并且避免产生伪影，在有监督和无监督的训练过程
中都采用曲线平滑损失函数保持每一曲线图的平滑度。
35.6.利用优化后的网络模型，对全面屏手机拍摄图像的色调和饱和度通道进行迭代增强，得到对应的高质量的图像。
36.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。