用于图像增强的神经网络训练方法、计算机装置及存储介质与流程

本发明涉及神经网络训练的，具体地，是一种用于超清图像增强的神经网络训练方法以及实现这种方法的计算机装置、计算机可读存储介质。

背景技术：

1、随着摄像技术的发展，人们对图像质量要求越来越高。图像质量包含多个维度，包括分辨率、锐利度、噪声、对比度等。图像分辨率是指图像含有的像素数目，决定图像的总信息量，分辨率高的图像能够给人眼带来更好的感受；图像锐利度是指图像相邻像素的梯度大小，锐利度越高时清晰度越高，锐度低时图像有模糊感；图像噪声一般表现为点状，影响人眼对细节纹理的感知；对比度是指图像亮区与暗区的差异程度，合适的对比度让画面更通透，对比度不足时图像会有雾感。为了提升图像的质量，需要综合性地提升图像的上述维度，才能得到良好的效果。

2、现有对图像质量提升的方法是通过图像处理算法对图像质量进行提升，例如提升图像的分辨率、锐利度和对比度等，并且降低图像的噪声。目前，大部分先进的图像处理算法是基于神经网络训练获得的。现有的基于神经网络训练获得的图像超清增强算法大多采用全局退化的假设进行训练，在处理数据集时，对原始高分辨率图像进行全局退化(如下采样、加噪、模糊、压缩)和全局增强(清晰度增强、纹理增强)得到训练数据对，然后使用神经网络建立端到端的学习退化图像到高质量图像之间的映射关系。

3、然而，现有的方法存在以下不足：一方面，由于这种方法假设全局一致，训练得到的网络只会均匀地对图像进行全局处理，模型在锐化强度大时可能会对噪声区域加强，或是去噪强度太大导致图像纹理丢失，无法在不同类型的图像区域之间做平衡。另一方面，由于训练数据的多重退化和增强模型十分复杂，端到端训练时神经网络的训练难度较大，一次性学习全部映射，模型在不同的退化和增强维度妥协，导致训练获得的图像处理算法效果不佳，影响到图像处理算法的图像处理效果。

技术实现思路

1、本发明的第一目的是提供一种降低图像处理算法训练难度、提升图像处理算法的图像处理质量的用于图像增强的神经网络训练方法。

2、本发明的第二目的是提供一种实现上述用于图像增强的神经网络训练方法的计算机装置。

3、本发明的第三目的是提供一种实现上述用于图像增强的神经网络训练方法的可读存储介质。

4、为实现本发明的第一目的，本发明提供的用于图像增强的神经网络训练方法包括由计算机执行如下步骤：获取初始图像集，对初始图像集的每一张图像进行分割处理，获得进化区域掩码；应用进化区域掩码对初始图像集的每一初始图像进行分区域进化处理，获得至少一个进化数据集；对初始图像集的每一张初始图像进行下采样获得第一退化数据集，并获得退化区域掩码，基于退化区域掩码对第一退化数据集进行退化处理，再获得至少一个退化数据集；构建第一层卷积模块，使用退化程度最高的数据集作为第一层卷积模块的输入，使用退化程度次高的数据集作为第一层卷积模块的监督数据进行训练，获得第一训练结果；在上一层的训练结果的基础上增加新的卷积模块，并使用退化程度更低或者进化程度更高的数据集作为新增加的卷积模块的监督数据集进行训练，迭代计算至预设条件。

5、由上述方案可见，本发明使用分区域处理的方式构建训练使用的数据集，包括多个进化数据集和对个退化数据集，并且基于数据驱动的方式使神经网络在训练中能够分区域对图像针对性地增强。另外，本发明使用渐进式课程学习的范式，逐步学习图像增强效果，降低模型训练难度，提高图像增强效果。

6、一个优选的方案是，在上一层的训练结果的基础上增加新的卷积模块包括：在干支和分支上均新增卷积模块，使用退化程度更低或者进化程度更高的数据集作为干支上的新增加的卷积模块的监督数据集进行训练，并使用上一层训练使用的监督数据集作为分支的新增加的卷积模块的监督数据集进行训练。

7、由此可见，通过在每一层训练的时候设置分支，能够使得训练的时候干支可以保持上一轮的训练效果，减小知识遗忘，通过与分支结果进行对比来不断提升训练的效果。

8、进一步的方案是，迭代计算至预设条件后，删除所有的分支，使用干支作为最终的训练结果。

9、由此可见，最终输出的训练结果仅仅保留干支部分，这样，实际对图像进行处理的时候，并不会由分支参与图像处理，一方面能够减少计算量，提升图像处理效率，另一方面能够避免分支对干支的影响。

10、进一步的方案是，预设条件包括：迭代计算次数到达预设次数，或者使用进化程度最高的数据集作为新增的卷积模块的监督数据集。

11、由此可看，当迭代到预设次数或者已经使用进化程度最高的数据集作为新增的卷积模块的监督数据集时，不再继续迭代计算，避免训练时间过长而影响训练效率。

12、进一步的方案是，进化数据集的数量为二个以上，第一进化数据集使用进化区域掩码对初始图像进行进化处理获得，第二进化数据集使用进化区域掩码对第一进化数据集进行进化处理获得。

13、更进一步的方案是，进化处理包括分区域清晰度增加处理或者分区域局部对比度增强处理。

14、由此可见，通过设置多个进化数据集，实现神经网络的多级训练，并且通过对不同维度的分区域进化处理数据集，使得神经网络能够实现不同维度的图像优化处理。

15、进一步的方案是，基于退化区域掩码对第一退化数据集进行退化处理获得的退化数据集的数量为二个以上，第二退化数据集使用退化区域掩码对第一退化数据集进行退化处理获得，第三退化数据集使用退化区域掩码对第二退化数据集进行退化处理获得。

16、更进一步的方案是，退化处理包括分区域模糊处理或者分区域添加噪声处理或者全局压缩处理。

17、由此可见，本发明通过设置多个退化数据集，实现神经网络的多级训练，并且通过对不同维度的分区域退化处理数据集，使得神经网络能够实现不同维度的图像优化处理。

18、为实现上述的第二目的，本发明提供的计算机装置包括处理器以及存储器，存储器存储有计算机程序，计算机程序被处理器执行时实现上述用于图像增强的神经网络训练方法的各个步骤。

19、为实现上述的第三目的，本发明提供的存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述用于图像增强的神经网络训练方法的各个步骤。

1.用于图像增强的神经网络训练方法，其特征在于，由计算机执行如下步骤：

2.根据权利要求1所述的用于图像增强的神经网络训练方法，其特征在于：

3.根据权利要求2所述的用于图像增强的神经网络训练方法，其特征在于：

4.根据权利要求1至3任一项所述的用于图像增强的神经网络训练方法，其特征在于：

5.根据权利要求1至3任一项所述的用于图像增强的神经网络训练方法，其特征在于：

6.根据权利要求5所述的用于图像增强的神经网络训练方法，其特征在于：

7.根据权利要求1至3任一项所述的用于图像增强的神经网络训练方法，其特征在于：

8.根据权利要求7所述的用于图像增强的神经网络训练方法，其特征在于：

9.计算机装置，其特征在于，包括处理器以及存储器，存储器存储有计算机程序，计算机程序被处理器执行时实现如权利要求1至8中任意一项所述的用于图像增强的神经网络训练方法的各个步骤。

10.存储介质，其上存储有计算机程序，其特征在于：计算机程序被处理器执行时实现如权利要求1至8中任意一项所述的用于图像增强的神经网络训练方法的各个步骤。