一种图像增强方法、图像增强模型的训练方法及相关设备与流程

1.本技术涉及计算机视觉领域，尤其涉及一种图像增强方法、图像增强模型的模型训练方法及相关设备。


背景技术：

2.计算机视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断，和军事等领域中各种智能/自主系统中不可分割的一部分，它是一门关于如何运用照相机/摄像机和计算机来获取我们所需的，被拍摄对象的数据与信息的学问。形象地说，就是给计算机安装上眼睛(照相机/摄像机)和大脑(算法)用来代替人眼对目标进行识别、跟踪和测量等，从而使计算机能够感知环境。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。总的来说，计算机视觉就是用各种成象系统代替视觉器官获取输入信息，再由计算机来代替大脑对这些输入信息完成处理和解释。计算机视觉的最终研究目标就是使计算机能像人那样通过视觉观察和理解世界，具有自主适应环境的能力。
3.随着带有相机的移动设备的普及和通讯的发展，人们日益通过更便捷的方式来获取图像，但在相机采集图像和图像数据传输的过程中，会受到很多外界因素的影响，导致图像的质量并不那么令人满意。其中，同一张自然图像往往在不同区域存在多种不同类型的退化(比如噪声，模糊等)，且这些退化影响的区域不同，例如噪声主要影响背景区域，模糊主要影响边缘的成像质量。
4.目前，为了全面提升图像各个区域的画质，需要分别通过不同的图像增强任务以实现该自然图像的图像恢复。然而，当前存在的单一输入的图像增强框架不能充分挖掘神经网络的表达能力，为了取得更好的效果，往往需要堆叠更深更宽的大型网络，在提升效果的同时也大大增加了计算开销，造成算力的浪费。
5.因此，如何提高图像增强过程的处理效率是一个亟待解决的问题。


技术实现要素：

6.本技术实施例提供了一种图像增强方法、图像增强模型的训练方法及相关设备，用于通过不同的图像增强类型对待处理图像中的待处理区域进行处理，以满足对待处理区域执行不同增强操作的需求，从而提升图像增强过程的处理效率。
7.本技术实施例第一方面提供了一种图像增强方法，在该方法中，首先获取待处理图像，该待处理图像包括第一待处理区域和第二待处理区域，该第一待处理区域与第一图像增强类型对应，该第二待处理区域与第二图像增强类型对应，且该第一图像增强类型不同于该第二图像增强类型；然后，确定该待处理图像的第一掩膜和第二掩模，其中，该第一掩模用于该第一图像增强类型，该第二掩模用于该第二图像增强类型；进一步地，将该待处理图像、该第一掩膜和该第二掩模输入至训练好的图像增强模型中进行特征提取，基于提取的特征进行图像增强，以得到第一目标图像。
8.可选地，第一待处理区域与第一图像增强类型对应，可以指示第一待处理区域用于第一图像增强类型，例如第一图像增强类型用于去模糊deblur或去噪denoise或超分辨率sr等，或者可以指示第一待处理区域存在缺陷，需要执行第一图像增强类型对应的图像增强任务。类似的，第二待处理区域与第二图像增强类型对应，可以指示第二待处理区域第二待处理区域用于第二图像增强类型，例如第二图像增强类型用于去模糊deblur或去噪denoise或超分辨率sr等，或者可以指示第二待处理区域存在缺陷，需要执行第二图像增强类型对应的图像增强任务。
9.可选地，第一掩膜可以指示一个第一掩膜，也可以指示一组(多个)第一掩膜，此处不做限定。类似的，第二掩膜可以指示一个第二掩膜，也可以指示一组(多个)第二掩膜，此处不做限定。此外，第一掩模用于该第一图像增强类型，可以指示第一掩膜作用于第一待处理区域时，可以对第一待处理区域执行第一图像增强类型对应的图像增强任务；类似的，第二掩模用于该第二图像增强类型，可以指示第二掩膜作用于第二待处理区域时，可以对第二待处理区域执行第二图像增强类型对应的图像增强任务。
10.基于上述技术方案，输入至训练好的图像增强模型的输入数据包括待处理图像、第一掩膜和第二掩模，并在训练好的图像增强模型中进行特征提取，基于提取的特征进行图像增强，以得到第一目标图像。其中，待处理图像包括第一图像增强类型对应的第一待处理区域以及第二图像增强类型对应的第二待处理区域，且第一掩膜和第二掩膜分别用于第一图像增强类型和第二图像增强类型，即训练好的图像增强模型通过不同的图像增强类型对待处理图像中的待处理区域进行处理，以满足对待处理区域执行不同增强操作的需求，从而提升图像增强过程的处理效率。
11.在本技术实施例第一方面的一种可能的实现方式中，将该待处理图像、该第一掩膜和该第二掩模输入至训练好的图像增强模型中进行特征提取，基于提取的特征进行图像增强，以得到第一目标图像的过程可以包括：将该待处理图像、该第一掩膜和该第二掩模进行融合处理，得到第一特征图像；将该第一特征图像输入至该训练好的图像增强模型，对该第一特征图像进行图像增强处理，得到该第一目标图像。
12.可选地，该融合处理可以通过合并处理、拼接处理、或者是其它用于实现图像融合的处理过程进行表示，此处不做限定。
13.基于上述技术方案，训练好的图像增强模型进行图像增强处理之前可以包括融合处理过程和图像增强处理过程，具体来说，将待处理图像、第一掩膜和第二掩膜进行融合得到第一特征图像，并将第一特征图像输入至训练好的图像增强模型之后，其中，第一特征图像是经过深度学习网络特征提取和融合后的结果，训练好的图像增强模型的处理过程可以是对第一特征图像进行图像增强处理之后，得到第一目标图像。提供了训练好的图像增强模型进行处理得到第一目标图像的具体实现方式，提高了本方案的可实现性，从而提高了本方案的实现灵活性。
14.在本技术实施例第一方面的一种可能的实现方式中，对该第一特征图像进行图像增强处理，得到该第一目标图像包括：基于第一处理模块对该第一特征图像进行图像增强处理，得到该第一目标图像，该第一处理模块用于加深该训练好的图像增强模型的模型深度。
15.基于上述技术方案，在图像增强模型中的图像增强处理过程中，通过第一处理模
块的设置，可以加深训练好的图像增强模型的模型深度，使得该模型能够提取得到更深层次的特征，进一步提升模型的图像增强效果。
16.在本技术实施例第一方面的一种可能的实现方式中，该第一处理模块包括卷积子模块，该基于该第一处理模块对该第一特征图像进行图像增强处理，得到该第一目标图像包括：对该第一特征图像进行参数稀疏化处理，得到第三特征图像，该第三特征图像的尺寸大小与该卷积子模块中卷积核的尺寸大小相等；基于第一处理模块对该第三特征图像进行图像增强处理，得到该第一目标图像。
17.基于上述技术方案，在图像增强模型中的图像增强处理过程中，可以对第一特征图像进行参数稀疏化处理后再基于第一处理模块对第三特征图像进行图像增强处理。其中，第三特征图像的尺寸大小与该卷积子模块中卷积核的尺寸大小相等，使得第一处理模块在图像增强处理过程中的卷积处理能力，提升模型的泛化能力。
18.在本技术实施例第一方面的一种可能的实现方式中，该第一处理模块包括卷积处理模块、残差块处理模块、空洞卷积处理模块、池化处理模块、反卷积处理模块、像素重组(pixel shuffle)处理模块或激活函数处理模块。
19.基于上述技术方案，第一处理模块具体可以通过上述至少一种方式实现，可以通过不同类型的处理模块实现加深该训练好的图像增强模型的模型深度的效果，提高了本方案的可实现性，从而提高了本方案的实现灵活性。
20.在本技术实施例第一方面的一种可能的实现方式中，将该待处理图像、该第一掩膜和该第二掩模进行融合处理，得到第一特征图像包括：对该待处理图像、该第一掩膜和该第二掩模进行融合处理，得到第二特征图像，该第二特征图像包括a个信道维度信息，该a为大于1的整数；确定该a个信道维度信息的第一权重；根据该第二特征图像和该第一权重得到该第一特征图像。
21.基于上述技术方案，在融合处理过程中，可以确定出融合处理得到的第二特征图像所包含的a个信道维度信息中每一个信道维度信息对应的第一权重，此后，根据该第二特征图像和该第一权重得到该第一特征图像。其中，a个信道维度信息中的不同信道维度信息可以用于不同的图像增强类型(包括第一图像增强类型和第二图像增强类型)，通过对a个信道维度中的不同信道维度设置不同的权重，可以实现对不同的图像增强类型赋予不同的注意力程度(或称为感兴趣程度)，提升模型的图像增强效果。
22.在本技术实施例第一方面的一种可能的实现方式中，该第一掩膜包括第一区域，其中，该第一区域在该第一掩膜中的相对位置与该第一待处理区域在该待处理图像中的相对位置相同，且在该第一掩膜中，该第一区域中各个像素点的掩膜取值大于其它区域中各个像素点的掩膜取值；和/或，该第二掩膜包括第二区域，其中，该第二区域在该第二掩膜中的相对位置与该第二待处理区域在该待处理图像中的相对位置相同，且在该第二掩膜中，该第二区域中各个像素点的掩膜取值大于其它区域中各个像素点的掩膜取值。
23.基于上述技术方案，在第一掩膜的具体实现中，第一掩膜中第一区域在该第一掩膜中的相对位置与该第一待处理区域在该待处理图像中的相对位置相同，且该第一区域中各个像素点的掩膜取值大于第一掩膜中其它区域中各个像素点的掩膜取值。使得在图像增强处理过程中，在第一掩膜中通过对不同区域进行不同的赋值的方式，实现对第一掩膜中的第一区域激活第一图像增强类型对应的图像增强任务。类似的，在第一掩膜的具体实现
中，也可以使得在图像增强处理过程中，在第二掩膜中通过对不同区域进行不同的赋值的方式，实现对第二掩膜中的第二区域激活第二图像增强类型对应的图像增强任务。
24.在本技术实施例第一方面的一种可能的实现方式中，该第一特征图像包括b个信道维度信息，该b为大于1的整数，对该第一特征图像进行图像增强处理，得到该第一目标图像：确定该b个信道维度信息对应的第二权重；根据该第一特征图像和该第二权重得到该第一目标图像。
25.基于上述技术方案，在图像增强处理过程中，可以确定出融合处理过程得到的第一特征图像所包含的b个信道维度信息中每一个信道维度信息对应的第二权重。其中，第二权重的大小与训练好的图像增强模型注意力程度(或称为感兴趣程度)的高低呈正相关，可以使得训练好的图像增强模型针对b个信道维度中的不同权重的信道维度赋予不同的注意力程度，即在b个信道维度信息中，对权重较高的信道维度信息赋予较高的注意力程度，对权重较低的信道维度信息赋予较低的注意力程度，可以使得训练好的图像增强模型针对b个信道维度中的多个不同信道维度实现针对性的图像增强效果。
26.在本技术实施例第一方面的一种可能的实现方式中，该第一特征图像包括c个信道维度信息，该c为大于1的整数，且在该c个信道维度信息中的每一个信道维度信息对应多个像素点信息，对该第一特征图像进行图像增强处理，得到该第一目标图像：确定该多个像素点信息对应的第三权重；根据该第一特征图像和该第三权重得到该第一目标图像。
27.基于上述技术方案，在图像增强处理过程中，可以确定出融合处理过程得到的第一特征图像所包含的c个信道维度信息中，每一个对应信道维度信息对应多个像素点信息的第三权重。其中，第三权重的大小与训练好的图像增强模型注意力程度(或称为感兴趣程度)的高低呈正相关，可以使得训练好的图像增强模型针对c个信道维度中，每一个信道维度信息中对应的多个像素点信息赋予不同的注意力程度。即在c个信道维度信息中的每一个信道维度信息中，对权重较高的像素点信息赋予较高的注意力程度，对权重较低的像素点信息赋予较低的注意力程度，可以使得训练好的图像增强模型针对c个信道维度中，每一个信道维度信息中对应的多个像素点信息实现针对性的图像增强效果。
28.在本技术实施例第一方面的一种可能的实现方式中，该第一待处理区域和该第二待处理区域存在重叠部分。
29.基于上述技术方案，该第一图像增强类型对应的第一待处理区域和与该第二图像增强类型对应的第二待处理区域存在重叠部分，其中，第一图像增强类型不同于第二图像增强类型，即通过不同的图像增强类型在待处理图像中的同一个区域(该重叠区域)进行图像增强，满足该区域不同的图像增强需求，提升方案的实现灵活性。
30.在本技术实施例第一方面的一种可能的实现方式中，该第一图像增强类型或第二图像增强类型包括如下至少一项：去模糊deblur、去噪denoise或超分辨率sr。
31.可选地，该第一图像增强类型或第二图像增强类型还可以进一步包括增加细节，去块，去振铃，去压缩失真中的至少一项。
32.基于上述技术方案，该第一图像增强类型或第二图像增强类型可以通过上述多种方式实现，可以使得该训练好的图像增强模型实现多种不同的图像增强效果，提高了本方案的可实现性，从而提高了本方案的实现灵活性。
33.可选地，第一待处理区域与第一图像增强类型对应，可以指示第一待处理区域用
于第一图像增强类型，例如第一图像增强类型用于去模糊deblur或去噪denoise或超分辨率sr等，或者可以指示第一待处理区域存在缺陷，需要执行第一图像增强类型对应的图像增强任务。类似的，第二待处理区域与第二图像增强类型对应，可以指示第二待处理区域第二待处理区域用于第二图像增强类型，例如第二图像增强类型用于去模糊deblur或去噪denoise或超分辨率sr等，或者可以指示第二待处理区域存在缺陷，需要执行第二图像增强类型对应的图像增强任务。
34.在本技术实施例第一方面的一种可能的实现方式中，该训练好的图像增强模型包括第一权重系数集，将该待处理图像、第一掩膜和第二掩膜输入至训练好的图像增强模型，经过该训练好的图像增强模型处理后得到第一目标图像包括：将该待处理图像、第一掩膜和第二掩膜输入至训练好的图像增强模型，经过该训练好的图像增强模型中的第一权重系数集处理后得到第一目标图像。
35.基于上述技术方案，在将该待处理图像、第一掩膜和第二掩膜输入至训练好的图像增强模型，经过该训练好的图像增强模型处理后得到第一目标图像的过程中，具体可以使用同一个权重系数集处理实现，即通过训练好的图像增强模型中的第一权重系数集实现。其中，通过同一个权重系数集实现对该第一损失函数和第二损失函数分别对应的图像增强类型的图像增强效果，由于不同的图像增强类型对应的模型参数存在相同的部分，可以深入挖掘模型的表达能力，以达到模型参数共享的目的，从而在计算能力一定的情况下实现更大参数容量模型的图像增强效果。
36.本技术实施例第二方面提供了一种图像增强模型的训练方法，在该方法中，首先获取训练样本，该训练样本包括第一图像、第二图像、第一标签图像和第二标签图像，其中，该第一图像包括第一待处理区域，该第一待处理区域与第一图像增强类型对应，该第一标签图像包括第一已处理区域，该第一已处理区域与该第一图像增强类型对应；该第二图像包括第二待处理区域，该第二标签图像包括第二已处理区域，该第二已处理区域与该第二图像增强类型对应，且该第一图像增强类型不同于该第二图像增强类型；然后，确定该第一图像的第一掩膜和第二图像的第二掩膜，其中，该第一掩模用于该第一图像增强类型，该第二掩模用于该第二图像增强类型；此后，将该第一图像、第二图像、该第一掩膜和该第二掩模输入至图像增强模型中进行特征提取，基于提取的特征进行图像增强，以得到第一输出图像和第二输出图像；进一步地，根据第一损失函数和第二损失函数对该图像增强模型进行训练，得到训练好的图像增强模型；其中，该第一损失函数用于指示该第一输出图像与该第一标签图像之间基于该第一图像增强类型的差异，该第二损失函数用于指示该第二输出图像与该第二标签图像之间基于该第二图像增强类型的差异。
37.可选地，第一图像和第二图像可以为拼接在同一输入图像中的不同部分，也可以为完全独立的两个不同的输入图像；类似的，第一标签图像和第二标签图像可以为拼接在同一标签图像的不同部分，也可以为完全独立的两个不同的标签图像，此处不做限定。
38.可选地，第一图像中的第一待处理区域与第一图像增强类型对应可以指示该第一待处理区域未经过第一图像增强类型的处理，与之相对应的，第一标签图像中的第一已处理区域与第一图像增强类型对应可以指示该第一已处理区域已经过第一图像增强类型的处理；类似的，第二图像中的第二待处理区域与第二图像增强类型对应可以指示该第二待处理区域未经过第二图像增强类型的处理，与之相对应的，第二标签图像中的第二已处理
区域与第二图像增强类型对应可以指示该第二已处理区域已经过第二图像增强类型的处理。
39.可选地，第一掩膜可以指示一个第一掩膜，也可以指示一组(多个)第一掩膜，此处不做限定。类似的，第二掩膜可以指示一个第二掩膜，也可以指示一组(多个)第二掩膜，此处不做限定。此外，第一掩模用于该第一图像增强类型，可以指示第一掩膜作用于第一待处理区域时，可以对第一待处理区域执行第一图像增强类型对应的图像增强任务；类似的，第二掩模用于该第二图像增强类型，可以指示第二掩膜作用于第二待处理区域时，可以对第二待处理区域执行第二图像增强类型对应的图像增强任务。
40.基于上述技术方案，输入至图像增强模型的输入数据包括第一图像、第二图像、第一掩膜和第二掩膜，经过训练好的图像增强模型的处理后得到第一输出图像。其中，第一图像包括第一图像增强类型对应的第一待处理区域、第二图像包括与第二图像增强类型对应的第二待处理区域，且第一掩膜和第二掩膜分别用于第一图像增强类型和第二图像增强类型，即图像增强模型通过不同的图像增强类型对第一图像中的第一待处理区域和第二图像中的第二待处理区域进行处理得到第一输出图像和第二输出图像，实现不同增强操作的训练过程。此后，根据第一损失函数和第二损失函数对该图像增强模型进行训练得到训练好的图像增强模型，其中，第一损失函数用于指示该第一输出图像与该第一标签图像之间基于该第一图像增强类型的差异，该第二损失函数用于指示该第二输出图像与该第二标签图像之间基于该第二图像增强类型的差异，使得通过模型训练的方式得到的训练好的图像增强模型可以满足对图像执行不同增强操作的需求，从而提升图像增强过程的处理效率。
41.在本技术实施例第二方面的一种可能的实现方式中，将该第一图像、第二图像、该第一掩膜和该第二掩模输入至图像增强模型中进行特征提取，基于提取的特征进行图像增强，以得到第一输出图像和第二输出图像包括：将该第一图像、第二图像、该第一掩膜和该第二掩模进行融合处理，得到第一特征图像；将该第一特征图像输入至图像增强模型，对该第一特征图像进行图像增强处理，得到该第一输出图像和第二输出图像。
42.可选地，该融合处理可以通过合并处理、拼接处理、或者是其它用于实现图像融合的处理过程进行表示，此处不做限定。
43.基于上述技术方案，图像增强模型在图像增强处理之前，可以包括融合处理过程，即将第一图像、第二图像、第一掩膜和第二掩膜进行融合处理得到第一特征图像，其中，第一特征图像是经过深度学习网络特征提取和融合后的结果，并通过图像增强模型中对第一特征图像进行图像增强处理之后，得到第一输出图像和第二输出图像。提供了训练好的图像增强模型进行处理得到第一输出图像和第二输出图像的具体实现方式，提高了本方案的可实现性，从而提高了本方案的实现灵活性。
44.在本技术实施例第二方面的一种可能的实现方式中，将该第一图像、第二图像、该第一掩膜和该第二掩模进行融合处理，得到第一特征图像包括：对该第一图像、第二图像、该第一掩膜和该第二掩模进行融合处理，得到第二特征图像，该第二特征图像包括a个信道维度信息，该a为大于1的整数；确定该a个信道维度信息的第一权重；根据该第二特征图像和该第一权重得到该第一特征图像。
45.基于上述技术方案，在融合处理过程中，可以确定出融合处理得到的第二特征图像所包含的a个信道维度信息中每一个信道维度信息对应的第一权重，此后，根据该第二特
征图像和该第一权重得到该第一特征图像。其中，a个信道维度信息中的不同信道维度信息可以用于不同的图像增强类型(包括第一图像增强类型和第二图像增强类型)，通过对a个信道维度中的不同信道维度设置不同的权重，可以实现对不同的图像增强类型赋予不同的注意力程度(或称为感兴趣程度)，提升模型的图像增强效果。
46.在本技术实施例第二方面的一种可能的实现方式中，该第一掩膜中的掩膜数量为多个，在该第一掩膜中的多个掩膜中，第x个掩膜中像素点的取值为第一数值，其余掩膜中像素点的取值为第二数值；该第二掩膜中的掩膜数量为多个，在该第二掩膜中的多个掩膜中，第y个掩膜中像素点的取值为第一数值，其余掩膜中像素点的取值为第二数值；其中，x和y均为大于0的整数，且x不等于y。
47.可选地，第一数值和第二数值分别为不同的数值，例如，第一数值可以为数值1且第二数值可以为数值0，或者是，第一数值可以为数值1且第二数值可以为数值-1，或者是其它的实现方式，此处不作具体的限定。
48.基于上述技术方案，当第一掩膜和第二掩膜均通过多个掩膜实现时，分别可以通过在多个掩膜中的不同掩膜位置上设置第一数值，例如在第一掩膜的第x个掩膜上各个像素点取值设置为第一数值，在第二掩膜的第y个掩膜上各个像素点取值设置为第二数值。即通过设置像素点取值为第一数值的不同位置对不同的掩膜加以区分，并对不同的掩膜中取值为第一数值的掩膜激活不同图像增强类型对应的图像增强任务，提供了第一掩膜和第二掩膜一种具体的实现方式，提升方案的可实现性。
49.在本技术实施例第二方面的一种可能的实现方式中，对该第一特征图像进行图像增强处理，得到该第一输出图像和第二输出图像包括：基于第一处理模块对该第一特征图像进行图像增强处理，得到该第一输出图像和第二输出图像，该第一处理模块用于加深该图像增强模型的模型深度。
50.基于上述技术方案，在图像增强处理过程中，通过第一处理模块的设置，可以加深图像增强模型的模型深度，使得该模型能够提取得到更深层次的特征，进一步提升模型的图像增强效果。
51.在本技术实施例第二方面的一种可能的实现方式中，该第一处理模块包括卷积处理模块、残差块处理模块、空洞卷积处理模块、池化处理模块、反卷积处理模块、像素重组(pixel shuffle)处理模块或激活函数处理模块。
52.基于上述技术方案，第一处理模块具体可以通过上述至少一种方式实现，可以通过不同类型的处理模块实现加深该图像增强模型的模型深度的效果，提高了本方案的可实现性，从而提高了本方案的实现灵活性。
53.在本技术实施例第二方面的一种可能的实现方式中，该第一特征图像包括b个信道维度信息，该b为大于1的整数，对该第一特征图像进行图像增强处理，得到该第一输出图像和第二输出图像包括：确定该b个信道维度信息对应的第二权重；根据该第一特征图像和该第二权重得到该第一输出图像和第二输出图像。
54.基于上述技术方案，在图像增强处理过程中，可以确定出融合处理过程得到的第一特征图像所包含的b个信道维度信息中每一个信道维度信息对应的第二权重。其中，第二权重的大小与训练好的图像增强模型注意力程度(或称为感兴趣程度)的高低呈正相关，可以使得训练好的图像增强模型针对b个信道维度中的不同权重的信道维度赋予不同的注意
力程度，即在b个信道维度信息中，对权重较高的信道维度信息赋予较高的注意力程度，对权重较低的信道维度信息赋予较低的注意力程度，可以使得训练好的图像增强模型针对b个信道维度中的多个不同信道维度实现针对性的图像增强效果。
55.在本技术实施例第二方面的一种可能的实现方式中，该第一特征图像包括c个信道维度信息，该c为大于1的整数，且在该c个信道维度信息中的每一个信道维度信息对应多个像素点信息，对该第一特征图像进行图像增强处理，得到该第一输出图像和第二输出图像：确定该多个像素点信息对应的第三权重；根据该第一特征图像和该第三权重得到该第一输出图像和第二输出图像。
56.基于上述技术方案，在图像增强处理过程中，可以确定出融合处理过程得到的第一特征图像所包含的c个信道维度信息中，每一个对应信道维度信息对应多个像素点信息的第三权重。其中，第三权重的大小与训练好的图像增强模型注意力程度(或称为感兴趣程度)的高低呈正相关，可以使得训练好的图像增强模型针对c个信道维度中，每一个信道维度信息中对应的多个像素点信息赋予不同的注意力程度。即在c个信道维度信息中的每一个信道维度信息中，对权重较高的像素点信息赋予较高的注意力程度，对权重较低的像素点信息赋予较低的注意力程度，可以使得训练好的图像增强模型针对c个信道维度中，每一个信道维度信息中对应的多个像素点信息实现针对性的图像增强效果。
57.在本技术实施例第二方面的一种可能的实现方式中，该第一图像增强类型或第二图像增强类型包括如下至少一项：去模糊deblur、去噪denoise或超分辨率sr。
58.可选地，该第一图像增强类型或第二图像增强类型还可以进一步包括增加细节，去块，去振铃，去压缩失真中的至少一项。
59.基于上述技术方案，该第一图像增强类型或第二图像增强类型可以通过上述多种方式实现，可以使得该训练好的图像增强模型实现多种不同的图像增强效果，提高了本方案的可实现性，从而提高了本方案的实现灵活性。
60.在本技术实施例第二方面的一种可能的实现方式中，该第一待处理区域和该第二待处理区域存在重叠部分。
61.基于上述技术方案，该第一图像增强类型对应的第一待处理区域和与该第二图像增强类型对应的第二待处理区域存在重叠部分，其中，第一图像增强类型不同于第二图像增强类型，即通过不同的图像增强类型在待处理图像中的同一个区域(该重叠区域)进行图像增强，满足该区域不同的图像增强需求，提升方案的实现灵活性。
62.在本技术实施例第二方面的一种可能的实现方式中，该图像增强模型包括第一权重系数集，该根据第一损失函数和第二损失函数对该图像增强模型进行训练，得到训练好的图像增强模型包括：根据该第一损失函数和该第二损失函数对该图像增强模型进行训练，得到第二权重系数集；根据该第二权重系数集更新该图像增强模型中的第一权重系数集，得到该训练好的图像增强模型。
63.基于上述技术方案，在根据第一损失函数和第二损失函数对该图像增强模型进行训练，得到训练好的图像增强模型的过程中，具体可以使用同一个权重系数集训练进行模型权重的参数更新实现，即通过训练后得到的第二权重系数集更新训练前该图像增强模型中的第一权重系数集，得到该训练好的图像增强模型。其中，通过同一个权重系数集实现对该第一损失函数和第二损失函数分别对应的第一图像增强类型和第二图像增强类型的训
练效果，由于不同的图像增强类型对应的模型训练参数存在相同的部分，可以深入挖掘模型的表达能力，以达到模型参数共享的目的，从而在计算能力一定的情况下实现更大参数容量模型的训练效果。
64.在本技术实施例第二方面的一种可能的实现方式中，该第一损失函数或该第二损失函数的函数类型包括如下至少一项：像素损失函数pixel loss、均方误差损失函数mse loss、结构相似性指数损失函数ssim loss，感知损失函数perceptual loss或生成对抗网络损失函数gan loss。
65.可选地，该第一损失函数和第二损失函数的函数类型还可以包括视觉几何组损失函数(visual geometry group loss，vgg loss)或者其它的函数类型，此处不做限定。
66.基于上述技术方案，该第一损失函数和第二损失函数的函数类型可以通过上述多种方式实现，可以使得图像增强模型实现多种不同的模型训练效果，提高了本方案的可实现性，从而提高了本方案的实现灵活性。
67.在本技术实施例第二方面的一种可能的实现方式中，该第一图像的图像数量与该第一标签图像的图像数量相等，和/或，第二图像的数量和该第二标签图像的图像数量相等。
68.基于上述技术方案，作为图像增强模型的输入参数中的第一图像和标签图像之间可以是一一对应的关系，即第一图像的图像数量与该第一标签图像的图像数量相等，和/或第二图像和该第二标签图像的图像数量相等，便于图像增强模型对该一一对应的输入参数进行识别。
69.在本技术实施例第二方面的一种可能的实现方式中，该第一图像的图像数量低于该第一标签图像的图像数量，和/或，第二图像的图像数量低于该第二标签图像的图像数量。
70.基于上述技术方案，第一图像的图像数量低于第一标签图像的图像数量，和/或第二图像的图像数量低于该第二标签图像的图像数量，即第一图像中存在至少一个图像对应于多个第一标签图像，和/或第二图像中存在至少一个图像对应于多个第二标签图像，可以节省输入至模型的输入参数的数据量，从而减少计算量，提升模型的处理效率。
71.本技术实施例第三方面提供了一种图像增强装置，包括：
72.获取单元，用于获取待处理图像，该待处理图像包括第一待处理区域和第二待处理区域，该第一待处理区域与第一图像增强类型对应，该第二待处理区域与第二图像增强类型对应，且该第一图像增强类型不同于该第二图像增强类型；
73.确定单元，用于确定该待处理图像的第一掩膜和第二掩模，其中，该第一掩模用于该第一图像增强类型，该第二掩模用于该第二图像增强类型；
74.图像增强单元，用于将该待处理图像、该第一掩膜和该第二掩模输入至训练好的图像增强模型中进行特征提取，基于提取的特征进行图像增强，以得到第一目标图像。
75.可选地，第一待处理区域与第一图像增强类型对应，可以指示第一待处理区域用于第一图像增强类型，例如第一图像增强类型用于去模糊deblur或去噪denoise或超分辨率sr等，或者可以指示第一待处理区域存在缺陷，需要执行第一图像增强类型对应的图像增强任务。类似的，第二待处理区域与第二图像增强类型对应，可以指示第二待处理区域第二待处理区域用于第二图像增强类型，例如第二图像增强类型用于去模糊deblur或去噪
denoise或超分辨率sr等，或者可以指示第二待处理区域存在缺陷，需要执行第二图像增强类型对应的图像增强任务。
76.可选地，第一掩膜可以指示一个第一掩膜，也可以指示一组(多个)第一掩膜，此处不做限定。类似的，第二掩膜可以指示一个第二掩膜，也可以指示一组(多个)第二掩膜，此处不做限定。此外，第一掩模用于该第一图像增强类型，可以指示第一掩膜作用于第一待处理区域时，可以对第一待处理区域执行第一图像增强类型对应的图像增强任务；类似的，第二掩模用于该第二图像增强类型，可以指示第二掩膜作用于第二待处理区域时，可以对第二待处理区域执行第二图像增强类型对应的图像增强任务。
77.基于上述技术方案，输入至训练好的图像增强模型的输入数据包括待处理图像、第一掩膜和第二掩模，并在训练好的图像增强模型中进行特征提取，图像增强单元基于提取的特征进行图像增强，以得到第一目标图像。其中，待处理图像包括第一图像增强类型对应的第一待处理区域以及第二图像增强类型对应的第二待处理区域，且第一掩膜和第二掩膜分别用于第一图像增强类型和第二图像增强类型，即图像增强单元在训练好的图像增强模型通过不同的图像增强类型对待处理图像中的待处理区域进行处理，以满足对待处理区域执行不同增强操作的需求，从而提升图像增强过程的处理效率。
78.在本技术实施例第三方面的一种可能的实现方式中，该图像增强单元具体用于：
79.将该待处理图像、该第一掩膜和该第二掩模进行融合处理，得到第一特征图像；
80.将该第一特征图像输入至训练好的图像增强模型，对该第一特征图像进行图像增强处理，得到该第一目标图像。
81.在本技术实施例第三方面的一种可能的实现方式中，该图像增强单元具体用于：
82.基于第一处理模块对该第一特征图像进行图像增强处理，得到该第一目标图像，其中，该第一处理模块用于加深该训练好的图像增强模型的模型深度。
83.在本技术实施例第三方面的一种可能的实现方式中，该第一处理模块包括卷积子模块，该图像增强单元具体用于：
84.对该第一特征图像进行参数稀疏化处理，得到第三特征图像，该第三特征图像的尺寸大小与该卷积子模块中卷积核的尺寸大小相等；
85.基于第一处理模块对该第三特征图像进行图像增强处理，得到该第一目标图像。
86.在本技术实施例第三方面的一种可能的实现方式中，该第一处理模块包括卷积处理模块、残差块处理模块、空洞卷积处理模块、池化处理模块、反卷积处理模块、像素重组(pixel shuffle)处理模块或激活函数处理模块中的至少一项。
87.在本技术实施例第三方面的一种可能的实现方式中，该图像增强单元具体用于：
88.对该待处理图像、该第一掩膜和该第二掩模进行融合处理，得到第二特征图像，该第二特征图像包括a个信道维度信息，该a为大于1的整数；
89.确定该a个信道维度信息的第一权重；
90.根据该第二特征图像和该第一权重得到该第一特征图像。
91.在本技术实施例第三方面的一种可能的实现方式中，
92.该第一掩膜包括第一区域，其中，该第一区域在该第一掩膜中的相对位置与该第一待处理区域在该待处理图像中的相对位置相同，且在该第一掩膜中，该第一区域中各个像素点的掩膜取值大于其它区域中各个像素点的掩膜取值；
93.和/或，
94.该第二掩膜包括第二区域，其中，该第二区域在该第二掩膜中的相对位置与该第二待处理区域在该待处理图像中的相对位置相同，且在该第二掩膜中，该第二区域中各个像素点的掩膜取值大于其它区域中各个像素点的掩膜取值。
95.在本技术实施例第三方面的一种可能的实现方式中，该第一特征图像包括b个信道维度信息，该b为大于1的整数，该图像增强单元具体用于：确定该b个信道维度信息对应的第二权重；根据该第一特征图像和该第二权重得到该第一目标图像。
96.在本技术实施例第三方面的一种可能的实现方式中，该第一特征图像包括c个信道维度信息，该c为大于1的整数，且在该c个信道维度信息中的每一个信道维度信息对应多个像素点信息，该图像增强单元具体用于：确定该多个像素点信息对应的第三权重；根据该第一特征图像和该第三权重得到该第一目标图像。
97.在本技术实施例第三方面的一种可能的实现方式中，
98.该第一图像增强类型包括如下至少一项：去模糊、去噪或超分辨率、增加细节，去块，去振铃，去压缩失真；
99.和/或，
100.该第二图像增强类型包括如下至少一项：去模糊、去噪或超分辨率、增加细节，去块，去振铃，去压缩失真。
101.在本技术实施例第三方面的一种可能的实现方式中，该第一待处理区域和该第二待处理区域存在重叠部分。
102.在本技术实施例第三方面的一种可能的实现方式中，该训练好的图像增强模型包括第一权重系数集，该图像增强单元具体用于：将该待处理图像、第一掩膜和第二掩膜输入至训练好的图像增强模型，经过该训练好的图像增强模型中的第一权重系数集处理后得到第一目标图像。
103.本技术第三方面中，该装置的组成模块还可以用于执行第一方面的各个可能实现方式中所执行的步骤，具体均可以参阅第一方面，此处不再赘述。
104.本技术实施例第四方面提供了一种图像增强模型的训练装置，其特征在于，包括：
105.获取单元，用于获取训练样本，该训练样本包括第一图像、第二图像、第一标签图像和第二标签图像，其中，该第一图像包括第一待处理区域和第二待处理区域，该第一待处理区域与第一图像增强类型对应，该第二待处理区域与第二图像增强类型对应，且该第一图像增强类型不同于该第二图像增强类型；其中，该第一标签图像包括第一已处理区域，该第一已处理区域与该第一图像增强类型对应，该第二标签图像包括第二已处理区域，该第二已处理区域与该第二图像增强类型对应；
106.确定单元，用于确定该第一图像的第一掩膜和第二掩膜，其中，该第一掩模用于该第一图像增强类型，该第二掩模用于该第二图像增强类型；
107.图像增强单元，用于将该第一图像、第二图像、该第一掩膜和该第二掩模输入至图像增强模型中进行特征提取，基于提取的特征进行图像增强，以得到第一输出图像和第二输出图像；
108.训练单元，用于根据第一损失函数和第二损失函数对该图像增强模型进行训练，得到训练好的图像增强模型；其中，该第一损失函数用于指示该第一输出图像与该第一标
签图像之间基于该第一图像增强类型的差异，该第二损失函数用于指示该第二输出图像与该第二标签图像之间基于该第二图像增强类型的差异。
109.可选地，第一图像和第二图像可以为拼接在同一输入图像中的不同部分，也可以为完全独立的两个不同的输入图像；类似的，第一标签图像和第二标签图像可以为拼接在同一标签图像的不同部分，也可以为完全独立的两个不同的标签图像，此处不做限定。
110.可选地，第一图像中的第一待处理区域与第一图像增强类型对应可以指示该第一待处理区域未经过第一图像增强类型的处理，与之相对应的，第一标签图像中的第一已处理区域与第一图像增强类型对应可以指示该第一已处理区域已经过第一图像增强类型的处理；类似的，第二图像中的第二待处理区域与第二图像增强类型对应可以指示该第二待处理区域未经过第二图像增强类型的处理，与之相对应的，第二标签图像中的第二已处理区域与第二图像增强类型对应可以指示该第二已处理区域已经过第二图像增强类型的处理。
111.可选地，第一掩膜可以指示一个第一掩膜，也可以指示一组(多个)第一掩膜，此处不做限定。类似的，第二掩膜可以指示一个第二掩膜，也可以指示一组(多个)第二掩膜，此处不做限定。此外，第一掩模用于该第一图像增强类型，可以指示第一掩膜作用于第一待处理区域时，可以对第一待处理区域执行第一图像增强类型对应的图像增强任务；类似的，第二掩模用于该第二图像增强类型，可以指示第二掩膜作用于第二待处理区域时，可以对第二待处理区域执行第二图像增强类型对应的图像增强任务。
112.可选地，第一待处理区域与第一图像增强类型对应，可以指示第一待处理区域用于第一图像增强类型，例如第一图像增强类型用于去模糊deblur或去噪denoise或超分辨率sr等，或者可以指示第一待处理区域存在缺陷，需要执行第一图像增强类型对应的图像增强任务。类似的，第二待处理区域与第二图像增强类型对应，可以指示第二待处理区域第二待处理区域用于第二图像增强类型，例如第二图像增强类型用于去模糊deblur或去噪denoise或超分辨率sr等，或者可以指示第二待处理区域存在缺陷，需要执行第二图像增强类型对应的图像增强任务。
113.基于上述技术方案，输入至图像增强模型的输入数据包括第一图像、第二图像、第一掩膜和第二掩膜，图像增强单元经过训练好的图像增强模型的处理后得到第一输出图像。其中，第一图像包括第一图像增强类型对应的第一待处理区域、第二图像包括与第二图像增强类型对应的第二待处理区域，且第一掩膜和第二掩膜分别用于第一图像增强类型和第二图像增强类型，即图像增强单元在图像增强模型中通过不同的图像增强类型对第一图像中的第一待处理区域和第二图像中的第二待处理区域进行处理得到第一输出图像和第二输出图像，实现不同增强操作的训练过程。此后，训练单元根据第一损失函数和第二损失函数对该图像增强模型进行训练得到训练好的图像增强模型，其中，第一损失函数用于指示该第一输出图像与该第一标签图像之间基于该第一图像增强类型的差异，该第二损失函数用于指示该第二输出图像与该第二标签图像之间基于该第二图像增强类型的差异，使得通过模型训练的方式得到的训练好的图像增强模型可以满足对图像执行不同增强操作的需求，从而提升图像增强过程的处理效率。
114.在本技术实施例第四方面的一种可能的实现方式中，该图像增强单元具体用于：
115.将该第一图像、该第二图像该第一掩膜和该第二掩模进行融合处理，得到第一特
征图像；
116.将该第一特征图像输入至该图像增强模型，对该第一特征图像进行图像增强处理，得到该第一输出图像和该第二输出图像。
117.在本技术实施例第四方面的一种可能的实现方式中，该图像增强单元具体用于：
118.对该第一图像、该第二图像、该第一掩膜和该第二掩模进行融合处理，得到第二特征图像，该第二特征图像包括a个信道维度信息，该a为大于1的整数；
119.确定该a个信道维度信息的第一权重；
120.根据该第二特征图像和该第一权重得到该第一特征图像。
121.在本技术实施例第四方面的一种可能的实现方式中，图像增强单元具体用于：
122.基于第一处理模块对该第一特征图像进行图像增强处理，得到该第一输出图像和第二输出图像，该第一处理模块用于加深该图像增强模型的模型深度。
123.在本技术实施例第四方面的一种可能的实现方式中，该第一处理模块包括卷积处理模块、残差块处理模块、空洞卷积处理模块、池化处理模块、反卷积处理模块、像素重组(pixel shuffle)处理模块或激活函数处理模块。
124.在本技术实施例第四方面的一种可能的实现方式中，该第一特征图像包括b个信道维度信息，该b为大于1的整数，图像增强单元具体用于：确定该b个信道维度信息对应的第二权重；根据该第一特征图像和该第二权重得到该第一输出图像和第二输出图像。
125.在本技术实施例第四方面的一种可能的实现方式中，该第一特征图像包括c个信道维度信息，该c为大于1的整数，且在该c个信道维度信息中的每一个信道维度信息对应多个像素点信息，图像增强单元具体用于：确定该多个像素点信息对应的第三权重；根据该第一特征图像和该第三权重得到该第一输出图像和第二输出图像。
126.在本技术实施例第四方面的一种可能的实现方式中，
127.该第一掩膜中的掩膜数量为多个，在该第一掩膜中的多个掩膜中，第x个掩膜中像素点的取值为第一数值，其余掩膜中像素点的取值为第二数值；
128.该第二掩膜中的掩膜数量为多个，在该第二掩膜中的多个掩膜中，第y个掩膜中像素点的取值为第一数值，其余掩膜中像素点的取值为第二数值；
129.其中，x和y均为大于0的整数，且x不等于y。
130.在本技术实施例第四方面的一种可能的实现方式中，
131.该第一图像增强类型包括如下至少一项：去模糊、去噪或超分辨率、增加细节，去块，去振铃，去压缩失真；
132.和/或，
133.该第二图像增强类型包括如下至少一项：去模糊、去噪或超分辨率、增加细节，去块，去振铃，去压缩失真。
134.在本技术实施例第四方面的一种可能的实现方式中，该第一待处理区域和该第二待处理区域存在重叠部分。
135.在本技术实施例第四方面的一种可能的实现方式中，该图像增强模型包括第一权重系数集，该训练单元具体用于：
136.根据该第一损失函数和该第二损失函数对该图像增强模型进行训练，得到第二权重系数集；
137.根据该第二权重系数集更新该图像增强模型中的第一权重系数集，得到该训练好的图像增强模型。
138.在本技术实施例第四方面的一种可能的实现方式中，该第一损失函数或该第二损失函数的函数类型包括如下至少一项：
139.像素损失函数pixel loss、均方误差损失函数mse loss、结构相似性指数损失函数ssim loss，感知损失函数perceptual loss或生成对抗网络损失函数gan loss。
140.在本技术实施例第四方面的一种可能的实现方式中，
141.该第一图像的图像数量与该第一标签图像的图像数量相等；和/或，该第二图像的图像数量与该第二标签图像的图像数量之和相等。
142.在本技术实施例第四方面的一种可能的实现方式中，
143.该第一图像的图像数量低于该第一标签图像的图像数量，和/或，第二图像的图像数量低于该第二标签图像的图像数量。
144.在本技术实施例第四方面的一种可能的实现方式中，该第一图像的图像数量与该第一标签图像的图像数量相等，和/或，第二图像的数量和该第二标签图像的图像数量相等。
145.在本技术实施例第四方面的一种可能的实现方式中，该第一图像的图像数量低于该第一标签图像的图像数量，和/或，第二图像的图像数量低于该第二标签图像的图像数量。
146.本技术第四方面中，该装置的组成模块还可以用于执行第二方面的各个可能实现方式中所执行的步骤，具体均可以参阅第二方面，此处不再赘述。
147.第五方面，提供一种图像增强装置，该装置包括：存储器，用于存储程序；处理器，用于执行存储器存储的程序，当存储器存储的程序被执行时，处理器用于执行第一方面中的任意一种实现方式中的方法。
148.第六方面，提供一种图像增强模型的训练装置，该装置包括：存储器，用于存储程序；处理器，用于执行存储器存储的程序，当存储器存储的程序被执行时，处理器用于执行第二方面中的任意一种实现方式中的方法。
149.第七方面，提供一种计算机可读介质，该计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行第一方面或第二方面中的任意一种实现方式中的方法。
150.第八方面，提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面或第二方面中的任意一种实现方式中的方法。
151.第九方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行上述第一方面或第二方面中的任意一种实现方式中的方法。
152.可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行上述第一方面或第二方面中的任意一种实现方式中的方法。
153.上述芯片具体可以是现场可编程门阵列(field－programmable gate array，fpga)或者专用集成电路(application-specific integrated circuit，asic)。
154.第十方面，提供一种电子设备，该电子设备包括上述第三方面至第四方面中的任
意一种实现方式中的装置。
155.其中，第五至第十方面或者其中任一种可能实现方式所带来的技术效果可参见第一方面或第一方面不同可能实现方式所带来的技术效果，或者参见第二方面或第二方面不同可能实现方式所带来的技术效果，此处不再赘述。
156.从以上技术方案可以看出，本技术提供的一些实施例中，在该图像增强方法中，输入至训练好的图像增强模型的输入数据包括待处理图像、第一掩膜和第二掩模，并在训练好的图像增强模型中进行特征提取，基于提取的特征进行图像增强，以得到第一目标图像。其中，待处理图像包括第一图像增强类型对应的第一待处理区域以及第二图像增强类型对应的第二待处理区域，且第一掩膜和第二掩膜分别用于第一图像增强类型和第二图像增强类型，即训练好的图像增强模型通过不同的图像增强类型对待处理图像中的待处理区域进行处理，以满足对待处理区域执行不同增强操作的需求，从而提升图像增强过程的处理效率。
附图说明
157.图1是本技术实施例提供的系统架构的结构示意图；
158.图2是本技术实施例提供的一种卷积神经网络的示意图；
159.图3是本技术实施例提供的一种芯片硬件结构示意图；
160.图4是本技术实施例提供的一种系统架构的示意图；
161.图5是图像增强网络实现的一个示意图；
162.图6是图像增强网络实现的另一个示意图；
163.图7是本技术实施例提供的图像增强网络实现框架的一个示意图；
164.图8是本技术实施例提供的一种图像增强模型的训练方法的一个示意图；
165.图9-1是本技术实施例提供的一种图像增强模型的网络结构的一个示意图；
166.图9-2是本技术实施例提供的一种图像增强模型的网络结构的另一个示意图；
167.图9-3是本技术实施例提供的一种图像增强模型的网络结构的另一个示意图；
168.图10是本技术实施例提供的一种图像增强模型的网络结构的另一个示意图；
169.图11是本技术实施例提供的一种图像增强模型的网络结构的另一个示意图；
170.图12是本技术实施例提供的一种图像增强方法的一个示意图；
171.图13是本技术实施例提供的一种图像增强模型的网络结构的另一个示意图；
172.图14是本技术实施例提供的一种图像增强模型的网络结构的另一个示意图；
173.图15是本技术实施例提供的图像增强装置的一个示意图；
174.图16是本技术实施例提供的图像增强模型的训练装置的一个示意图；
175.图17是本技术实施例提供的图像增强装置的另一个示意图；
176.图18是本技术实施例提供的图像增强模型的训练装置的另一个示意图。
具体实施方式
177.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属
于本发明保护的范围。
178.本技术实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本技术实施例中对设备个数的特别限定，不能构成对本技术实施例的任何限制。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
179.需要说明的是，本技术中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
180.本技术实施例提供的图像增强模型的训练方法，涉及计算机视觉的处理，具体可以应用于数据训练、机器学习、深度学习等数据处理方法，对训练数据(如本技术中的第一图像、第二图像、第一输出图像、第一标签图像、第二标签图像)进行符号化和形式化的智能信息建模、抽取、预处理、训练等，最终得到训练好的图像增强网络；并且，本技术实施例提供的图像增强方法可以运用上述训练好的图像增强网络，将输入数据(如本技术中的待处理图像)输入到所述训练好的图像增强网络中，得到输出数据(如本技术中的第一目标图像)。需要说明的是，本技术实施例提供的图像增强网络的训练方法和图像增强方法是基于同一个构思产生的发明，也可以理解为一个系统中的两个部分，或一个整体流程的两个阶段：如模型训练阶段和模型应用阶段。
181.由于本技术实施例涉及大量神经网络的应用，为了便于理解，下面先对本技术实施例涉及的相关术语及神经网络等相关概念进行介绍。
182.(1)神经网络
183.神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运算单元，该运算单元的输出可以为：
[0184][0185]
其中，s＝1、2、
……
n，n为大于1的自然数，ws为xs的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于对神经网络中获取到的特征进行非线性变换，将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入。激活函数可以是sigmoid函数。神经网络是将许多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
[0186]
(2)深度神经网络
[0187]
深度神经网络(deep neural network，dnn)，也称多层神经网络，可以理解为具有多层隐含层的神经网络。按照不同层的位置对dnn进行划分，dnn内部的神经网络可以分为
三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i 1层的任意一个神经元相连。
[0188]
虽然dnn看起来很复杂，但是就每一层的工作来说，其实并不复杂，简单来说就是如下线性关系表达式：其中，是输入向量，是输出向量，是偏移向量，w是权重矩阵(也称系数)，α()是激活函数。每一层仅仅是对输入向量经过如此简单的操作得到输出向量由于dnn层数多，系数w和偏移向量的数量也比较多。这些参数在dnn中的定义如下所述：以系数w为例：假设在一个三层的dnn中，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为上标3代表系数w所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。
[0189]
综上，第l-1层的第k个神经元到第l层的第j个神经元的系数定义为
[0190]
需要注意的是，输入层是没有w参数的。在深度神经网络中，更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程，其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量w形成的权重矩阵)。
[0191]
(3)卷积神经网络
[0192]
卷积神经网络(convolutional neuron network，cnn)是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器，该特征抽取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取特征的方式与位置无关。卷积核可以以随机大小的矩阵的形式化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。
[0193]
(4)损失函数
[0194]
在训练深度神经网络的过程中，因为希望深度神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有化的过程，即为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断地调整，直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。
[0195]
(5)反向传播算法
[0196]
卷积神经网络可以采用误差反向传播(back propagation，bp)算法在训练过程中修正初始的超分辨率模型中参数的大小，使得超分辨率模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的超分辨率模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的超分辨率模型的参数，例如权重矩阵。
[0197]
(6)生成式对抗网络
[0198]
生成式对抗网络(gan,generative adversarial networks)是一种深度学习模型。该模型中至少包括两个模块：一个模块是生成模型(generative model)，另一个模块是判别模型(discriminative model)，通过这两个模块互相博弈学习，从而产生更好的输出。生成模型和判别模型都可以是神经网络，具体可以是深度神经网络，或者卷积神经网络。gan的基本原理如下：以生成图片的gan为例，假设有两个网络，g(generator)和d(discriminator)，其中g是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做g(z)；d是一个判别网络，用于判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出d(x)代表x为真实图片的概率，如果为1，就代表100％是真实的图片，如果为0，就代表不可能是真实的图片。在对该生成式对抗网络进行训练的过程中，生成网络g的目标就是尽可能生成真实的图片去欺骗判别网络d，而判别网络d的目标就是尽量把g生成的图片和真实的图片区分开来。这样，g和d就构成了一个动态的“博弈”过程，也即“生成式对抗网络”中的“对抗”。最后博弈的结果，在理想的状态下，g可以生成足以“以假乱真”的图片g(z)，而d难以判定g生成的图片究竟是不是真实的，即d(g(z))＝0.5。这样就得到了一个优异的生成模型g，它可以用来生成图片。
[0199]
(7)像素值
[0200]
图像的像素值可以是一个红绿蓝(rgb)颜色值，像素值可以是表示颜色的长整数。例如，像素值为256*red 100*green 76*blue，其中，blue代表蓝色分量，green代表绿色分量，red代表红色分量。各个颜色分量中，数值越小，亮度越低，数值越大，亮度越高。对于灰度图像来说，像素值可以是灰度值。
[0201]
(8)yuv
[0202]
yuv是一种颜色空间，y表示明亮度(luminance或luma)，也就是灰阶值；“u”和“v”表示色度(chrominance或chroma)，用于描述图像色彩及饱和度，用于指定像素的颜色。“u”和“v”是构成彩色的两个分量。采用yuv色彩空间的重要性是它的亮度信号y和色度信号u、v是分离的。如果只有y信号分量而没有u、v信号分量，那么这样表示的图像就是黑白灰度图像。亮度信号也可以称为亮度通道，色度信号也可以称为色度通道。
[0203]
(9)编码器、解码器
[0204]
编码器(encoder)用于提取输入图像的特征。具体地，编码器可以采用神经网络，例如，卷积神经网络。
[0205]
解码器(decoder)用于将提取的特征恢复为图像。具体地，解码器可以采用神经网络，例如，卷积神经网络。
[0206]
(10)掩膜
[0207]
掩膜(mask)，一般指示用选定的图像、图形或物体，对处理的图像(全部或局部)进
行遮挡，来控制图像处理的区域或处理过程。用于覆盖的特定图像或物体称为掩模或模板。在数字图像处理中,掩模为二维矩阵数组,有时也用多值图像。
[0208]
数字图像处理中，图像掩模主要用于：
[0209]
①
提取感兴趣区,用预先制作的感兴趣区掩模与待处理图像相乘,得到感兴趣区图像,感兴趣区内图像值保持不变,而区外图像值都为0。
[0210]
②
屏蔽作用,用掩模对图像上某些区域作屏蔽,使其不参加处理或不参加处理参数的计算,或仅对屏蔽区作处理或统计。
[0211]
③
结构特征提取,用相似性变量或图像匹配方法检测和提取图像中与掩模相似的结构特征。
[0212]
④
特殊形状图像的制作。
[0213]
(11)图像处理领域涉及的术语
[0214]
图像增强(image enhancement)：根据图像的整体或局部特性，改善图像质量的过程。
[0215]
图像恢复(image restoration)：复原被退化的图像，提升图像质量的过程。
[0216]
图像超分辨率(image super-resolution)：增加图像的分辨率的一种技术。
[0217]
注意力机制(attention mechanism)：选择性地关注所有信息的一部分，同时忽略其他可见的信息的机制。特别的，神经网络中的注意力机制是指使得神经网络具备专注于其输入(或特征)子集的能力。
[0218]
退化(degradation)：图像的退化是指图像质量降低的过程。
[0219]
下面介绍本技术实施例提供的系统架构。
[0220]
参见附图1，本技术实施例提供了一种系统架构100。如系统架构100所示，数据采集设备160用于采集训练数据。示例性地，本技术实施例中训练数据可以包括：第一图像、第二图像、第一标签图像和第二标签图像；在采集到训练数据之后，数据采集设备160将这些训练数据存入数据库130，训练设备120基于数据库130中维护的训练数据训练得到目标模型/规则101。
[0221]
下面对训练设备120基于训练数据得到目标模型/规则101进行描述。示例性地，训练设备120对第一图像进行处理，将输出的第一输出图像与第一标签图像和第二标签图像进行对比，直到训练设备120输出的第一输出图像与第一标签图像的差值，或第一输出图像与第二标签图像的差值小于一定的阈值，从而完成目标模型/规则101的训练。
[0222]
该目标模型/规则101能够用于实现本技术实施例提供的图像增强方法，即，将待处理图像通过相关预处理后输入该目标模型/规则101，即可得到增强后的第一目标图像。本技术实施例中的目标模型/规则101具体可以为神经网络。需要说明的是，在实际的应用中，数据库130中维护的训练数据不一定都来自于数据采集设备160的采集，也有可能是从其他设备接收得到的。另外需要说明的是，训练设备120也不一定完全基于数据库130维护的训练数据进行目标模型/规则101的训练，也有可能从云端或其他地方获取训练数据进行模型训练，上述描述不应该作为对本技术实施例的限定。
[0223]
根据训练设备120训练得到的目标模型/规则101可以应用于不同的系统或设备中，如应用于图1所示的执行设备110，所述执行设备110可以是终端，如手机终端，平板电脑，笔记本电脑，增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)，车
载终端等，还可以是服务器或者云端等。在附图1中，执行设备110配置有(input/output，i/o)接口112，用于与外部设备进行数据交互，用户可以通过客户设备140向i/o接口112输入数据，所述输入数据在本技术实施例中可以包括：第一图像。
[0224]
预处理模块113用于根据i/o接口112接收到的输入数据(如第一图像)进行预处理，在本技术实施例中，预处理模块113可以用于基于第一图像获得增强权重。
[0225]
在本技术实施例中，也可以没有预处理模块113和预处理模块114，而直接采用计算模块111对输入数据进行处理。
[0226]
在执行设备110对输入数据进行预处理，或者在执行设备110的计算模块111执行计算等相关的处理过程中，执行设备110可以调用数据存储系统150中的数据、代码等以用于相应的处理，也可以将相应处理得到的数据、指令等存入数据存储系统150中。
[0227]
最后，i/o接口112将处理结果，如上述得到的增强后的图像返回给客户设备140，从而提供给用户。
[0228]
值得说明的是，训练设备120可以针对不同的目标或称不同的任务，基于不同的训练数据生成相应的目标模型/规则101，该相应的目标模型/规则101即可以用于实现上述目标或完成上述任务，从而为用户提供所需的结果。
[0229]
在附图1中所示情况下，用户可以手动给定输入数据，该手动给定可以通过i/o接口112提供的界面进行操作。另一种情况下，客户设备140可以自动地向i/o接口112发送输入数据，如果要求客户设备140自动发送输入数据需要获得用户的授权，则用户可以在客户设备140中设置相应权限。用户可以在客户设备140查看执行设备110输出的结果，具体的呈现形式可以是显示、声音、动作等具体方式。客户设备140也可以作为数据采集端，采集如图所示输入i/o接口112的输入数据及输出i/o接口112的输出结果作为新的样本数据，并存入数据库130。当然，也可以不经过客户设备140进行采集，而是由i/o接口112直接将如图所示输入i/o接口112的输入数据及输出i/o接口112的输出结果，作为新的样本数据存入数据库130。
[0230]
值得注意的是，附图1仅是本技术实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在附图1中，数据存储系统150相对执行设备110是外部存储器，在其它情况下，也可以将数据存储系统150置于执行设备110中。
[0231]
如图1所示，根据训练设备120训练得到目标模型/规则101，该目标模型/规则101在本技术实施例中可以是本技术中的神经网络，具体的，本技术中的神经网络可以包括cnn或深度卷积神经网络(deep convolutional neural networks，dcnn)等等。
[0232]
由于cnn是一种非常常见的神经网络，下面结合图2重点对cnn的结构进行详细的介绍。如前文的基础概念介绍所述，卷积神经网络是一种带有卷积结构的深度神经网络，是一种深度学习(deep learning)架构，深度学习架构是指通过机器学习的算法，在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，cnn是一种前馈(feed-forward)人工神经网络，该前馈人工神经网络中的各个神经元可以对输入其中的图像作出响应。
[0233]
如图2所示，卷积神经网络(cnn)200可以包括输入层210，卷积层/池化层220(其中池化层为可选的)，以及全连接层(fully connected layer)230。
[0234]
卷积层/池化层220：
[0235]
卷积层：
[0236]
如图2所示卷积层/池化层220可以包括如示例221-226层，举例来说：在一种实现中，221层为卷积层，222层为池化层，223层为卷积层，224层为池化层，225为卷积层，226为池化层；在另一种实现方式中，221、222为卷积层，223为池化层，224、225为卷积层，226为池化层。即卷积层的输出可以作为随后的池化层的输入，也可以作为另一个卷积层的输入以继续进行卷积操作。
[0237]
下面将以卷积层221为例，介绍一层卷积层的内部工作原理。
[0238]
卷积层221可以包括很多个卷积算子，卷积算子也称为核，其在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义，在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素
……
这取决于步长stride的取值)的进行处理，从而完成从图像中提取特定特征的工作。该权重矩阵的大小应该与图像的大小相关，需要注意的是，权重矩阵的纵深维度(depth dimension)和输入图像的纵深维度是相同的，在进行卷积运算的过程中，权重矩阵会延伸到输入图像的整个深度。因此，和一个单一的权重矩阵进行卷积会产生一个单一纵深维度的卷积化输出，但是大多数情况下不使用单一权重矩阵，而是应用多个尺寸(行
×
列)相同的权重矩阵，即多个同型矩阵。每个权重矩阵的输出被堆叠起来形成卷积图像的纵深维度，这里的维度可以理解为由上面所述的“多个”来决定。不同的权重矩阵可以用来提取图像中不同的特征，例如一个权重矩阵用来提取图像边缘信息，另一个权重矩阵用来提取图像的特定颜色，又一个权重矩阵用来对图像中不需要的噪点进行模糊化等。该多个权重矩阵尺寸(行
×
列)相同，经过该多个尺寸相同的权重矩阵提取后的特征图的尺寸也相同，再将提取到的多个尺寸相同的特征图合并形成卷积运算的输出。
[0239]
这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到，通过训练得到的权重值形成的各个权重矩阵可以用来从输入图像中提取信息，从而使得卷积神经网络200进行正确的预测。
[0240]
当卷积神经网络200有多个卷积层的时候，初始的卷积层(例如221)往往提取较多的一般特征，该一般特征也可以称之为低级别的特征；随着卷积神经网络200深度的加深，越往后的卷积层(例如226)提取到的特征越来越复杂，比如高级别的语义之类的特征，语义越高的特征越适用于待解决的问题。
[0241]
池化层：
[0242]
由于常常需要减少训练参数的数量，因此卷积层之后常常需要周期性的引入池化层，在如图2中220所示例的221-226各层，可以是一层卷积层后面跟一层池化层，也可以是多层卷积层后面接一层或多层池化层。在图像处理过程中，池化层的唯一目的就是减少图像的空间大小。池化层可以包括平均池化算子和/或最大池化算子，以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值作为平均池化的结果。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。另外，就像卷积层中用权重矩阵的大小应该与图像尺寸相关一样，池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的图像尺寸可以小于输入池化层的图像的尺寸，池化层输出的图像中每个像素点表示输入池化层的图像的对应子
区域的平均值或最大值。
[0243]
全连接层230：
[0244]
在经过卷积层/池化层220的处理后，卷积神经网络200还不足以输出所需要的输出信息。因为如前所述，卷积层/池化层220只会提取特征，并减少输入图像带来的参数。然而为了生成最终的输出信息(所需要的类信息或其他相关信息)，卷积神经网络200需要利用全连接层230来生成一个或者一组所需要的类的数量的输出。因此，在全连接层230中可以包括多层隐含层(如图2所示的231、232至23n)，该多层隐含层中所包含的参数可以根据具体的任务类型的相关训练数据进行预先训练得到，例如该任务类型可以包括图像识别，图像分类，图像超分辨率重建等等。
[0245]
在全连接层230中的多层隐含层之后，也就是整个卷积神经网络200的最后层为输出层240，该输出层240具有类似分类交叉熵的损失函数，具体用于计算预测误差，一旦整个卷积神经网络200的前向传播(如图2由210至240方向的传播为前向传播)完成，反向传播(如图2由240至210方向的传播为反向传播)就会开始更新前面提到的各层的权重值以及偏差，以减少卷积神经网络200的损失，及卷积神经网络200通过输出层输出的结果和理想结果之间的误差。
[0246]
需要说明的是，如图2所示的卷积神经网络200仅作为一种卷积神经网络的示例，在具体的应用中，卷积神经网络还可以以其他网络模型的形式存在，例如，仅包括图2中所示的网络结构的一部分，比如，本技术实施例中所采用的卷积神经网络可以仅包括输入层210、卷积层/池化层220和输出层240。
[0247]
下面介绍本技术实施例提供的一种芯片硬件结构。
[0248]
图3为本技术实施例提供的一种芯片硬件结构，该芯片包括神经网络处理器30。该芯片可以被设置在如图1所示的执行设备110中，用以完成计算模块111的计算工作。该芯片也可以被设置在如图1所示的训练设备120中，用以完成训练设备120的训练工作并输出目标模型/规则101。如图2所示的卷积神经网络中各层的算法均可在如图3所示的芯片中得以实现。本技术实施例中的图像增强方法以及图像增强模型的训练方法均可在如图3所示的芯片中得以实现。
[0249]
神经网络处理器30可以是神经网络处理器(neural-network processing unit，npu)，张量处理器(tensor processing unit，tpu)，或者图形处理器(graphics processing unit，gpu)等一切适合用于大规模异或运算处理的处理器。以npu为例：神经网络处理器npu30作为协处理器挂载到主中央处理器(central processing unit，cpu)(host cpu)上，由主cpu分配任务。npu的核心部分为运算电路303，控制器304控制运算电路303提取存储器(权重存储器或输入存储器)中的数据并进行运算。其中，tpu是谷歌(google)为机器学习全定制的人工智能加速器专用集成电路。
[0250]
在一些实现中，运算电路303内部包括多个处理单元(process engine，pe)。在一些实现中，运算电路303是二维脉动阵列。运算电路303还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路303是通用的矩阵处理器。
[0251]
举例来说，假设有输入矩阵a，权重矩阵b，输出矩阵c。运算电路303从权重存储器302中取矩阵b的权重数据，并缓存在运算电路303中的每一个pe上。运算电路303从输入存
储器301中取矩阵a的输入数据，根据矩阵a的输入数据与矩阵b的权重数据进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)308中。
[0252]
向量计算单元307可以对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。例如，向量计算单元307可以用于神经网络中非卷积/非fc层的网络计算，如池化(pooling)，批归一化(batch normalization)，局部响应归一化(local response normalization)等。
[0253]
在一些实现中，向量计算单元能307将经处理的输出的向量存储到统一缓存器306。例如，向量计算单元307可以将非线性函数应用到运算电路303的输出，例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元307生成归一化的值、合并值，或二者均有。在一些实现中，向量计算单元307将经处理的向量存储到统一存储器306。在一些实现中，经向量计算单元307处理过的向量能够用作运算电路303的激活输入，例如用于神经网络中后续层中的使用，如图2所示，若当前处理层是隐含层1(231)，则经向量计算单元307处理过的向量还可以被用到隐含层2(232)中的计算。
[0254]
统一存储器306用于存放输入数据以及输出数据。
[0255]
权重数据直接通过存储单元访问控制器(direct memory access controller，dmac)305，被存入到权重存储器302中。输入数据也通过dmac被存入到统一存储器306中。
[0256]
总线接口单元(bus interface unit，biu)310，用于dmac和取指存储器(instruction fetch buffer)309的交互；总线接口单元301还用于取指存储器309从外部存储器获取指令；总线接口单元301还用于存储单元访问控制器305从外部存储器获取输入矩阵a或者权重矩阵b的原数据。
[0257]
dmac主要用于将外部存储器ddr中的输入数据存入到统一存储器306中，或将权重数据存入到权重存储器302中，或将输入数据存入到输入存储器301中。
[0258]
与控制器304连接的取指存储器(instruction fetch buffer)309，用于存储控制器304使用的指令；
[0259]
控制器304，用于调用指存储器309中缓存的指令，实现控制该运算加速器的工作过程。
[0260]
一般地，统一存储器306，输入存储器301，权重存储器302以及取指存储器309均为片上(on-chip)存储器，外部存储器为该npu外部的存储器，该外部存储器可以为双倍数据率同步动态随机存储器(double data rate synchronous dynamic random access memory，ddr sdram)、高带宽存储器(high bandwidth memory，hbm)或其他可读可写的存储器。
[0261]
其中，图2所示的卷积神经网络中各层的运算可以由运算电路303或向量计算单元307执行。示例性地，本技术实施例中的图像增强模型的训练方法以及图像增强方法均可以由运算电路303或向量计算单元307执行。
[0262]
如图4所示，本技术实施例提供了一种系统架构400。该系统架构包括本地设备401、本地设备402以及执行设备410和数据存储系统450，其中，本地设备401和本地设备402通过通信网络与执行设备410连接。
[0263]
执行设备410可以由一个或多个服务器实现。可选的，执行设备410可以与其它计算设备配合使用，例如：数据存储器、路由器、负载均衡器等设备。执行设备410可以布置在
一个物理站点上，或者分布在多个物理站点上。执行设备410可以使用数据存储系统450中的数据，或者调用数据存储系统450中的程序代码来实现本技术实施例的时间序列预测模型的训练方法。
[0264]
具体地，在一种实现方式中，执行设备410可以执行以下过程：
[0265]
首先获取训练样本，该训练样本包括第一图像、第二图像、第一标签图像和第二标签图像，其中，该第一图像包括第一待处理区域和第二待处理区域，该第一待处理区域与第一图像增强类型对应，该第二待处理区域与第二图像增强类型对应，且该第一图像增强类型不同于该第二图像增强类型；其中，该第一标签图像包括第一已处理区域，该第一已处理区域与该第一图像增强类型对应，该第二标签图像包括第二已处理区域，该第二已处理区域与该第二图像增强类型对应；然后，确定该第一图像的第一掩膜和第二掩膜，其中，该第一掩模用于该第一图像增强类型，该第二掩模用于该第二图像增强类型；此后，将该第一图像、第二图像、该第一掩膜和该第二掩模输入至图像增强模型中进行特征提取，基于提取的特征进行图像增强，以得到第一输出图像和第二输出图像；进一步地，根据第一损失函数和第二损失函数对该图像增强模型进行训练，得到训练好的图像增强模型；其中，该第一损失函数用于指示该第一输出图像与该第一标签图像之间基于该第一图像增强类型的差异，该第二损失函数用于指示该第二输出图像与该第二标签图像之间基于该第二图像增强类型的差异。
[0266]
通过上述过程执行设备410能够获得一个图像增强模型，该图像增强模型可以用于得到增强后的图像。
[0267]
用户可以操作各自的用户设备(例如本地设备401和本地设备402)与执行设备410进行交互。每个本地设备可以表示任何计算设备，例如个人计算机、计算机工作站、智能手机、平板电脑、智能摄像头、智能汽车或其他类型蜂窝电话、媒体消费设备、可穿戴设备、机顶盒、游戏机等。
[0268]
每个用户的本地设备可以通过任何通信机制/通信标准的通信网络与执行设备410进行交互，通信网络可以是广域网、局域网、点对点连接等方式，或它们的任意组合。
[0269]
在一种实现方式中，本地设备401、本地设备402从执行设备410获取到图像增强模型，将图像增强模型部署在本地设备401、本地设备402上，利用该图像增强模型进行图像增强。
[0270]
在另一种实现中，执行设备410上可以直接部署图像增强模型，执行设备410通过从本地设备401和本地设备402获取待处理的图像，并采用图像增强模型对待处理的图像进行图像增强。
[0271]
上述执行设备410也可以为云端设备，此时，执行设备410可以部署在云端；或者，上述执行设备410也可以为终端设备，此时，执行设备410可以部署在用户终端侧，本技术实施例对此并不限定。
[0272]
示例性地，计算机视觉所涉及的处理过程可以应用于上述图1、图4所示人工智能主体框架中，并可以在上述图3所示芯片硬件上，执行图2所示卷积神经网络运行实现。其中，计算机视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断，和军事等领域中各种智能/自主系统中不可分割的一部分，它是一门关于如何运用照相机/摄像机和计算机来获取我们所需的，被拍摄对象的数据与信息的学问。形象地说，就是给计算机安装上眼睛
(照相机/摄像机)和大脑(算法)用来代替人眼对目标进行识别、跟踪和测量等，从而使计算机能够感知环境。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。总的来说，计算机视觉就是用各种成象系统代替视觉器官获取输入信息，再由计算机来代替大脑对这些输入信息完成处理和解释。计算机视觉的最终研究目标就是使计算机能像人那样通过视觉观察和理解世界，具有自主适应环境的能力。
[0273]
随着带有相机的移动设备的普及和通讯的发展，人们日益通过更便捷的方式来获取图像，但在相机采集图像和图像数据传输的过程中，会受到很多外界因素的影响，导致图像的质量并不那么令人满意。其中，同一张自然图像往往在不同区域存在多种不同类型的退化(比如噪声，模糊等)，且这些退化影响的区域不同，例如噪声主要影响背景区域，模糊主要影响边缘的成像质量。
[0274]
示例性的，传统的技术方案对图像进行图像质量增强的实现过程中，直接将待优化的图像输入到一个图像增强网络，执行单一的图像增强任务，使用cnn对其进行全局操作。如图5所示，输入图像经过图像增强网络的处理，得到输出图像。
[0275]
目前为了提升图像的质量提出了很多框架，传统的算法框架存在着以下几个缺点：在同一张自然图像往往在不同区域存在多种不同类型的退化(比如噪声，模糊等)，为了全面提升图像各个区域的画质，需要同时进行多个图像增强任务，因此需要很强的计算能力。但是移动端的计算资源往往是有限的。此外，目前的框架，对图像不同区域进行同样的处理，无法定制化地优化某些区域。而且，目前的框架无法充分挖掘模型的潜力，造成算力的浪费。
[0276]
此外，为了全面提升图像各个区域的画质，需要分别通过不同的图像增强任务以实现该自然图像的图像恢复。基于图5所示实现过程，如果进一步改进，当图像中不同区域被不同的失真类型影响时，使用单一图像输入的增强框架，不能针对性地对输入图像地不同区域实现不同地优化。具体来讲，如果该单一图像输入的增强框架是面向某一特定图像增强目的训练得到的网络，那么比较容易陷入过拟合的问题，在解决和训练数据中相似的增强任务中表现较好，只能进行单一类型的图像增强。另一方面，如果该单一图像输入的增强框架在训练过程中包含了多个种类的图像增强的数据对，那么对各个不同类型的增强任务都可以起到一定的作用，但是整体增强结果会趋于各个任务的折衷，不能取得令人满意的增强效果。另一方面，当前存在的单一输入的图像增强框架不能充分挖掘神经网络的表达能力。因此，为了取得更好的效果，往往需要堆叠更深更宽的大型网络，在提升效果的同时也大大增加了计算开销。
[0277]
因此，如何提高图像增强过程的处理效率是一个亟待解决的问题。
[0278]
为了解决上述在同一图片中不同区域存在多种退化模型(比如噪声，模糊等)的问题，本技术实施例提出一个多任务的图像增强的框架，以满足对不同区域执行不同增强操作的需求；与此同时，为了满足计算能力有限的情况下也能取得较好的增强效果的目的，本技术实施例通过多任务学习提高了神经网络的表达效率，使得轻量级网络也能取得很好的增强效果。本技术实施例分别通过多种不同的角度提出了多种实现方案，用于解决上述问题。
[0279]
下面首先对本技术所涉及的应用场景进行示例性的描述。
[0280]
本技术实施例提供的图像增强方法能够应用在图片拍摄后的图像处理、视频拍摄后的视频帧图像的图像处理、模拟生成图像的图像处理、动画生成视频的视频帧的图像处理、经过图像压缩的后处理、经过图像传输的后处理以及其它需要提升图像质量的场景。示例性的，以本技术实施例应用于图片拍摄后的图像处理的场景为例，如图6所示。用户可以在真实世界中通过用户设备(例如图1中的数据采集设备、图4中的本地设备401)的拍照系统得到初步成像结果，然后经过图像增强的处理过程得到并呈现给用户的拍照结果。
[0281]
此外，本技术实施例提供的方法和装置还可以用于扩充训练数据库，如图1所示执行设备110的i/o接口112可以将经执行设备处理过的图像和用户输入的图像一起作为训练数据对发送给数据库130，以使得数据库130维护的训练数据更加丰富，从而为训练设备120的训练工作提供更丰富的训练数据。
[0282]
下面将对本技术实施例所应用的网络模型进行介绍，请参阅图7，为本技术实施例提供的图像增强网络实现框架的一个示意图，本技术实施例中的图像增强模型的训练装置和图像增强装置可以通过图7所示框架实现。
[0283]
具体地，在图7中，输入图像首先经过“可控mask生成”过程，针对不同的图像增强类型生成一一对应的至少两组mask。例如，不同的图像增强类型分别对应于不同的图像增强任务，第一图像增强类型对应任务1，...，第n图像增强类型对应任务n；此时，所生成的多种mask至少包括图示中的“任务1mask”，显然，还可以进一步包括“任务2mask”、...、“任务n mask”,其中，n为正整数。此后，将输入图像以及至少两组mask进行融合(或组合)，并将融合后的数据输入至图像增强网络进行处理后，得到的输出数据为输出图像。
[0284]
可以理解的是，图7所示网络框架仅仅为一种示例性实现，本领域技术人员可以按照具体的应用场景或者不同的需求进行步骤的增删。例如，图像增强模型的训练装置和图像增强装置可以直接通过与其它设备通信的方式，接收得到“输入图像和至少两组mask的组合”，而无需执行“可控mask生成”的步骤；又如，图像增强模型的训练装置和图像增强装置可以在输入图像与至少两种mask进行“组合”之前，对该输入图像进行预处理(例如几何变换、滤波等)后再进行“组合”。本技术实施例仅以图7作为图像增强模型的训练装置和图像增强装置所实现网络框架的一个示例进行说明。
[0285]
下面结合图8至图11对本技术实施例的图像增强模型的训练方法进行详细介绍。
[0286]
图8至图11所示的方法可以由图像增强模型的训练装置来执行，该图像增强模型的训练装置可以是云服务设备，也可以是终端设备，例如，电脑、服务器等运算能力足以用来执行图像增强模型的训练方法的装置，也可以是由云服务设备和终端设备构成的系统。示例性地，方法可以由图1中的训练设备120、图3中的神经网络处理器30或图4中的执行设备410或本地设备执行。
[0287]
例如，图8至图11所示的方法具体可以由如图1所示的训练设备120执行，图8至图11所示的方法中的训练样本所包含的第一图像、第二图像、第一标签图像和第二标签图像可以是如图1所示的数据库130中维护的训练数据。可选的，图8至图11所示的方法的s103和s104可以在训练设备120中执行，也可以在训练设备120之前由其他功能模块预先执行。
[0288]
再如，图8至图11所示的方法具体可以由如图4中的本地设备执行，该本地设备可以为终端设备。具体地，图8至图11所示的方法可以由终端设备上的计算模块执行。
[0289]
可选地，图8至图11所示的方法可以由cpu处理，也可以由cpu和gpu共同处理，也可
以不用gpu，而使用其他适合用于神经网络计算的处理器，本技术不做限制。
[0290]
请参阅图8，为本技术实施例提供的一种图像增强模型的训练方法的一个示意图，该方法包括如下步骤。
[0291]
s101、获取训练样本；
[0292]
本实施例中，图像增强模型的训练装置获取训练样本，其中，该训练样本包括第一图像、第二图像、第一标签图像和第二标签图像，其中，该第一图像包括第一待处理区域，该第一待处理区域与第一图像增强类型对应，该第一标签图像包括第一已处理区域，该第一已处理区域与该第一图像增强类型对应；该第二图像包括第二待处理区域，该第二标签图像包括第二已处理区域，该第二已处理区域与该第二图像增强类型对应，且该第一图像增强类型不同于该第二图像增强类型。
[0293]
在步骤s101中，图像增强模型的训练装置可以通过是响应于用户操作指令而采集得到数据的方式获取得到该训练样本中的第一标签图像和第二标签图像并进一步确定第一图像，也可以是通过有线或无线的通信方式接收其它设备发送数据的方式获取得到该训练样本，也可以是按照预设规则所生成的模拟虚拟数据的方式获取得到该训练样本，或者是其它方式，此处不做限定。
[0294]
示例性的，在步骤s101中图像增强模型的训练装置可以通过是响应于用户操作指令而采集得到数据的方式获取得到该训练样本中的第一标签图像和第二标签图像并进一步确定第一图像的实现方式中，可以假设采集得到的第一标签图像和第二标签图像都是没有任务失真的(例如无噪声，无模糊，充满细节，无压缩振铃，边缘锐利等)的图像。示例性地，在获取第一图像的过程中，可以根据不同的图像增强类型，在全图范围内实施失真，生成对应的第一图像。例如，针对去噪任务，在第一标签图像中通过加入噪声生成对应的第一图像；针对去模糊任务，在第二标签图像中通过加入模糊生成对应的第一图像。
[0295]
可选地，第一待处理区域与第一图像增强类型对应，可以指示第一待处理区域用于第一图像增强类型，例如第一图像增强类型用于去模糊deblur或去噪denoise或超分辨率sr等，或者可以指示第一待处理区域存在缺陷，需要执行第一图像增强类型对应的图像增强任务。类似的，第二待处理区域与第二图像增强类型对应，可以指示第二待处理区域第二待处理区域用于第二图像增强类型，例如第二图像增强类型用于去模糊deblur或去噪denoise或超分辨率sr等，或者可以指示第二待处理区域存在缺陷，需要执行第二图像增强类型对应的图像增强任务。
[0296]
可选地，第一图像和第二图像可以为拼接在同一输入图像中的不同部分，也可以为完全独立的两个不同的输入图像；类似的，第一标签图像和第二标签图像可以为拼接在同一标签图像的不同部分，也可以为完全独立的两个不同的标签图像，此处不做限定。
[0297]
可选地，第一图像中的第一待处理区域与第一图像增强类型对应可以指示该第一待处理区域未经过第一图像增强类型的处理，与之相对应的，第一标签图像中的第一已处理区域与第一图像增强类型对应可以指示该第一已处理区域已经过第一图像增强类型的处理；类似的，第二图像中的第二待处理区域与第二图像增强类型对应可以指示该第二待处理区域未经过第二图像增强类型的处理，与之相对应的，第二标签图像中的第二已处理区域与第二图像增强类型对应可以指示该第二已处理区域已经过第二图像增强类型的处理。
[0298]
可选地，第一图像中可以存在某一个部分(或全部)的待处理区域需要通过不同的图像增强类型进行图像增强，第一图像中也可以存在至少两个不同部分的待处理区域需要分别通过至少两种不同的图像增强类型进行图像增强，此处不做限定。
[0299]
在一种可能的实现方式中，该第一图像增强类型或第二图像增强类型包括如下至少一项：去模糊deblur、去噪denoise、超分辨率(super resolution，sr)、增加细节、去块、去振铃、去压缩失真，增强。其中，第一图像增强类型或第二图像增强类型可以通过上述多种方式实现，可以使得该训练好的图像增强模型实现多种不同的图像增强效果，提高了本方案的可实现性，从而提高了本方案的实现灵活性。下面将通过其中几种进行示例性说明。
[0300]
去噪：在从硬件设备获取图像中获得噪声，在背景平坦区域比较明显。因此常用语义分割来获取背景，并把去噪任务对应的mask，背景区域设置为比较大的值。
[0301]
去模糊：由于运动或失焦产生，常用于失焦的背景区域或边缘(用于锐化)。
[0302]
增加细节：可用于全图或者语义分割后的前景区域。
[0303]
去压缩失真/去块：常产生于传输中的压缩，可用于全图或压缩比较严重的区域。
[0304]
去振铃：振铃效应是一种出现在信号快速转换时，附加在转换边缘上导致失真的信号，常用于边缘。
[0305]
增强：常用于全图或边缘或语义分割后的前景区域。
[0306]
在一种可能的实现方式中，该第一图像的图像数量可以与该第一标签图像的图像数量相等，和/或，第二图像的数量和该第二标签图像的图像数量可以是相等的。具体的，作为图像增强模型的输入参数中的第一图像和标签图像之间可以是一一对应的关系，即第一图像的图像数量与该第一标签图像的图像数量相等，和/或第二图像和该第二标签图像的图像数量相等，便于图像增强模型对该一一对应的输入参数进行识别。
[0307]
此外，第一图像的图像数量低于第一标签图像的图像数量，和/或第二图像的图像数量低于该第二标签图像的图像数量，即第一图像中存在至少一个图像对应于多个第一标签图像，和/或第二图像中存在至少一个图像对应于多个第二标签图像，可以节省输入至模型的输入参数的数据量，从而减少计算量，提升模型的处理效率。
[0308]
s102、确定该第一图像的第一掩膜和第二掩膜；
[0309]
本实施例中，图像增强模型的训练装置确定步骤s101获取得到的第一图像的第一掩膜和第二掩膜，其中，该第一掩模用于该第一图像增强类型，该第二掩模用于该第二图像增强类型。
[0310]
可选地，第一掩膜可以指示一个第一掩膜，也可以指示一组(多个)第一掩膜，此处不做限定。类似的，第二掩膜可以指示一个第二掩膜，也可以指示一组(多个)第二掩膜，此处不做限定。此外，第一掩模用于该第一图像增强类型，可以指示第一掩膜作用于第一待处理区域时，可以对第一待处理区域执行第一图像增强类型对应的图像增强任务；类似的，第二掩模用于该第二图像增强类型，可以指示第二掩膜作用于第二待处理区域时，可以对第二待处理区域执行第二图像增强类型对应的图像增强任务。
[0311]
在步骤s102中，图像增强模型的训练装置可以通过第一图像和第二图像进行处理得到该第一掩膜和第二掩膜，也可以是通过与其它设备通信的方式接收得到第一图像和第二图像分别对应的第一掩膜和第二掩膜，还可以是其它实现方式，此处不做限定。
[0312]
示例性的，此处对图像增强模型的训练装置通过第一图像和第二图像进行处理得
到该第一掩膜和第二掩膜的过程进行说明。其中，图像增强模型的训练装置具体可以根据第一图像和第二图像的特点确定出对应的第一掩膜和第二掩膜，即根据该第一图像中第一处理区域所对应的第一图像增强类型和第二图像中第二待处理区域所对应的的第二图像增强类型分别确定出对应的第一掩膜和第二掩膜。
[0313]
此外，由于在步骤s101中图像增强模型的训练装置可以通过是响应于用户操作指令而采集得到数据的方式，获取得到该训练样本中的第一标签图像和第二标签图像并进一步确定第一图像和第二图像的实现方式中，第一图像和第二图像可以是全图范围都被失真处理，因此，在步骤s102中确定的对应的掩膜可以是对应掩膜每一个点的取值为全1，其余的掩膜的每一个点的取值为全0。
[0314]
本实施例及后续实施例中，此外，图像增强类型除了第一图像增强类型、第二图像增强类型之外，还可以存在第三图像增强类型、第四图像增强类型、...、第n图像增强类型；相对应的，掩膜除了第一掩膜、第二掩膜之外，还可以存在第三掩膜、第四掩膜、...、第n掩膜，其中，n为大于1的整数。其中，第三掩膜用于第三图像增强类型、第四掩膜用于第四图像增强类型、...、第n掩膜用于第n图像增强类型。类似的，在训练样本中也可以进一步包括多个输入图像，即除了第一图像和第二图像之外，还可以存在第三图像、第四图像、...、第n图像；相对应的，在训练样本中也可以进一步包括多个输入标签图像，即除了第一标签图像和第二标签图像之外，还可以存在第三标签图像、第四标签图像、...、第n标签图像。
[0315]
在一种可能的实现方式中，在步骤s102所确定出来的第一掩膜中的掩膜数量可以为多个，在该第一掩膜中的多个掩膜中，第x个掩膜中像素点的取值为第一数值，其余掩膜中像素点的取值为第二数值；类似的，在步骤s102所确定出来的第二掩膜中的掩膜数量也可以为多个，在该第二掩膜中的多个掩膜中，第y个掩膜中像素点的取值为第一数值，其余掩膜中像素点的取值为第二数值；其中，x和y均为大于0的整数，且x不等于y。
[0316]
可选地，第一数值和第二数值分别为不同的数值，例如，第一数值可以为数值1且第二数值可以为数值0，或者是，第一数值可以为数值1且第二数值可以为数值-1，或者是其它的实现方式，此处不作具体的限定。
[0317]
具体地，当第一掩膜和第二掩膜均通过多个掩膜实现时，分别可以通过在多个掩膜中的不同掩膜位置上设置第一数值，例如在第一掩膜的第x个掩膜上各个像素点取值设置为第一数值，在第二掩膜的第y个掩膜上各个像素点取值设置为第二数值。即通过设置像素点取值为第一数值的不同位置对不同的掩膜加以区分，并对不同的掩膜中取值为第一数值的掩膜激活不同图像增强类型对应的图像增强任务，提供了第一掩膜和第二掩膜一种具体的实现方式，提升方案的可实现性。
[0318]
示例性的，以第一图像增强类型、第二图像增强类型以及可能存在的第三图像增强类型为去模糊，去噪和超分辨率的联合任务为例，这三个不同的任务需要生成三个不同的mask，第一个mask对应去模糊操作，第二个mask对应去噪操作，第三个mask对应超分增加细节操作。对应着这三个不同的图像增强类型，会预先生成三组不同的mask，每组分别包含三张和输入图像尺寸大小相同的mask。第一组的第一张mask中像素点的值都为1，其余两张mask中像素点的值都为0；第二组的第二张mask中像素点的值都为1，其余两张mask中像素点的值都为0；第三组的第三张mask中像素点的值都为1，其余两张mask中像素点的值都为0。第一组的三张mask对应着训练去模糊的图像增强类型时，只激活网络的去模糊功能，相
似地，第二、三组的三张mask分别对应着训练去噪、超分的图像增强类型时，只激活网络的去噪、超分功能。
[0319]
s103、将所述第一图像、第二图像、第一掩膜和第二掩膜输入至图像增强模型，经过所述图像增强模型处理后得到第一输出图像和第二输出图像；
[0320]
本实施例中，图像增强模型的训练装置将步骤s101获取得到的第一图像和步骤s102确定出来的第一掩膜和第二掩膜输入至图像增强模型，经过所述图像增强模型处理后得到第一输出图像和第二输出图像。
[0321]
在一种可能的实现方式中，图像增强模型的训练装置在步骤s103中将该第一图像、第二图像、该第一掩膜和该第二掩模输入至图像增强模型中进行特征提取，基于提取的特征进行图像增强，以得到第一输出图像和第二输出图像包括：图像增强模型的训练装置首先将该第一图像、第二图像、该第一掩膜和该第二掩模进行融合处理，得到第一特征图像；进一步地，图像增强模型的训练装置将该第一特征图像作为图像增强模型的输入，对该第一特征图像进行图像增强处理，得到该第一目标图像。具体地，图像增强模型在图像增强处理之前，可以包括融合处理过程，即将第一图像、第二图像、第一掩膜和第二掩膜进行融合处理得到第一特征图像，其中，第一特征图像是经过深度学习网络特征提取和融合后的结果，并通过图像增强模型中对第一特征图像进行图像增强处理之后，得到第一输出图像和第二输出图像。
[0322]
可选地，该融合处理可以通过合并处理、拼接处理、或者是其它用于实现图像融合的处理过程进行表示，此处不做限定。
[0323]
可选地，在步骤s103中，图像增强模型的训练装置执行融合处理的过程中，即将该第一图像、第二图像、该第一掩膜和该第二掩模进行融合处理，得到第一特征图像的过程具体可以包括：对该第一图像、第二图像、该第一掩膜和该第二掩模进行融合处理，得到第二特征图像，该第二特征图像包括a个信道维度信息，该a为大于1的整数；确定该a个信道维度信息的第一权重；根据该第二特征图像和该第一权重得到该第一特征图像。具体地，在融合处理过程中，可以确定出融合处理得到的第二特征图像所包含的a个信道维度信息中每一个信道维度信息对应的第一权重，此后，根据该第二特征图像和该第一权重得到该第一特征图像。其中，a个信道维度信息中的不同信道维度信息可以用于不同的图像增强类型(包括第一图像增强类型和第二图像增强类型)，通过对a个信道维度中的不同信道维度设置不同的权重，可以实现对不同的图像增强类型赋予不同的注意力程度(或称为感兴趣程度)，提升模型的图像增强效果。
[0324]
示例性的，该第一权重可以为注意力(attention)机制中的权重，其中，注意力机制指的是聚焦于局部信息的机制(比如聚焦于处理图像中的某一个图像区域)，可以用于定位到感兴趣的信息并抑制无用信息，具体可以通过空间注意力模型，通道注意力模型，空间和通道混合注意力模型等方式实现，此处不做限定。
[0325]
可选地，在步骤s103中，图像增强模型的训练装置执行图像增强处理的过程中，对该第一特征图像进行图像增强处理，得到该第一输出图像和第二输出图像包括：基于第一处理模块对该第一特征图像进行图像增强处理，得到该第一输出图像和第二输出图像，该第一处理模块用于加深该图像增强模型的模型深度。具体地，在图像增强处理过程中，通过第一处理模块的设置，可以加深图像增强模型的模型深度，使得该模型能够提取得到更深
层次的特征，进一步提升模型的图像增强效果。其中，该第一处理模块包括卷积处理模块、残差块处理模块、空洞卷积处理模块、池化处理模块、反卷积处理模块、像素重组(pixel shuffle)处理模块或激活函数处理模块。也就是说，第一处理模块具体可以通过上述至少一种方式实现，可以通过不同类型的处理模块实现加深该训练好的图像增强模型的模型深度的效果。
[0326]
示例性的，以该第一处理模块通过残差块处理模块实现为例，请参阅图9-1，第一处理模块的一种示例性实现中可以包括三个处理过程，即“conv3x3”、“relu”、“conv3x3”。其中，conv3x3用于对输入特征进行了重新整合，relu用于增加网络的非线性。此外，图9-1所示处理过程可以使用其它方式的替代实现，例如增加或者减少处理过程的配置，或者是使用其它处理过程进行替代，例如把relu改成sigmoid，conv3x3改成conv5x5等，显然，可以依据不同的应用场景进行适应性地设置，此处不作具体的限定。
[0327]
可选地，在步骤s103中，图像增强模型的训练装置执行图像增强处理的过程中，该第一特征图像包括b个信道维度信息，该b为大于1的整数，对该第一特征图像进行图像增强处理，得到该第一输出图像和第二输出图像：确定该b个信道维度信息对应的第二权重；根据该第一特征图像和该第二权重得到该第一输出图像和第二输出图像。具体地，在图像增强处理过程中，可以确定出融合处理过程得到的第一特征图像所包含的b个信道维度信息中每一个信道维度信息对应的第二权重。其中，第二权重的大小与训练好的图像增强模型注意力程度(或称为感兴趣程度)的高低呈正相关，可以使得训练好的图像增强模型针对b个信道维度中的不同权重的信道维度赋予不同的注意力程度，即在b个信道维度信息中，对权重较高的信道维度信息赋予较高的注意力程度，对权重较低的信道维度信息赋予较低的注意力程度，可以使得训练好的图像增强模型针对b个信道维度中的多个不同信道维度实现针对性的图像增强效果。
[0328]
可选地，在步骤s103中，图像增强模型的训练装置执行图像增强处理的过程中，该第一特征图像包括c个信道维度信息，该c为大于1的整数，且在该c个信道维度信息中的每一个信道维度信息对应多个像素点信息，对该第一特征图像进行图像增强处理，得到该第一输出图像和第二输出图像：确定该多个像素点信息对应的第三权重；根据该第一特征图像和该第三权重得到该第一输出图像和第二输出图像。具体地，在图像增强处理过程中，可以确定出融合处理过程得到的第一特征图像所包含的c个信道维度信息中，每一个对应信道维度信息对应多个像素点信息的第三权重。其中，第三权重的大小与训练好的图像增强模型注意力程度(或称为感兴趣程度)的高低呈正相关，可以使得训练好的图像增强模型针对c个信道维度中，每一个信道维度信息中对应的多个像素点信息赋予不同的注意力程度。即在c个信道维度信息中的每一个信道维度信息中，对权重较高的像素点信息赋予较高的注意力程度，对权重较低的像素点信息赋予较低的注意力程度，可以使得训练好的图像增强模型针对c个信道维度中，每一个信道维度信息中对应的多个像素点信息实现针对性的图像增强效果。
[0329]
示例性的，以处理得到第二权重和处理得到第三权重的过程通过图10所示网络结构实现为例进行说明。其中，通过残差块处理模块实现为例，请参阅图10，在处理得到第二权重的实现示例中包括五个处理过程，即“全局平均池化(global average pooling，gp)”“conv1x1”、“relu”、“conv1x1”、“sigmoid”；在处理得到第三权重的实现示例中包括四个处
理过程，即“conv3x3”、“relu”、“conv3x3”、“sigmoid”。其中，gp是全局平均池化。类似的，图10所示处理过程可以使用其它方式的替代实现，例如增加或者减少处理过程的配置，或者是使用其它处理过程进行替代，例如把relu改成sigmoid，conv3x3改成conv5x5，sigmoid改成leakyrelu等，显然，可以依据不同的应用场景进行适应性地设置，此处不作具体的限定。
[0330]
需要说明的是，上述a、b、c的取值均为大于1的整数，此处对这三者的取值不作具体的限定，可以依据输入数据(第一图像、第二图像、第一掩膜和第二掩膜)的不同确定a、b、c三者不同的取值，以适应于不同的应用场景。
[0331]
s104、根据第一损失函数和第二损失函数对所述图像增强模型进行训练，得到训练好的图像增强模型。
[0332]
本实施例中，图像增强模型的训练装置根据第一损失函数和第二损失函数对步骤s103中的图像增强模型进行训练，得到训练好的图像增强模型；其中，该第一损失函数用于指示该第一输出图像与该第一标签图像之间基于该第一图像增强类型的差异，该第二损失函数用于指示该第二输出图像与该第二标签图像之间基于该第二图像增强类型的差异。
[0333]
在一种可能的实现方式中，该第一损失函数和第二损失函数中的任意一个损失函数的函数类型包括如下至少一项：
[0334]
像素损失函数pixel loss、均方误差损失函数mse loss、结构相似性指数损失函数ssim loss，感知损失函数perceptual loss或生成对抗网络损失函数gan loss。可选地，该第一损失函数和第二损失函数的函数类型还可以包括视觉几何组损失函数(visual geometry group loss，vgg loss)或者其它的函数类型，此处不做限定。
[0335]
具体地，该第一损失函数可以选取与第一图像增强类型对应的损失函数，该第二损失函数可以选取与第二图像增强类型对应的损失函数。例如，在第一图像增强类型(或第二图像增强类型)包括去噪时，第一损失函数(或第二损失函数)选用mse loss；在第一图像增强类型(或第二图像增强类型)包括去模糊时，第一损失函数(或第二损失函数)选用mse loss；在第一图像增强类型(或第二图像增强类型)包括增加细节时，第一损失函数(或第二损失函数)选用mse loss vgg loss gan loss；在第一图像增强类型(或第二图像增强类型)包括去块时，第一损失函数(或第二损失函数)选用mse loss；第一图像增强类型(或第二图像增强类型)包括去振铃时，第一损失函数(或第二损失函数)选用mse loss；在第一图像增强类型(或第二图像增强类型)包括去压缩失真时，第一损失函数(或第二损失函数)选用mse loss；在第一图像增强类型(或第二图像增强类型)包括增强时，第一损失函数(或第二损失函数)选用mse loss。从而，该第一损失函数和第二损失函数的函数类型可以通过上述多种方式实现，可以使得图像增强模型实现多种不同的模型训练效果。
[0336]
在一种可能的实现方式中，训练前的图像增强模型可以包括初始的第一权重系数集，在步骤s104中，图像增强模型的训练装置根据第一损失函数和第二损失函数对该图像增强模型进行训练，得到训练好的图像增强模型的过程具体可以包括：图像增强模型的训练装置根据该第一损失函数和该第二损失函数对该图像增强模型进行训练，得到第二权重系数集；再根据该第二权重系数集更新该图像增强模型中的第一权重系数集，得到该训练好的图像增强模型。具体地，图像增强模型的训练装置在步骤s104根据第一损失函数和第二损失函数对该图像增强模型进行训练，得到训练好的图像增强模型的过程中，具体可以使用同一个权重系数集训练进行模型权重的参数更新实现，即通过训练后得到的第二权重
系数集更新训练前该图像增强模型中的第一权重系数集，得到该训练好的图像增强模型。其中，通过同一个权重系数集实现对该第一损失函数和第二损失函数分别对应的第一图像增强类型和第二图像增强类型的训练效果，由于不同的图像增强类型对应的模型训练参数存在相同的部分，可以深入挖掘模型的表达能力，以达到模型参数共享的目的，从而在计算能力一定的情况下实现更大参数容量模型的训练效果。
[0337]
示例性的，仍以第一图像增强类型、第二图像增强类型以及可能存在的第三图像增强类型为去模糊(deblur)，去噪(denoise)和超分辨率(sr)的联合任务为例，请参阅图11，为本技术实施例提供的图像增强模型的训练方法的一个实施示例。以第一图像、第一标签图像、第一输出图像的处理过程为例，一方面，第一图像作为信息融合(information fusion)模块(用于实现前文中融合处理过程)的一个输入，第一图像还作为掩膜生成器(mask generator)输入生成掩膜，并将该掩膜作为information fusion模块的另一个输入，此后，information fusion再通过恢复网络(restoration network)(用于实现前文中图像增强处理过程)的处理得到输出图像(即前文中第一输出图像)。另一方面，第一图像还作为掩膜池(mask pool)的输入，并经过损失函数池(loss pool)中的损失函数针对标签图像以及输出图像处理实现对图像增强模型的训练过程。
[0338]
本实施例中，输入至图像增强模型的输入数据包括第一图像、第二图像、第一掩膜和第二掩膜，经过训练好的图像增强模型的处理后得到第一输出图像和第二输出图像。其中，第一图像包括第一图像增强类型对应的第一待处理区域以及第二图像增强类型对应的第二待处理区域，且第一掩膜和第二掩膜分别用于第一图像增强类型和第二图像增强类型，即图像增强模型通过不同的图像增强类型对第一图像中的待处理区域进行处理得到第一输出图像和第二输出图像，实现对待处理区域执行不同增强操作的训练过程。此后，根据第一损失函数和第二损失函数对该图像增强模型进行训练得到训练好的图像增强模型，其中，第一损失函数用于指示该第一输出图像与该第一标签图像之间基于该第一图像增强类型的差异，该第二损失函数用于指示该第二输出图像与该第二标签图像之间基于该第二图像增强类型的差异，使得通过模型训练的方式得到的训练好的图像增强模型可以满足对图像执行不同增强操作的需求，从而提升图像增强过程的处理效率。
[0339]
下面结合图12至图14对本技术实施例的图像增强方法进行详细介绍。
[0340]
图12至图14所示的方法可以由图像增强装置来执行，该图像增强装置可以是云服务设备，也可以是终端设备，例如，电脑、服务器等运算能力足以用来执行图像增强模型的训练方法的装置，也可以是由云服务设备和终端设备构成的系统。示例性地，方法可以由图1中的训练设备120、图3中的神经网络处理器30或图4中的执行设备410或本地设备执行。
[0341]
例如，图12至图14所示的方法具体可以由如图1所示的训练设备120执行，方法中的训练样本所包含的第一图像、第二图像、第一标签图像和第二标签图像可以是如图1所示的数据库130中维护的训练数据。可选的，方法的s103和s104可以在训练设备120中执行，也可以在训练设备120之前由其他功能模块预先执行。
[0342]
再如，图12至图14所示的方法具体可以由如图4中的本地设备执行，该本地设备可以为终端设备。具体地，方法可以由终端设备上的计算模块执行。
[0343]
可选地，图12至图14所示的方法可以由cpu处理，也可以由cpu和gpu共同处理，也可以不用gpu，而使用其他适合用于神经网络计算的处理器，本技术不做限制。
[0344]
示例性地，图12至图14所示的方法中使用的图像融合模型可以是通过上述图8至图11所示的方法构建的。图12至图14所示的方法中的具体实现方式可以参照前述图8至图11所示的方法，为了避免不必要的重复，下面在介绍图12至图14所示的方法时适当省略重复的描述。
[0345]
请参阅图12，为本技术实施例提供的一种图像增强方法的一个示意图，该方法包括如下步骤。
[0346]
s201、获取待处理图像；
[0347]
本实施例中，图像增强装置获取待处理图像，其中，待处理图像包括第一待处理区域和第二待处理区域，该第一待处理区域与第一图像增强类型对应，该第二待处理区域与第二图像增强类型对应，且该第一图像增强类型不同于该第二图像增强类型。
[0348]
可选地，待处理图像中可以存在某一个部分(或全部)的待处理区域需要通过多种不同的图像增强类型进行图像增强，待处理图像中也可以存在至少两个部分的待处理区域需要分别通过多种不同的图像增强类型进行图像增强，此处不做限定。
[0349]
可选地，第一待处理区域与第一图像增强类型对应，可以指示第一待处理区域用于第一图像增强类型，例如第一图像增强类型用于去模糊deblur或去噪denoise或超分辨率sr等，或者可以指示第一待处理区域存在缺陷，需要执行第一图像增强类型对应的图像增强任务。类似的，第二待处理区域与第二图像增强类型对应，可以指示第二待处理区域第二待处理区域用于第二图像增强类型，例如第二图像增强类型用于去模糊deblur或去噪denoise或超分辨率sr等，或者可以指示第二待处理区域存在缺陷，需要执行第二图像增强类型对应的图像增强任务。
[0350]
在一种可能的实现方式中，该第一图像增强类型对应的第一区域和与该第二图像增强类型对应的第二区域存在重叠部分，其中，第一图像增强类型不同于第二图像增强类型，即通过不同的图像增强类型在待处理图像中的同一个区域(该重叠区域)进行图像增强，满足该区域不同的图像增强需求，提升方案的实现灵活性。
[0351]
在一种可能的实现方式中，第一图像增强类型或第二图像增强类型可以包括如下至少一项：去模糊deblur、去噪denoise、超分辨率(super resolution，sr)、增加细节、去块、去振铃、去压缩失真，增强。其中，该第一图像增强类型或第二图像增强类型可以通过上述多种方式实现，可以使得该训练好的图像增强模型实现多种不同的图像增强效果，提高了本方案的可实现性，从而提高了本方案的实现灵活性。其中，第一图像增强类型或第二图像增强类型的具体实现可以参考前述步骤s101中的描述，此处不再赘述。
[0352]
s202、确定该待处理图像的第一掩膜和第二掩模，其中，该第一掩模用于该第一图像增强类型，该第二掩模用于该第二图像增强类型；
[0353]
本实施例中，图像增强装置确定步骤s201获取得到的待处理图像的第一掩膜和第二掩模，其中，该第一掩模用于该第一图像增强类型，该第二掩模用于该第二图像增强类型。
[0354]
可选地，第一掩膜可以指示一个第一掩膜，也可以指示一组(多个)第一掩膜，此处不做限定。类似的，第二掩膜可以指示一个第二掩膜，也可以指示一组(多个)第二掩膜，此处不做限定。此外，第一掩模用于该第一图像增强类型，可以指示第一掩膜作用于第一待处理区域时，可以对第一待处理区域执行第一图像增强类型对应的图像增强任务；类似的，第
二掩模用于该第二图像增强类型，可以指示第二掩膜作用于第二待处理区域时，可以对第二待处理区域执行第二图像增强类型对应的图像增强任务。
[0355]
在步骤s202中，图像增强装置可以通过待处理图像进行处理得到该第一掩膜和第二掩膜，也可以是通过与其它设备通信的方式接收得到待处理图像对应的第一掩膜和第二掩膜，还可以是其它实现方式，此处不做限定。示例性的，此处对图像增强装置可以通过第一图像进行处理得到该第一掩膜和第二掩膜的过程进行说明。其中，图像增强装置具体可以根据第一图像的特点确定出对应的第一掩膜和第二掩膜，即根据该第一图像中待处理区域所对应的第一图像增强类型和第二图像增强类型确定出对应的第一掩膜和第二掩膜。
[0356]
在一种可能的实现方式中，步骤s202所确定出来的第一掩膜可以包括第一区域以及可能存在的其它区域，其中，该第一区域在该第一掩膜中的相对位置与该第一待处理区域在该待处理图像中的相对位置相同，且在该第一掩膜中，该第一区域中各个像素点的掩膜取值大于其它区域中各个像素点的掩膜取值；类似的，步骤s202所确定出来的第二掩膜可以包括第二区域以及可能存在的其它区域，其中，该第二区域在该第二掩膜中的相对位置与该第二待处理区域在该待处理图像中的相对位置相同，且在该第二掩膜中，该第二区域中各个像素点的掩膜取值大于其它区域中各个像素点的掩膜取值。具体地，在第一掩膜的具体实现中，第一掩膜中第一区域在该第一掩膜中的相对位置与该第一待处理区域在该待处理图像中的相对位置相同，且该第一区域中各个像素点的掩膜取值大于第一掩膜中其它区域中各个像素点的掩膜取值。使得在图像增强处理过程中，在第一掩膜中通过对不同区域进行不同的赋值的方式，实现对第一掩膜中的第一区域激活第一图像增强类型对应的图像增强任务。类似的，在第一掩膜的具体实现中，也可以使得在图像增强处理过程中，在第二掩膜中通过对不同区域进行不同的赋值的方式，实现对第二掩膜中的第二区域激活第二图像增强类型对应的图像增强任务。
[0357]
示例性的，在第一掩膜和第二掩膜中的任意一个中，该掩膜的掩膜数量可以为n个，n为正整数，通过在n个掩膜中的每一个掩膜的每个点上赋值的不同实现不同掩膜所实现的作用，其中，该作用的效果的强弱可以与该赋值的大小存在相关关系。该相关关系可以是正相关，也可以是负相关，可以依据实现场景的不同进行灵活设置，此处不做限定。
[0358]
以该赋值为[0,1]区间对应的值为例，若某一点赋值＝0，代表对应任务不起作用，若某一点赋值＝1，代表只有该任务起作用，其他情况下，代表多种任务综合作用，且值越大，起的作用越大。
[0359]
此处，同样以第一图像增强类型、第二图像增强类型以及可能存在的第三图像增强类型为去模糊，去噪和超分辨率的联合任务为例，这三个不同的任务需要生成三个不同的mask，第一个mask对应去模糊操作，第二个mask对应去噪操作，第三个任务对应超分操作。请参阅图13，如图13所示，一种示例性的作法是将待增强图像的轮廓通过边缘检测处理和前景背景分割处理，使得前景和背景区域分割出来，在对应的mask上将对应区域赋值，根据mask属于该区域可能性的大小进行赋值(即按需生成)，概率越高值越接近1。通过这三个mask，可以对轮廓部分进行去模糊操作，对于前景进行增加细节的超分辨率操作，对于背景区域进行去噪操作。
[0360]
s203、将所述待处理图像、所述第一掩膜和第二掩膜输入至训练好的图像增强模型，经过所述训练好的图像增强模型处理后得到第一目标图像。
[0361]
本实施例中，图像增强装置将步骤s201获取得到的待处理图像、步骤s202确定出来的第一掩膜和第二掩膜输入至训练好的图像增强模型，经过所述训练好的图像增强模型处理后得到第一目标图像。
[0362]
可选地，在图像增强装置中，训练好的图像增强模型可以通过执行前述图8至图11所示实施例得到，也可以是通过与其它设备通信的方式得到，也可以是该图像增强装置出厂设置时预设得到，此处不做限定。
[0363]
在一种可能的实现方式中，在步骤s203图像增强装置将该待处理图像、该第一掩膜和该第二掩模输入至训练好的图像增强模型中进行特征提取，基于提取的特征进行图像增强，以得到第一目标图像的过程的过程具体可以包括：将该待处理图像、该第一掩膜和该第二掩模进行融合处理，得到第一特征图像；将该第一特征图像输入至训练好的图像增强模型，对该第一特征图像进行图像增强处理，得到该第一目标图像。具体地，训练好的图像增强模型进行图像增强处理之前可以包括融合处理过程和图像增强处理过程，具体来说，将待处理图像、第一掩膜和第二掩膜进行融合得到第一特征图像，并将第一特征图像输入至训练好的图像增强模型之后，其中，第一特征图像是经过深度学习网络特征提取和融合后的结果，训练好的图像增强模型的处理过程可以是对第一特征图像进行图像增强处理之后，得到第一目标图像。
[0364]
可选地，该融合处理可以通过合并处理、拼接处理、或者是其它用于实现图像融合的处理过程进行表示，此处不做限定。
[0365]
可选地，在步骤s203中，图像增强装置执行融合处理的过程中，将该待处理图像、该第一掩膜和该第二掩模进行融合处理，得到第一特征图像包括：对该待处理图像、该第一掩膜和该第二掩模进行融合处理，得到第二特征图像，该第二特征图像包括a个信道维度信息，该a为大于1的整数；确定该a个信道维度信息的第一权重；根据该第二特征图像和该第一权重得到该第一特征图像。具体地，在融合处理过程中，可以确定出融合处理得到的第二特征图像所包含的a个信道维度信息中每一个信道维度信息对应的第一权重，此后，根据该第二特征图像和该第一权重得到该第一特征图像。其中，a个信道维度信息中的不同信道维度信息可以用于不同的图像增强类型(包括第一图像增强类型和第二图像增强类型)，通过对a个信道维度中的不同信道维度设置不同的权重，可以实现对不同的图像增强类型赋予不同的注意力程度(或称为感兴趣程度)，提升模型的图像增强效果。
[0366]
示例性的，该第一权重可以为注意力(attention)机制中的权重，其中，注意力机制指的是聚焦于局部信息的机制(比如聚焦于处理图像中的某一个图像区域)，可以用于定位到感兴趣的信息并抑制无用信息，具体可以通过空间注意力模型，通道注意力模型，空间和通道混合注意力模型等方式实现，此处不做限定。
[0367]
可选地，在步骤s203中，图像增强装置执行图像增强处理的过程中，对该第一特征图像进行图像增强处理，得到该第一目标图像包括：基于第一处理模块对该第一特征图像进行图像增强处理，得到该第一目标图像，该第一处理模块用于加深该训练好的图像增强模型的模型深度。具体地，在图像增强处理过程中，通过第一处理模块的设置，可以加深训练好的图像增强模型的模型深度，使得该模型能够提取得到更深层次的特征，进一步提升模型的图像增强效果。
[0368]
其中，该第一处理模块包括卷积处理模块、残差块处理模块、空洞卷积处理模块、
池化处理模块、反卷积处理模块、像素重组(pixel shuffle)处理模块或激活函数处理模块。也就是说，第一处理模块具体可以通过上述至少一种方式实现，可以通过不同类型的处理模块实现加深该训练好的图像增强模型的模型深度的效果，提高了本方案的可实现性，从而提高了本方案的实现灵活性。具体该实现过程可以参考前述步骤s103中关于图9-1的示例性的描述，此处不再赘述。
[0369]
进一步地，该第一处理模块还可以包括卷积子模块，其中，在步骤s203中基于该第一处理模块对该第一特征图像进行图像增强处理，得到该第一目标图像的过程具体可以包括：对该第一特征图像进行参数稀疏化处理，得到第三特征图像，该第三特征图像的尺寸大小与该卷积子模块中卷积核的尺寸大小相等；基于第一处理模块对该第三特征图像进行图像增强处理，得到该第一目标图像。具体地，在图像增强模型中的图像增强处理过程中，可以对第一特征图像进行参数稀疏化处理后再基于第一处理模块对第三特征图像进行图像增强处理。其中，第三特征图像的尺寸大小与该卷积子模块中卷积核的尺寸大小相等，使得第一处理模块在图像增强处理过程中的卷积处理能力，提升模型的泛化能力。
[0370]
示例性的，图9-2中方框示例“1212”所示结构为第一处理模块实现的一种示例。其中，方框示例“1”表示“conv(卷积示例)”，方框示例“2”表示“relu(激活函数示例)”，此外，图9-2所示处理过程仅仅为一种示例，可以使用其它方式的替代实现，例如增加或者减少处理过程的配置，或者是使用其它处理过程进行替代，例如把relu改成sigmoid，显然，可以依据不同的应用场景进行适应性地设置，此处不作具体的限定。在图9-2中，通过自动参数稀疏共享的多任务学习框架(即图示中的两个稀疏估计(sparsity estimation)模块)，自动为不同的任务分配不同的子网络结构。自动参数稀疏共享的rb结构如图9-2所示。在图9-2所示结构中，首先通过稀疏估计模块为第一处理模块中的两个卷积层(即方框示例“1”)的卷积核分别估计出一个稀疏(“稀疏”的意思是指这个掩膜有部分位置为0，部分位置不为0)的稀疏掩膜，然后用这个稀疏掩膜与卷积核中逐点相乘，得到最终的卷积核的权重。在每一次网络前向传播中，都重复这个过程。在每一次网络反向传播中，都同时优化第一处理模块和稀疏估计模块。
[0371]
具体地，稀疏估计模块确定稀疏掩膜的过程可以通过图9-3所示示例实现，其中，方框示例“1”表示“conv(卷积示例)”，方框示例“2”表示“relu(激活函数示例)”，方框示例“3”表示“差值操作”，方框示例“4”表示“拉伸操作”，方框示例“5”表示“全连接层”。类似的，图9-3所示处理过程仅仅为一种示例，可以使用其它方式的替代实现，例如增加或者减少处理过程的配置，或者是使用其它处理过程进行替代，此处不再赘述。
[0372]
在图9-3中，首先将输入的第一特征图像进行插值操作，插值到固定大小(例如第一特征图像中某一维度尺寸大小为1024*1024，另一维度尺寸大小为512*512，经过插值处理后，得到固定大小的64*64)，然后将其拉伸成一维张量，随后其送入到全连接层中。将全连接层得到的结果再次拉伸，按照和卷积核相同的宽、高尺寸进行拉伸。最后用一个卷积层来增加稀疏掩膜的通道数，使得最终的稀疏掩膜和rb中的卷积核尺寸完全一致，以便实施逐点的乘法。
[0373]
可选地，在步骤s203中，图像增强装置执行图像增强处理的过程中，该第一特征图像包括b个信道维度信息，该b为大于1的整数，对该第一特征图像进行图像增强处理，得到该第一目标图像：确定该b个信道维度信息对应的第二权重；根据该第一特征图像和该第二
权重得到该第一目标图像。具体地，在图像增强处理过程中，可以确定出融合处理过程得到的第一特征图像所包含的b个信道维度信息中每一个信道维度信息对应的第二权重。其中，第二权重的大小与训练好的图像增强模型注意力程度(或称为感兴趣程度)的高低呈正相关，可以使得训练好的图像增强模型针对b个信道维度中的不同权重的信道维度赋予不同的注意力程度，即在b个信道维度信息中，对权重较高的信道维度信息赋予较高的注意力程度，对权重较低的信道维度信息赋予较低的注意力程度，可以使得训练好的图像增强模型针对b个信道维度中的多个不同信道维度实现针对性的图像增强效果。
[0374]
可选地，在步骤s203中，图像增强装置执行图像增强处理的过程中，该第一特征图像包括c个信道维度信息，该c为大于1的整数，且在该c个信道维度信息中的每一个信道维度信息对应多个像素点信息，对该第一特征图像进行图像增强处理，得到该第一目标图像：确定该多个像素点信息对应的第三权重；根据该第一特征图像和该第三权重得到该第一目标图像。具体地，在图像增强处理过程中，可以确定出融合处理过程得到的第一特征图像所包含的c个信道维度信息中，每一个对应信道维度信息对应多个像素点信息的第三权重。其中，第三权重的大小与训练好的图像增强模型注意力程度(或称为感兴趣程度)的高低呈正相关，可以使得训练好的图像增强模型针对c个信道维度中，每一个信道维度信息中对应的多个像素点信息赋予不同的注意力程度。即在c个信道维度信息中的每一个信道维度信息中，对权重较高的像素点信息赋予较高的注意力程度，对权重较低的像素点信息赋予较低的注意力程度，可以使得训练好的图像增强模型针对c个信道维度中，每一个信道维度信息中对应的多个像素点信息实现针对性的图像增强效果。示例性的，仍以第一图像增强类型、第二图像增强类型以及可能存在的第三图像增强类型为去模糊(deblur)，去噪(denoise)和超分辨率(sr)的联合任务为例，请参阅图14，为本技术实施例提供的图像增强方法的一个实施示例，包括用于生成掩膜的可控掩膜生成器(control mask generation)和用于进行图像亮度信息和掩膜信息之间的融合的多掩膜图像恢复网络(multi image restoration network)(即前文提及训练好的图像增强模型)。
[0375]
需要说明的是，上述a、b、c的取值均为大于1的整数，此处对这三者的取值不作具体的限定，可以依据输入数据(第一图像、第一掩膜和第二掩膜)的不同确定a、b、c三者不同的取值，以适应于不同的应用场景。
[0376]
其中，作为一种可选方案，control mask generator可用多种方式实现，例如利用边缘检测、语义分割或者是其它实现的方法；information fusion：可以通过信道维度的信息进行融合实现，还可以综合参考信道维度信息融合和像素维度的信息融合实现，或者直接用全连接(fully connected，fc)进行实现，或者是其它方式实现，此处不做限定。
[0377]
示例性的，在图14所示实施例中，参见图中右下角的方框示例，不同的网络区域可以通过一个或多个方框示例进行组合得到，例如，方框示例“1”表示“conv”，方框示例“2”表示“relu”，方框示例“3”表示“sigmoid”，方框示例“4”表示“pixel shuffle”，方框示例“5”表示“global average pooling”。在图14中，以information fusion为例，“121”组合表示“conv”、“relu”与“conv”的组合，“51213”表示“global average pooling”、“conv”、“relu”、“conv”与“sigmoid”的组合。类似于图9-1、图9-2、图9-3和图10的实现过程，图14的实现示例也可以通过其它方式替代实现，此处不再赘述。
[0378]
在control mask generation中，待处理图像经过mask genetator生成第一掩膜
和第二掩膜，并将该待处理图像、第一掩膜和第二掩膜输入至该multi image restoration network。在multi image restoration network中，接收来自control mask generation输入的待处理图像、第一掩膜和第二掩膜，分别经过信息融合(information fusion)模块(即前文中融合模块)和恢复网络(restoration network)(即前文中增强模块)的处理输出第一目标图像。
[0379]
具体地，在multi image restoration network的restoration network中，包括多个“scab”，且在“scab”中可以进一步包括注意力估算(attention estimation)模块(对应于图10中实现示例)。
[0380]
在一种可能的实现方式中，该训练好的图像增强模型包括第一权重系数集，步骤s204图像增强装置将该待处理图像、第一掩膜和第二掩膜输入至训练好的图像增强模型，经过该训练好的图像增强模型处理后得到第一目标图像的过程具体可以包括：将该待处理图像、第一掩膜和第二掩膜输入至训练好的图像增强模型，经过该训练好的图像增强模型中的第一权重系数集处理后得到第一目标图像。具体地，在步骤s204图像增强装置在将该待处理图像、第一掩膜和第二掩膜输入至训练好的图像增强模型，经过该训练好的图像增强模型处理后得到第一目标图像的过程中，具体可以使用同一个权重系数集处理实现，即通过训练好的图像增强模型中的第一权重系数集实现。其中，通过同一个权重系数集实现对该第一损失函数和第二损失函数对应的图像增强类型的图像增强效果，由于不同的图像增强类型对应的模型参数存在相同的部分，可以深入挖掘模型的表达能力，以达到模型参数共享的目的，从而在计算能力一定的情况下实现更大参数容量模型的图像增强效果。
[0381]
本实施例中，输入至训练好的图像增强模型的输入数据包括待处理图像、第一掩膜和第二掩模，并在训练好的图像增强模型中进行特征提取，基于提取的特征进行图像增强，以得到第一目标图像。其中，待处理图像包括第一图像增强类型对应的第一待处理区域以及第二图像增强类型对应的第二待处理区域，且第一掩膜和第二掩膜分别用于第一图像增强类型和第二图像增强类型，即训练好的图像增强模型通过不同的图像增强类型对待处理图像中的待处理区域进行处理，以满足对待处理区域执行不同增强操作的需求，从而提升图像增强过程的处理效率。
[0382]
在图1至图14所对应的实施例的基础上，为了更好的实施本技术实施例的上述方案，下面还提供用于实施上述方案的相关设备。
[0383]
请参阅图15，本技术实施例提供了一种图像增强装置1500，包括：
[0384]
获取单元1501，用于获取待处理图像，该待处理图像包括第一待处理区域和第二待处理区域，该第一待处理区域与第一图像增强类型对应，该第二待处理区域与第二图像增强类型对应，且该第一图像增强类型不同于该第二图像增强类型；
[0385]
确定单元1502，用于确定该待处理图像的第一掩膜和第二掩模，其中，该第一掩模用于该第一图像增强类型，该第二掩模用于该第二图像增强类型；
[0386]
图像增强单元1503，用于将该待处理图像、该第一掩膜和该第二掩模输入至训练好的图像增强模型中进行特征提取，基于提取的特征进行图像增强，以得到第一目标图像。
[0387]
可选地，第一待处理区域与第一图像增强类型对应，可以指示第一待处理区域用于第一图像增强类型，例如第一图像增强类型用于去模糊deblur或去噪denoise或超分辨率sr等，或者可以指示第一待处理区域存在缺陷，需要执行第一图像增强类型对应的图像
增强任务。类似的，第二待处理区域与第二图像增强类型对应，可以指示第二待处理区域第二待处理区域用于第二图像增强类型，例如第二图像增强类型用于去模糊deblur或去噪denoise或超分辨率sr等，或者可以指示第二待处理区域存在缺陷，需要执行第二图像增强类型对应的图像增强任务。
[0388]
可选地，第一掩膜可以指示一个第一掩膜，也可以指示一组(多个)第一掩膜，此处不做限定。类似的，第二掩膜可以指示一个第二掩膜，也可以指示一组(多个)第二掩膜，此处不做限定。此外，第一掩模用于该第一图像增强类型，可以指示第一掩膜作用于第一待处理区域时，可以对第一待处理区域执行第一图像增强类型对应的图像增强任务；类似的，第二掩模用于该第二图像增强类型，可以指示第二掩膜作用于第二待处理区域时，可以对第二待处理区域执行第二图像增强类型对应的图像增强任务。
[0389]
基于上述技术方案，输入至训练好的图像增强模型的输入数据包括待处理图像、第一掩膜和第二掩模，并在训练好的图像增强模型中进行特征提取，图像增强单元1503基于提取的特征进行图像增强，以得到第一目标图像。其中，待处理图像包括第一图像增强类型对应的第一待处理区域以及第二图像增强类型对应的第二待处理区域，且第一掩膜和第二掩膜分别用于第一图像增强类型和第二图像增强类型，即图像增强单元1503在训练好的图像增强模型通过不同的图像增强类型对待处理图像中的待处理区域进行处理，以满足对待处理区域执行不同增强操作的需求，从而提升图像增强过程的处理效率。
[0390]
在一种可能的实现方式中，该图像增强单元1503具体用于：
[0391]
将该待处理图像、该第一掩膜和该第二掩模进行融合处理，得到第一特征图像；
[0392]
将该第一特征图像输入至训练好的图像增强模型，对该第一特征图像进行图像增强处理，得到该第一目标图像。
[0393]
在一种可能的实现方式中，该图像增强单元1503具体用于：
[0394]
基于第一处理模块对该第一特征图像进行图像增强处理，得到该第一目标图像，其中，该第一处理模块用于加深该训练好的图像增强模型的模型深度。
[0395]
在一种可能的实现方式中，该第一处理模块包括卷积子模块，该图像增强单元1503具体用于：
[0396]
对该第一特征图像进行参数稀疏化处理，得到第三特征图像，该第三特征图像的尺寸大小与该卷积子模块中卷积核的尺寸大小相等；
[0397]
基于第一处理模块对该第三特征图像进行图像增强处理，得到该第一目标图像。
[0398]
在一种可能的实现方式中，该第一处理模块包括卷积处理模块、残差块处理模块、空洞卷积处理模块、池化处理模块、反卷积处理模块、像素重组(pixel shuffle)处理模块或激活函数处理模块中的至少一项。
[0399]
在一种可能的实现方式中，该图像增强单元1503具体用于：
[0400]
对该待处理图像、该第一掩膜和该第二掩模进行融合处理，得到第二特征图像，该第二特征图像包括a个信道维度信息，该a为大于1的整数；
[0401]
确定该a个信道维度信息的第一权重；
[0402]
根据该第二特征图像和该第一权重得到该第一特征图像。
[0403]
在一种可能的实现方式中，
[0404]
该第一掩膜包括第一区域，其中，该第一区域在该第一掩膜中的相对位置与该第
一待处理区域在该待处理图像中的相对位置相同，且在该第一掩膜中，该第一区域中各个像素点的掩膜取值大于其它区域中各个像素点的掩膜取值；
[0405]
和/或，
[0406]
该第二掩膜包括第二区域，其中，该第二区域在该第二掩膜中的相对位置与该第二待处理区域在该待处理图像中的相对位置相同，且在该第二掩膜中，该第二区域中各个像素点的掩膜取值大于其它区域中各个像素点的掩膜取值。
[0407]
在一种可能的实现方式中，该第一特征图像包括b个信道维度信息，该b为大于1的整数，该图像增强单元1503具体用于：确定该b个信道维度信息对应的第二权重；根据该第一特征图像和该第二权重得到该第一目标图像。
[0408]
在一种可能的实现方式中，该第一特征图像包括c个信道维度信息，该c为大于1的整数，且在该c个信道维度信息中的每一个信道维度信息对应多个像素点信息，该图像增强单元1503具体用于：确定该多个像素点信息对应的第三权重；根据该第一特征图像和该第三权重得到该第一目标图像。
[0409]
在一种可能的实现方式中，
[0410]
该第一图像增强类型包括如下至少一项：去模糊、去噪或超分辨率、增加细节，去块，去振铃，去压缩失真；
[0411]
和/或，
[0412]
该第二图像增强类型包括如下至少一项：去模糊、去噪或超分辨率、增加细节，去块，去振铃，去压缩失真。
[0413]
在一种可能的实现方式中，该第一待处理区域和该第二待处理区域存在重叠部分。
[0414]
在一种可能的实现方式中，该训练好的图像增强模型包括第一权重系数集，该图像增强单元1503具体用于：将该待处理图像、第一掩膜和第二掩膜输入至训练好的图像增强模型，经过该训练好的图像增强模型中的第一权重系数集处理后得到第一目标图像。
[0415]
其中，装置1500的组成模块还可以用于执行前述方法实施例中各个可能实现方式中所执行的步骤，具体均可以参阅前述方法实施例，此处不再赘述。
[0416]
请参阅图16，本技术实施例提供了一种图像增强模型的训练装置1600，其特征在于，包括：
[0417]
获取单元1601，用于获取训练样本，该训练样本包括第一图像、第二图像、第一标签图像和第二标签图像，其中，该第一图像包括第一待处理区域和第二待处理区域，该第一待处理区域与第一图像增强类型对应，该第二待处理区域与第二图像增强类型对应，且该第一图像增强类型不同于该第二图像增强类型；其中，该第一标签图像包括第一已处理区域，该第一已处理区域与该第一图像增强类型对应，该第二标签图像包括第二已处理区域，该第二已处理区域与该第二图像增强类型对应；
[0418]
确定单元1602，用于确定该第一图像的第一掩膜和第二掩膜，其中，该第一掩模用于该第一图像增强类型，该第二掩模用于该第二图像增强类型；
[0419]
图像增强单元1603，用于将该第一图像、第二图像、该第一掩膜和该第二掩模输入至图像增强模型中进行特征提取，基于提取的特征进行图像增强，以得到第一输出图像和第二输出图像；
[0420]
训练单元1604，用于根据第一损失函数和第二损失函数对该图像增强模型进行训练，得到训练好的图像增强模型；其中，该第一损失函数用于指示该第一输出图像与该第一标签图像之间基于该第一图像增强类型的差异，该第二损失函数用于指示该第二输出图像与该第二标签图像之间基于该第二图像增强类型的差异。
[0421]
可选地，第一图像和第二图像可以为拼接在同一输入图像中的不同部分，也可以为完全独立的两个不同的输入图像；类似的，第一标签图像和第二标签图像可以为拼接在同一标签图像的不同部分，也可以为完全独立的两个不同的标签图像，此处不做限定。
[0422]
可选地，第一图像中的第一待处理区域与第一图像增强类型对应可以指示该第一待处理区域未经过第一图像增强类型的处理，与之相对应的，第一标签图像中的第一已处理区域与第一图像增强类型对应可以指示该第一已处理区域已经过第一图像增强类型的处理；类似的，第二图像中的第二待处理区域与第二图像增强类型对应可以指示该第二待处理区域未经过第二图像增强类型的处理，与之相对应的，第二标签图像中的第二已处理区域与第二图像增强类型对应可以指示该第二已处理区域已经过第二图像增强类型的处理。
[0423]
可选地，第一掩膜可以指示一个第一掩膜，也可以指示一组(多个)第一掩膜，此处不做限定。类似的，第二掩膜可以指示一个第二掩膜，也可以指示一组(多个)第二掩膜，此处不做限定。此外，第一掩模用于该第一图像增强类型，可以指示第一掩膜作用于第一待处理区域时，可以对第一待处理区域执行第一图像增强类型对应的图像增强任务；类似的，第二掩模用于该第二图像增强类型，可以指示第二掩膜作用于第二待处理区域时，可以对第二待处理区域执行第二图像增强类型对应的图像增强任务。
[0424]
可选地，第一待处理区域与第一图像增强类型对应，可以指示第一待处理区域用于第一图像增强类型，例如第一图像增强类型用于去模糊deblur或去噪denoise或超分辨率sr等，或者可以指示第一待处理区域存在缺陷，需要执行第一图像增强类型对应的图像增强任务。类似的，第二待处理区域与第二图像增强类型对应，可以指示第二待处理区域第二待处理区域用于第二图像增强类型，例如第二图像增强类型用于去模糊deblur或去噪denoise或超分辨率sr等，或者可以指示第二待处理区域存在缺陷，需要执行第二图像增强类型对应的图像增强任务。
[0425]
基于上述技术方案，输入至图像增强模型的输入数据包括第一图像、第二图像、第一掩膜和第二掩膜，图像增强单元1603经过训练好的图像增强模型的处理后得到第一输出图像。其中，第一图像包括第一图像增强类型对应的第一待处理区域、第二图像包括与第二图像增强类型对应的第二待处理区域，且第一掩膜和第二掩膜分别用于第一图像增强类型和第二图像增强类型，即图像增强单元1603在图像增强模型中通过不同的图像增强类型对第一图像中的第一待处理区域和第二图像中的第二待处理区域进行处理得到第一输出图像和第二输出图像，实现不同增强操作的训练过程。此后，训练单元1604根据第一损失函数和第二损失函数对该图像增强模型进行训练得到训练好的图像增强模型，其中，第一损失函数用于指示该第一输出图像与该第一标签图像之间基于该第一图像增强类型的差异，该第二损失函数用于指示该第二输出图像与该第二标签图像之间基于该第二图像增强类型的差异，使得通过模型训练的方式得到的训练好的图像增强模型可以满足对图像执行不同增强操作的需求，从而提升图像增强过程的处理效率。
[0426]
在一种可能的实现方式中，该图像增强单元1603具体用于：
[0427]
将该第一图像、该第二图像该第一掩膜和该第二掩模进行融合处理，得到第一特征图像；
[0428]
将该第一特征图像输入至该图像增强模型，对该第一特征图像进行图像增强处理，得到该第一输出图像和该第二输出图像。
[0429]
在一种可能的实现方式中，该图像增强单元1603具体用于：
[0430]
对该第一图像、该第二图像、该第一掩膜和该第二掩模进行融合处理，得到第二特征图像，该第二特征图像包括a个信道维度信息，该a为大于1的整数；
[0431]
确定该a个信道维度信息的第一权重；
[0432]
根据该第二特征图像和该第一权重得到该第一特征图像。
[0433]
在一种可能的实现方式中，图像增强单元1603具体用于：
[0434]
基于第一处理模块对该第一特征图像进行图像增强处理，得到该第一输出图像和第二输出图像，该第一处理模块用于加深该图像增强模型的模型深度。
[0435]
在一种可能的实现方式中，该第一处理模块包括卷积处理模块、残差块处理模块、空洞卷积处理模块、池化处理模块、反卷积处理模块、像素重组(pixel shuffle)处理模块或激活函数处理模块。
[0436]
在一种可能的实现方式中，该第一特征图像包括b个信道维度信息，该b为大于1的整数，图像增强单元1603具体用于：确定该b个信道维度信息对应的第二权重；根据该第一特征图像和该第二权重得到该第一输出图像和第二输出图像。
[0437]
在一种可能的实现方式中，该第一特征图像包括c个信道维度信息，该c为大于1的整数，且在该c个信道维度信息中的每一个信道维度信息对应多个像素点信息，图像增强单元1603具体用于：确定该多个像素点信息对应的第三权重；根据该第一特征图像和该第三权重得到该第一输出图像和第二输出图像。
[0438]
在一种可能的实现方式中，
[0439]
该第一掩膜中的掩膜数量为多个，在该第一掩膜中的多个掩膜中，第x个掩膜中像素点的取值为第一数值，其余掩膜中像素点的取值为第二数值；
[0440]
该第二掩膜中的掩膜数量为多个，在该第二掩膜中的多个掩膜中，第y个掩膜中像素点的取值为第一数值，其余掩膜中像素点的取值为第二数值；
[0441]
其中，x和y均为大于0的整数，且x不等于y。
[0442]
在一种可能的实现方式中，
[0443]
该第一图像增强类型包括如下至少一项：去模糊、去噪或超分辨率、增加细节，去块，去振铃，去压缩失真；
[0444]
和/或，
[0445]
该第二图像增强类型包括如下至少一项：去模糊、去噪或超分辨率、增加细节，去块，去振铃，去压缩失真。
[0446]
在一种可能的实现方式中，该第一待处理区域和该第二待处理区域存在重叠部分。
[0447]
在一种可能的实现方式中，该图像增强模型包括第一权重系数集，该训练单元1604具体用于：
[0448]
根据该第一损失函数和该第二损失函数对该图像增强模型进行训练，得到第二权重系数集；
[0449]
根据该第二权重系数集更新该图像增强模型中的第一权重系数集，得到该训练好的图像增强模型。
[0450]
在一种可能的实现方式中，该第一损失函数或该第二损失函数的函数类型包括如下至少一项：
[0451]
像素损失函数pixel loss、均方误差损失函数mse loss、结构相似性指数损失函数ssim loss，感知损失函数perceptual loss或生成对抗网络损失函数gan loss。
[0452]
在一种可能的实现方式中，
[0453]
该第一图像的图像数量与该第一标签图像的图像数量相等；和/或，该第二图像的图像数量与该第二标签图像的图像数量之和相等。
[0454]
在一种可能的实现方式中，
[0455]
该第一图像的图像数量低于该第一标签图像的图像数量，和/或，第二图像的图像数量低于该第二标签图像的图像数量
[0456]
其中，装置1600的组成模块还可以用于执行前述方法实施例中各个可能实现方式中所执行的步骤，具体均可以参阅前述方法实施例，此处不再赘述。
[0457]
需要说明的是，上述装置1500和装置1600以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现，对此不作具体限定。
[0458]
例如，“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，asic)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
[0459]
因此，在本技术的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0460]
图17是本技术实施例提供的一种图像增强模型的训练装置的硬件结构示意图。图17所示的图像增强模型的训练装置1700(该装置1700具体可以是一种计算机设备)包括存储器1701、处理器1702、通信接口1703以及总线1704。其中，存储器1701、处理器1702、通信接口1703通过总线1704实现彼此之间的通信连接。
[0461]
存储器1701可以是只读存储器(read only memory，rom)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，ram)。存储器1701可以存储程序，当存储器1701中存储的程序被处理器1702执行时，处理器1702和通信接口1703用于执行本技术实施例中的图像增强模型的训练方法的各个步骤。具体地，处理器1702可以执行上文中方法700、方法800或方法900。
[0462]
处理器1702可以采用通用的中央处理器(central processing unit，cpu)，微处理器，应用专用集成电路(application specific integrated circuit，asic)，图形处理器或者一个或多个集成电路，用于执行相关程序，以实现本技术实施例的图像增强模型的训练装置中的单元所需执行的功能，或者执行本技术方法实施例的图像增强模型的训练方
法。
[0463]
处理器1702还可以是一种集成电路芯片，具有信号的处理能力。例如，可以是图3所示的芯片。在实现过程中，本技术的图像增强模型的训练方法的各个步骤可以通过处理器1702中的硬件的集成逻辑电路或者软件形式的指令完成。
[0464]
上述的处理器1702还可以是通用处理器、数字信号处理器(digital signal processing，dsp)、专用集成电路(asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1701，处理器1702读取存储器1701中的信息，结合其硬件完成本技术实施例的图像增强模型的训练装置中包括的单元所需执行的功能，或者执行本技术方法实施例的图像增强模型的训练方法。
[0465]
通信接口1703使用例如但不限于收发器一类的收发装置，来实现装置1700与其他设备或通信网络之间的通信。例如，可以通过通信接口1703获取训练数据。
[0466]
总线1704可包括在装置1700各个部件(例如，存储器1701、处理器1702、通信接口1703)之间传送信息的通路。
[0467]
图18是本技术实施例提供的图像增强装置的硬件结构示意图。图18所示的图像增强装置1800(该装置1800具体可以是一种计算机设备)包括存储器1801、处理器1802、通信接口1803以及总线1804。其中，存储器1801、处理器1802、通信接口1803通过总线1804实现彼此之间的通信连接。
[0468]
存储器1801可以是rom，静态存储设备，动态存储设备或者ram。存储器1801可以存储程序，当存储器1801中存储的程序被处理器1802执行时，处理器1802和通信接口1803用于执行本技术实施例的图像增强方法的各个步骤。
[0469]
处理器1802可以采用通用的cpu，微处理器，asic，gpu或者一个或多个集成电路，用于执行相关程序，以实现本技术实施例的图像增强装置中的单元所需执行的功能，或者执行本技术方法实施例的图像增强方法。
[0470]
处理器1802还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本技术的图像增强方法的各个步骤可以通过处理器1802中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1802还可以是通用处理器、dsp、asic、fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1801，处理器1802读取存储器1801中的信息，结合其硬件完成本技术实施例的图像增强装置中包括的单元所需执行的功能，或者执行本技术方法实施例的图像增强方法。
[0471]
通信接口1803使用例如但不限于收发器一类的收发装置，来实现装置1800与其他设备或通信网络之间的通信。例如，可以通过通信接口1803获取输入数据。
[0472]
总线1804可包括在装置1800各个部件(例如，存储器1801、处理器1802、通信接口1803)之间传送信息的通路。
[0473]
应注意，尽管图17和图18所示的装置1700和1800仅仅示出了存储器、处理器、通信接口，但是在具体实现过程中，本领域的技术人员应当理解，装置1700和1800还包括实现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，装置1700和1800还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，装置1700和1800也可仅仅包括实现本技术实施例所必须的器件，而不必包括图17或图18中所示的全部器件。
[0474]
可以理解，装置1700相当于图1中的训练设备120，装置1800相当于图1中的执行设备110。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0475]
本技术实施例中还提供一种包括计算机程序产品，当其在计算机上运行时，使得计算机执行如前述方法实施例描述的方法中图像处理装置所执行的步骤。
[0476]
本技术实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于进行信号处理的程序，当其在计算机上运行时，使得计算机执行如前述方法实施例描述的方法中图像处理装置所执行的步骤。
[0477]
本技术实施例提供了一种电路系统，所述电路系统包括处理电路，所述处理电路配置为执行前述方法实施例描述的图像增强方法。
[0478]
本技术实施例提供的执行设备、训练设备、智能终端或通信设备具体可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使图像处理装置内的芯片执行上述方法实施例描述的图像增强方法。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，ram)等。
[0479]
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本技术提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
[0480]
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专
用cpu、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本技术而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、u盘、移动硬盘、rom、ram、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
[0481]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
[0482]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0483]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0484]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0485]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0486]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0487]
以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。