一种基于元学习的图像增强方法、系统、设备和存储介质与流程

1.本发明涉及一种基于元学习的图像增强方法、系统、设备和存储介质，属于图像处理技术领域。


背景技术：

2.暗光环境下的相机成像在日常拍照中，由于光线昏暗，照度不充分和成像设备的进光量不充足通常会导致生成的图像产生大量的噪声，颜色退化，对比度较低和曝光不足等严重的问题。同时这种情况也广泛存在于其他任务中，如目标检测，人脸识别，水下图像成像以及视频监控等。
3.过去的几十年中传统的图像增强算法对低照度图像的增强与恢复已经初见成效，但是由于传统算法存在泛化性能的局限性，使得传统算法不能适应复杂的光照场景。而近年来随着深度学习技术的迅猛发展，在低照度图像增强的性能表现上已经初见成效。但是目前很多基于监督的深度学习的暗光增强方法为了使算法能够适应各种不同的曝光场景以及解决信息失真的问题通常需要大量的数据，收集有效且大量的数据要求也是非常严格的，并且仍然还会存在颜色偏差，泛化性能底，噪声严重等问题。而为减低神经网络对数据的依赖性，很多研究人员提出了自监督的深度学习方法，这些方法不需要成对的数据集，大大降低了对数据的要求。在训练中缺少参考图像的信息引导，导致需要更多的迭代次数，继而引发了图像推理耗时的情况。


技术实现要素：

4.为了解决上述现有技术中存在的问题，本发明提出了一种基于元学习的图像增强方法，能够在少量数据训练的情况下在获得的增强适应性的同时获得良好的效果。
5.本发明的技术方案如下：一方面，本发明提供一种基于元学习的图像增强方法，包括以下步骤：获取一原始图像并进行灰度化处理，从处理后的图像中随机捕获图像块，根据图像特征对捕获到的图像块进行分类，并将分类后的图像块放入至元训练数据集中；构建基于多级编解码结构的元学习网络；随机抽样元训练数据集中不同类别的图像块输入至元学习网络中，输出增强图像，计算对应的增强图像与图像块之间的曝光误差和像素相邻误差，以计算出的曝光误差和像素相邻误差最小为目标对元学习网络进行迭代训练，直至达到迭代结束条件，得到训练好的图像增强网络；将训练好的图像增强网络用于低照度图像的图像增强。
6.作为优选实施方式，所述从处理后的图像中随机捕获图像块，根据图像特征对捕获到的图像块进行分类，并将分类后的图像块放入至元训练数据集中的方法具体为：以预设的窗口大小，在处理后的图像中随机进行采样n次，得到n个图像块；计算每一图像块的灰度均值，根据每一图像块的灰度均值将各图像块划分为256
个类别；以m为间隔，从256个类别中挑选采样类别，分别从挑选出的各个采样类别中采样出相同数量的图像块，并将采样出的图像块放入至元训练数据集中，元训练数据集包括元训练集和元测试集，将每一采样类别的图像块按照比例分别划分至元训练集和元测试集中。
7.作为优选实施方式，所述基于多级编解码结构的元学习网络包括：第一级编解码结构，包括一卷积层，用于对输入的图像进行特征提取，获取特征图；连接于第一级编解码结构输出端的第二级编解码结构，包括残差模块和注意力模块，所述残差模块用于提取输入的特征图的高频信息，所述注意力模块用于从特征图中通过注意力机制提取注意力特征图；连接于第二级编解码结构输出端的第三级编解码结构，所述第三级编解码结构的结构与第二级编解码结构相同。
8.作为优选实施方式，在所述计算对应的增强图像与图像块之间的曝光误差和像素相邻误差的步骤中，所述曝光误差具体通过以下公式计算：其中，m表示大小为16
×
16的不重叠局部区域的数量，是增强图像中局部区域m的平均灰度值，e为设定的经验常数；所述像素相邻误差具体通过以下公式计算：其中，k表示局部区域的数量，表示以局部区域i为中心的四个相邻的局部区域，其中局部区域的大小均为4
×
4，表示增强图像在局部区域i的平均灰度值，表示输入的图像块在局部区域i的平均灰度值，表示增强图像在相邻的局部区域j的平均灰度值，表示输入的图像块在相邻的局部区域j的平均灰度值。
9.另一方面，本发明还提供一种基于元学习的图像增强系统，包括：元数据获取模块，获取一原始图像并进行灰度化处理，从处理后的图像中随机捕获图像块，根据图像特征对捕获到的图像块进行分类，并将分类后的图像块放入至元训练数据集中；元网络构建模块，用于构建基于多级编解码结构的元学习网络；训练模块，用于随机抽样元训练数据集中不同类别的图像块输入至元学习网络中，输出增强图像，计算对应的增强图像与图像块之间的曝光误差和像素相邻误差，以计算出的曝光误差和像素相邻误差最小为目标对元学习网络进行迭代训练，直至达到迭代结束
条件，得到训练好的图像增强网络；增强模块，利用训练好的图像增强网络进行低照度图像的图像增强。
10.作为优选实施方式，所述元数据获取模块包括：随机采样单元，用于以预设的窗口大小，在处理后的图像中随机进行采样n次，得到n个图像块；类别划分单元，用于计算每一图像块的灰度均值，根据每一图像块的灰度均值将各图像块划分为256个类别；分类单元，用于以m为间隔，从256个类别中挑选采样类别，分别从挑选出的各个采样类别中采样出相同数量的图像块，并将采样出的图像块放入至元训练数据集中，元训练数据集包括元训练集和元测试集，将每一采样类别的图像块按照比例分别划分至元训练集和元测试集中。
11.作为优选实施方式，所述基于多级编解码结构的元学习网络包括：第一级编解码结构，包括一卷积层，用于对输入的图像进行特征提取，获取特征图；连接于第一级编解码结构输出端的第二级编解码结构，包括残差模块和注意力模块，所述残差模块用于提取输入的特征图的高频信息，所述注意力模块用于从特征图中通过注意力机制提取注意力特征图；连接于第二级编解码结构输出端的第三级编解码结构，所述第三级编解码结构的结构与第二级编解码结构相同。
12.作为优选实施方式，在所述训练模块计算对应的增强图像与图像块之间的曝光误差和像素相邻误差的步骤中，所述曝光误差具体通过以下公式计算：其中，m表示大小为16
×
16的不重叠局部区域的数量，是增强图像中局部区域m的平均灰度值，e为设定的经验常数；所述像素相邻误差具体通过以下公式计算：其中，k表示局部区域的数量，表示以局部区域i为中心的四个相邻的局部区域，其中局部区域的大小均为4
×
4，表示增强图像在局部区域i的平均灰度值，表示输入的图像块在局部区域i的平均灰度值，表示增强图像在相邻的局部区域j的平均灰度值，表示输入的图像块在相邻的局部区域j的平均灰度值。
13.再一方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例所
述的基于元学习的图像增强方法。
14.再一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的基于元学习的图像增强方法。
15.本发明具有如下有益效果：本发明一种基于元学习的图像增强方法，构建了基于编解码结构的元学习网络，只需要一张高照度范围的原始图像，对原始图像进行随机采样即可获得元数据，只需要少量数据就可以进行元学习网络的训练；并且，通过在编解码结构中添加残差模块，以及添加自注意力层，在保证元学习网络深度的前提下，使得元学习网络能够精确的捕捉到有用地信息，学习各种不同类型图像的信息，增强表达能力，增强图像增强模型的适应性的同时获得良好的效果。
附图说明
16.图1为本发明实施例一的方法流程图；图2为本发明实施例中提出的一种元学习网络的结构示意图。
具体实施方式
17.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
19.应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
20.术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
21.术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
22.实施例一：参见图1，一种基于元学习的图像增强方法，包括以下步骤：s101、进行元数据的构建，获取任意一张高照度范围的原始图像并进行灰度化处理（高照度范围的图像经灰度化处理后体现为图像中像素点所拥有的灰度级范围比较高），并从处理后的图像中随机捕获图像块；s102、统计捕获到的所有图像块，并根据图像块的图像特征对捕获到的图像块进行分类，并将分类后的图像块放入至元训练数据集中，并将每一类图像块按照比例分为元训练集和元测试集，比例为7:3，即一个类别的图像块中70%作为元训练集，30%作为元测试集。
23.s201、构建基于多级编解码结构的元学习网络。
24.s301、随机抽样元训练数据集中不同类别的图像块，并且抽取定量的元训练集中的图像块和元测试集中的图像块，将元训练集中的图像块输入至元学习网络中，通过元学习网络输出增强图像；s302、计算对应的增强图像与图像块之间的曝光误差和像素相邻误差，可以先进行曝光误差的计算，再进行像素相邻误差的计算，同时以计算出的曝光误差和像素相邻误差最小为目标对元学习网络进行迭代训练，迭代更新元学习网络的网络参数，达到迭代终止条件后，结束迭代，得到预训练好的元学习网络；s303、将元测试集中的图像块输入至预训练好的元学习网络，输出增强图像，与步骤s302一样进行计算对应的增强图像与图像块之间的曝光误差和像素相邻误差，测试网络性能，当网络性能不达标时，继续根据曝光误差和像素相邻误差迭代更新网络参数，当网络性能达标时，结束测试，保存当前元学习网络的参数，得到图像增强模型。
25.s4、将训练好的图像增强网络用于低照度图像的图像增强。
26.作为本实施例的优选实施方式，在步骤s101中，所述从处理后的图像中随机捕获图像块的方法具体为：以64
×
64为窗口大小，在处理后的图像中随机进行采样1000次，得到1000个图像块。
27.所述根据图像特征对捕获到的图像块进行分类的方法具体为：计算每一图像块的灰度均值，根据每一图像块的灰度均值将各图像块划分为0~255一共256个类别；所述将分类后的图像块放入至元训练数据集中的方法具体为：以10为间隔，从256个类别中挑选采样类别，如第10类，第20类，第30类，
……
，其中被选出的每个采样类别会被随机采样50次，每个被采样出来的采样类别中的前35个图像块放入至元训练集，后15个放入至元测试集。
28.具体参见图2，作为本实施例的优选实施方式，在步骤s201中，所述多级编解码结构的元学习网络设计为三级的编码解码结构，具体包括：第一级编解码结构，包括一卷积层，用于在图像块的原始尺度上尽可能多地提取图像块中的高频低频信息，为后续的网络层提供足够的信息，获取特征图；连接于第一级编解码结构输出端的第二级编解码结构，包括残差模块和注意力模块，所述残差模块包括若干残差块，主要用于提取较为敏感的高频信息（通过简单的逐像素相加完成），有利于恢复图像的细节信息，所述注意力模块通过一个卷积层生成了1组特征图然后与另一个卷积层的输出做逐像素相乘得到添加注意力之后的注意力特征图，能够使得网络将注意力放在需要被增强的位置，提高网络的提取效率；连接于第二级编解码结构输出端的第三级编解码结构，所述第三级编解码结构的结构与第二级编解码结构相同。
29.在第二级编解码结构和第三级编解码结构中，首先经过插值算法对特征图进行上采样，使得网络能够获得更大的感受野，在上采样过程中，将输出的特征图和注意力特征图进行恢复和合并信息。
30.本实施例在网络中增加了残差模块，并添加注意力层；在保证元学习网络深度的前提下，使得元学习网络能够精确的捕捉到有用的信息，学习各种不同类型图像的信息，增
强表达能力。
31.作为本实施例的优选实施方式，在步骤s302中，所述曝光误差具体通过以下公式计算：其中，m表示大小为16
×
16的不重叠局部区域的数量，是增强的照度图像中局部区域m的平均灰度值（灰度值就表征了照度强度），e设置为0.6；该公式是计算增强之后的增强图像与常数e之间的各个大小为16
×
16的局部区域的平均灰度值的差，用以调整增强之后图像的曝光(也就是感知上的照度）。
32.所述像素相邻误差具体通过以下公式计算：其中，k表示局部区域的数量，表示以局部区域i为中心的四个相邻的局部区域，其中局部区域的大小均为4
×
4，表示增强图像在局部区域i的平均灰度值，表示输入的图像块在局部区域i的平均灰度值，表示增强图像在相邻的局部区域j的平均灰度值，表示输入的图像块在相邻的局部区域j的平均灰度值。该公式的计算方式可以理解为以4
×
4的滑窗在图像上进行计算，且当前的滑窗会与上下左右四个方向的同样大小的相的局部区域进行灰度均值的计算，本质上是计算增强之后增强图像中各个小块4
×
4与其周围小块的误差，并使得这个误差与原始图像块中以同样方式计算出来的误差相同，目的就是保持增强之后增强图像与原始图像块的图像中的高频低频信息要相同。
33.实施例二：本实施例提供一种基于元学习的图像增强系统，包括：元数据获取模块，获取一原始图像并进行灰度化处理，从处理后的图像中随机捕获图像块，根据图像特征对捕获到的图像块进行分类，并将分类后的图像块放入至元训练数据集中；该模块用于实现如实施例一中步骤s101和步骤s102的功能，在此不再赘述；元网络构建模块，用于构建基于多级编解码结构的元学习网络；该模块用于实现如实施例一中步骤s201的功能，在此不再赘述；训练模块，用于随机抽样元训练数据集中不同类别的图像块输入至元学习网络中，输出增强图像，计算对应的增强图像与图像块之间的曝光误差和像素相邻误差，以计算出的曝光误差和像素相邻误差最小为目标对元学习网络进行迭代训练，直至达到迭代结束条件，得到训练好的图像增强网络；该模块用于实现如实施例一中步骤s301、步骤s302和步骤s303的功能，在此不再赘述；增强模块，用于利用训练好的图像增强网络进行低照度图像的图像增强，该模块用于实现如实施例一中步骤s4的功能，在此不再赘述。
34.作为本实施例的优选实施方式，所述元数据获取模块包括：随机采样单元，用于以预设的窗口大小，在处理后的图像中随机进行采样n次，得到n个图像块；类别划分单元，用于计算每一图像块的灰度均值，根据每一图像块的灰度均值将各图像块划分为256个类别；分类单元，用于以m为间隔，从256个类别中挑选采样类别，分别从挑选出的各个采样类别中采样出相同数量的图像块，并将采样出的放入至元训练数据集中，元训练数据集包括元训练集和元测试集，将每一采样类别的图像块按照比例分别划分至元训练集和元测试集中。
35.作为本实施例的优选实施方式，所述基于多级编解码结构的元学习网络包括：第一级编解码结构，包括一卷积层，用于对输入的图像进行特征提取，获取特征图；连接于第一级编解码结构输出端的第二级编解码结构，包括残差模块和注意力模块，所述残差模块用于提取输入的特征图的高频信息，所述注意力模块用于从特征图中通过注意力机制提取注意力特征图；连接于第二级编解码结构输出端的第三级编解码结构，所述第三级编解码结构的结构与第二级编解码结构相同。
36.作为本实施例的优选实施方式，在所述训练模块计算对应的增强图像与图像块之间的曝光误差和像素相邻误差的步骤中，所述曝光误差具体通过以下公式计算：其中，m表示大小为16
×
16的不重叠局部区域的数量，是增强图像中局部区域m的平均灰度值，e为设定的经验常数；所述像素相邻误差具体通过以下公式计算：其中，k表示局部区域的数量，表示以局部区域i为中心的四个相邻的局部区域，其中局部区域的大小均为4
×
4，表示增强图像在局部区域i的平均灰度值，表示输入的图像块在局部区域i的平均灰度值，表示增强图像在相邻的局部区域j的平均灰度值，表示输入的图像块在相邻的局部区域j的平均灰度值。
37.实施例三：本实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例所述的基于元学习的图像增强方法。
38.实施例四：本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的基于元学习的图像增强方法。
39.本技术实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示单独存在a、同时存在a和b、单独存在b的情况。其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。
40.本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
41.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
42.在本技术所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory；以下简称：rom)、随机存取存储器(random access memory；以下简称：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
43.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。