一种基于神经网络的低光图像质量增强装置和方法

1.本发明属于图像重建技术领域，涉及图像重建中低光增强的方法，具体涉及一种基于神经网络的低光图像质量增强装置和方法。


背景技术：

2.由于拍摄设备、场景条件等诸多因素都可能影响到数字图像的最终成像质量，因此图像增强技术从数字图像兴起开始就被广泛的研究，并且一直是计算机视觉中一个重要的技术分支。而当相机参数设置不合理或场景光照条件不足导致最终的数字图像出现可见度差、对比度低以及噪点多等问题时，就需要用到图像增强技术中的低光图像增强技术。
3.在拍摄过程中进行画面改善的方法有延长相机曝光时间、提高感光度iso等，但是延长曝光时长会引入抖动而造成模糊、提高感光度会引入更多噪点且颗粒感增大，这些方法都会引入新的问题造成图像质量下降。针对成片进行低光图像增强的方法主要包括三类：基于非物理模型的方法、基于retinex理论的物理模型方法以及基于深度学习的方法。其中，基于非物理模型的方法主要通过直接调整图像像素值的方式，例如直方图均衡、gamma矫正等，但这些方法通常效果有限，且容易破坏视觉效果。基于retinex理论的物理模型方法根据人类视觉的亮度与色彩恒定性理论，对低光图像进行入射分量和反射分量的拆分，构建数学成像模型，这种方法相比于基于非物理模型的方法更加有效、合理，但在光线极弱的环境下依靠物理模型重建就会变得相对困难。
4.近年来，深度学习迅速发展，开始在各个领域崭露头角，也发展了使用深度学习增强低光照图像的方法，有同样基于retinex理论提出的retinexnet方法，其通过深度学习修正入射分量和进行去噪处理，最后重建图像；也有基于retinex提出的直接学习明暗图像的端到端映射来重建图像的方法，但基于retinex理论对于物理模型的要求较高，同时对噪点的去除能力还有待提升；还有使用了gan网络在非配对图像上进行学习，将低光图像映射到正常图像的enlightgan方法，但gan网络会生成原图没有的信息，“无中生有”，且gan网络不稳定，难以训练；还有可以不需要参考图像就能训练的zero-dce方法，将增强任务转化为 image-specific曲线估计问题实现低光增强，但各项性能指标还处于较落后的水平。


技术实现要素：

5.针对现有技术的不足，本发明提出了一种基于神经网络的低光图像质量增强装置和方法，使用神经网络学习数码相机拍摄的低光图像到rgb格式的正常图像的映射，实现低光增强效果；然后将增强后的图像进行二分类，针对个别低质量图像通过神经网络进行再增强，最终实现高质量的低光增强效果。
6.一方面，一种基于神经网络的低光图像质量增强装置包括用于低光图像质量增强的核心神经网络和对增强后的低光图像进行质量评估的二分类神经网络。
7.所述核心神经网络，包括依次级联的多重曝光模拟模块、核心增强模块和特征融合模块。
8.所述多重曝光模拟模块，对输入的c通道低光图像数据逐通道分别乘以m个预设亮度系数，相加后得到c
×
m个通道的曝光模拟数据。
9.所述核心增强模块对多重曝光模拟模块输出的曝光模拟数据进行特征提取，再将提取到的特征数据输入特征融合模块，包括纹理特征提取子模块和多级分辨率特征提取子模块。所述纹理特征提取子模块包括第一纹理特征提取模块和第二纹理特征提取模块，其中，第一纹理特征提取模块用于输出第一纹理特征到第二纹理特征提取模块和多级分辨率特征提取子模块，包括依次级联的cnn卷积模块、傅里叶卷积模块、lewin transformer模块和cnn卷积模块。第二纹理特征提取模块用于输出第二纹理特征到特征融合模块，包括两个级联的傅里叶卷积模块。所述多级分辨率特征提取子模块，包括n层网络，在一层网络中通过傅里叶卷积模块和lewin transformer模块提取第一阶段特征，再通过傅里叶卷积模块和cnn卷积模块提取第二阶段特征；其中第n层网络的输入为第n-1层网络输出的第一阶段特征，n＝1,2,...n，当n＝1时，第n层网络的输入为第一纹理特征，当n＝n时，不进行第二阶段特征的提取。最后将每层网络提取的不同阶段的特征，均通过上采样操作恢复到与第二纹理特征相同的尺度，并输入到特征融合模块。
10.所述特征融合模块接收第二纹理特征提取模块和多级分辨率特征提取子模块输出的特征数据，首先进行通道级联，再经过傅里叶卷积模块和cnn卷积模块融合特征数据，输出质量增强后的低光图像。
11.所述cnn卷积模块对输入数据进行两次cnn卷积，作为cnn卷积模块的输出。傅里叶卷积模块对输入数据经过两次傅里叶卷积，再与原始输入数据相加，作为傅里叶卷积模块的输出。lewin transformer模块对输入数据依次经过leff(locally-enhanced feed-forwardnetwork
1.)操作、层归一化操作后，与原始输入数据相加，再将相加后的结果与经过w-msa 操作和层归一化操作后的结果相加，作为lewin transformer模块的输出。
12.所述二分类神经网络接受特征融合模块输出的质量增强后的低光图像，对其进行图像质量评估，并根据评估结果将图像质量低的图像返回到核心神经网络结构，进行进一步的图像质量增强。
13.作为优选，所述二分类神经网络以mobilenetv2或resnet为基础结构，输出二元分类结果。
14.另一方面，一种基于神经网络的低光图像质量增强方法，具体包括以下步骤：
15.步骤一、低光图像质量增强
16.构建上述的核心神经网络，对输入图像依次进行多重曝光模拟、特征提取和特征融合，输出质量增强后的低光图像。
17.步骤二、图像增强质量评估
18.s2.1、数据准备
19.获取多组同一视角拍摄的不同光照条件下的图像，并且每组至少包含一张正常光照条件下拍摄的图像，作为参考图像，其余图像作为低光图像，使用步骤一构建的核心神经网络对低光图像进行质量增强，作为参考图像对应的退化图像。然后对每组中的所有图像进行质量评估和排序，再根据质量高低将其划分为高质量集合和低质量集合，高质量集合中的图片数量不少于低质量集合中的图片数量。将高质量集合中的图像标为1，低质量集合中的图像标为0，再选取来自不同集合中的图像，两两成对，形成一个标签。
20.s2.2、特征学习
21.构建一个二元结果输出的二分类神经网络，将s2.1中得到的图像输入该二分类神经网络中，根据图像对的标签进行网络训练。
22.s2.3、质量评估
23.将步骤一得到的质量增强后的低光图像输入s2.2训练后的二分类神经网络中，进行图像质量评估。对于评估结果为质量低的图像输入步骤一构建的核心神经网络结构中，进行进一步的质量增强，然后再进行质量评估，直至评估结果为质量高。
24.本发明具有以下有益效果：
25.1、同时适用于对raw格式和rgb格式的低光图像进行质量增强，适用范围更广。拍摄不同光照条件下的图像对二分类神经网络进行训练，然后通过训练后的二分类神经网络进行质量评估，获得与正常光照条件下拍摄的参考图像更接近的重建图像质量。
26.2、对二分类神经网络评估结果为质量低的重建图像，使用核心神经网络结构对其进行针对性的增强质量改善，进一步提高了重建图像的质量。
附图说明
27.图1为一种基于神经网络的低光图像质量增强方法流程图；
28.图2对增强后的低光图像进行质量评估二分类方法的流程图；
29.图3为核心神经网络结构示意图；
30.图4为多重曝光模拟模块结构示意图；
31.图5为纹理特征提取子模块结构示意图；
32.图6为实施例1中的多级分辨率特征提取子模块结构示意图；
33.图7为实施例1中特征融合模块结构示意图；
34.图8为cnn卷积模块结构示意图；
35.图9为傅里叶卷积模块结构示意图；
36.图10为lewin transformer模块结构示意图；
37.图11(a)为raw格式的低光图像，11(b)为rgb格式的增强图像；
38.图12为实施例2中的多级分辨率特征提取子模块结构示意图；
39.图13为实施例2特征融合模块结构示意图；
40.图14(a)为rgb格式的低光图像，14(b)为rgb格式的增强图像。
具体实施方式
41.以下结合附图对本发明作进一步的解释说明。
42.如图1所示，一种基于神经网络的低光图像质量增强方法，具体包括以下步骤：
43.步骤一、低光图像质量增强
44.利用核心神经网络，对输入图像依次进行多重曝光模拟、特征提取和特征融合，输出质量增强后的低光图像。
45.步骤二、图像增强质量评估
46.s2.1、数据准备
47.如图2所示，拍摄多组同一视角下的4张图像，分别设置曝光时长为10s、0.1s、
0.04s、 0.033s，其中曝光时长为10s的图像作为参考图像，其余图像作为低光图像，使用步骤一中的核心神经网络对低光图像进行质量增强，作为参考图像对应的退化图像。然后对每组中的所有图像进行质量评估和排序，将其中的参考图像和psnr指标最大的退化图像作为质量高的图像，标签记为1；其余图像作为低质量图像标签记为0。
48.s2.2、特征学习
49.将s2.1中得到的图像对输入二分类神经网络中，根据图像对的标签进行网络训练。
50.s2.3、质量评估
51.将步骤一得到的质量增强后的低光图像输入s2.2训练后的二分类神经网络中，进行图像质量评估。对于评估结为质量低的图像，输入步骤一构建的核心神经网络结构中，进行进一步的质量增强，然后再进行质量评估，直至评估结果为高质量图像。
52.实施例1
53.本实施例提供一种基于神经网络的低光图像质量增强装置，针对符合拜尔阵列的raw 格式的低光图像进行质量增强。该装置包括如图3所示的核心神经网络与二分类神经网络。
54.所述核心神经网络，包括依次级联的多重曝光模拟模块110，核心增强模块120和特征融合模块130；其中核心增强模块包含纹理特征提取子模块121和多级分辨率特征提取子模块122。
55.将raw格式的低光图像按照颜拆分成单独的通道，具体地将raw格式1024
×
1024图像处理为rggb四通道512
×
512的输入图像数据。然后将其输入核心神经网络，进行端到端增强。
56.输入图像数据首先经过如图4所示的多重曝光模拟模块110，将rggb格式的四通道分别乘以(0.8，1.0，1.2，1.5)四种曝光系数，相加后得到模拟不同曝光的16通道曝光模拟数据；
57.然后曝光模拟数据通过核心增强模块120进行特征提取。其中纹理特征提取子模块121 如图5所示，曝光模拟数据通过cnn卷积模块得到32通道512
×
512的图像数据，再依次通过傅里叶卷积模块和lewin transformer模块，得到32通道512
×
512的特征数据，再通过 cnn卷积模块，提取得到64通道512
×
512的第一纹理特征。然后再通过两个级联的傅里叶卷积模块提取得到64通道512
×
512的第二理段特征。
58.如图6所示，多级分辨率特征提取子模块122由2层网络构成，预设每层级联之前的通道配比均为64。其中第一层首先使用下采样，将第一阶段纹理特征的分辨率由512采样至256、通道数由64变为128，然后通过傅里叶卷积模块和lewin transformer模块，得到第一层第一阶段特征，然后再通过傅里叶卷积模块和cnn卷积模块得到第一层第二阶段特征。第二层对第一层网络的lewin transformer模块输出的特征进行下采样，将特征分辨率由256采样至128，通道数由128变为256，然后通过傅里叶卷积模块和lewin transformer模块，得到第二层第一阶段特征。由于在128分辨率下，特征的抽象程度较高，因此在第二层网络中不进行第二阶段特征提取。将第一层和第二层网络得到的第一层第一阶段特征、第一层第二阶段特征和第二层第一阶段特征均进行上采样操作，得到分辨率为512、通道数为64的特征数据，并输入到特征融合模块中。
59.如图7所示，使用特征融合模块130，将核心增强模块的输出进行512分辨率的通道级联，得到512特征分辨率256通道的特征数据，然后经过傅里叶卷积模块和cnn卷积模块得到512特征分辨率12通道，最终使用pixel_shuffle上采样，输出增强后的3通道1024
×
1024 的图像数据。
60.如图8所示，所述cnn卷积模块对输入数据进行两次cnn卷积，得到cnn卷积模块的输出。如图9所示，傅里叶卷积模块对输入数据经过两次傅里叶卷积，再与原始输入数据相加，作为傅里叶卷积模块的输出。如图10所示，lewin transformer模块对输入数据依次经过leff操作、层归一化操作后，与原始输入数据相加，再将相加后的结果与经过w-msa操作和层归一化操作后的结果相加，作为lewin transformer模块的输出。
61.所述二分类神经网络以mobilenetv2为基础，用于接受特征融合模块输出的质量增强后的低光图像，并对其进行图像质量评估。在本实施例中，设置阈值为0.3，评估结果高于0.3 的图片为高质量图片，评估结果低于0.3的图片为低质量图片，需要重新输入核心神经网络中，进行进一步的图像质量增强。最后以二分类质量评价高的图像和再增强后的图像作为重建图像的最终输出，保存成符合人眼观察需要的图片格式。本实施例使用的低光图像如图11 (a)所示，经过质量增强后保存的对应图像如图11(b)所示。
62.实施例2
63.本实施例使用一种基于神经网络的低光图像质量增强装置，针对分辨率为1024
×
1024的 rgb格式低光图像进行质量增强，并对曝光系数、多级分辨率特征提取子模块和二分类神经网络进行了调整。具体的，在本实施例中，输入图像经过多重曝光模拟模块110，将rgb格式的三通道分别乘以(0.9，1.0，1.2，1.4)四种曝光系数，相加后得到模拟不同曝光的12通道曝光模拟数据。
64.然后曝光模拟数据通过核心增强模块120进行特征提取，通过cnn卷积模块得到32通道1024
×
1024的图像数据，再依次通过傅里叶卷积模块和lewin transformer模块，得到32 通道1024
×
1024的特征数据，再通过cnn卷积模块，提取得到64通道1024
×
1024的第一纹理特征。然后再通过两个级联的傅里叶卷积模块提取得到64通道1024
×
1024的第二理段特征。
65.与实施例1不同的是，本实施例中多级分辨率特征提取子模块122由3层网络构成，预设每层级联之前的通道配比均为64。如图12所示，其中，其中第一层首先使用下采样，将第一阶段纹理特征的分辨率由1024采样至512、通道数由64变为128，然后通过傅里叶卷积模块和lewin transformer模块，得到第一层第一阶段特征，然后再通过两个傅里叶卷积模块和一个cnn卷积模块得到第一层第二阶段特征。第二层对第一层网络的lewin transformer 模块输出的特征进行下采样，将特征分辨率由512采样至256，通道数由128变为256，然后通过傅里叶卷积模块和lewin transformer模块，得到第二层第一阶段特征，然后再通过一个傅里叶卷积模块和一个cnn卷积模块得到第二层第二阶段特征。第三层对第二层网络的 lewin transformer模块输出的特征进行下采样，将特征分辨率由256采样至128，通道数由 256变为512，然后通过傅里叶卷积模块和lewin transformer模块，得到第三层第一阶段特征。最后对三层网络输出的不同阶段的特征数据均进行上采样操作，得到分辨率为1024、通道数为64的特征数据，并输入到特征融合模块中。
66.使用如图13所示的特征融合模块130，将核心增强模块的输出进行1024分辨率的
通道级联，得到1024特征分辨率、384通道的特征数据，然后经过傅里叶卷积模块和cnn卷积模块，输出增强后的3通道1024
×
1024的图像数据。由于cnn卷积模块输出的图像数据分辨率为1024，因此在本实施例中，特征融合模块130不设置上采样操作。
67.本实施例所述二分类神经网络以resnet为基础，在本实施例中，设置阈值为0.4，评估结果高于0.4的图片为高质量图片，评估结果低于0.4的图片为低质量图片，需要重新输入核心神经网络中，进行进一步的图像质量增强。本实施例使用的低光图像如图14(a)所示，经过质量增强后保存的对应图像如图14(b)所示。
68.以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界。
69.[1]uformer:ageneralu-shapedtransformerforimagerestoration(arxiv.2106.03106)。