一种基于深度学习的降噪方法、装置、存储介质及设备与流程

1.本技术实施例涉及图像处理技术领域，尤其涉及一种基于深度学习的降噪方法、装置、存储介质及设备。


背景技术：

2.由于视频监控领域是通过视频监控设备在固定位置进行全天候监控的，这就会导致在夜晚，需要完成对低照度环境的监控。而这也是本领域的痛点之一，由于环境光线微弱，图像信号很弱，容易受到噪声的干扰，像散粒噪声、电流噪声等，导致成像信噪比很低，甚至图像会完全淹没在噪声里。而使用强化补光的技术不仅容易产生光污染，也造成资源的浪费。因此，如何能够在低照度的情况下获取到高信噪比的图像，成为图像处理领域亟待解决的技术难题。


技术实现要素：

3.本技术实施例提供一种基于深度学习的降噪方法、装置、存储介质及设备，可以实现通过深度学习模型，对低照度图像进行降噪的同时，还能够有效的保护图像细节，提高降噪效果的目的。
4.第一方面，本技术实施例提供了一种基于深度学习的降噪方法，该方法包括：
5.获取低照度场景下的基础格式数据，并对所述基础格式数据进行预处理，得到预处理结果；
6.将所述预处理结果输入至预先训练完成的降噪模型；其中，所述降噪模型是根据在预设数量个场景中对每个场景采用不同曝光时长得到的训练样本对进行训练得到的；
7.获取所述降噪模型的降噪输出结果；其中，所述降噪输出结果的格式为基础格式。
8.进一步的，所述降噪模型的训练过程包括：
9.在每个场景中，获取至少一帧短曝光数据和一帧长曝光数据，形成短曝光与长曝光的训练样本对；
10.将所述训练样本对根据曝光时间的长短进行预处理，得到预处理样本数据；
11.将所述预处理样本数据输入至基础模型，所述基础模型包括预设数量个卷积模块；其中，所述卷积模块中包括相同数量的下采样卷积模块和上采样卷积模块；所述下采样卷积模块由一个卷积层和一个池化层组成，所述上采样卷积模块由一个反卷积层和一个卷积层组成；
12.通过对基础模型的训练，得到降噪模型。
13.进一步的，将所述训练样本对根据曝光时间的长短进行预处理，得到预处理样本数据，包括：
14.对所述训练样本对中的短曝光数据，进行黑电平处理、数据归一化处理以及数据缩放，得到短曝光数据的预处理结果；以及，
15.对所述训练样本对中的长曝光数据，进行黑电平处理和数据归一化处理，得到短
曝光数据的预处理结果。
16.进一步的，对所述训练样本对中的短曝光数据的处理过程，采用如下公式进行：
[0017][0018]
其中，o
s
为短曝光图像的预处理结果，i
s
为短曝光图像，blc为图像采集设备的黑电平，i
smax
为短曝光图像的最大像素值，scale为增益因子；
[0019]
对所述训练样本对中的长曝光数据的处理过程，采用如下公式进行：
[0020][0021]
其中，o
l
为长曝光图像的预处理结果，i
l
为长曝光图像，i
lmax
为长曝光图像的最大像素值；
[0022]
其中，所述增益因子scale为短曝光图像与长曝光图像的曝光时间比值。
[0023]
进一步的，所述预设数量为6个；其中，第一卷积模块和第二卷积模块为下采样卷积模块，第四卷积模块和第五卷积模块为上采样卷积模块；
[0024]
其中，所述第一卷积模块在卷积层中卷积核的个数为16个，所述第二卷积模块在卷积层中卷积核的个数为32个；
[0025]
所述第四卷积模块在反卷积层中反卷积核的个数为32个，所述第五卷积模块在反卷积层中反卷积核的个数为16个；
[0026]
其中，所述第四卷积模块从所述第二卷积模块获取特征参数，所述第五卷积模块从所述第一卷积模块获取特征参数。
[0027]
进一步的，所述下采样卷积模块中池化层的池化窗口的大小为2
×
2。
[0028]
进一步的，所述基础格式数据为raw格式的图像数据。
[0029]
第二方面，本技术实施例提供了一种基于深度学习的降噪装置，该装置包括：
[0030]
预处理模块，用于获取低照度场景下的基础格式数据，并对所述基础格式数据进行预处理，得到预处理结果；
[0031]
数据输入模块，用于将所述预处理结果输入至预先训练完成的降噪模型；其中，所述降噪模型是根据在预设数量个场景中对每个场景采用不同曝光时长得到的训练样本对进行训练得到的；
[0032]
降噪结果输出模块，用于获取所述降噪模型的降噪输出结果；其中，所述降噪输出结果的格式为基础格式。
[0033]
第三方面，本技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本技术实施例所述的基于深度学习的降噪方法。
[0034]
第四方面，本技术实施例提供了一种设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本技术实施例所述的基于深度学习的降噪方法。
[0035]
本技术实施例所提供的技术方案，获取低照度场景下的基础格式数据，并对所述基础格式数据进行预处理，得到预处理结果；将所述预处理结果输入至预先训练完成的降噪模型；其中，所述降噪模型是根据在预设数量个场景中对每个场景采用不同曝光时长得到的训练样本对进行训练得到的；获取所述降噪模型的降噪输出结果；其中，所述降噪输出
结果的格式为基础格式。通过采用本技术所提供的技术方案，可以实现通过深度学习模型，对低照度图像进行降噪的同时，还能够有效的保护图像细节，提高降噪效果的目的。
附图说明
[0036]
图1是本技术实施例提供的基于深度学习的降噪方法的流程图；
[0037]
图2是本技术实施例提供的降噪模型训练过程的流程图；
[0038]
图3是本技术实施例提供的预处理过程的示意图；
[0039]
图4是本技术实施例提供的降噪模型的卷积模块连接示意图；
[0040]
图5是本技术实施例提供的基于深度学习的降噪装置的结构示意图；
[0041]
图6是本技术实施例提供的一种设备的结构示意图。
具体实施方式
[0042]
下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本技术，而非对本技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本技术相关的部分而非全部结构。
[0043]
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0044]
图1是本技术实施例提供的基于深度学习的降噪方法的流程图，本实施例可适用于图像降噪处理的情况，该方法可以由本技术实施例所提供的基于深度学习的降噪装置执行，该装置可以由软件和/或硬件的方式来实现，并可集成于智能终端等设备中。
[0045]
如图1所示，所述基于深度学习的降噪方法包括：
[0046]
s110、获取低照度场景下的基础格式数据，并对所述基础格式数据进行预处理，得到预处理结果。
[0047]
其中，低照度场景，可以是环境中的光线亮度低于某一个亮度阈值的场景，例如光照亮度在20lux以下，可以确定为低照度场景。低照度场景的识别方法可以是通过获取的图像进行识别来确定，还可以是通过光照强度传感器来确定。
[0048]
本方案中，可选的，基础格式数据可以是图像的基础形成格式，例如raw格式。raw图像就是cmos或者ccd图像感应器将捕捉到的光源信号转化为数字信号的原始数据。raw文件是一种记录了数码相机传感器的原始信息，同时记录了由相机拍摄所产生的一些元数据(metadata，如iso的设置、快门速度、光圈值、白平衡等)的文件。raw是未经处理、也未经压缩的格式，可以把raw概念化为“原始图像编码数据”或更形象的称为“数字底片”。raw格式的全称是raw image format，在编程中称之为原始。
[0049]
本方案中，所采集到的图片的格式可以是bayer格式。bayer格式是相机内部的原始图片，一般后缀名为.raw。很多软件都可以查看，比如ps。我们相机拍照下来存储在存储卡上的.jpeg或其它格式的图片，都是从.raw格式转化过来的。
[0050]
本方案只能够，获取到的基础格式数据，可以是通过一定曝光时间获得的。例如1/
10～1/30秒之间。
[0051]
本方案提供的预处理过程，可以包括黑电平处理过程和数据归一化过程，除此之外，因为实际图像采集中一般采用的曝光时间不同，还可以进行数据缩放处理过程。本实施例中将在对模型进行训练过程对此预处理的几个具体步骤进行详细讲解。
[0052]
s120、将所述预处理结果输入至预先训练完成的降噪模型；其中，所述降噪模型是根据在预设数量个场景中对每个场景采用不同曝光时长得到的训练样本对进行训练得到的。
[0053]
其中，在经过预处理之后，可以将结果输入至预先训练完成的降噪模型。本方案中，该模型的训练过程可以是依据在预设数量个场景中对每个场景采用不同曝光时长得到的训练样本对进行训练得到的。
[0054]
其中预设数量可以是1000个场景，甚至更多。在1000个场景中的每个场景中，可以采用不同的曝光时间来获取样本对。其中曝光时间越长，图像的特征越明显，但是噪声越大。因此，可以采用在每个场景中同时获得长曝光图像和短曝光图像作为输入数据的数据对，进行处理。可以提高模型训练的效果。
[0055]
其中，短曝光图像的曝光时间可以是1/10～1/30秒之间，长曝光图像的曝光时间可以是10～30秒之间。长曝光图像可以基于多帧图像的平均结果，进一步消除噪声。本方案中，可以在采集短曝光图像时进行多次采集，与长曝光图像形成不同的数据对，这样可以增多模型训练的样本。
[0056]
s130、获取所述降噪模型的降噪输出结果；其中，所述降噪输出结果的格式为基础格式。
[0057]
其中，在得到模型的输出结果之后，可以将该输出结果作为降噪结果。其中，降噪结果可以是与输入数据的格式相同的，即为基础格式。
[0058]
本技术实施例所提供的技术方案，获取低照度场景下的基础格式数据，并对所述基础格式数据进行预处理，得到预处理结果；将所述预处理结果输入至预先训练完成的降噪模型；其中，所述降噪模型是根据在预设数量个场景中对每个场景采用不同曝光时长得到的训练样本对进行训练得到的；获取所述降噪模型的降噪输出结果；其中，所述降噪输出结果的格式为基础格式。通过采用本技术所提供的技术方案，可以实现通过深度学习模型，对低照度图像进行降噪的同时，还能够根据降噪模型的训练过程中长曝光图像对短曝光图像的细节的影响，来形成有效的保护图像细节降噪模型，提高降噪效果的目的。
[0059]
图2是本技术实施例提供的降噪模型训练过程的流程图，如图2所示，所述降噪模型的训练过程包括：
[0060]
s210、在每个场景中，获取至少一帧短曝光数据和一帧长曝光数据，形成短曝光与长曝光的训练样本对。
[0061]
s220、将所述训练样本对根据曝光时间的长短进行预处理，得到预处理样本数据。
[0062]
其中，可以对训练样本对进行预处理，以得到符合模型训练标准的输入样本对。
[0063]
本方案中，对短曝光数据和长曝光数据的预处理的过程可以是互不相同的，图3是本技术实施例提供的预处理过程的示意图。如图3所示，可以对短曝光图像是逐帧处理，并将每一帧与长曝光数据作为数据对。
[0064]
在本方案中，可选的，将所述训练样本对根据曝光时间的长短进行预处理，得到预
处理样本数据，包括：
[0065]
对所述训练样本对中的短曝光数据，进行黑电平处理、数据归一化处理以及数据缩放，得到短曝光数据的预处理结果；以及，
[0066]
对所述训练样本对中的长曝光数据，进行黑电平处理和数据归一化处理，得到短曝光数据的预处理结果。
[0067]
其中，黑电平处理和归一化处理，可以是对短曝光数据和长曝光数据都进行的，而除此之外，还可以对短曝光数据进行数据缩放处理，这样设置可以达到得到的数据根据曝光时间，达到与长曝光数据的亮度一致的效果。
[0068]
在上述技术方案中，具体的，对所述训练样本对中的短曝光数据的处理过程，采用如下公式进行：
[0069][0070]
其中，o
s
为短曝光图像的预处理结果，i
s
为短曝光图像，blc为图像采集设备的黑电平，i
smax
为短曝光图像的最大像素值，scale为增益因子。
[0071]
其中，其中，所述增益因子scale为短曝光图像与长曝光图像的曝光时间比值。
[0072]
其中，
[0073]
其中，t
s
表示短曝光帧的曝光时间，t
l
表示对应的长曝光帧的曝光时间。
[0074]
对所述训练样本对中的长曝光数据的处理过程，采用如下公式进行：
[0075][0076]
其中，o
l
为长曝光图像的预处理结果，i
l
为长曝光图像，i
lmax
为长曝光图像的最大像素值。
[0077]
其中，黑电平(black level)指在经过一定校准的显示装置上，没有一行光亮输出的视频信号电平。定义图像数据为0时对应的信号电平，调节黑电平不影响信号的放大倍数，而仅仅是对信号进行上下平移。如果向上调节黑电平，图像将变暗，如果向下调节黑电平图像将变亮。黑电平为0时，对应0v以下的电平都转换为图像数据0，0v以上的电平则按照增益定义的放大倍数转换，最大数值为255。
[0078]
本方案通过设置预处理环节，可以将黑电平，以及最大像素值考虑进来，并对相同一组数据对中的曝光时间作为增益因子，可以在模型训练的过程中提高数据对中的特征信息的对应程度，提高训练效果，使得得到的降噪模型更加准确。
[0079]
s230、将所述预处理样本数据输入至基础模型，所述基础模型包括预设数量个卷积模块；其中，所述卷积模块中包括相同数量的下采样卷积模块和上采样卷积模块；所述下采样卷积模块由一个卷积层和一个池化层组成，所述上采样卷积模块由一个反卷积层和一个卷积层组成。
[0080]
本实施例中，模型中包括的卷积模块的数量可以是6个，还可以更多，设置的个数的多少，可以根据实际需求与设备的计算能力来确定。
[0081]
s240、通过对基础模型的训练，得到降噪模型。
[0082]
在本方案中，基础模型的种类可以是vgg、resnet、ssd等。本方案由于涉及其在图
像特征的识别，所以，可以采用u-net、can等，因为模型在处理图像特征识别时，需要得到完整分辨率图像，所以全卷积网络(fcn)是最好的选择，在此基础上可以通过添加跳跃连接、降采样-升采样对称结构等方式可以进一步提高fcn模型的表现。
[0083]
本实施例中，可选的，所述预设数量为6个；其中，第一卷积模块和第二卷积模块为下采样卷积模块，第四卷积模块和第五卷积模块为上采样卷积模块；
[0084]
其中，所述第一卷积模块在卷积层中卷积核的个数为16个，所述第二卷积模块在卷积层中卷积核的个数为32个；
[0085]
所述第四卷积模块在反卷积层中反卷积核的个数为32个，所述第五卷积模块在反卷积层中反卷积核的个数为16个；
[0086]
其中，所述第四卷积模块从所述第二卷积模块获取特征参数，所述第五卷积模块从所述第一卷积模块获取特征参数。
[0087]
图4是本技术实施例提供的降噪模型的卷积模块连接示意图。如图4所示，该模型包含6个卷积模块，卷积核大小可以均为3
×
3，还可以是其他的数值。
[0088]
其中，第一卷积模块在卷积层中卷积核的个数为16个，所述第二卷积模块在卷积层中卷积核的个数为32个。第四卷积模块在反卷积层中反卷积核的个数为32个，所述第五卷积模块在反卷积层中反卷积核的个数为16个。
[0089]
由于模型的输入输出都为raw格式数据，输入输出的数据维度都为：h
×
w
×
1(h、w分别表示图像的高、宽)。
[0090]
本方案中，可选的，所述下采样卷积模块中池化层的池化窗口的大小为2
×
2。
[0091]
则可以得到第一卷积模块输出的数据维度为h/2
×
w/2
×
16；其中，由于卷积层包括16个卷积核，所以输出通道为16个；
[0092]
第二卷积模块输出的数据维度为h/4
×
w/4
×
32；
[0093]
第三卷积模块输出的数据维度为h/4
×
w/4
×
64；
[0094]
第四卷积模块包含反卷积层，接受第二(跳跃连接)、三模块输出的数据作为输入，输出数据维度为h/2
×
w/2
×
32；
[0095]
第五卷积模块包含反卷积层，接受第一(跳跃连接)、四模块输出的数据作为输入，输出数据维度为h
×
w
×
16；
[0096]
第六卷积模块输出的数据维度为h
×
w
×
1。
[0097]
其中，从第一卷积模块到第三卷积模块起到的作用可以是特征提取的作用，从第四卷积模块到第六卷积模块的作用，就是和特征提取部分对应的通道数相同尺度融合，但是融合之前要将其crop。这里的融合也是拼接。
[0098]
其中，反卷积就是转置卷积，也是一种卷积。转置卷积可以是由小尺寸到大尺寸的过程。也就是说反卷积也可以表示为两个矩阵乘积，很显然转置卷积的反向传播就是也是可进行的。
[0099]
由此，模型构建成功后，接受数据预处理模块输出的o
s
、o
l
图像对作为输入数据来训练模型，损失函数和优化器的选择不做限定，例如可以使用l1损失和adam优化器。在每次训练迭代中，可以使用随机裁剪、翻转、旋转来随机增强数据。具体训练方式不做限定，参考深度学习通用的训练策略。训练完成后的模型就可送入去噪应用模块进行端到端低照度图像降噪。
[0100]
本方案中，跳跃连接可以是复制和剪切特征图的作用，浅层网络会保留明显的内容信息，网络层越深，内容会减少，特征会增多，为了在深层网络添加内容的信息，故有此操作。
[0101]
本方案提供的机器学习模型，可以充分利用到图像的逐层提取的特征，并且最终通过反卷积得到的结果实现上采样的目的，达到了输出数据与输入数据的格式大小均相同，不会存在数据损失的情况。
[0102]
本技术提供的技术方案，能对低照度场景图像实现盲降噪；提出一种低照度场景的降噪策略，在去除低照度场景下噪声对图像的干扰的同时，有效地保持低照度图像细节；提出一种基于深度学习的低照度图像降噪的数据采集、模型构建方法，大大降低模型运算的复杂度，有利于在算力有限的设备端实时运行。
[0103]
图5是本技术实施例提供的基于深度学习的降噪装置的结构示意图。如图5所示，所述基于深度学习的降噪装置包括：
[0104]
预处理模块510，用于获取低照度场景下的基础格式数据，并对所述基础格式数据进行预处理，得到预处理结果；
[0105]
数据输入模块520，用于将所述预处理结果输入至预先训练完成的降噪模型；其中，所述降噪模型是根据在预设数量个场景中对每个场景采用不同曝光时长得到的训练样本对进行训练得到的；
[0106]
降噪结果输出模块530，用于获取所述降噪模型的降噪输出结果；其中，所述降噪输出结果的格式为基础格式。
[0107]
上述产品可执行本技术实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
[0108]
本技术实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于深度学习的降噪方法，该方法包括：
[0109]
获取低照度场景下的基础格式数据，并对所述基础格式数据进行预处理，得到预处理结果；
[0110]
将所述预处理结果输入至预先训练完成的降噪模型；其中，所述降噪模型是根据在预设数量个场景中对每个场景采用不同曝光时长得到的训练样本对进行训练得到的；
[0111]
获取所述降噪模型的降噪输出结果；其中，所述降噪输出结果的格式为基础格式。
[0112]
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如cd-rom、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如dram、ddr ram、sram、edo ram，兰巴斯(rambus)ram等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
[0113]
当然，本技术实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的基于深度学习的降噪操作，还可以执行本技术任意实施例所
提供的基于深度学习的降噪方法中的相关操作。
[0114]
本技术实施例提供了一种设备，该设备中可集成本技术实施例提供的基于深度学习的降噪装置。图6是本技术实施例提供的一种设备的结构示意图。如图6所示，本实施例提供了一种设备600，其包括：一个或多个处理器620；存储装置610，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器620执行，使得所述一个或多个处理器620实现本技术实施例所提供的基于深度学习的降噪方法，该方法包括：
[0115]
获取低照度场景下的基础格式数据，并对所述基础格式数据进行预处理，得到预处理结果；
[0116]
将所述预处理结果输入至预先训练完成的降噪模型；其中，所述降噪模型是根据在预设数量个场景中对每个场景采用不同曝光时长得到的训练样本对进行训练得到的；
[0117]
获取所述降噪模型的降噪输出结果；其中，所述降噪输出结果的格式为基础格式。
[0118]
当然，本领域技术人员可以理解，处理器620还实现本技术任意实施例所提供的基于深度学习的降噪方法的技术方案。
[0119]
图6显示的设备600仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
[0120]
如图6所示，该设备600包括处理器620、存储装置610、输入装置630和输出装置640；设备中处理器620的数量可以是一个或多个，图6中以一个处理器620为例；设备中的处理器620、存储装置610、输入装置630和输出装置640可以通过总线或其他方式连接，图6中以通过总线650连接为例。
[0121]
存储装置610作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块单元，如本技术实施例中的基于深度学习的降噪方法对应的程序指令。
[0122]
存储装置610可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置610可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置610可进一步包括相对于处理器620远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0123]
输入装置630可用于接收输入的数字、字符信息或语音信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏、扬声器等设备。
[0124]
本技术实施例提供的设备，可以实现通过深度学习模型，对低照度图像进行降噪的同时，还能够有效的保护图像细节，提高降噪效果的目的。
[0125]
上述实施例中提供的基于深度学习的降噪装置、存储介质及设备可执行本技术任意实施例所提供的基于深度学习的降噪方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本技术任意实施例所提供的基于深度学习的降噪方法。
[0126]
注意，上述仅为本技术的较佳实施例及所运用技术原理。本领域技术人员会理解，本技术不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本技术的保护范围。因此，虽然通过以上实施例对本技术进行了较为详细的说明，但是本技术不仅仅限于以上实施例，在不脱离本技术构思的情况下，还
可以包括更多其他等效实施例，而本技术的范围由所附的权利要求范围决定。