一种多曝光图像融合方法、装置、设备及存储介质

1.本技术涉及图像融合技术领域，更具体的说，是涉及一种多曝光图像融合方法、装置、设备及存储介质。


背景技术：

2.现有的数码相机的动态范围有限，通常小于实际场景的动态范围，因此，在数码相机采集的单帧图像中，特别是在具有较高动态范围的场景下采集的单帧图像中，往往会存在过曝光区域或欠曝光区域，这些区域可能存在较高的噪声和信息损失，难以获取到清晰的数字化图像和进行后续的图像处理。然而在一些场景下，示例如显示工业监控系统的场景，过曝光区域和欠曝光区域的细节信息对于决策的得出是十分重要的。
3.为了得到过曝光区域或欠曝光区域的细节信息，可以对同一场景下的多张多曝光图像进行融合，以得到该场景下的曝光状态合适的融合图像。应用现有的多曝光融合算法可以得到静态场景下的高质量多曝光融合图像，但是现有算法在处理存在背景运动或主体运动的动态场景下的多曝光图像融合任务时，会出现较为严重的伪影等问题，融合图像质量不高。


技术实现要素：

4.鉴于上述问题，提出了本技术以便提供一种多曝光图像融合方法、装置、设备及存储介质，以实现动态场景下的多曝光图像的融合任务，得到曝光状态合适、无伪影且包含有较多原始图像信息的融合图像。
5.具体方案如下：第一方面，提供了一种多曝光图像融合方法，包括：获取至少两张待融合的原始图像；基于训练后的预增强网络对每一张所述原始图像进行预增强处理，得到对应的预增强图像，其中，所述预增强网络是以各种曝光水平的样本图像为训练样本，以对应的预增强样本图像为标签训练得到的，所述预增强样本图像的曝光水平为参考曝光水平；以与基准原始图像对应的预增强图像为基准，对每一张其余的预增强图像进行单应性矩阵估计，得到所述其余的预增强图像各自的单应性矩阵，其中，所述基准原始图像是按照预设规则确定的所述原始图像中的一张图像；对于每一其余的预增强图像，基于所述其余的预增强图像的单应性矩阵，对与所述其余的预增强图像对应的原始图像进行单应性变换，得到与每一其余的预增强图像对应的变换后图像；以融合图像趋近于所述参考曝光水平为目标，融合所述基准原始图像和各个所述变换后图像，得到融合图像。
6.可选的，融合所述基准原始图像和各个所述变换后图像，包括：利用训练后的融合网络，融合所述基准原始图像和各个所述变换后图像，其中，所
述融合网络是以多张曝光水平不同的非完全对齐的样本图像为训练样本，以对应的参考图像为标签训练得到的，其中，所述非完全对齐的样本图像的数量与所述原始图像的数量一致，所述参考图像是与基准样本图像对应的预增强样本图像，所述基准样本图像是按照所述预设规则确定的所述非完全对齐的样本图像中的一张图像。
7.可选的，所述融合网络包括依次连接的编码器、合并层和解码器；所述编码器的数量与所述原始图像的数量一致，用于提取输入到所述编码器的图像的特征；所述合并层，用于合并各个所述编码器所提取的特征，得到合并特征；所述解码器，用于根据所述合并特征进行解码，得到融合图像。
8.可选的，每一所述编码器包括依次连接的若干个编码器隐层，所述解码器包括依次连接的若干个解码器隐层，每一编码器隐层与具备和其输出通道数相同数量的输入通道的解码器隐层相连。
9.可选的，与任一种曝光水平的样本图像对应的预增强样本图像，是对若干张不同曝光水平且与所述样本图像完全对齐的图像进行融合得到的图像。
10.可选的，所述预增强网络包括第一预增强网络和第二预增强网络，其中，所述第一预增强网络是以曝光水平低于所述参考曝光水平的样本图像为训练样本，以对应的预增强样本图像为标签训练得到的，所述第二预增强网络是以曝光水平不低于所述参考曝光水平的样本图像为训练样本，以对应的预增强样本图像为标签训练得到的；所述基于训练后的预增强网络对每一张所述原始图像进行预增强处理，包括：基于训练后的第一预增强网络对每一张曝光水平低于所述参考曝光水平的原始图像进行预增强处理；基于训练后的第二预增强网络对每一张曝光水平不低于所述参考曝光水平的原始图像进行预增强处理。
11.可选的，所述预设规则为将至少两张图像中的曝光水平较低的图像作为基准图像，或，将至少两张图像中的曝光水平较高的图像作为基准图像。
12.第二方面，提供了一种多曝光图像融合装置，包括：待融合图像获取单元，用于获取至少两张待融合的原始图像；预增强图像生成单元，用于基于训练后的预增强网络对每一张所述原始图像进行预增强处理，得到对应的预增强图像，其中，所述预增强网络是以各种曝光水平的样本图像为训练样本，以对应的预增强样本图像为标签训练得到的，所述预增强样本图像的曝光水平为参考曝光水平；单应性矩阵估计单元，用于以与基准原始图像对应的预增强图像为基准，对每一张其余的预增强图像进行单应性矩阵估计，得到所述其余的预增强图像各自的单应性矩阵，其中，所述基准原始图像是按照预设规则确定的所述原始图像中的一张图像；图像单应性变换单元，用于对于每一其余的预增强图像，基于所述其余的预增强图像的单应性矩阵，对与所述其余的预增强图像对应的原始图像进行单应性变换，得到与每一其余的预增强图像对应的变换后图像；图像融合单元，用于以融合图像趋近于所述参考曝光水平为目标，融合所述基准原始图像和各个所述变换后图像，得到融合图像。
13.第三方面，提供了一种多曝光图像融合设备，包括：存储器和处理器；所述存储器，用于存储程序；所述处理器，用于执行所述程序，实现上述的多曝光图像融合方法的各个步骤。
14.第四方面，提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述的多曝光图像融合方法的各个步骤。
15.借由上述技术方案，本技术提供了一种多曝光图像融合方案，获取至少两张待融合的原始图像；基于训练后的预增强网络对每一张所述原始图像进行预增强处理，得到对应的预增强图像，其中，所述预增强网络是以各种曝光水平的样本图像为训练样本，以对应的预增强样本图像为标签训练得到的，所述预增强样本图像的曝光水平为参考曝光水平；以与基准原始图像对应的预增强图像为基准，对每一张其余的预增强图像进行单应性矩阵估计，得到所述其余的预增强图像各自的单应性矩阵，其中，所述基准原始图像是按照预设规则确定的所述原始图像中的一张图像；对于每一其余的预增强图像，基于所述其余的预增强图像的单应性矩阵，对与所述其余的预增强图像对应的原始图像进行单应性变换，得到与每一其余的预增强图像对应的变换后图像；以融合图像趋近于所述参考曝光水平为目标，融合所述基准原始图像和各个所述变换后图像，得到融合图像。本技术利用训练后的预增强网络对原始图像进行预增强处理，可以得到曝光水平近趋近于参考曝光水平的预增强图像；使用基于预增强图像估计得到的单应性矩阵对原始图像进行单应性变换，可以得到与基准原始图像背景对齐的且保留了较多的原始图像信息的变换后图像，若不进行预增强处理，直接利用基于原始图像估计得到的单应性矩阵进行单应性变换，则在各原始图像的曝光水平差距较大的情况下，将难以得到背景对齐的变换后图像，影响多曝光图像的融合效果；以融合图像趋近于参考曝光水平为目标，融合各个变换后图像和基准原始图像，可以得到曝光水平趋近于参考曝光水平、无伪影且包含有较多图像信息的高质量融合图像。
附图说明
16.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为本技术实施例提供的多曝光图像融合方法的流程示意图；图2示例了由原始图像得到变换后图像的过程示意图；图3为本技术实施例提供的一种预增强网络的结构示意图；图4示例了静态多曝光图像组及其预增强图像；图5示例了融合网络的训练数据；图6为本技术实施例提供的一种融合网络的结构示意图；图7为本技术实施例提供的另一种融合网络的结构示意图；图8为本技术实施例提供的一种多曝光图像融合装置的结构示意图；图9为本技术实施例提供的一种多曝光图像融合设备的结构示意图。
具体实施方式
17.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
18.本技术提供了一种多曝光图像融合方法、装置、设备及存储介质，可以实现动态场景下的多曝光图像的融合任务，得到曝光状态合适、无伪影且过曝光区域或欠曝光区域的图像信息损失较小的融合图像。
19.本技术方案可以基于具备数据处理能力的终端实现，该终端可以是手机、电脑、服务器、云端等。
20.接下来，结合图1所示，本技术提供的多曝光图像融合方法可以包括如下步骤：步骤s101、获取至少两张待融合的原始图像。
21.需要说明的是，待融合的多张原始图像可以具备不同程度的曝光水平，并且，在每两张原始图像中可以存在着一定的背景运动和前景运动，示例性的，可以是从不同的拍摄角度拍摄的一个场景的两张图像，可以是从不同或相同的拍摄角度拍摄的存在主体运动的两张图像。
22.步骤s102、基于训练后的预增强网络对每一张原始图像进行预增强处理，得到对应的预增强图像。
23.具体的，所述预增强网络是以各种曝光水平的样本图像为训练样本，以对应的预增强样本图像为标签训练得到的，所述预增强样本图像的曝光水平为参考曝光水平。使用训练后的预增强网络对一原始图像进行处理，可以得到与所述原始图像对应的、且曝光水平趋近于所述参考曝光水平的预增强图像，基于预增强图像进行单应性矩阵估计，可以得到更为准确的、能够实现全局对齐的单应性矩阵，解决了由于欲对齐的图像的曝光水平差距较大导致的对齐困难的问题。示例性的，训练所述预增强网络所使用的样本图像可以是由固定位置的相机从固定的拍摄角度拍摄的一组各种不同的曝光水平的完全对齐的图像，完全对齐是指各图像间不存在前景和背景运动。在此基础上，与一样本图像对应的预增强样本图像，可以是该图像组中的曝光水平为参考曝光水平的图像，也就是说，样本图像与对应的预增强样本图像可以是完全对齐的两张图像。
24.步骤s103、以与基准原始图像对应的预增强图像为基准，估计各其余的预增强图像的单应性矩阵。
25.具体的，上述的步骤s103可以包括：以与基准原始图像对应的预增强图像为基准，对每一张其余的预增强图像进行单应性矩阵估计，得到所述其余的预增强图像各自的单应性矩阵，其中，所述基准原始图像是按照预设规则确定的所述原始图像中的一张图像。
26.需要说明的是，确定一张基准原始图像及与之对应的预增强图像的目的在于确定背景对齐的基准和单应性变换的方向，进而确定最终的融合图像中的场景情况和主体姿态。
27.步骤s104、基于单应性矩阵，对除基准原始图像之外的原始图像进行单应性变换，得到变换后图像。
28.具体的，上述的步骤s104可以包括：对于每一其余的预增强图像，基于所述其余的预增强图像的单应性矩阵，对与所述其余的预增强图像对应的原始图像进行单应性变换，得到与每一其余的预增强图像对应的变换后图像。
29.需要说明的是，原始图像在经过预增强处理后，会损失一部分图像信息，若融合的对象是预增强图像或单应性变换后的预增强图像，会丢失图像信息，无法得到高质量的融合图像。也就是说，基于预增强图像可以估计到更准确的单应性矩阵，而预增强图像是由训练后的预增强网络对原始图像进行预增强处理得到的，因此所述单应性矩阵也可以适用于所述原始图像，基于所述单应性矩阵对原始图像进行单应性变换，可以得到背景对齐且包含有较多的原始图像信息的变换后图像。
30.步骤s105、以融合图像趋近于参考曝光水平为目标，融合所述基准原始图像和各个变换后图像，得到融合图像。
31.需要说明的是，对基准原始图像和各个变换后图像进行融合得到的融合图像，与基准原始图像在场景和主体姿态等方面相同，但相较于基准原始图像，融合图像利用了全部的待融合的原始图像的图像信息，包含了更大的动态范围，只改变基准原始图像的曝光水平是无法得到所述融合图像的。
32.示例性的，对于图2所示的待融合的原始图像——欠曝图像和过曝图像，若不进行预增强处理，直接基于欠曝图像和过曝图像估计单应性矩阵1，进行单应性变换，将无法实现背景对齐，如图2中的对齐后的过曝图像1所示，利用训练后的预增强网络对欠曝图像和过曝图像进行预增强处理，得到预增强后的欠曝图像和预增强后的过曝图像，基于预增强后的过曝和欠曝图像估计单应性矩阵2，基于单应性矩阵2对过曝图像进行单应性变换，可以得到与原始的欠曝图像背景对齐的变换后图像，如图2中的对齐后的过曝图像2所示。
33.本技术提供了一种多曝光图像融合方案，可以实现多张多曝光图像的融合，利用训练后的预增强网络对原始图像进行预增强处理，可以得到曝光水平近趋近于参考曝光水平的预增强图像；使用基于预增强图像估计得到的单应性矩阵对原始图像进行单应性变换，可以得到与基准原始图像背景对齐的且保留了较多的原始图像信息的变换后图像，若不进行预增强处理，直接利用基于原始图像估计得到的单应性矩阵进行单应性变换，则在各原始图像的曝光水平差距较大的情况下，将难以得到背景对齐的变换后图像，影响多曝光图像的融合效果；以融合图像趋近于参考曝光水平为目标，融合各个变换后图像和基准原始图像，可以得到曝光水平趋近于参考曝光水平、无伪影且包含有较多图像信息的高质量融合图像。
34.图3是根据本技术实施例示出的一种预增强网络的结构示意图，结合图3所示，本技术实施例提供的预增强网络可以包括依次连接的第一卷积层、三个残差块和第二卷积层。具体的，所述第一卷积层的卷积核的大小可以为3
×
3、步长为1、激活函数为relu函数、且输出特征图的通道数为32，残差块可以由两个卷积层和一个relu激活层组成，且每一卷积层的卷积核的大小为3
×
3、步长为1、且输出特征图的通道数为32，第二卷积层的卷积核的大小为为3
×
3、步长为1、激活函数为sigmoid函数、且输出特征图的通道数为3，训练后的预增强网络可以将各种曝光水平的输入图像转换成趋近于参考曝光水平的预增强图像。此外，为了减少进行预增强处理的计算量，所述残差块可以是不包括批量归一层（batch normalization，bn）。
35.在构建所述预增强网络的训练数据集时，可以使用三脚架将相机固定，拍摄一组前景静止的而曝光不同的图像，示例性的，可以使用分辨率为6960
×
4640的相机进行图像拍摄，连续捕捉7帧图像，可以将曝光水平ev设置为{
±
3,
±
2,
±
1,0}或{
±
2,
±
4/3,
±
2/3,
0}七类。
36.在本技术提供的一些实施例中，与任一种曝光水平的样本图像对应的预增强样本图像，可以是对若干张不同曝光水平且与所述样本图像完全对齐的图像进行融合得到的图像。
37.需要说明的是，在一个图像组s={i1,i2,...,in}中，各图像不存在前景和背景运动，是完全对齐的，因此，可以使用现有的多曝光图像融合算法进行图像融合，得到曝光水平为参考曝光水平的融合图像ir。此外，在利用现有算法图像融合时，为了减少错位等情况出现的可能性，可以将图像降采样到3000
×
2000的分辨率。示例性的，可以将图像组s中的任一张图像ii(i=1,2,...,n)作为训练样本，将融合图像ir作为与之对应的标签，从而得到所述预增强网络的训练数据集中一个训练数据。
38.在上述的基础上，考虑现有的各多曝光融合算法对不同图像的合成效果的差异，可以比较各现有算法对同一组图像的融合结果，将其中最优的融合图像作为预增强网络的训练数据集中的标签。具体的，现有的多曝光图像融合算法可以包括mertens09、dsift、spd-mef、kou17、mefopt、dem、fmmef、ifcnn、pmgi、mefnet、mespd、u2fusion、dpemef，若干志愿者对由上述的13种算法得出的各个融合图像进行两两比较，每人确定一张主观最优的融合图像，所述最优的融合图像可以是各个所述主观最优的融合图像中被最多人所选择的图像。示例性的，图4示出了一静态多曝光图像组及对应的预增强图像。
39.为训练所述预增强网络，可以对训练数据集中的图像进行随机裁减，得到分辨率为512
×
512的图像作为样本图像，与所述样本图像对应的标签为按照相同的方法裁减出来的相同分辨率的预增强样本图像。需要说明的是，在使用训练后的预增强网络进行预增强处理时，需要将输入到所述预增强网络的图像的分辨率调整为16n
×
16n，其中，n为正整数，而无需调整为512
×
512，原因在于卷积运算具有平移不变性，所述预增强网络对整张图像的处理效果相同。
40.在训练所述预增强网络时，为所述预增强网络设置初始学习参数、学习率衰减、训练次数，设置权值初始化方式，设置损失函数为l2损失函数，公式为，也就是说，计算输出图像和标签的某一参数的差值的平方和，期望是最小化所述平方和，设置批大小为4，初始学习率为0.0001，共进行2000轮训练，并且在训练了1500轮之后，将学习率降低为0.00001，可以采用adam优化器对网络参数进行优化。
41.在本技术提供的一些实施例中，所述预增强网络可以包括第一预增强网络和第二预增强网络，其中，所述第一预增强网络是以曝光水平低于所述参考曝光水平的样本图像为训练样本，以对应的预增强样本图像为标签训练得到的，所述第二预增强网络是以曝光水平不低于所述参考曝光水平的样本图像为训练样本，以对应的预增强样本图像为标签训练得到的。
42.在上述的基础上，所述基于训练后的预增强网络对每一张所述原始图像进行预增强处理，可以包括：基于训练后的第一预增强网络对每一张曝光水平低于所述参考曝光水平的原始图像进行预增强处理；基于训练后的第二预增强网络对每一张曝光水平不低于所述参考曝光水平的原始图像进行预增强处理。
43.需要说明的是，对于不同曝光水平的原始图像，分别利用第一预增强网络和第二预增强网络进行预增强处理，可以提高预增强处理的针对性，从而提高预增强处理的效果，得到质量更高的预增强图像。
44.在本技术提供的一些实施例中，所述融合所述基准原始图像和各个所述变换后图像，可以包括：利用训练后的融合网络，融合所述基准原始图像和各个所述变换后图像，其中，所述融合网络是以多张曝光水平不同的非完全对齐的样本图像为训练样本，以对应的参考图像为标签训练得到的，其中，所述非完全对齐的样本图像的数量与所述原始图像的数量一致，所述参考图像是与基准样本图像对应的预增强样本图像，所述基准样本图像是按照所述预设规则确定的所述非完全对齐的样本图像中的一张图像。
45.具体的，构成融合网络的一个训练数据的样本图像可以来自至少两个静态多曝光图像组，各静态多曝光图像组属于同一场景但存在一定的背景和前景运动，属于不同的静态多曝光图像组的图像非完全对齐，且每一静态多曝光图像组至少提供一张样本图像，在上述的基础上，可以按照所述预设规则确定样本图像中的基准样本图像，则该训练数据中的标签为所述基准样本图像所在的静态多曝光图像组的预增强图像。示例性的，在构建所述融合网络的训练数据集时，可以通过先采集一个静态多曝光图像组，而后稍微移动相机以实现背景运动，移动主体以实现前景运动，再采集一个静态多曝光图像组的方式，来获取属于同一场景但存在一定的背景和前景运动的两个静态多曝光图像组，所述静态多曝光图像组可以记作s1={i
11
,i
12
,...,i
1n
}和s2={i
21
,i
22
,...,i
2n
}，其中，与图像组s1对应的预增强图像为i
1r
，与图像组s2对应的预增强图像为i
2r
，则在上述的基础上，以预设数目的样本图像为训练样本，以预增强图像i
1r
或预增强图像i
2r
为标签，构成了所述融合网络的一个训练数据，其中，所述样本图像分别来自图像组s1和图像组s2，且每一图像组至少提供一张样本图像，若基准样本图像属于图像组s1，则该训练数据的标签为i
1r
，否则为i
2r
。
46.示例性的，图5示出了从静态多曝光图像组s1和s2中提取图像构成所述融合网络的训练数据的过程示意图，假设所述融合网络以低曝光图像为基准原始图像，则可以由i
11
和i
2n
作为训练数据1的训练样本，i
1r
作为训练数据1的标签，由i
1n
和i
21
作为训练数据2的训练样本，i
2r
作为训练数据2的标签。
47.为训练所述融合网络，可以对训练数据集中的图像进行随机裁减，得到分辨率为512
×
512的图像作为样本图像，与所述样本图像对应的标签为按照相同的方法裁减出来的相同分辨率的参考图像。需要说明的是，在使用训练后的融合网络进行图像融合时，需要将输入到所述融合网络的图像的分辨率调整为16n
×
16n，其中，n为正整数，而无需调整为512
×
512，原因在于卷积运算具有平移不变形，所述融合网络对整张图像的处理效果相同。
48.在训练所述融合网络时，为所述融合网络设置初始学习参数、学习率衰减及训练次数，设置权值初始化方式，使用l2损失作为损失函数，公式为，也就是说，计算输出图像和标签的某一参数的差值的平方和，期望是所述平方和最小化，设置批大小为4，初始学习率设置为0.0001，共进行10000轮训练，并且在训练8000轮之后，将学习率降低为0.00001，可以采用adam优化器对网络参数进行优化。
49.在一种可能的实现方式中，所述融合网络可以包括依次连接的编码器、合并层和解码器。
50.在上述的基础上，所述编码器的数量与所述原始图像的数量一致，用于提取输入到所述编码器的图像的特征。具体的，所述编码器可以由卷积层和残差块组成。
51.所述合并层，用于合并各个所述编码器所提取的特征，得到合并特征。具体的，所述合并层可以由一个卷积层和三个残差块组成。
52.所述解码器，用于根据所述合并特征进行解码，得到融合图像。具体的，所述解码器可以由反卷积层和残差块组成。
53.示例性的，假设步骤s101获取了两张待融合的原始图像，按照所述预设标准确定了其中之一为基准原始对象，并且经过步骤s102-s104得到了另一原始图像的变换后图像，为实现两张图像融合，所述融合网络包含有两个结构相同的编码器，图6示出了一种可能的融合网络，结合图6所示，所述融合网络包括编码器1、编码器2、合并层和解码器，所述编码器1用于提取基准原始图像的特征，所述编码器2用于提取变换后图像的特征，任一编码器包括依次连接的卷积层01、卷积层 残差块11、卷积层 残差块12、卷积层 残差块13、卷积层 残差块14，所述合并层包括依次连接的卷积层02和残差块31-33，所述解码器包括依次连接的反卷积层 残差块21、反卷积层 残差块22、反卷积层 残差块23、反卷积层 残差块24、卷积层03、残差块34和卷积层04，其中，卷积层01-03的卷积核大小均为3
×
3、步长为1且激活函数为relu函数，卷积层 残差块11-14中的卷积层的卷积核均为3
×
3、步长均为2且激活函数均为relu函数，卷积层04的卷积核为3
×
3、步长为1且激活函数为sigmoid函数，反卷积层 残差块21-24中的反卷积层的反卷积核均为4
×
4、步长均为2且激活函数均为relu函数，融合网络中的各残差块的卷积核均为3
×
3、步长均为2且不包括bn层。
54.如图6所示的融合网络结构，以编码器-合并层-解码器结构作为网络主干，在上述的基础上，为了提高特征恢复水平和训练收敛速度，可以建立编码器和解码器间的跳跃连接关系。
55.在一种可能的实现方式中，每一所述编码器包括依次连接的若干个编码器隐层，所述解码器包括依次连接的若干个解码器隐层，每一编码器隐层与具备和其输出通道数相同数量的输入通道的解码器隐层相连。
56.图7示出了另一种可能的融合网络的结构示意图，编码器隐层和解码器隐层间的跳跃连接线如图7中的虚线箭头所示，所述融合网络的编码器可以包括编码器隐层1-5，所述融合网络的解码器可以包括6个解码器隐层1-6，每一编码器隐层和解码器隐层的输出通道数如图7所示，示例性的，输出通道数为32的编码器隐层11与输入通道数为32的解码器隐层25相连，使得可以将解码器隐层24和编码器隐层11输出的特征图在通道维度上进行连接后作为输入到所述解码器隐层25的特征图。
57.在本技术的一些实施例中，所述预设规则为将至少两张图像中的曝光水平较低的图像作为基准图像，或，将至少两张图像中的曝光水平较高的图像作为基准图像。
58.在上述的基础上，所述融合网络可以包括以低曝为基准的融合网络和以高曝为基准的融合网络，需要说明的是，融合网络可以根据基准图像进行自主学习确定所要利用的特征和所要舍弃的特征，因此两种融合网络可以输出不同质量的融合图像。需要说明的是，现有的相机在拍摄图像时会进行自动曝光，以尽量的避免所拍摄的图像中包含有大量的过曝区域，因此，在待融合的一组原始图像中，低曝的原始图像的欠曝程度往往大于高曝的原始图像的过曝程度，而以低曝为基准的融合网络可能会放大低曝的原始图像中的欠曝区域
中的噪声，无法和高曝的原始图像相匹配，所以，包含有以高曝为基准的融合网络的多曝光图像融合方法在处理上述的待融合的原始图像时，性能更好，输出的融合图像的质量更高，而在融合低曝的原始图像的欠曝程度远远小于高曝的原始图像的过曝程度的一组待融合的原始图像时，采用包含有以低曝为基准的融合网络的多曝光图像融合方法可以得到质量较高的融合图像。
59.下面对本技术实施例提供的多曝光图像融合装置进行描述，下文描述的多曝光图像融合装置与上文描述的多曝光图像融合方法可相互对应参照。
60.参见图8，图8为本技术实施例公开的一种多曝光图像融合装置结构示意图。
61.如图8所示，该装置可以包括：待融合图像获取单元101，用于获取至少两张待融合的原始图像；预增强图像生成单元102，用于基于训练后的预增强网络对每一张所述原始图像进行预增强处理，得到对应的预增强图像，其中，所述预增强网络是以各种曝光水平的样本图像为训练样本，以对应的预增强样本图像为标签训练得到的，所述预增强样本图像的曝光水平为参考曝光水平；单应性矩阵估计单元103，用于以与基准原始图像对应的预增强图像为基准，对每一张其余的预增强图像进行单应性矩阵估计，得到所述其余的预增强图像各自的单应性矩阵，其中，所述基准原始图像是按照预设规则确定的所述原始图像中的一张图像；图像单应性变换单元104，用于对于每一其余的预增强图像，基于所述其余的预增强图像的单应性矩阵，对与所述其余的预增强图像对应的原始图像进行单应性变换，得到与每一其余的预增强图像对应的变换后图像；图像融合单元105，用于以融合图像趋近于所述参考曝光水平为目标，融合所述基准原始图像和各个所述变换后图像，得到融合图像。
62.在本技术提供的一些实施例中，所述图像融合单元105融合所述基准原始图像和各个所述变换后图像的过程，可以包括：所述图像融合单元105利用训练后的融合网络，融合所述基准原始图像和各个所述变换后图像，其中，所述融合网络是以多张曝光水平不同的非完全对齐的样本图像为训练样本，以对应的参考图像为标签训练得到的，其中，所述非完全对齐的样本图像的数量与所述原始图像的数量一致，所述参考图像是与基准样本图像对应的预增强样本图像，所述基准样本图像是按照所述预设规则确定的所述非完全对齐的样本图像中的一张图像。
63.在一种可能的实现方式中，所述融合网络可以包括依次连接的编码器、合并层和解码器；所述编码器的数量与所述原始图像的数量一致，用于提取输入到所述编码器的图像的特征；所述合并层，用于合并各个所述编码器所提取的特征，得到合并特征；所述解码器，用于根据所述合并特征进行解码，得到融合图像。
64.在一种可能的实现方式中，每一所述编码器包括依次连接的若干个编码器隐层，所述解码器包括依次连接的若干个解码器隐层，每一编码器隐层与具备和其输出通道数相同数量的输入通道的解码器隐层相连。
65.在本技术提供的一些实施例中，与任一种曝光水平的样本图像对应的预增强样本
图像，可以是是对若干张不同曝光水平且与所述样本图像完全对齐的图像进行融合得到的图像。
66.在本技术提供的一些实施例中，所述预增强网络可以包括第一预增强网络和第二预增强网络，其中，所述第一预增强网络是以曝光水平低于所述参考曝光水平的样本图像为训练样本，以对应的预增强样本图像为标签训练得到的，所述第二预增强网络是以曝光水平不低于所述参考曝光水平的样本图像为训练样本，以对应的预增强样本图像为标签训练得到的。
67.在上述的基础上，所述预增强图像生成单元102基于训练后的预增强网络对每一张所述原始图像进行预增强处理的过程，可以包括：所述预增强图像生成单元102基于训练后的第一预增强网络对每一张曝光水平低于所述参考曝光水平的原始图像进行预增强处理；所述预增强图像生成单元102基于训练后的第二预增强网络对每一张曝光水平不低于所述参考曝光水平的原始图像进行预增强处理。
68.在本技术提供的一些实施例中，所述预设规则可以是将至少两张图像中的曝光水平较低的图像作为基准图像，或，将至少两张图像中的曝光水平较高的图像作为基准图像。
69.本技术实施例提供的多曝光图像融合装置，在融合图像之前，基于由预增强图像估计出的单应性矩阵，对原始图像进行了单应性变换，实现了各待融合图像间的背景对齐，具体的，利用了基于预增强图像估计出的单应性矩阵，相较于直接利用待融合的原始图像进行单应性矩阵估计的方案，本方案解决了由待融合的原始图像的曝光水平差距较大带来的图像对齐难以实现的问题，并且，进行单应性变换的对象是待融合的原始图像，而非预增强图像，使得变换后图像保留了较多的原始图像信息，在上述的基础上，以融合图像的曝光水平为参考曝光水平为目标，对各个变换后图像和基准原始图像进行融合，可以的得到曝光状态合适、无伪影且过曝光区域或欠曝光区域的图像信息损失较小的融合图像。
70.本技术实施例提供的多曝光图像融合装置可应用于多曝光图像融合设备，如终端：手机、电脑等。可选的，图9示出了多曝光图像融合设备的硬件结构框图，参照图9，多曝光图像融合设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；在本技术实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；处理器1可能是一个中央处理器cpu，或者是特定集成电路asic（application specific integrated circuit），或者是被配置成实施本发明实施例的一个或多个集成电路等；存储器3可能包含高速ram存储器，也可能还包括非易失性存储器（non-volatile memory）等，例如至少一个磁盘存储器；其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：获取至少两张待融合的原始图像；基于训练后的预增强网络对每一张所述原始图像进行预增强处理，得到对应的预增强图像，其中，所述预增强网络是以各种曝光水平的样本图像为训练样本，以对应的预增强样本图像为标签训练得到的，所述预增强样本图像的曝光水平为参考曝光水平；
以与基准原始图像对应的预增强图像为基准，对每一张其余的预增强图像进行单应性矩阵估计，得到所述其余的预增强图像各自的单应性矩阵，其中，所述基准原始图像是按照预设规则确定的所述原始图像中的一张图像；对于每一其余的预增强图像，基于所述其余的预增强图像的单应性矩阵，对与所述其余的预增强图像对应的原始图像进行单应性变换，得到与每一其余的预增强图像对应的变换后图像；以融合图像趋近于所述参考曝光水平为目标，融合所述基准原始图像和各个所述变换后图像，得到融合图像。
71.可选的，所述程序的细化功能和扩展功能可参照上文描述。
72.本技术实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：获取至少两张待融合的原始图像；基于训练后的预增强网络对每一张所述原始图像进行预增强处理，得到对应的预增强图像，其中，所述预增强网络是以各种曝光水平的样本图像为训练样本，以对应的预增强样本图像为标签训练得到的，所述预增强样本图像的曝光水平为参考曝光水平；以与基准原始图像对应的预增强图像为基准，对每一张其余的预增强图像进行单应性矩阵估计，得到所述其余的预增强图像各自的单应性矩阵，其中，所述基准原始图像是按照预设规则确定的所述原始图像中的一张图像；对于每一其余的预增强图像，基于所述其余的预增强图像的单应性矩阵，对与所述其余的预增强图像对应的原始图像进行单应性变换，得到与每一其余的预增强图像对应的变换后图像；以融合图像趋近于所述参考曝光水平为目标，融合所述基准原始图像和各个所述变换后图像，得到融合图像。
73.可选的，所述程序的细化功能和扩展功能可参照上文描述。
74.为了评估本技术实施例提供的多曝光图像融合方案，利用现有的算法和本技术方案对相同的待融合原始图像进行图像融合，对各个图像融合结果进行定量评估，其中，现有的算法可以包括hu13、oh15、spd-mef、fmmef、mespd、mefnet、sen12和dsift。示例性的，可以使用本技术方案和现有算法对52组具备参考图像的双曝光图像进行融合，对各融合结果进行定量评估，表1示出了各图像融合算法的定量评估结果的平均值，其中，峰值信噪比(psnr)和结构相似性（ssim）用于评估融合图像的视觉质量，多曝光融合结构相似性（mef-ssim）、融合质量（qw）和视觉信息保真度（vif）是评估融合图像相对于静态多曝光图像的指标，动态场景的多曝光融合结构相似性（mef-ssimd）用于评估动态场景下的融合质量，上述的指标数据越大代表融合效果越好。
75.表1
利用本技术方案和现有算法hu13、spd-mef、fmmef、mespd、mefnet和dsift，对不具备参考图像的多曝光图像进行图像融合，示例性的，待融合的原始图像可以是20张动态场景的多曝光图像序列中的任意两张，由于所述多曝光图像序列缺少同一场景的静态多曝光图像组，不具备对应的参考图像，故使用动态场景的多曝光融合结构相似性（mef-ssimd）来评估动态场景下的融合质量，如表2所示。
76.表2利用本技术方案和现有算法hu13、oh15、spd-mef、fmmef、mespd、mefnet、sen12和dsift，在高动态范围（highdynamic range，hdr）数据集上进行测试，测试结果如表3所示。
77.表3本技术提供的多曝光图像融合方案在训练融合网络时，利用了动态数据集，即作为训练样本的样本图像不完全对齐，存在着背景和前景运动，且使用了高质量的参考图像作为标签，所述参考图像无不自然光照、无色彩失真，使得利用训练后的融合网络融合得到的融合图像，可以具备自然光照效果，无色彩失真，保留了更多的原始图像信息，且不存在重影伪影。
78.分别在现有的静态数据集和本技术提供的动态数据集上进行网络训练，并在现有的静态数据集sice、本技术提供的动态数据集dmef和现有的mefopt测试集上进行测试，测试结果如表4所示表4
本技术提供的多曝光图像融合方案，在动态数据集dmef上进行训练可以得到更好的图像融合结果，并且适用于不同的测试数据集，具有一定的泛化性。
79.此外，分别以低曝图像和高曝图像为基准，对比有无对齐操作的图像融合结果，如表5所示，若不进行预增强处理-单应性矩阵估计-单应性变换，直接进行图像融合，难以得到高质量的融合图像。
80.表5分别以低曝图像和高曝图像为基准，对比有待融合的原始图像数量为2或3时的图像融合结果，如表6所示，虽然增加待融合图像的数量可以在一定程度上提高图像融合的质量，但是也会增加网络参数的数量、运行时间和内存消耗，融合两张原始图像即可满足大多数的图像融合需求。
81.表6最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
82.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。
83.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的
一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。