图像重建方法和装置与流程

1.本技术涉及图像处理技术领域，尤其涉及一种图像重建方法和装置。


背景技术：

2.随着时代的发展，人们在多媒体生活中对高质量图像的要求越来越高，高动态范围((high-dynamic range，hdr)图像能够满足人们这一需求。hdr图像是高动态光照渲染的图像，相比普通的低动态范围(low-dynamic range，ldr)图像，可以提供更多的动态范围和图像细节。利用每个曝光时间相对应最佳细节的ldr图像来合成最终hdr图像，能够更好地反映出真实环境中的视觉效果。
3.目前，常用的获得hdr图像的方式是：对图像使用多次曝光采集ldr图像，然后再对多张lrd图像进行合成，处理成一张具有hdr效果的图像。但是，上述方式对图像低亮区域的纹理细节增强效果不佳。


技术实现要素：

4.本技术提供一种图像重建方法和装置，以解决通过ldr图像重建的hdr图像的低亮区域的纹理细节增强效果不佳的问题。
5.第一方面，本技术提供一种图像重建方法，包括：
6.获取图像重建指令，图像重建指令用于指示对ldr图像采用预设的图像重建神经网络模型重建hdr图像，预设的图像重建神经网络模型包括预先训练好的全局神经网络模型、边缘神经网络模型和融合神经网络模型；
7.根据ldr图像，获取ldr图像的边缘图像。
8.将ldr图像输入至预先训练好的全局神经网络模型，获得ldr图像的中间图像。
9.将ldr图像的边缘图像输入至预先训练好的边缘神经网络模型，获得ldr图像的中间边缘图像。
10.将ldr图像的中间图像、ldr图像的中间边缘图像输入至预先训练好的融合神经网络模型，获得ldr图像对应的hdr图像。
11.可选的，预设的图像重建神经网络模型是采用如下步骤得到：
12.获取多张hdr样本图像；
13.根据多张hdr样本图像，获得相应的多张ldr样本图像；
14.根据多张ldr样本图像，获得多张ldr样本图像的边缘图像；
15.将多张ldr样本图像输入全局神经网络模型进行训练，获得训练好的全局神经网络模型；并将多张ldr样本图像分别输入至训练好的全局神经网络模型中，获得多张ldr样本图像的中间图像；
16.将多张ldr样本图像的边缘图像输入边缘神经网络模型进行训练，获得训练好的边缘神经网络模型，并将多张ldr样本图像的边缘图像分别输入至训练好的边缘神经网络模型中，获得多张ldr样本图像的中间边缘图像；
17.将多张ldr样本图像的中间图像和中间边缘图像输入融合神经网络模型进行训练，获得训练好的融合神经网络模型；
18.根据训练好的全局神经网络模型、训练好的边缘神经网络模型、训练好的融合神经网络模型，获得图像重建神经网络模型。
19.可选的，全局神经网络模型包括第一压缩子网络、第一门控循环单元(gated recurrent unit，gru)网络和第一解压子网络；
20.其中，第一压缩子网络包括3层卷积层，第一解压子网络包括3层反卷积层。
21.可选的，边缘神经网络模型包括第二压缩子网络、第二gru网络和第二解压子网络；
22.其中，第二压缩子网包括2层卷积层，第二解压子网络包括2层反卷积层。
23.可选的，融合神经网络模型包括第三压缩子网络和第三解压子网络；
24.其中，第三压缩子网包括4层卷积层，第三解压子网络包括3层反卷积层。
25.可选的，将多张ldr样本图像输入全局神经网络模型进行训练，获得训练好的全局神经网络模型，包括：
26.将多张ldr样本图像输入全局神经网络模型进行训练，在训练的过程中采用如下公式一所示的损失函数，以获得训练好的全局神经网络模型；
27.l
global
＝α1l1 α2l
hist
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式一
28.其中，l
global
表示全局损失函数值，l1表示hdr样本图像的像素统计损失，n表示hdr样本图像的像素数，表示全局神经网络模型对ldr样本图像在第i像素的预测像素值，i表示hdr样本图像在第i像素的真实像素值，l
hist
表示hdr样本图像直方图分级统计损失，其中，m表示hdr样本图像的统计直方图种类数，m表示第m个hdr样本图像的统计直方图的种类，ωm表示hdr样本图像的统计直方图的权重，表示全局神经网络模型对ldr样本图像的预测像素值为的数量，countm(i)表示hdr样本图像中像素值为i的数量，α1和α2表示权重参数。
29.可选的，将多张ldr样本图像的边缘图像输入边缘神经网络模型进行训练，获得训练好的边缘神经网络模型，包括：
30.将多张ldr样本图像的边缘图像输入边缘神经网络模型进行训练，在训练的过程中采用如下公式二所示的损失函数，以获得训练好的边缘神经网络模型；
[0031][0032]
其中，l
edge
表示边缘损失函数值，n表示ldr样本图像的边缘图像的像素数，表示边缘神经网络模型对ldr样本图像的边缘图像在第i像素的预测像素值，edge(ii)表示hdr样本图像的边缘图像在第i像素的真实像素值。
[0033]
可选的，将多张ldr样本图像的中间图像和中间边缘图像输入融合神经网络模型进行训练，获得训练好的融合神经网络模型，包括：
[0034]
将多张ldr样本图像的中间图像和中间边缘图像输入融合神经网络模型进行训练，在训练的过程中采用如下公式三所示的损失函数，以获得训练好的融合神经网络模型；
[0035]
l
recon
＝α3l
global
α4l
edge
α5ssmi(i
recon
,i
hdr
)
ꢀꢀꢀꢀ
公式三
[0036]
其中，l
recon
表示重建图像的损失函数值，α3、α4和α5表示权重参数，i
recon
表示融合神经网络模型输出的hdr图像，i
hdr
表示hdr样本图像，ssmi(i
recon
,i
hdr
)表示融合神经网络模型输出的hdr图像与hdr样本图像的结构相似度，其中，μ
recon
表示i
recon
的像素值的平均值，μ
hdr
表示i
hdr
的像素值的平均值，σ
recon
表示i
recon
的方差，σ
hdr
表示i
hdr
的方差，σ
recon,hdr
表示i
recon
和i
hdr
的协方差，c1＝(k1i
range
)2和c2＝(k2i
range
)2表示稳定系数，i
range
表示hdr样本图像的动态范围，k1和k2表示经验系数。
[0037]
第二方面，本技术提供一种图像重建装置，包括：
[0038]
获取模块，用于获取图像重建指令，图像重建指令用于指示对ldr图像采用预设的图像重建神经网络模型重建hdr图像，预设的图像重建神经网络模型包括预先训练好的全局神经网络模型、边缘神经网络模型和融合神经网络模型；
[0039]
第一处理模块，用于根据ldr图像，获取ldr图像的边缘图像；
[0040]
第二处理模块，用于将ldr图像输入至预先训练好的全局神经网络模型，获得ldr图像的中间图像；
[0041]
第三处理模块，用于将ldr图像的边缘图像输入至预先训练好的边缘神经网络模型，获得ldr图像的中间边缘图像；
[0042]
第四处理模块，用于将ldr图像的中间图像、ldr图像的中间边缘图像输入至预先训练好的融合神经网络模型，获得ldr图像对应的hdr图像。
[0043]
可选的，图像重建装置还包括：
[0044]
训练模块，用于：
[0045]
获取多张hdr样本图像；
[0046]
根据多张hdr样本图像，获得相应的多张ldr样本图像；
[0047]
根据多张ldr样本图像，获得多张ldr样本图像的边缘图像；
[0048]
将多张ldr样本图像输入全局神经网络模型进行训练，获得训练好的全局神经网络模型；并将多张ldr样本图像分别输入至训练好的全局神经网络模型中，获得多张ldr样本图像的中间图像；
[0049]
将多张ldr样本图像的边缘图像输入边缘神经网络模型进行训练，获得训练好的边缘神经网络模型，并将多张ldr样本图像的边缘图像分别输入至训练好的边缘神经网络模型中，获得多张ldr样本图像的中间边缘图像；
[0050]
将多张ldr样本图像的中间图像和中间边缘图像输入融合神经网络模型进行训练，获得训练好的融合神经网络模型；
[0051]
根据训练好的全局神经网络模型、训练好的边缘神经网络模型、训练好的融合神经网络模型，获得图像重建神经网络模型。
[0052]
可选的，全局神经网络模型包括第一压缩子网络、第一gru网络和第一解压子网络；
[0053]
其中，第一压缩子网络包括3层卷积层，第一解压子网络包括3层反卷积层。
[0054]
可选的，边缘神经网络模型包括第二压缩子网络、第二gru网络和第二解压子网络；
[0055]
其中，第二压缩子网包括2层卷积层，第二解压子网络包括2层反卷积层。
[0056]
可选的，融合神经网络模型包括第三压缩子网络和第三解压子网络；
[0057]
其中，第三压缩子网包括4层卷积层，第三解压子网络包括3层反卷积层。
[0058]
可选的，训练模块，具体用于：
[0059]
将多张ldr样本图像输入全局神经网络模型进行训练，在训练的过程中采用如下公式一所示的损失函数，以获得训练好的全局神经网络模型；
[0060]
l
global
＝α1l1 α2l
hist
公式一
[0061]
其中，l
global
表示全局损失函数值，l1表示hdr样本图像的像素统计损失，n表示hdr样本图像的像素数，表示全局神经网络模型对ldr样本图像在第i像素的预测像素值，i表示hdr样本图像在第i像素的真实像素值，l
hist
表示hdr样本图像直方图分级统计损失，其中，m表示hdr样本图像的统计直方图种类数，m表示第m个hdr样本图像的统计直方图的种类，ωm表示hdr样本图像的统计直方图的权重，表示全局神经网络模型对ldr样本图像的预测像素值为的数量，countm(i)表示hdr样本图像中像素值为i的数量，α1和α2表示权重参数。
[0062]
可选的，训练模块，具体用于：
[0063]
将多张ldr样本图像的边缘图像输入边缘神经网络模型进行训练，在训练的过程中采用如下公式二所示的损失函数，以获得训练好的边缘神经网络模型；
[0064][0065]
其中，l
edge
表示边缘损失函数值，n表示ldr样本图像的边缘图像的像素数，表示边缘神经网络模型对ldr样本图像的边缘图像在第i像素的预测像素值，edge(ii)表示hdr样本图像的边缘图像在第i像素的真实像素值。
[0066]
可选的，训练模块，具体用于：
[0067]
将多张ldr样本图像的中间图像和中间边缘图像输入融合神经网络模型进行训练，在训练的过程中采用如下公式三所示的损失函数，以获得训练好的融合神经网络模型；
[0068]
l
recon
＝α3l
global
α4l
edge
α5ssmi(i
recon
,i
hdr
)
ꢀꢀꢀꢀ
公式三
[0069]
其中，l
recon
表示重建图像的损失函数值，α3、α4和α5表示权重参数，i
recon
表示融合神经网络模型输出的hdr图像，i
hdr
表示hdr样本图像，ssmi(i
recon
,i
hdr
)表示融合神经网络模型输出的hdr图像与hdr样本图像的结构相似度，其中，μ
recon
表示i
recon
的像素值的平均值，μ
hdr
表示i
hdr
的像素值的平均值，σ
recon
表示i
recon
的方差，σ
hdr
表示i
hdr
的方差，σ
recon,hdr
表示i
recon
和i
hdr
的协方差，c1＝(k1i
range
)2和c2＝(k2i
range
)2表示稳定系数，i
range
表示hdr样本图像的动态范围，k1和k2表示经验系数。
[0070]
第三方面，本技术提供一种图像重建装置，包括：存储器和处理器；
[0071]
存储器用于存储程序指令；
[0072]
处理器用于调用存储器中的程序指令执行如本技术第一方面的图像重建方法。
[0073]
第四方面，本技术提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序指令，计算机程序指令被执行时，实现如本技术第一方面任一项的图像重建方法。
[0074]
第五方面，本技术提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如本技术第一方面的图像重建方法。
[0075]
本技术提供的图像重建方法和装置，由于本技术的全局神经网络模型对单帧ldr图像进行了整体高亮度的平衡和低亮度的增强，边缘神经网络模型对单帧ldr图像进行了低亮区域纹理特征的提取和锐化增强，然后融合上述处理后的结果，可以获得色彩鲜明、亮度信息丰富、纹理细节清晰的hdr图像。避免了现有技术中通过曝光采集的多张ldr图像合成为hdr图像，需要依赖昂贵的专业hdr设备的方式，因此，本技术还可以减少拍摄采集图像后期处理和采集数据量，提高了hdr图像生成的实时性。
附图说明
[0076]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0077]
图1为本技术一实施例提供的图像重建方法的流程图；
[0078]
图2为本技术一实施例提供的将ldr图像重建为hdr图像的原理示意图；
[0079]
图3为本技术另一实施例提供的图像重建方法的流程图；
[0080]
图4为本技术一实施例提供的图像重建装置的结构示意图；
[0081]
图5为本技术另一实施例提供的图像重建装置的结构示意图；
[0082]
图6为本技术另一实施例提供的图像重建装置的结构示意图。
具体实施方式
[0083]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0084]
hdr图像是高动态光照渲染的图像，相比普通的ldr图像，可以提供更多的动态范围和图像细节。利用每个曝光时间相对应最佳细节的ldr图像来合成最终hdr图像，能够更好地反映出真实环境中的视觉效果。目前，常用的获得hdr图像的方式是：对图像使用多次曝光采集ldr图像，然后再对多张lrd图像进行合成，处理成一张具有hdr效果的图像，这样获得的hdr图像存在鬼影、锯齿等现象。单帧ldr图像重建hdr图像，已经在图像低亮区域增
强取得较好进展，但对低亮区域的纹理细节考虑不多，部分区域增强效果不佳。
[0085]
因此，本技术提供一种图像重建方法和装置，预先训练用于平衡整体高亮度和增强低亮度的全局神经网络模型、用于提取低亮区域纹理特征和锐化增强的边缘神经网络模型、和融合神经网络模型。然后利用全局神经网络模型对单帧ldr图像进行平衡整体高亮度和增强低亮度处理，利用边缘神经网络模型对单帧ldr图像进行提取低亮区域纹理特征和锐化增强的处理，利用融合神经网络模型对上述处理后的图像进行融合，获得色彩鲜明、亮度信息丰富、纹理细节清晰的hdr图像。
[0086]
图1为本技术一实施例提供的图像重建方法的流程图，本实施例的方法可以应用于电子设备中，该电子设备可以是终端设备、服务器等，终端设备又例如可以是手机、平板电脑、笔记本电脑、台式电脑等。如图1所示，本实施例的方法包括：
[0087]
s101、获取图像重建指令，图像重建指令用于指示对ldr图像采用预设的图像重建神经网络模型重建hdr图像，预设的图像重建神经网络模型包括预先训练好的全局神经网络模型、边缘神经网络模型和融合神经网络模型。
[0088]
本实施例中，已经在电子设备例如手机、平板电脑、笔记本电脑、台式电脑或服务器上部署了预设的图像重建神经网络模型，预设的图像重建神经网络模型包括预先训练好的全局神经网络模型、边缘神经网络模型和融合神经网络模型，将ldr图像采集设备例如相机、摄像头等拍摄采集的ldr图像输入到预设的图像重建神经网络模型，根据图像重建指令开始对ldr图像采用预设的图像重建神经网络模型进行重建hdr图像。
[0089]
其中，上述图像重建指令可以是用户向执行本方法实施例的电子设备输入的，或者，是其它设备向执行本方法实施例的电子设备发送的。
[0090]
s102、根据ldr图像，获取ldr图像的边缘图像。
[0091]
本实施例中，已经获得了待重建hdr图像的ldr图像，即ldr图像，图2为本技术一实施例提供的将ldr图像重建为hdr图像的原理示意图，如图2所示，根据ldr图像，获得ldr图像的边缘图像。
[0092]
s103、将ldr图像输入至预先训练好的全局神经网络模型，获得ldr图像的中间图像。
[0093]
本实施例中，已经获得了待重建hdr图像的ldr图像以及预先训练好的全局神经网络模型，因此，如图2所示，将ldr图像输入至预先训练好的全局神经网络模型，获得ldr图像的中间图像。
[0094]
s104、将ldr图像的边缘图像输入至预先训练好的边缘神经网络模型，获得ldr图像的中间边缘图像。
[0095]
本实施例中，已经获得了待重建hdr图像的ldr图像以及预先训练好的边缘神经网络模型，因此，如图2所示，将ldr图像的边缘图像输入至预先训练好的边缘神经网络模型，获得ldr图像的中间边缘图像。
[0096]
s105、将ldr图像的中间图像、ldr图像的中间边缘图像输入至预先训练好的融合神经网络模型，获得ldr图像对应的hdr图像。
[0097]
本实施例中，已经获得了ldr图像的中间图像和中间边缘图像以及预先训练好的融合神经网络模型，因此，如图2所示，将ldr图像的中间图像和中间边缘图像输入至预先训练好的融合神经网络模型，获得ldr图像对应的hdr图像。
[0098]
本技术提供的图像重建方法，通过获取图像重建指令，图像重建指令用于指示对ldr图像采用预设的图像重建神经网络模型重建hdr图像，预设的图像重建神经网络模型包括预先训练好的全局神经网络模型、边缘神经网络模型和融合神经网络模型，根据ldr图像，获取ldr图像的边缘图像，将ldr图像输入至预先训练好的全局神经网络模型，获得ldr图像的中间图像，将ldr图像的边缘图像输入至预先训练好的边缘神经网络模型，获得ldr图像的中间边缘图像，将ldr图像的中间图像、ldr图像的中间边缘图像输入至预先训练好的融合神经网络模型，获得ldr图像对应的hdr图像。由于本技术的全局神经网络模型对单帧ldr图像进行了整体高亮度的平衡和低亮度的增强，边缘神经网络模型对单帧ldr图像进行了低亮区域纹理特征的提取和锐化增强，然后融合上述处理后的结果，可以获得色彩鲜明、亮度信息丰富、纹理细节清晰的hdr图像。避免了现有技术中通过曝光采集的多张ldr图像合成为hdr图像，需要依赖昂贵的专业hdr设备的方式，因此，本技术还可以减少拍摄采集图像后期处理和采集数据量，提高了hdr图像生成的实时性。
[0099]
下面对如何获得上述的图像重建神经网络模型进行描述，图3为本技术另一实施例提供的图像重建方法的流程图，如图3所示，本实施例的方法可以包括：
[0100]
s301、获取多张hdr样本图像。
[0101]
本实施例中，收集多张hdr图像，例如：可以通过从网络上下载公开的hdr图像数据集hdr-eye的方式来获得多张hdr图像，并建立hdr图像数据库。获取的多张hdr样本图像用于训练图像重建神经网络模型。
[0102]
s302、根据多张hdr样本图像，获得相应的多张ldr样本图像。
[0103]
本实施例中，已经获得了多张hdr样本图像，可以使用例如随机剪切、仿射变换图像的图像变换方法，获得相应的多张ldr样本图像。重新设定多张ldr样本图像中的每一张ldr样本图像的大小，例如可以采用插值方法对ldr样本图像的大小进行重新设定，以让多张ldr样本图像的大小和相应的hdr样本图像的大小保持一致，且具有相同的像素数，然后构建ldr样本图像数据库。
[0104]
s303、根据多张ldr样本图像，获得多张ldr样本图像的边缘图像。
[0105]
本实施例中，已经获得了多张ldr样本图像，可以使用例如canny边缘检测算法提取ldr样本图像的边缘，获得多张ldr样本图像的边缘图像，并构建ldr样本图像的边缘图像库。
[0106]
s304、将多张ldr样本图像输入全局神经网络模型进行训练，获得训练好的全局神经网络模型；并将多张ldr样本图像分别输入至训练好的全局神经网络模型中，获得多张ldr样本图像的中间图像。
[0107]
本实施例中，已经获得了多张ldr样本图像，已经构建了训练前的全局神经网络模型，因此，将多张ldr样本图像输入全局神经网络模型进行训练，获得训练好的全局神经网络模型，用于对ldr样本图像进行整体高亮度的平衡和低亮度的增强。根据训练好的全局神经网络模型，将多张ldr样本图像分别输入至训练好的全局神经网络模型中，因此，获得多张ldr样本图像的中间图像。
[0108]
可选的，全局神经网络模型包括第一压缩子网络、第一gru网络和第一解压子网络，其中，第一压缩子网络包括3层卷积层，第一解压子网络包括3层反卷积层。
[0109]
本实施例中，如图2中的全局神经网络模型包括第一压缩子网络、第一gru网络和
第一解压子网络。第一压缩子网络用于对ldr样本图像进行压缩编码，由3层卷积层组成；gru网络用于进行训练和推理，相较于传统长短时记忆(long short-term memory，lstm)网络，gru网络具有较高的训练效率，能够减少训练和推理时间，提高训练和推理实时性；第一解压子网络用于对ldr样本图像进行解压恢复，由3层反卷积层组成。
[0110]
可选的，将多张ldr样本图像输入全局神经网络模型进行训练，在训练的过程中采用如下公式一所示的损失函数，以获得训练好的全局神经网络模型。
[0111]
l
global
＝α1l1 α2l
hist
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式一
[0112]
其中，l
global
表示全局损失函数值，l1表示hdr样本图像的像素统计损失，n表示hdr样本图像的像素数，表示全局神经网络模型对ldr样本图像在第i像素的预测像素值，i表示hdr样本图像在第i像素的真实像素值，l
hist
表示hdr样本图像直方图分级统计损失，其中，m表示hdr样本图像的统计直方图种类数，m表示第m个hdr样本图像的统计直方图的种类，ωm表示hdr样本图像的统计直方图的权重，表示全局神经网络模型对ldr样本图像的预测像素值为的数量，countm(i)表示hdr样本图像中像素值为i的数量，α1和α2表示权重参数。
[0113]
本实施例中，为了实现对ldr样本图像整体高亮度的平衡和低亮度的增强，因此，通过公式一计算ldr样本图像的总的像素统计损失l
global
。具体地，l1表示hdr样本图像的像素统计损失，用来表征重建的图像整体亮度损失情况，在进行全局神经网络模型训练的过程中，i为hdr样本图像在第i像素的真实像素值，对应每一个i，全局神经网络模型都会输出一个为全局神经网络模型对ldr样本图像在第i像素的预测像素值，和i的差值越小，表示全局神经网络模型训练的结果越好。将ldr样本图像的图像rgb转换为灰度强度，可选的，转换方式例如为：i＝0.299r 0.587g 0.114b,其中，r、g、b分别为图像rgb三通道的值。l
hist
表示hdr样本图像直方图分级统计损失，用来平衡重建的图像高亮度区域和低亮度区域的差别，具体地，l
hist
对做分级的数据统计，例如，ldr样本图像的灰度强度为0-255，以50为一级，分为0-50、50-100、100-150、150-200、200-255共5级，则m为5，即hdr样本图像的统计直方图种类数为5，统计直方图用于判图像的亮暗程度。ωm表示hdr样本图像的统计直方图的权重，例如：当m《5时ωm＝1.2，当m》＝5时，ωm＝0.9，用来平衡重建的图像高亮度区域和低亮度区域的对比差别。表示全局神经网络模型对ldr样本图像的预测像素值为的数量，countm(i)表示hdr样本图像中像素值为i的数量，和countm(i)均按照四舍五入的原则取整。α1和α2表示权重参数，α1例如为1，α2例如为0.1。通过公式一，对全局神经网络模型进行训练，当训练收敛后，停止训练，当训练过程中的损失函数值l
global
不断变小，并在预先设定的阈值附近小幅度振荡时，可判断为训练过程收敛，进而获得训练好的全局神经网络模型。
[0114]
s305、将多张ldr样本图像的边缘图像输入边缘神经网络模型进行训练，获得训练好的边缘神经网络模型，并将多张ldr样本图像的边缘图像分别输入至训练好的边缘神经
网络模型中，获得多张ldr样本图像的中间边缘图像。
[0115]
本实施例中，已经获得了多张ldr样本图像的边缘图像，已经构建了训练前的边缘神经网络模型，因此，将多张ldr样本图像的边缘图像输入边缘神经网络模型进行训练，获得训练好的边缘神经网络模型，用于对ldr样本图像低亮区域纹理特征进行提取和锐化增强。根据训练好的边缘神经网络模型，将多张ldr样本图像的边缘图像分别输入至训练好的边缘神经网络模型中，因此，获得多张ldr样本图像的中间边缘图像。
[0116]
可选的，边缘神经网络模型包括第二压缩子网络、第二gru网络和第二解压子网络，其中，第二压缩子网包括2层卷积层，第二解压子网络包括2层反卷积层。
[0117]
本实施例中，如图2中的边缘神经网络模型包括第二压缩子网络、第二gru网络和第二解压子网络。第二压缩子网络用于对ldr样本图像进行压缩编码，考虑ldr样本图像的边缘图像纹理较为清晰，减少了第二压缩子网络的层数，由2层卷积层组成；gru网络用于进行训练和推理，相较于传统lstm网络，gru网络具有较高的训练效率，能够减少训练和推理时间，提高训练和推理实时性；第二解压子网络用于对ldr样本图像进行解压恢复，由2层反卷积层组成。
[0118]
可选的，将多张ldr样本图像的边缘图像输入边缘神经网络模型进行训练，在训练的过程中采用如下公式二所示的损失函数，以获得训练好的边缘神经网络模型。
[0119][0120]
其中，l
edge
表示边缘损失函数值，n表示ldr样本图像的边缘图像的像素数，表示边缘神经网络模型对ldr样本图像的边缘图像在第i像素的预测像素值，edge(ii)表示hdr样本图像的边缘图像在第i像素的真实像素值。
[0121]
本实施例中，为了实现对ldr样本图像低亮区域纹理特征的提取和锐化增强，因此，通过公式二计算ldr样本图像的边缘图像的总的像素统计损失l
edge
。具体地，表示边缘神经网络模型对ldr样本图像的边缘图像在第i像素的预测像素值，edge(ii)表示hdr样本图像的边缘图像在第i像素的真实像素值，和edge(ii)均按照四舍五入的原则取整。通过公式二，对边缘神经网络模型进行训练，当训练收敛后，停止训练，当训练过程中的损失函数值l
edge
不断变小，并在预先设定的阈值附近小幅度振荡时，可判断为训练过程收敛，进而获得训练好的边缘神经网络模型。
[0122]
s306、将多张ldr样本图像的中间图像和中间边缘图像输入融合神经网络模型进行训练，获得训练好的融合神经网络模型。
[0123]
本实施例中，已经获得了多张ldr样本图像的中间图像和中间边缘图像，已经构建了训练前的融合神经网络模型，因此，将多张ldr样本图像的中间图像和中间边缘图像输入融合神经网络模型进行训练，获得训练好的融合神经网络模型。根据训练好的融合神经网络模型，将多张ldr样本图像的中间图像和中间边缘图像输入融合神经网络模型进行训练，因此，获得训练好的融合神经网络模型。
[0124]
可选的，融合神经网络模型包括第三压缩子网络和第三解压子网络，其中，第三压缩子网包括4层卷积层，第三解压子网络包括3层反卷积层。
[0125]
本实施例中，如图2中的融合神经网络模型包括第三压缩子网络和第三解压子网络。第三压缩子网络用于对ldr样本图像进行压缩编码，由4层卷积层组成；第三解压子网络用于对ldr样本图像进行解压恢复，由3层反卷积层组成。为了提高融合效率，此处不再使用gru网络。
[0126]
可选的，将多张ldr样本图像的中间图像和中间边缘图像输入融合神经网络模型进行训练，在训练的过程中采用如下公式三所示的损失函数，以获得训练好的融合神经网络模型。
[0127]
l
recon
＝α3l
global
α4l
edge
α5ssmi(i
recon
,i
hdr
)
ꢀꢀꢀꢀ
公式三
[0128]
其中，l
recon
表示重建图像的损失函数值，α3、α4和α5表示权重参数，i
recon
表示融合神经网络模型输出的hdr图像，i
hdr
表示hdr样本图像，ssmi(i
recon
,i
hdr
)表示融合神经网络模型输出的hdr图像与hdr样本图像的结构相似度，其中，μ
recon
表示i
recon
的像素值的平均值，μ
hdr
表示i
hdr
的像素值的平均值，σ
recon
表示i
recon
的方差，σ
hdr
表示i
hdr
的方差，σ
recon,hdr
表示i
recon
和i
hdr
的协方差，c1＝(k1i
range
)2和c2＝(k2i
range
)2表示稳定系数，i
range
表示hdr样本图像的动态范围，k1和k2表示经验系数。
[0129]
本实施例中，通过公式三重建hdr图像的总的像素统计损失l
recon
，具体地，已经通过公式一获得了l
global
，通过公式二获得了l
edge
，α3例如为1，α4例如为0.1，α5例如为0.2，根据融合神经网络模型输出的hdr图像的像素和hdr样本图像的像素，获得ssmi(i
recon
,i
hdr
)，其中k1例如为0.01，k2例如为0.03。通过公式三，对融合神经网络模型进行训练，当训练收敛后，停止训练，当训练过程中的损失函数值l
recon
不断变小，并在预先设定的阈值附近小幅度振荡时，可判断为训练过程收敛，进而获得训练好的融合神经网络模型。
[0130]
s307、根据训练好的全局神经网络模型、训练好的边缘神经网络模型、训练好的融合神经网络模型，获得图像重建神经网络模型。
[0131]
本实施例中，已经获得了训练好的全局神经网络模型、训练好的边缘神经网络模型、训练好的融合神经网络模型，因此，获得图像重建神经网络模型。具体地，将全局神经网络模型输出的数据和边缘神经网络模型输出的数据一起输入到融合神经网络模型，组成图像重建神经网络模型，以用于对ldr样本图像的重建。
[0132]
本技术提供的图像重建方法，通过根据多张hdr样本图像，获得相应的多张ldr样本图像以及多张ldr样本图像的边缘图像，将多张ldr样本图像输入全局神经网络模型进行训练，获得训练好的全局神经网络模型以及多张ldr样本图像的中间图像，将多张ldr样本图像的边缘图像输入边缘神经网络模型进行训练，获得训练好的边缘神经网络模型以及多张ldr样本图像的中间边缘图像，将多张ldr样本图像的中间图像和中间边缘图像输入融合神经网络模型进行训练，获得训练好的融合神经网络模型，进而获得图像重建神经网络模型。本技术通过上述方式，可以获得用于平衡整体高亮度和增强低亮度的全局神经网络模型、用于提取低亮区域纹理特征和锐化增强的边缘神经网络模型，以及用于将上述处理获得的图像融合为hdr图像的融合神经网络模型，因此本技术能够根据单帧ldr图像，重建出色彩鲜明、亮度信息丰富、纹理细节清晰的hdr图像。
[0133]
图4为本技术一实施例提供的图像重建装置的结构示意图，如图4所示，本实施例
的图像重建装置400包括：获取模块401、第一处理模块402、第二处理模块403、第三处理模块404和第四处理模块405。
[0134]
获取模块401，用于获取图像重建指令，图像重建指令用于指示对ldr图像采用预设的图像重建神经网络模型重建hdr图像，预设的图像重建神经网络模型包括预先训练好的全局神经网络模型、边缘神经网络模型和融合神经网络模型。
[0135]
第一处理模块402，用于根据ldr图像，获取ldr图像的边缘图像。
[0136]
第二处理模块403，用于将ldr图像输入至预先训练好的全局神经网络模型，获得ldr图像的中间图像。
[0137]
第三处理模块404，用于将ldr图像的边缘图像输入至预先训练好的边缘神经网络模型，获得ldr图像的中间边缘图像。
[0138]
第四处理模块405，用于将ldr图像的中间图像、ldr图像的中间边缘图像输入至预先训练好的融合神经网络模型，获得ldr图像对应的hdr图像。
[0139]
在上述任一所示实施例的基础上，本实施例的图像重建装置400还包括：训练模块406。
[0140]
训练模块406，用于：
[0141]
获取多张hdr样本图像；根据多张hdr样本图像，获得相应的多张ldr样本图像；根据多张ldr样本图像，获得多张ldr样本图像的边缘图像；将多张ldr样本图像输入全局神经网络模型进行训练，获得训练好的全局神经网络模型；并将多张ldr样本图像分别输入至训练好的全局神经网络模型中，获得多张ldr样本图像的中间图像；将多张ldr样本图像的边缘图像输入边缘神经网络模型进行训练，获得训练好的边缘神经网络模型，并将多张ldr样本图像的边缘图像分别输入至训练好的边缘神经网络模型中，获得多张ldr样本图像的中间边缘图像；将多张ldr样本图像的中间图像和中间边缘图像输入融合神经网络模型进行训练，获得训练好的融合神经网络模型；根据训练好的全局神经网络模型、训练好的边缘神经网络模型、训练好的融合神经网络模型，获得图像重建神经网络模型。
[0142]
在上述任一所示实施例的基础上，全局神经网络模型包括第一压缩子网络、第一gru网络和第一解压子网络；其中，第一压缩子网络包括3层卷积层，第一解压子网络包括3层反卷积层。
[0143]
在上述任一所示实施例的基础上，边缘神经网络模型包括第二压缩子网络、第二gru网络和第二解压子网络；其中，第二压缩子网包括2层卷积层，第二解压子网络包括2层反卷积层。
[0144]
在上述任一所示实施例的基础上，融合神经网络模型包括第三压缩子网络和第三解压子网络；其中，第三压缩子网包括4层卷积层，第三解压子网络包括3层反卷积层。
[0145]
在上述任一所示实施例的基础上，训练模块406，具体用于：
[0146]
将多张ldr样本图像输入全局神经网络模型进行训练，在训练的过程中采用如下公式一所示的损失函数，以获得训练好的全局神经网络模型；
[0147]
l
global
＝α1l1 α2l
hist
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式一
[0148]
其中，l
global
表示全局损失函数值，l1表示hdr样本图像的像素统计损失，n表示hdr样本图像的像素数，表示全局神经网络模型对ldr样本图像在
第i像素的预测像素值，i表示hdr样本图像在第i像素的真实像素值，l
hist
表示hdr样本图像直方图分级统计损失，其中，m表示hdr样本图像的统计直方图种类数，m表示第m个hdr样本图像的统计直方图的种类，ωm表示hdr样本图像的统计直方图的权重，表示全局神经网络模型对ldr样本图像的预测像素值为的数量，countm(i)表示hdr样本图像中像素值为i的数量，α1和α2表示权重参数。
[0149]
在上述任一所示实施例的基础上，训练模块406，具体用于：
[0150]
将多张ldr样本图像的边缘图像输入边缘神经网络模型进行训练，在训练的过程中采用如下公式二所示的损失函数，以获得训练好的边缘神经网络模型；
[0151][0152]
其中，l
edge
表示边缘损失函数值，n表示ldr样本图像的边缘图像的像素数，表示边缘神经网络模型对ldr样本图像的边缘图像在第i像素的预测像素值，edge(ii)表示hdr样本图像的边缘图像在第i像素的真实像素值。
[0153]
在上述任一所示实施例的基础上，训练模块406，具体用于：
[0154]
将多张ldr样本图像的中间图像和中间边缘图像输入融合神经网络模型进行训练，在训练的过程中采用如下公式三所示的损失函数，以获得训练好的融合神经网络模型；
[0155]
l
recon
＝α3l
global
α4l
edge
α5ssmi(i
recon
,i
hdr
)
ꢀꢀꢀꢀ
公式三
[0156]
其中，l
recon
表示重建图像的损失函数值，α3、α4和α5表示权重参数，i
recon
表示融合神经网络模型输出的hdr图像，i
hdr
表示hdr样本图像，ssmi(i
recon
,i
hdr
)表示融合神经网络模型输出的hdr图像与hdr样本图像的结构相似度，其中，μ
recon
表示i
rec
on的像素值的平均值，μ
hdr
表示i
hdr
的像素值的平均值，σ
recon
表示i
recon
的方差，σ
hdr
表示i
hdr
的方差，σ
recon,hdr
表示i
recon
和i
hdr
的协方差，c1＝(k1i
range
)2和c2＝(k2i
range
)2表示稳定系数，i
range
表示hdr样本图像的动态范围，k1和k2表示经验系数。
[0157]
本实施例的装置，可以用于执行上述任一所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0158]
图5为本技术另一实施例提供的图像重建装置的结构示意图。如图5所示，本实施例的图像重建装置500包括：存储器501和处理器502。其中，存储器501、处理器502通过总线连接。
[0159]
存储器501用于存储程序指令。
[0160]
处理器502用于调用存储器中的程序指令执行：
[0161]
获取图像重建指令，图像重建指令用于指示对ldr图像采用预设的图像重建神经网络模型重建hdr图像，预设的图像重建神经网络模型包括预先训练好的全局神经网络模型、边缘神经网络模型和融合神经网络模型。根据ldr图像，获取ldr图像的边缘图像。将ldr图像输入至预先训练好的全局神经网络模型，获得ldr图像的中间图像。将ldr图像的边缘
图像输入至预先训练好的边缘神经网络模型，获得ldr图像的中间边缘图像。将ldr图像的中间图像、ldr图像的中间边缘图像输入至预先训练好的融合神经网络模型，获得ldr图像对应的hdr图像。
[0162]
在上述任一所示实施例的基础上，处理器502还用于：
[0163]
获取多张hdr样本图像；根据多张hdr样本图像，获得相应的多张ldr样本图像；根据多张ldr样本图像，获得多张ldr样本图像的边缘图像；将多张ldr样本图像输入全局神经网络模型进行训练，获得训练好的全局神经网络模型；并将多张ldr样本图像分别输入至训练好的全局神经网络模型中，获得多张ldr样本图像的中间图像；将多张ldr样本图像的边缘图像输入边缘神经网络模型进行训练，获得训练好的边缘神经网络模型，并将多张ldr样本图像的边缘图像分别输入至训练好的边缘神经网络模型中，获得多张ldr样本图像的中间边缘图像；将多张ldr样本图像的中间图像和中间边缘图像输入融合神经网络模型进行训练，获得训练好的融合神经网络模型；根据训练好的全局神经网络模型、训练好的边缘神经网络模型、训练好的融合神经网络模型，获得图像重建神经网络模型。
[0164]
在上述任一所示实施例的基础上，全局神经网络模型包括第一压缩子网络、第一gru网络和第一解压子网络；其中，第一压缩子网络包括3层卷积层，第一解压子网络包括3层反卷积层。
[0165]
在上述任一所示实施例的基础上，边缘神经网络模型包括第二压缩子网络、第二gru网络和第二解压子网络；其中，第二压缩子网包括2层卷积层，第二解压子网络包括2层反卷积层。
[0166]
在上述任一所示实施例的基础上，融合神经网络模型包括第三压缩子网络和第三解压子网络；其中，第三压缩子网包括4层卷积层，第三解压子网络包括3层反卷积层。
[0167]
在上述任一所示实施例的基础上，处理器502，具体用于：
[0168]
将多张ldr样本图像输入全局神经网络模型进行训练，在训练的过程中采用如下公式一所示的损失函数，以获得训练好的全局神经网络模型；
[0169]
l
global
＝α1l1 α2l
hist
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式一
[0170]
其中，l
global
表示全局损失函数值，l1表示hdr样本图像的像素统计损失，n表示hdr样本图像的像素数，表示全局神经网络模型对ldr样本图像在第i像素的预测像素值，i表示hdr样本图像在第i像素的真实像素值，l
hist
表示hdr样本图像直方图分级统计损失，其中，m表示hdr样本图像的统计直方图种类数，m表示第m个hdr样本图像的统计直方图的种类，ωm表示hdr样本图像的统计直方图的权重，表示全局神经网络模型对ldr样本图像的预测像素值为的数量，countm(i)表示hdr样本图像中像素值为i的数量，α1和α2表示权重参数。
[0171]
在上述任一所示实施例的基础上，处理器502，具体用于：
[0172]
将多张ldr样本图像的边缘图像输入边缘神经网络模型进行训练，在训练的过程中采用如下公式二所示的损失函数，以获得训练好的边缘神经网络模型；
[0173][0174]
其中，l
edge
表示边缘损失函数值，n表示ldr样本图像的边缘图像的像素数，表示边缘神经网络模型对ldr样本图像的边缘图像在第i像素的预测像素值，edge(ii)表示hdr样本图像的边缘图像在第i像素的真实像素值。
[0175]
在上述任一所示实施例的基础上，处理器502，具体用于：
[0176]
将多张ldr样本图像的中间图像和中间边缘图像输入融合神经网络模型进行训练，在训练的过程中采用如下公式三所示的损失函数，以获得训练好的融合神经网络模型；
[0177]
l
recon
＝α3l
global
α4l
edge
α5ssmi(i
recon
,i
hdr
)
ꢀꢀꢀꢀ
公式三
[0178]
其中，l
recon
表示重建图像的损失函数值，α3、α4和α5表示权重参数，i
recon
表示融合神经网络模型输出的hdr图像，i
hdr
表示hdr样本图像，ssmi(i
recon
,i
hdr
)表示融合神经网络模型输出的hdr图像与hdr样本图像的结构相似度，其中，μ
recon
表示i
recon
的像素值的平均值，μ
hdr
表示i
hdr
的像素值的平均值，σ
recon
表示i
recon
的方差，σ
hdr
表示i
hdr
的方差，σ
recon,hdr
表示i
recon
和i
hdr
的协方差，c1＝(k1i
range
)2和c2＝(k2i
range
)2表示稳定系数，i
range
表示hdr样本图像的动态范围，k1和k2表示经验系数。
[0179]
本实施例的装置，可以用于执行上述任一所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0180]
图6为本技术另一实施例提供的图像重建装置的结构示意图，如图6所示，例如，图像重建装置600可以被提供为一服务器或计算机。参照图6，图像重建装置600包括处理组件601，其进一步包括一个或多个处理器，以及由存储器602所代表的存储器资源，用于存储可由处理组件601的执行的指令，例如应用程序。存储器602中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件601被配置为执行指令，以执行上述任一方法实施例。
[0181]
装置600还可以包括一个电源组件603被配置为执行装置600的电源管理，一个有线或无线网络接口604被配置为将装置600连接到网络，和一个输入输出(i/o)接口605。装置600可以操作基于存储在存储器602的操作系统，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm或类似。
[0182]
本技术还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上图像重建方法。
[0183]
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
[0184]
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部
分。处理器和可读存储介质可以位于专用集成电路(application specific integrated circuits，简称：asic)中。当然，处理器和可读存储介质也可以作为分立组件存在于图像重建装置中。
[0185]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0186]
最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。