一种基于深度学习的ldr图像生成hdr图像方法
技术领域
1.本发明涉及一种基于深度学习的方法使用不同曝光度的低动态范围图像合成高动态范围图像的技术。
背景技术：
2.在现实生活中，我们眼睛可以接触到亮度从低到高可能有上万倍的差距，但是在一般的屏幕上，由于技术水平和硬件的限制，我们只能得到256中基本的亮度变化。显而易见，从现实生活中的场景映射到屏幕上，是将亮度进行了压缩，从而产生了失真。目前使用低动态范围图像生成高动态范围图像的方法按照原始低动态范围图像数量可以分为单张和多张，按照生成方法也可以分为基于传统方法和基于深度学习方法的生成技术。多张不同曝光度的低动态图像合成高动态范围图像的效果虽然比单张低动态范围图像去生成高动态范围图像效果好，但是由于多张低动态范围图像之间可能存在不对齐等问题，导致合成的图像出现虚影等问题。所以使用多张低动态范围图像在合成之前有非常重要一点就是将他们对齐，以免出现虚影。而在一些条件比较苛刻的环境：如在边界上无法使用高精度监控或者在夜间进行拍摄，如何提高技术稳定性和克服硬件上的缺陷，在合成模块如何将输入的低动态范围图像合成一张完美的高动态范围图像从而获得更多细节则是重中之重。
技术实现要素：
3.针对上述所说的有效处理多张低动态范围图像的对齐问题和由于环境条件恶劣和硬件成本过高，低动态范围图像对齐后的合成问题进行有效的解决。
4.一种基于深度学习的ldr图像生成hdr图像方法，步骤如下：
5.步骤1：将三张不同曝光度的低动态范围图像进行对齐。将三张低动态范围的图像的曝光度分为低，中，高三个级别。
6.步骤2：将三张低动态范围的图像分别进行三次空间转深度的变化之后再次进行卷积和激活得到四个尺度的特征。
7.i＝[s2d3(i)，s2d2(i)，s2d(i)，i]
[0008]
i表示低动态范围的图像，s2d为为空间转深度操作和后续卷积和激活将特征的空间信息转化为深度信息；
[0009]
步骤3：使用中等曝光度的图像作为参考帧ir，另外两张曝光度的图像作为非参考帧ii(i＝1，3)，让同尺度的参考帧和非参考帧分别进行注意力对齐操作。
[0010]
步骤4：将参考特征和两组参考特征与非参考特征对齐的新特征进行连接后进行卷积和激活，随后将新特征送入融合模块，得到融合后的特征i
fin
。
[0011]
步骤5：将从融合模块输出的i
fin
先进行离散小波变换(dwt)，然后进入稠密残差膨胀块(drdb)模块，最后进行逆离散小波变换(iwt)得到输出。
[0012]
it
fin
＝add(iwt(drdb(dwt(i
fin
)))，dwt(i
fin
))
[0013]
iwt为逆离散小波变换，drdb为稠密残差膨胀块，dwt为离散小波变换，add为矩阵
加法；
[0014]
步骤6：将四个不同尺度的特征进行0至3次(对于在步骤2中进行了若干次空间转深度操作的特征，再次进行相同次数的转置卷积)转置卷积和激活，特征进过几次空间深度转换就进行几次转置卷积。最后将四个尺度的特征进行叠加后进行激活得到第一次生成的高动态范围图像。
[0015]
it
fin_i
＝tra
i-1
(it
fin_i
)
[0016]igt
＝add(it
fin_1
，it
fin_2
，it
fin_3
，it
fin_4
)
[0017]
tra为转置卷积，i
gt
为第一次生成的高动态范围图像；it
fin_(i＝1，2，3，4)
表示四个不同尺度的特征。
[0018]
步骤7：将第一次生产的高动态范围图像i
gt
作为参考帧，再次使用空间转深度操作得到四个分别与三张低动态范围图像ii做连接，将得到三组不同的特征。
[0019]inew_gt
＝[s2d3(i
gt
)，s2d2(i
gt
)，s2d(i
gt
)，i
gt
]
[0020]in_new_i
＝a(ii，i
new_gt
)
[0021]
步骤8：将步骤7生成的新特征送入融合模块得到融合后的新特征i
n_fin
。
[0022]in_fin
＝con(i
n_new_1
，i
n_new_2
，i
n_new_3
，ir)
[0023]
步骤9：将从融合模块输出的i
n_fin
再次进行离散小波变换，然后进入稠密残差膨胀块模块，最后进入逆离散小波变换得到输出。
[0024]
it
n_fin
＝add(iwt(drdb(dwt(i
n_fin
)))，dwt(i
n_fin
))
[0025]
步骤10：将四个不同尺度的特征再次进行转置卷积和激活，特征进过几次空间深度转换就进行几次转置卷积。最后将四个尺度的特征进行叠加后在与第一次生成的高动态范围图像进行残差累加，得到最后的高动态范围图像i
hdr
。
[0026]
it
fin_i
＝tra
i-1
(it
n_fin_i
)
[0027]ihdr
＝add(add(it
n_fin_1
，it
n_fin_2
，it
n_fin_3
，it
n_fin_
4)，i
gt
)
[0028]
进一步的，步骤3具体操作为将同尺度的参考特征和非参考特征进行连接得到新的特征，然后进行卷积和激活后和原本的非参考特征进行乘法操作得到对齐后的特征。
[0029]inew_i
＝a(ii，ir)
[0030]
其中，操作a为注意力机制；
[0031]
进一步的，所述的融合模块用于将中间特征分别与其余两组特征进行连接，随后进行卷积操作实现特征提取，作为权重乘上原有特征，最后三组特征相连接后得到192通道的特征，将其压缩到64通道，得到融合后的特征。
[0032]ifin
＝con(i
new_1
，ir，i
new_3
)
[0033]
con为将特征连接操作；
[0034]
本发明有益效果如下：
[0035]
1.创新的提出了一种基于深度引导的多尺度低动态范围图像合成高动态范围图像的方法，该方法使用四种尺度进行对图像的细节进行补充，应用多尺度滤波核对图像进行滤波，从而对图像不同细节尺度进行不同的精细化。
[0036]
2.创新的提出了使用串联的方法将第一次得到的高动态范围图像作为新的参考图像再次送入深度神经网络，对其细节进行近义词的处理从而第二次得到图像有更好的细节表现。
具体实施方式
[0037]
以下结合实施例对本发明方法进行进一步描述。
[0038]
一种基于深度学习的ldr图像生成hdr图像方法，步骤如下：
[0039]
步骤1：将三张不同曝光度的低动态范围图像进行对齐。将三张低动态范围的图像的曝光度分为低，中，高三个级别。
[0040]
步骤2：将三张低动态范围的图像分别进行三次空间转深度的变化之后再次进行卷积和激活得到四个尺度的特征。
[0041]
i＝[s2d3(i)，s2d2(i)，s2d(i)，i]
[0042]
i表示低动态范围的图像，s2d为为空间转深度操作和后续卷积和激活将特征的空间信息转化为深度信息；
[0043]
步骤3：使用中等曝光度的图像作为参考帧ir，另外两张曝光度的图像作为非参考帧ii(i＝1，3)，让同尺度的参考帧和非参考帧分别进行注意力对齐操作。具体操作为将同尺度的参考特征和非参考特征进行连接得到新的特征，然后进行卷积和激活后和原本的非参考特征进行乘法操作得到对齐后的特征。
[0044]inew_i
＝a(ii，ir)
[0045]
其中，操作a为注意力机制；
[0046]
步骤4：将参考特征和两组参考特征与非参考特征对齐的新特征进行连接后进行卷积和激活，随后将新特征送入融合模块，所述的融合模块用于将中间特征分别与其余两组特征进行连接，随后进行卷积操作实现特征提取，作为权重乘上原有特征，最后三组特征相连接后得到192通道的特征，将其压缩到64通道，得到融合后的特征。
[0047]ifin
＝con(i
new_1
，ir，i
new_3
)
[0048]
con为将特征连接操作；
[0049]
步骤5：将从融合模块输出的i
fin
先进行离散小波变换(dwt)，然后进入稠密残差膨胀块(drdb)模块，最后进行逆离散小波变换(iwt)得到输出。
[0050]
it
fin
＝add(iwt(drdb(dwt(i
fin
)))，dwt(i
fin
))
[0051]
iwt为逆离散小波变换，drdb为稠密残差膨胀块，dwt为离散小波变换，add为矩阵加法；
[0052]
步骤6：将四个不同尺度的特征进行0至3次(对于在步骤2中进行了若干次空间转深度操作的特征，再次进行相同次数的转置卷积)转置卷积和激活，特征进过几次空间深度转换就进行几次转置卷积。最后将四个尺度的特征进行叠加后进行激活得到第一次生成的高动态范围图像。
[0053]
it
fin_i
＝tra
i-1
(it
fin_i
)
[0054]igt
＝add(it
fin_1
，it
fin_2
，it
fin_3
，it
fin_4
)
[0055]
tra为转置卷积，i
gt
为第一次生成的高动态范围图像；it
fin_i
，i＝1，2，3，4，表示四个不同尺度的特征。
[0056]
步骤7：将第一次生产的高动态范围图像i
gt
作为参考帧，再次使用空间转深度操作得到四个分别与三张低动态范围图像ii做连接，将得到三组不同的特征。
[0057]inew_gt
＝[s2d3(i
gt
)，s2d2(i
gt
)，s2d(i
gt
)，i
gt
]
[0058]in_new_i
＝a(ii，i
new_gt
)
[0059]
步骤8：将步骤7生成的新特征送入融合模块得到融合后的新特征i
n_fin
。
[0060]in_fin
＝con(i
n_new_1
，i
n_new_2
，i
n_new_3
，ir)
[0061]
步骤9：将从融合模块输出的i
n_fin
再次进行离散小波变换，然后进入稠密残差膨胀块模块，最后进入逆离散小波变换得到输出。
[0062]
it
n_fin
＝add(iwt(drdb(dwt(i
n_fin
)))，dwt(i
n_fin
))
[0063]
步骤10：将四个不同尺度的特征再次进行转置卷积和激活，特征进过几次空间深度转换就进行几次转置卷积。最后将四个尺度的特征进行叠加后在与第一次生成的高动态范围图像进行残差累加，得到最后的高动态范围图像i
hdr
。
[0064]
it
fin_i
＝tra
i-1
(it
n_fin_i
)
[0065]ihdr
＝add(add(it
n_fin_1
，it
n_fin_2
，it
n_fin_3
，it
n_fin_4
)，i
gt
)
[0066]
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。
[0067]
本发明未详细说明部分属于本领域技术人员公知技术。
技术领域
1.本发明涉及一种基于深度学习的方法使用不同曝光度的低动态范围图像合成高动态范围图像的技术。
背景技术：
2.在现实生活中，我们眼睛可以接触到亮度从低到高可能有上万倍的差距，但是在一般的屏幕上，由于技术水平和硬件的限制，我们只能得到256中基本的亮度变化。显而易见，从现实生活中的场景映射到屏幕上，是将亮度进行了压缩，从而产生了失真。目前使用低动态范围图像生成高动态范围图像的方法按照原始低动态范围图像数量可以分为单张和多张，按照生成方法也可以分为基于传统方法和基于深度学习方法的生成技术。多张不同曝光度的低动态图像合成高动态范围图像的效果虽然比单张低动态范围图像去生成高动态范围图像效果好，但是由于多张低动态范围图像之间可能存在不对齐等问题，导致合成的图像出现虚影等问题。所以使用多张低动态范围图像在合成之前有非常重要一点就是将他们对齐，以免出现虚影。而在一些条件比较苛刻的环境：如在边界上无法使用高精度监控或者在夜间进行拍摄，如何提高技术稳定性和克服硬件上的缺陷，在合成模块如何将输入的低动态范围图像合成一张完美的高动态范围图像从而获得更多细节则是重中之重。
技术实现要素：
3.针对上述所说的有效处理多张低动态范围图像的对齐问题和由于环境条件恶劣和硬件成本过高，低动态范围图像对齐后的合成问题进行有效的解决。
4.一种基于深度学习的ldr图像生成hdr图像方法，步骤如下：
5.步骤1：将三张不同曝光度的低动态范围图像进行对齐。将三张低动态范围的图像的曝光度分为低，中，高三个级别。
6.步骤2：将三张低动态范围的图像分别进行三次空间转深度的变化之后再次进行卷积和激活得到四个尺度的特征。
7.i＝[s2d3(i)，s2d2(i)，s2d(i)，i]
[0008]
i表示低动态范围的图像，s2d为为空间转深度操作和后续卷积和激活将特征的空间信息转化为深度信息；
[0009]
步骤3：使用中等曝光度的图像作为参考帧ir，另外两张曝光度的图像作为非参考帧ii(i＝1，3)，让同尺度的参考帧和非参考帧分别进行注意力对齐操作。
[0010]
步骤4：将参考特征和两组参考特征与非参考特征对齐的新特征进行连接后进行卷积和激活，随后将新特征送入融合模块，得到融合后的特征i
fin
。
[0011]
步骤5：将从融合模块输出的i
fin
先进行离散小波变换(dwt)，然后进入稠密残差膨胀块(drdb)模块，最后进行逆离散小波变换(iwt)得到输出。
[0012]
it
fin
＝add(iwt(drdb(dwt(i
fin
)))，dwt(i
fin
))
[0013]
iwt为逆离散小波变换，drdb为稠密残差膨胀块，dwt为离散小波变换，add为矩阵
加法；
[0014]
步骤6：将四个不同尺度的特征进行0至3次(对于在步骤2中进行了若干次空间转深度操作的特征，再次进行相同次数的转置卷积)转置卷积和激活，特征进过几次空间深度转换就进行几次转置卷积。最后将四个尺度的特征进行叠加后进行激活得到第一次生成的高动态范围图像。
[0015]
it
fin_i
＝tra
i-1
(it
fin_i
)
[0016]igt
＝add(it
fin_1
，it
fin_2
，it
fin_3
，it
fin_4
)
[0017]
tra为转置卷积，i
gt
为第一次生成的高动态范围图像；it
fin_(i＝1，2，3，4)
表示四个不同尺度的特征。
[0018]
步骤7：将第一次生产的高动态范围图像i
gt
作为参考帧，再次使用空间转深度操作得到四个分别与三张低动态范围图像ii做连接，将得到三组不同的特征。
[0019]inew_gt
＝[s2d3(i
gt
)，s2d2(i
gt
)，s2d(i
gt
)，i
gt
]
[0020]in_new_i
＝a(ii，i
new_gt
)
[0021]
步骤8：将步骤7生成的新特征送入融合模块得到融合后的新特征i
n_fin
。
[0022]in_fin
＝con(i
n_new_1
，i
n_new_2
，i
n_new_3
，ir)
[0023]
步骤9：将从融合模块输出的i
n_fin
再次进行离散小波变换，然后进入稠密残差膨胀块模块，最后进入逆离散小波变换得到输出。
[0024]
it
n_fin
＝add(iwt(drdb(dwt(i
n_fin
)))，dwt(i
n_fin
))
[0025]
步骤10：将四个不同尺度的特征再次进行转置卷积和激活，特征进过几次空间深度转换就进行几次转置卷积。最后将四个尺度的特征进行叠加后在与第一次生成的高动态范围图像进行残差累加，得到最后的高动态范围图像i
hdr
。
[0026]
it
fin_i
＝tra
i-1
(it
n_fin_i
)
[0027]ihdr
＝add(add(it
n_fin_1
，it
n_fin_2
，it
n_fin_3
，it
n_fin_
4)，i
gt
)
[0028]
进一步的，步骤3具体操作为将同尺度的参考特征和非参考特征进行连接得到新的特征，然后进行卷积和激活后和原本的非参考特征进行乘法操作得到对齐后的特征。
[0029]inew_i
＝a(ii，ir)
[0030]
其中，操作a为注意力机制；
[0031]
进一步的，所述的融合模块用于将中间特征分别与其余两组特征进行连接，随后进行卷积操作实现特征提取，作为权重乘上原有特征，最后三组特征相连接后得到192通道的特征，将其压缩到64通道，得到融合后的特征。
[0032]ifin
＝con(i
new_1
，ir，i
new_3
)
[0033]
con为将特征连接操作；
[0034]
本发明有益效果如下：
[0035]
1.创新的提出了一种基于深度引导的多尺度低动态范围图像合成高动态范围图像的方法，该方法使用四种尺度进行对图像的细节进行补充，应用多尺度滤波核对图像进行滤波，从而对图像不同细节尺度进行不同的精细化。
[0036]
2.创新的提出了使用串联的方法将第一次得到的高动态范围图像作为新的参考图像再次送入深度神经网络，对其细节进行近义词的处理从而第二次得到图像有更好的细节表现。
具体实施方式
[0037]
以下结合实施例对本发明方法进行进一步描述。
[0038]
一种基于深度学习的ldr图像生成hdr图像方法，步骤如下：
[0039]
步骤1：将三张不同曝光度的低动态范围图像进行对齐。将三张低动态范围的图像的曝光度分为低，中，高三个级别。
[0040]
步骤2：将三张低动态范围的图像分别进行三次空间转深度的变化之后再次进行卷积和激活得到四个尺度的特征。
[0041]
i＝[s2d3(i)，s2d2(i)，s2d(i)，i]
[0042]
i表示低动态范围的图像，s2d为为空间转深度操作和后续卷积和激活将特征的空间信息转化为深度信息；
[0043]
步骤3：使用中等曝光度的图像作为参考帧ir，另外两张曝光度的图像作为非参考帧ii(i＝1，3)，让同尺度的参考帧和非参考帧分别进行注意力对齐操作。具体操作为将同尺度的参考特征和非参考特征进行连接得到新的特征，然后进行卷积和激活后和原本的非参考特征进行乘法操作得到对齐后的特征。
[0044]inew_i
＝a(ii，ir)
[0045]
其中，操作a为注意力机制；
[0046]
步骤4：将参考特征和两组参考特征与非参考特征对齐的新特征进行连接后进行卷积和激活，随后将新特征送入融合模块，所述的融合模块用于将中间特征分别与其余两组特征进行连接，随后进行卷积操作实现特征提取，作为权重乘上原有特征，最后三组特征相连接后得到192通道的特征，将其压缩到64通道，得到融合后的特征。
[0047]ifin
＝con(i
new_1
，ir，i
new_3
)
[0048]
con为将特征连接操作；
[0049]
步骤5：将从融合模块输出的i
fin
先进行离散小波变换(dwt)，然后进入稠密残差膨胀块(drdb)模块，最后进行逆离散小波变换(iwt)得到输出。
[0050]
it
fin
＝add(iwt(drdb(dwt(i
fin
)))，dwt(i
fin
))
[0051]
iwt为逆离散小波变换，drdb为稠密残差膨胀块，dwt为离散小波变换，add为矩阵加法；
[0052]
步骤6：将四个不同尺度的特征进行0至3次(对于在步骤2中进行了若干次空间转深度操作的特征，再次进行相同次数的转置卷积)转置卷积和激活，特征进过几次空间深度转换就进行几次转置卷积。最后将四个尺度的特征进行叠加后进行激活得到第一次生成的高动态范围图像。
[0053]
it
fin_i
＝tra
i-1
(it
fin_i
)
[0054]igt
＝add(it
fin_1
，it
fin_2
，it
fin_3
，it
fin_4
)
[0055]
tra为转置卷积，i
gt
为第一次生成的高动态范围图像；it
fin_i
，i＝1，2，3，4，表示四个不同尺度的特征。
[0056]
步骤7：将第一次生产的高动态范围图像i
gt
作为参考帧，再次使用空间转深度操作得到四个分别与三张低动态范围图像ii做连接，将得到三组不同的特征。
[0057]inew_gt
＝[s2d3(i
gt
)，s2d2(i
gt
)，s2d(i
gt
)，i
gt
]
[0058]in_new_i
＝a(ii，i
new_gt
)
[0059]
步骤8：将步骤7生成的新特征送入融合模块得到融合后的新特征i
n_fin
。
[0060]in_fin
＝con(i
n_new_1
，i
n_new_2
，i
n_new_3
，ir)
[0061]
步骤9：将从融合模块输出的i
n_fin
再次进行离散小波变换，然后进入稠密残差膨胀块模块，最后进入逆离散小波变换得到输出。
[0062]
it
n_fin
＝add(iwt(drdb(dwt(i
n_fin
)))，dwt(i
n_fin
))
[0063]
步骤10：将四个不同尺度的特征再次进行转置卷积和激活，特征进过几次空间深度转换就进行几次转置卷积。最后将四个尺度的特征进行叠加后在与第一次生成的高动态范围图像进行残差累加，得到最后的高动态范围图像i
hdr
。
[0064]
it
fin_i
＝tra
i-1
(it
n_fin_i
)
[0065]ihdr
＝add(add(it
n_fin_1
，it
n_fin_2
，it
n_fin_3
，it
n_fin_4
)，i
gt
)
[0066]
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。
[0067]
本发明未详细说明部分属于本领域技术人员公知技术。
再多了解一些
本文用于创业者技术爱好者查询，仅供学习研究，如用于商业用途，请联系技术所有人。
