一种基于深度学习的LDR图像生成HDR图像方法与流程

技术特征：
1.一种基于深度学习的ldr图像生成hdr图像方法，其特征在于，步骤如下：步骤1：将三张不同曝光度的低动态范围图像进行对齐；将三张低动态范围的图像的曝光度分为低，中，高三个级别；步骤2：将三张低动态范围的图像分别进行三次空间转深度的变化之后再次进行卷积和激活得到四个尺度的特征；i＝[s2d3(i)，s2d2(i)，s2d(i)，i]i表示低动态范围的图像，s2d为为空间转深度操作和后续卷积和激活将特征的空间信息转化为深度信息；步骤3：使用中等曝光度的图像作为参考帧i
r
，另外两张曝光度的图像作为非参考帧i
i
(i＝1，3)，让同尺度的参考帧和非参考帧分别进行注意力对齐操作；步骤4：将参考特征和两组参考特征与非参考特征对齐的新特征进行连接后进行卷积和激活，随后将新特征送入融合模块，得到融合后的特征i
fin
；步骤5：将从融合模块输出的i
fin
先进行离散小波变换(dwt)，然后进入稠密残差膨胀块(drdb)模块，最后进行逆离散小波变换(iwt)得到输出；it
fin
＝add(iwt(drdb(dwt(i
fin
)))，dwt(i
fin
))iwt为逆离散小波变换，drdb为稠密残差膨胀块，dwt为离散小波变换，add为矩阵加法；步骤6：将四个不同尺度的特征进行0至3次(对于在步骤2中进行了若干次空间转深度操作的特征，再次进行相同次数的转置卷积)转置卷积和激活，特征进过几次空间深度转换就进行几次转置卷积；最后将四个尺度的特征进行叠加后进行激活得到第一次生成的高动态范围图像；it
fin_i
＝tra
i-1
(it
fin_i
)i
gt
＝add(it
fin_1
，it
fin_2
，it
fin_3
，it
fin_4
)tra为转置卷积，i
gt
为第一次生成的高动态范围图像；it
fin_(i＝1，2，3，4)
表示四个不同尺度的特征；步骤7：将第一次生产的高动态范围图像i
gt
作为参考帧，再次使用空间转深度操作得到四个分别与三张低动态范围图像i
i
做连接，将得到三组不同的特征；i
new_gt
＝[s2d3(i
gt
)，s2d2(i
gt
)，s2d(i
gt
)，i
gt
]i
n_new_i
＝a(i
i
，i
new
_
gt
)步骤8：将步骤7生成的新特征送入融合模块得到融合后的新特征i
n_fin
；i
n_fin
＝con(i
n_new_1
，i
n_new_2
，i
n_new_3
，i
r
)步骤9：将从融合模块输出的i
n_fin
再次进行离散小波变换，然后进入稠密残差膨胀块模块，最后进入逆离散小波变换得到输出；it
n_fin
＝add(iwt(drdb(dwt(i
n_fin
)))，dwt(i
n_fin
))步骤10：将四个不同尺度的特征再次进行转置卷积和激活，特征进过几次空间深度转换就进行几次转置卷积；最后将四个尺度的特征进行叠加后在与第一次生成的高动态范围图像进行残差累加，得到最后的高动态范围图像i
hdr
；it
fin_i
＝tra
i-1
(it
n_fin_i
)i
hdr
＝add(add(it
n_fin_1
，it
n_fin_2
，it
n_fin_3
，it
n_fin_4
)，i
gt
)。2.根据权利要求1所述的一种基于深度学习的ldr图像生成hdr图像方法，其特征在于，
步骤3具体操作为将同尺度的参考特征和非参考特征进行连接得到新的特征，然后进行卷积和激活后和原本的非参考特征进行乘法操作得到对齐后的特征；i
new_i
＝a(i
i
，i
r
)其中，操作a为注意力机制。3.根据权利要求2所述的一种基于深度学习的ldr图像生成hdr图像方法，其特征在于，所述的融合模块用于将中间特征分别与其余两组特征进行连接，随后进行卷积操作实现特征提取，作为权重乘上原有特征，最后三组特征相连接后得到192通道的特征，将其压缩到64通道，得到融合后的特征；i
fin
＝con(i
new_1
，i
r
，i
new_3
)con为将特征连接操作。

技术总结
本发明公开了一种基于深度学习的LDR图像生成HDR图像方法，使用四种尺度进行对图像的细节进行补充，应用多尺度滤波核对图像进行滤波，从而对图像不同细节尺度进行不同的精细化；本发明使用串联的方法将第一次得到的高动态范围图像作为新的参考图像再次送入深度神经网络，对其细节进行近义词的处理从而第二次得到图像有更好的细节表现。得到图像有更好的细节表现。


技术研发人员：颜成钢 陈如枫 胡冀 高宇涵 陈楚翘 王鸿奎 孙垚棋 朱尊杰 殷海兵 张继勇 李宗鹏 赵治栋
受保护的技术使用者：杭电（丽水）研究院有限公司
技术研发日：2022.10.18
技术公布日：2023/2/6