一种图像反射去除模型构建方法及装置

摘要: 本发明涉及人工智能,尤其涉及一种图像反射去除模型构建方法及装置。背景技术:1、在隔着玻璃、车窗、展柜、建筑幕墙或其他透明介质进行图像采集的场景中,拍摄所得图像通...
一种图像反射去除模型构建方法及装置

本发明涉及人工智能,尤其涉及一种图像反射去除模型构建方法及装置。

背景技术:

1、在隔着玻璃、车窗、展柜、建筑幕墙或其他透明介质进行图像采集的场景中,拍摄所得图像通常同时包含目标场景的透射层与介质表面反射、环境倒影形成的反射层,两类信息在空间位置、颜色分布与纹理细节上相互叠加混叠,导致图像清晰度下降、目标细节被遮挡,直接影响后续视觉感知与分析任务的准确性。

2、随着智能驾驶车载视觉、移动终端摄影、无人机视觉避障、安防视频监控、工业无损检测以及文物展品数字化拍摄等领域的快速发展,各类透明介质下的高质量成像需求持续增长,有效去除图像中的反射干扰、恢复清晰的目标场景透射层,已成为计算机视觉领域具有广泛应用价值的共性技术问题。

3、现有单图像反射去除模型通常引入预训练视觉骨干网络作为特征提取器,借助其在大规模数据上预训练获得的通用视觉表征能力,配合后端解码器完成透射层重建,以此提升反射去除的恢复效果。然而,预训练骨干网络的训练目标通常为图像分类、目标检测或自监督表征学习等通用视觉任务,其输出特征空间是围绕通用语义表征优化构建的,并非针对反射去除任务中透射层与反射层分离、混叠细节恢复的特定需求进行设计;当预训练骨干网络被冻结或任务适配程度有限时,其输出表征与反射去除任务需求之间仍可能存在差异,使后端解码器除完成透射层重建外,还需要承担较多从通用视觉表征向反射去除任务相关表征的转换,为弥补上述表征差异,解码器通常需要采用更复杂的特征交互与重建结构,从而增加参数量、计算量和推理开销,并可能限制模型恢复性能与部署效率之间的平衡。

技术实现思路

1、本发明提供了一种图像反射去除模型构建方法及装置,用于解决基于预训练骨干网络的单图像反射去除模型中,骨干表征与反射去除任务适配不足,使解码器需要承担较多任务相关特征转换,进而导致解码结构复杂、部署开销较高且恢复性能受限的技术问题。

2、本发明第一方面提供的一种图像反射去除模型构建方法,包括:

3、获取单图像反射去除训练源图像,并根据所述单图像反射去除训练源图像构建单图像反射去除训练样本集;

4、将所述单图像反射去除训练样本集中的含反射输入图像输入至预训练骨干网络进行多层编码下采样提取,得到多尺度骨干特征;

5、将所述多尺度骨干特征输入任务适配解码器,得到骨干适配阶段透射图估计结果,并基于所述骨干适配阶段透射图估计结果和对应真实透射图像计算总损失,根据所述总损失联合优化所述预训练骨干网络和所述任务适配解码器,得到适配骨干网络;

6、冻结所述适配骨干网络的网络参数,并在参数冻结后的适配骨干网络的特征输出端接入轻量重建解码器;

7、在所述适配骨干网络的网络参数保持冻结的条件下,将所述含反射输入图像输入所述适配骨干网络提取得到适配后多尺度骨干特征,并基于所述适配后多尺度骨干特征训练所述轻量重建解码器,得到由参数冻结的适配骨干网络与训练完成的轻量重建解码器组成的最终图像反射去除部署模型。

8、可选地,所述单图像反射去除训练源图像包括透射层原始图像、反射层原始图像、real真实场景含反射图像、nature真实场景含反射图像、real真实场景透射图像和nature真实场景透射图像;所述根据所述单图像反射去除训练源图像构建单图像反射去除训练样本集,包括:

9、以透射层原始图像作为目标透射层、反射层原始图像作为干扰反射层,代入非线性加权叠加模型进行逐像素计算,生成含反射合成图像;

10、将所述含反射合成图像与对应的透射层原始图像进行配对,得到合成训练图像对;

11、将real真实场景含反射图像、nature真实场景含反射图像分别与各自对应的real真实场景透射图像和nature真实场景透射图像进行配对,得到real类真实训练图像对和nature类真实训练图像对;

12、对所述合成训练图像对、所述real类真实训练图像对和所述nature类真实训练图像对执行批次采样混合,得到单图像反射去除训练样本集。

13、可选地,所述将所述多尺度骨干特征输入任务适配解码器,得到骨干适配阶段透射图估计结果,并基于所述骨干适配阶段透射图估计结果和对应真实透射图像计算总损失,根据所述总损失联合优化所述预训练骨干网络和所述任务适配解码器,得到适配骨干网络,包括:

14、将所述多尺度骨干特征输入所述任务适配解码器执行渐进式多尺度聚合,得到最浅层解码特征;

15、将所述最浅层解码特征经上采样后分别输入至尺度预测头和偏置预测头,生成第一阶段尺度图与第一阶段偏置图;

16、采用所述第一阶段尺度图对所述含反射输入图像执行逐像素乘性调制,叠加所述第一阶段偏置图的逐像素加性校正,通过局部线性重建得到骨干适配阶段透射图估计结果;

17、构建总损失函数,并采用所述总损失函数计算所述骨干适配阶段透射图估计结果与对应真实透射图像的总损失值;

18、采用adam优化器根据所述总损失值执行梯度反向传播,并同步更新所述预训练骨干网络的可训练网络参数与所述任务适配解码器的可训练网络参数,当迭代训练至预设轮次时,得到适配骨干网络。

19、可选地,所述将所述多尺度骨干特征输入所述任务适配解码器执行渐进式多尺度聚合,得到最浅层解码特征,包括:

20、以所述多尺度骨干特征为输入,执行空间分辨率与通道数对齐,得到与最深层尺寸一致的对齐特征集合;

21、对所述与最深层尺寸一致的对齐特征集合执行通道拼接与卷积融合,生成最深层解码特征;

22、以所述多尺度骨干特征与最深层解码特征为输入,执行空间分辨率与通道数对齐,得到与中间层尺寸一致的对齐特征集合;

23、对所述与中间层尺寸一致的对齐特征集合执行通道拼接与卷积融合,生成中间层解码特征;

24、以所述多尺度骨干特征与最深层解码特征、中间层解码特征为输入,执行空间分辨率与通道数对齐,得到与最浅层尺寸一致的对齐特征集合;

25、对所述与最浅层尺寸一致的对齐特征集合执行通道拼接与卷积融合,生成最浅层解码特征。

26、可选地,所述在所述适配骨干网络的网络参数保持冻结的条件下,将所述含反射输入图像输入所述适配骨干网络提取得到适配后多尺度骨干特征,并基于所述适配后多尺度骨干特征训练所述轻量重建解码器,得到由参数冻结的适配骨干网络与训练完成的轻量重建解码器组成的最终图像反射去除部署模型,包括:

27、将所述含反射输入图像输入所述参数冻结的适配骨干网络,经前向传播提取得到适配后多尺度骨干特征;

28、将所述适配后多尺度骨干特征输入所述轻量重建解码器,从最深层骨干特征开始,逐级执行转置卷积上采样、同尺度骨干特征逐元素相加与深度可分离卷积特征细化,最终经输出头映射生成第二阶段尺度图与第二阶段偏置图;

29、采用所述第二阶段尺度图对所述含反射输入图像执行逐像素乘性调制,叠加所述第二阶段偏置图的逐像素加性校正,通过局部线性重建得到轻量解码阶段透射图估计结果;

30、采用所述总损失函数根据所述轻量解码阶段透射图估计结果与对应真实透射图像计算目标损失值;

31、通过adam优化器根据所述目标损失值执行梯度反向传播,仅更新所述轻量重建解码器的可训练网络参数,当迭代训练至预设轮次时,得到训练完成的轻量重建解码器;

32、将所述参数冻结的适配骨干网络与所述训练完成的轻量重建解码器组合,得到最终图像反射去除部署模型。

33、可选地,6、所述适配后多尺度骨干特征包括第一尺度骨干特征、第二尺度骨干特征、第三尺度骨干特征和第四尺度骨干特征;所述轻量重建解码器包括尺度图预测解码流与偏置图预测解码流;所述将所述适配后多尺度骨干特征输入所述轻量重建解码器,从最深层骨干特征开始,逐级执行转置卷积上采样、同尺度骨干特征逐元素相加与深度可分离卷积特征细化,最终经输出头映射生成第二阶段尺度图与第二阶段偏置图,包括:

34、将第四尺度骨干特征分别输入尺度图预测解码流与偏置图预测解码流,得到初始尺度解码特征和初始偏置解码特征;

35、采用转置卷积分别对所述初始尺度解码特征和所述初始偏置解码特征执行上采样,得到第三尺度上采样尺度特征和第三尺度上采样偏置特征;

36、将所述第三尺度上采样尺度特征与所述第三尺度骨干特征执行逐元素相加,得到第三尺度融合尺度特征;

37、将所述第三尺度上采样偏置特征与第三尺度骨干特征执行逐元素相加,得到第三尺度融合偏置特征;

38、采用深度可分离卷积分别对所述第三尺度融合尺度特征和所述第三尺度融合偏置特征执行特征细化,得到第三尺度尺度解码特征和第三尺度偏置解码特征;

39、采用转置卷积分别对所述第三尺度尺度解码特征和所述第三尺度偏置解码特征执行上采样,得到第二尺度上采样尺度特征和第二尺度上采样偏置特征;

40、将所述第二尺度上采样尺度特征与所述第二尺度骨干特征执行逐元素相加,得到第二尺度融合尺度特征;

41、将所述第二尺度上采样偏置特征与所述第二尺度骨干特征执行逐元素相加,得到第二尺度融合偏置特征;

42、采用深度可分离卷积分别对所述第二尺度融合尺度特征和所述第二尺度融合偏置特征执行特征细化,得到第二尺度尺度解码特征和第二尺度偏置解码特征;

43、采用转置卷积分别对所述第二尺度尺度解码特征和所述第二尺度偏置解码特征执行上采样,得到第一尺度上采样尺度特征和第一尺度上采样偏置特征;

44、将所述第一尺度上采样尺度特征与所述第一尺度骨干特征执行逐元素相加,得到第一尺度融合尺度特征;

45、将所述第一尺度上采样偏置特征与所述第一尺度骨干特征执行逐元素相加,得到第一尺度融合偏置特征;

46、采用深度可分离卷积分别对所述第一尺度融合尺度特征和所述第一尺度融合偏置特征执行特征细化,得到第一尺度尺度解码特征和第一尺度偏置解码特征;

47、采用转置卷积分别对所述第一尺度尺度解码特征和所述第一尺度偏置解码特征执行上采样,得到全分辨率尺度解码特征和全分辨率偏置解码特征;

48、分别对所述全分辨率尺度解码特征和所述全分辨率偏置解码特征执行通道映射,得到第二阶段尺度图与第二阶段偏置图。

49、可选地,还包括:

50、将待处理含反射图像输入最终图像反射去除部署模型中的适配骨干网络,得到目标适配后多尺度骨干特征;

51、将所述目标适配后多尺度骨干特征输入最终图像反射去除部署模型中的轻量重建解码器,经逐级转置卷积上采样、同尺度骨干特征逐元素相加与深度可分离卷积细化的解码处理,生成目标测试尺度图与目标测试偏置图;

52、采用所述目标测试尺度图对所述待处理含反射图像执行逐像素乘性调制,叠加所述目标测试偏置图的逐像素加性校正,通过局部线性重建完成图像重建,得到去除反射干扰后的透射层恢复图像。

53、本发明第二方面提供的一种图像反射去除模型构建装置,包括:

54、获取模块,用于获取单图像反射去除训练源图像,并根据所述单图像反射去除训练源图像构建单图像反射去除训练样本集;

55、提取模块,用于将所述单图像反射去除训练样本集中的含反射输入图像输入至预训练骨干网络进行多层编码下采样提取,得到多尺度骨干特征;

56、第一训练模块,用于将所述多尺度骨干特征输入任务适配解码器,得到骨干适配阶段透射图估计结果,并基于所述骨干适配阶段透射图估计结果和对应真实透射图像计算总损失,根据所述总损失联合优化所述预训练骨干网络和所述任务适配解码器,得到适配骨干网络;

57、冻结模块,用于冻结所述适配骨干网络的网络参数,并在参数冻结后的适配骨干网络的特征输出端接入轻量重建解码器;

58、第二训练模块,用于在所述适配骨干网络的网络参数保持冻结的条件下,将所述含反射输入图像输入所述适配骨干网络提取得到适配后多尺度骨干特征,并基于所述适配后多尺度骨干特征训练所述轻量重建解码器,得到由参数冻结的适配骨干网络与训练完成的轻量重建解码器组成的最终图像反射去除部署模型。

59、本发明第三方面提供的一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上述所述的图像反射去除模型构建方法的步骤。

60、本发明第四方面提供的一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被执行时实现如上述所述的图像反射去除模型构建方法。

61、从以上技术方案可以看出,本发明具有以下优点:

62、本发明上述方案提供了一种图像反射去除模型构建方法,通过获取单图像反射去除训练源图像并构建单图像反射去除训练样本集,将训练样本集中的含反射输入图像输入预训练骨干网络提取多尺度骨干特征,再将多尺度骨干特征输入任务适配解码器得到骨干适配阶段透射图估计结果,基于透射图估计结果与对应真实透射图像计算总损失并联合优化预训练骨干网络与任务适配解码器,得到适配反射去除任务的适配骨干网络,随后冻结适配骨干网络的参数并在其特征输出端接入轻量重建解码器,在适配骨干网络的网络参数保持冻结的条件下,将含反射输入图像输入适配骨干网络提取得到适配后多尺度骨干特征,并基于适配后多尺度骨干特征训练轻量重建解码器,得到由参数冻结的适配骨干网络与训练完成的轻量重建解码器组成的最终图像反射去除部署模型,本发明通过骨干适配阶段的联合优化,使预训练骨干输出的多尺度表征由面向通用视觉任务的表征进一步调整为更具反射去除任务相关性的多尺度表征,使骨干输出的多尺度表征更加适用于反射干扰抑制与透射层恢复,从而降低骨干输出表征与反射去除任务需求之间的差异,同时将骨干任务适配阶段与部署侧轻量解码阶段进行解耦,降低部署解码器对复杂任务相关特征转换的依赖,再通过冻结适配骨干后专项训练轻量重建解码器的方式,在骨干网络已经过第一阶段反射去除任务适配的基础上,利用适配后的多尺度骨干表征完成透射层重建,从而在保持透射层恢复性能的同时降低部署侧解码器的参数量和推理开销,实现恢复性能与部署效率之间的平衡。