基于帧感知空间注意力和相机位姿的双视图去反射方法
本发明涉及图像处理,尤其涉及一种基于帧感知空间注意力和相机位姿的双视图去反射方法。
背景技术:
1、在博物馆展柜、车辆风挡、建筑玻璃幕墙和商店橱窗等场景中,相机接收的图像通常由目标场景的透射层与玻璃表面形成的反射层叠加而成。图像去反射的目标是从含有反射的混合图像中恢复清晰、干净的透射层。对于单张图像,任意一幅混合图像都可能对应多种透射层与反射层的组合,因此,单图像去反射在本质上属于欠约束问题。当反射强度较高、结构较为复杂或者局部出现过曝时,现有单图像去反射方法容易将反射内容误认为真实背景,或者错误删除真实背景中的纹理和结构,进而产生反射残留、颜色漂移、纹理丢失等问题。
2、为了缓解单图像去反射的欠约束性,现有技术通常通过引入额外信息辅助区分透射层与反射层。例如,部分方法采用偏振片、近红外成像设备、闪光与非闪光图像对等方式获取额外物理线索,但这些方法需要增加专用硬件或额外拍摄操作,限制了其在普通移动终端上的应用。另一些方法通过移动相机连续拍摄多幅图像,利用不同视点之间的运动差异分离透射层与反射层,但多帧拍摄会增加用户操作负担和计算开销,并且通常要求场景在拍摄过程中保持静止。随着双摄像头在手机、车载相机和其他移动终端中的普及,用户可以通过一次快门同步获得同一场景的两幅不同视点图像,也可以通过短时间轻微移动相机获得两幅具有一定视差的图像。由于真实透射场景与玻璃中的虚像反射通常处于不同深度,二者在两个视点之间会产生不同的视差,因此,双视图信息可以为透射层与反射层的分离提供有效线索,同时比长序列拍摄更加便捷。
3、现有双视图去反射方法(如simon niklaus, xuaner cecilia zhang, jonathant. barron, et al. learned dual-view reflection removal. wacv, 2021: 3713–3722),通常先估计两幅图像之间的显式光流,再根据光流对其中一幅图像进行变形和对齐,最后利用对齐后的图像合成透射层(如图1所示)。然而,在含反射区域中,一个像素往往同时包含透射层的运动和反射层的运动,即同一像素可能对应两种不同的运动模式,而常规光流通常只能表示一种运动。因此,在强反射、遮挡、重复纹理或视差较大的区域,显式光流容易产生估计错误,并将对齐误差传递至后续的透射层重建过程。
4、另一方面,现有单图像扩散去反射方法(jichen hu, chen yang, zanwei zhou,et al. dereflection any image with diffusion priors and diversified data.arxiv:2503.17347, 2025,实现方法如图2所示),虽然能够利用预训练生成模型的图像先验,但没有充分利用第二视点所提供的互补观测、层间视差以及相机运动信息。
5、此外,常规多视图扩散注意力允许两路带噪目标特征双向交互,容易使不同视点的扩散噪声相互传播;若直接引入三维网络层,又会改变预训练二维生成模型的特征结构,难以完整复用预训练权重。
技术实现思路
1、本发明针对现有技术的问题,提出一种基于帧感知空间注意力和相机位姿的双视图去反射方法,通过帧感知空间注意力隐式汇聚两个视点之间的多种可能对应关系,并将相对相机位姿作为软条件注入扩散网络,在避免显式光流估计脆弱性的同时,充分利用双视图几何线索,实现对复杂反射的稳定去除以及对真实背景内容的有效保持。
2、为了实现上述目的,本发明提供如下技术方案:
3、本发明提供一种基于帧感知空间注意力和相机位姿的双视图去反射方法,包括以下步骤:
4、步骤s1、双视图与位姿获取:
5、获取同一含反射场景的第一含反射图像 、第二含反射图像 ,以及两个图像对应相机位姿 、;
6、步骤s2、联合潜变量构建:
7、将两幅含反射图像的干净条件潜变量与两路带噪透射潜变量按通道构成联合输入,由同一去噪网络同步输出两个视点的透射层;
8、步骤s3、帧感知空间注意力去噪:
9、带噪透射特征仅生成查询,两个视点的干净含反射条件特征仅生成键和值,从而实现跨视图信息交换并阻断带噪特征之间的相互传播;
10、步骤s4、位姿软条件注入:
11、利用归一化相对平移方向和相对四元数旋转形成7维位姿,经 mlp 编码后按缩放因子叠加至扩散时刻嵌入,得到全局软条件;
12、步骤s5、双视图透射层解码:
13、在全局软条件下迭代预测两个视点的噪声,通过预设扩散采样器逐步获得两路干净透射潜变量,再由冻结或微调的 vae 解码器输出待恢复的透射层 、。
14、进一步地,步骤s1中,双视图由移动终端的两个相机同步获取,或由同一相机在一段时间内移动后顺序获取;相机位姿由设备 imu、陀螺仪、视觉惯性里程计或相机标定结果给出。
15、进一步地,步骤s1中,对于第 个视点,含反射图像的混合成像模型为:
16、;
17、其中,为待恢复的透射层,为待抑制的反射层;相加操作在近似线性光强空间进行。
18、进一步地,步骤s1中,对于已经执行色调映射的图像,通过网络端到端学习其非线性混合关系。
19、进一步地,步骤s2中,采用冻结的 vae 编码器 将两幅含反射图像和训练阶段对应的透射真值分别映射至潜空间,含反射图像得到干净条件潜变量 、,透射真值得到 、,当输入图像分辨率为 h×w 时,各潜变量尺寸为 4×h×w,其中 h=h/8、w=w/8,向透射潜变量加入扩散噪声得到 、,并按通道连接得到:
20、,
21、,
22、;
23、将 sd v2.1 的 u-net 首层输入通道由4扩展为16、末层输出通道由4扩展为8,使一个网络在一次前向过程中同时预测两个视点的噪声。
24、进一步地,步骤s3中,带噪透射查询部分 与干净含反射条件部分 表示为:
25、;
26、;
27、、分别重排为空间序列 、表示为:
28、;
29、。
30、进一步地,步骤s3中,在 u-net 的16×16和32×32上采样层,将中间特征拆分为带噪透射查询部分 与干净含反射条件部分 ,并分别重排为空间序列 、,将 与 沿序列维连接,并使用 sd v2.1 预训练的查询、键和值投影矩阵 、、 得到 、、;随后只从带噪透射位置截取查询 q,只从干净条件位置截取键 k 和值 v;
31、查询 q、键 k 和值 v表示为:
32、,
33、,
34、;
35、将 与 沿序列维连接表示为:
36、。
37、进一步地,步骤s4中,将每个相机位姿表示为 ,其中 为平移, 为单位四元数旋转,根据两个视点计算相对位姿;将7维相对位姿输入两层mlp,隐藏维度为256,得到位姿嵌入 ,并以缩放因子 与扩散时刻嵌入 相加得到全局软条件;
38、根据两个视点计算相对位姿表示为:
39、
40、位姿嵌入 表示为:
41、;
42、全局软条件表示为:
43、;
44、。
45、进一步地,模型训练采用由易到难的两阶段课程训练,第一阶段使用768×768半合成双视图数据,反射强度 ;以15%概率用视图1替换视图2、另以15%概率用视图2替换视图1,并将相对位姿设为零;在剩余70%的真实双视图样本中,以25%的条件概率丢弃位姿,使模型在缺少有效视差或位姿时能够退化为单图先验;第二阶段将反射强度设为截断到[0.4,1.2]的 n(0.8,0.2),并加入运动模糊、色差和重影,以增强对强反射的鲁棒性。
46、第二方面,本发明还提供一种本发明还提供一种图像处理系统,以实现上述任一项所述的方法,包括以下模块:
47、双视图与位姿获取模块,用于获取同一含反射场景的第一含反射图像 、第二含反射图像 ,以及两个图像对应相机位姿 、;
48、联合潜变量构建模块,用于将两幅含反射图像的干净条件潜变量与两路带噪透射潜变量按通道构成联合输入,由同一去噪网络同步输出两个视点的透射层;
49、帧感知空间注意力去噪模块,用于将带噪透射特征仅生成查询,将两个视点的干净含反射条件特征仅生成键和值,从而实现跨视图信息交换并阻断带噪特征之间的相互传播;
50、位姿软条件注入模块,利用归一化相对平移方向和相对四元数旋转形成7维位姿,经 mlp 编码后按缩放因子叠加至扩散时刻嵌入,得到全局软条件;
51、双视图透射层解码模块,用于在全局软条件下迭代预测两个视点的噪声,通过预设扩散采样器逐步获得两路干净透射潜变量,再由冻结或微调的 vae 解码器输出待恢复的透射层 、。
52、第三方面,本发明还提供一种本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有程序指令,所述程序指令被处理器执行时实现上述任一项所述的方法。
53、第四方面,本发明还提供一种本发明还提供一种电子设备,包括处理器和存储器,所述存储器中存储有程序指令,所述程序指令由所述处理器执行时实现上述任一项所述的方法。
54、与现有技术相比,本发明的有益效果为:
55、1、本发明的方法,不需要为每个像素确定唯一显式光流,也不执行基于光流的硬变形,避免双层运动造成的光流歧义和误差传播,解决含反射区域存在透射运动与反射运动两种运动模式时,显式光流只能给出单一对应关系、对齐误差易向去反射结果传播的问题。相较依赖场景特定优化的多帧方法,双视图输入操作更简洁且推理速度可提高约60倍。
56、2、本发明的方法,通过两个视点的互补观测缓解单图透射—反射分解的欠约束性,解决现有单图扩散去反射方法无法利用双视图互补信息和深度视差,面对强反射、结构复杂反射时分解不稳定的问题,提高透射层恢复准确性;真实数据显示,本发明方案相对强单图扩散基线提升超过10%。
57、3、本发明的方法,采用定向注意力使带噪目标只从干净条件取键和值,阻断跨视图噪声泄漏,同时复用预训练二维扩散模型的投影权重,降低训练难度并保持生成先验,解决普通跨视图联合注意力中的带噪特征相互污染问题,并在不破坏预训练二维扩散模型参数结构的条件下实现跨视图信息交换。
58、4、本发明的方法,相对位姿采用平移方向与四元数旋转并以软条件注入,对消费级 imu 的平移尺度漂移不敏感,不需要高精度三维硬约束,解决手机 imu 推算的平移量存在累积漂移、硬几何约束对位姿精度敏感的问题,使普通移动终端的低精度位姿仍能提供有效几何引导。
59、5、本发明的方法,兼容同步双摄、顺序双拍、无位姿以及单图回退模式,能够部署于手机摄影、车载视觉、展陈数字化、隔窗监控和计算摄影软件。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com