一种基于扩散模型的图像视角生成方法、设备及介质
本发明涉及图像生成,特别是一种基于扩散模型的图像视角生成方法、设备及介质。
背景技术:
1、随着深度学习图像处理技术的发展,扩散模型因具备逐步去噪、条件约束和高质量细节恢复能力,已被应用于图像生成、图像补全和新视角合成等任务,在单一参考视角图像输入条件下,通常通过图像编码提取参考特征,并结合目标视角位姿条件,在扩散模型的逆向去噪过程中逐步生成目标视角图像内容。
2、在现有基于扩散模型的视角生成处理中,参考图像特征通常作为整体条件进入去噪过程,低频结构内容与高频纹理内容缺少分阶段注入关系,同时源视角与目标视角之间的重叠区域、遮挡后新显露区域和边界过渡区域缺少差异化承接规则,在大视角变化或局部遮挡场景下,容易出现结构外推和纹理复用相互干扰,使图像生成过程难以同时保持目标视角结构落位、局部纹理连续和过渡区域自然接续。
技术实现思路
1、鉴于上述现有存在的问题,提出了本发明。
2、因此,本发明提供了一种基于扩散模型的图像视角生成方法解决跨视角图像生成中结构一致性与纹理真实性难以协同保持的问题。
3、为解决上述技术问题,本发明提供如下技术方案:
4、第一方面,本发明提供了一种基于扩散模型的图像视角生成方法,其包括:
5、采集源视角二维图像和目标视角位姿条件,对源视角二维图像进行有效成像区域定位,得到二维图像生成关注区域,并将二维图像生成关注区域进行目标视角条件匹配,生成源视角图像基准谱;从源视角图像基准谱提取多尺度参考特征,对多尺度参考特征进行频率解耦,得到低频结构特征和高频纹理特征,并按照扩散模型的去噪时间步建立低频先行约束、高频后置补偿的分阶段注入关系,生成双频时序参考特征链;基于双频时序参考特征链和目标视角位姿条件进行跨视角空间对应预测,生成视角重叠掩码谱,并按照视角重叠掩码谱划分重叠复用区、新视角盲区和过渡可信区,对低频结构特征和高频纹理特征进行分区引导,生成掩码感知双流融合特征;将掩码感知双流融合特征输入扩散模型,结合目标视角位姿条件进行二维图像逆向去噪采样,并将去噪潜空间表示映射回二维像素空间,生成目标视角候选图像;对目标视角候选图像进行输出回证分流,并回接视角重叠掩码谱和双频时序参考特征链进行局部重采样,形成目标视角生成图像。
6、作为本发明所述基于扩散模型的图像视角生成方法的一种优选方案,其中,所述生成源视角图像基准谱,具体如下:
7、采集源视角二维图像和目标视角位姿条件,对源视角二维图像进行图像接入整理,并核对目标视角位姿条件中的目标视角位姿要素的完整性,将源视角二维图像与目标视角位姿条件进行对应关联,生成源视角接入记录;
8、从源视角接入记录中提取源视角二维图像,对源视角二维图像进行有效成像区域定位,移出不参与目标视角生成的非有效成像内容,并对有效生成图像部分进行区域闭合整理,得到二维图像生成关注区域;
9、将二维图像生成关注区域与目标视角位姿条件进行目标视角条件匹配,并按照二维图像生成关注区域的图像位置建立目标视角条件索引,保留二维图像生成关注区域中的主体结构和纹理细节,形成关注区域视角挂接记录;
10、基于关注区域视角挂接记录,对二维图像生成关注区域和目标视角位姿条件进行统一封装,并将源视角二维图像中的可用生成内容进行视角条件对应,写入同一图像处理承载位置,生成源视角图像基准谱。
11、作为本发明所述基于扩散模型的图像视角生成方法的一种优选方案,其中,所述得到低频结构特征和高频纹理特征,具体如下:
12、从源视角图像基准谱中提取二维图像生成关注区域,按照不同图像尺度对二维图像生成关注区域进行特征提取,并将不同尺度下的结构特征和纹理特征按照图像位置进行整理对齐,生成多尺度参考特征;
13、对多尺度参考特征进行频率解耦,将多尺度参考特征中的低频成分拆取为低频结构特征,并对未被低频结构特征覆盖的高频变化内容进行残差拆取,得到高频纹理特征。
14、作为本发明所述基于扩散模型的图像视角生成方法的一种优选方案,其中,所述生成双频时序参考特征链,具体如下:
15、依据扩散模型的去噪时间步,将低频结构特征挂接到扩散模型的早段去噪时间步,将高频纹理特征挂接到扩散模型的中段去噪时间步和后段去噪时间步,并对低频结构特征和高频纹理特征分别写入对应的注入顺序和注入阶段,形成双频时序落位记录;
16、根据双频时序落位记录,在扩散模型的早段去噪时间步将低频结构特征写入早段去噪条件位置,在扩散模型的中段去噪时间步接续低频结构特征并开放高频纹理特征,在扩散模型的后段去噪时间步强化高频纹理特征对高频细节的补偿,形成低频先行约束和高频后置补偿的分阶段注入关系;
17、对分阶段注入关系进行时序顺序编排,并将低频结构特征的先行约束位置和高频纹理特征的后置补偿位置接续到同一时序特征承载位置,生成双频时序参考特征链。
18、作为本发明所述基于扩散模型的图像视角生成方法的一种优选方案,其中,所述生成视角重叠掩码谱,具体如下:
19、从双频时序参考特征链中定位低频结构特征和高频纹理特征,按照源视角图像基准谱中的图像处理坐标顺序,将低频结构特征对应的结构承载位置与高频纹理特征对应的纹理承载位置进行双频同位对齐,形成双频同位对齐片段;
20、将目标视角位姿条件关联至双频同位对齐片段,按照目标视角位姿条件对双频同位对齐片段中的图像位置进行目标视角落位推算,形成跨视角空间对应基准;
21、基于跨视角空间对应基准,对目标视角落位预标后的图像位置进行源目标视角对应关系核验,将能够由源视角图像位置承接到目标视角图像位置的位置写入重叠可信位置,将不能由源视角图像位置直接承接但需要目标视角生成的位置写入盲区生成位置,并按照图像位置连续关系封装重叠可信位置和盲区生成位置,生成视角重叠掩码谱。
22、作为本发明所述基于扩散模型的图像视角生成方法的一种优选方案,其中,所述生成掩码感知双流融合特征,具体如下:
23、按照视角重叠掩码谱中的图像位置对应关系,将重叠可信位置标记为重叠复用区,将盲区生成位置标记为新视角盲区,并将重叠可信位置与盲区生成位置之间的连续接续位置标记为过渡可信区,形成掩码分区记录;
24、基于掩码分区记录,对低频结构特征和高频纹理特征进行分区引导,将重叠复用区的高频复用位置、新视角盲区的低频承接位置和过渡可信区的双频接续位置写入同一图像处理融合承载位置,生成掩码感知双流融合特征。
25、作为本发明所述基于扩散模型的图像视角生成方法的一种优选方案,其中,所述生成目标视角候选图像,具体如下:
26、将掩码感知双流融合特征和目标视角位姿条件输入扩散模型,并按照扩散模型的去噪时间步将目标视角位姿条件关联至掩码感知双流融合特征,形成目标视角去噪条件片段;
27、基于目标视角去噪条件片段进行二维图像逆向去噪采样,沿去噪时间步顺序逐步接续掩码感知双流融合特征,并结合目标视角位姿条件对去噪时间步中的图像生成方向执行目标视角落位约束,形成去噪潜空间表示;
28、对去噪潜空间表示进行潜空间解码映射,将去噪潜空间表示转换到二维像素空间,并按照目标视角位姿条件对应的目标视角图像位置关系进行像素落位,形成目标视角二维像素承载片段;
29、对目标视角二维像素承载片段进行像素内容整理和图像边界封装,将目标视角二维像素承载片段中的二维像素内容固化为目标视角图像内容,生成目标视角候选图像。
30、作为本发明所述基于扩散模型的图像视角生成方法的一种优选方案,其中,所述形成目标视角生成图像,具体如下:
31、按照目标视角位姿条件核对目标视角候选图像中的图像落位关系,并结合视角重叠掩码谱定位重叠复用区、新视角盲区和过渡可信区在目标视角候选图像中的对应图像位置,形成目标视角输出回证片段;
32、对目标视角输出回证片段进行输出回证分流,将回证贴合的图像位置写入保留位置,将回证偏离的图像位置写入回接位置,形成目标视角候选分流记录;
33、按照目标视角候选分流记录定位回接位置,将回接位置回接至视角重叠掩码谱中的对应图像位置,定位回接位置对应的重叠复用区、新视角盲区与过渡可信区,并将回接位置回接至双频时序参考特征链中的对应去噪时间步,形成局部重采样片段;
34、依据局部重采样片段中的回接位置和同一去噪时间步挂接的特征内容,按照回接位置在视角重叠掩码谱中的分区归属选择特征接入方式,并限定局部重采样范围,对回接位置执行局部去噪重构,将重构后的图像内容回贴至目标视角候选图像中的回接位置,并与保留位置中的图像内容接续封装,形成目标视角生成图像。
35、第二方面,本发明提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其中:所述计算机程序被处理器执行时实现如本发明第一方面所述的基于扩散模型的图像视角生成方法的任一步骤。
36、第三方面,本发明提供了一种计算机可读存储介质,其上存储有计算机程序,其中:所述计算机程序被处理器执行时实现如本发明第一方面所述的基于扩散模型的图像视角生成方法的任一步骤。
37、本发明有益效果为:通过掩码分区记录对重叠复用区、新视角盲区和过渡可信区进行分区引导,将高频纹理特征、低频结构特征和双频接续内容分别写入对应图像处理融合承载位置,实现不同视角区域内结构承接、纹理复用和边界过渡的协同控制,使图像生成过程能够在目标视角下保持主体结构稳定、纹理细节连续和过渡区域自然融合。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com