一种单视角图像的三维风格迁移方法

技术特征：
1.一种单视角图像的三维风格迁移方法，其特征在于，生成融合原图片和同类别目标图片形状纹理特点的三维模型，包括如下步骤：步骤1、给定原图片s和同类别目标图片t，利用umr的encoder编码器分别提取他们的形状特征f
s
,f
t
、uv map图u
s
,u
t
以及相机位姿p
s
,p
t
和类别语义分割uv map图u
seg
；步骤2、利用双残差门控网络分别提取出形状特征f
s
,f
t
中同语义可融合的形状特征步骤3、设定融合比例因子α来控制同语义的形状特征特征融合的程度，并按照比例融合形状特征生成形状融合特征步骤4、利用mlp网络以形状融合特征为输入得到能够结合两张图形状特点的三维空间点坐标并加到三维类别共同模板上生成特异性三维形状模型；步骤5、计算形状掩码损失l
mask
、感知损失l
per
和三维关键点对应损失l
key
，进行双残差门控网络和mlp网络参数优化；步骤6、利用已训练好的传统纹理风格迁移的vgg网络提取uv map图u
s
,u
t
纹理特征v
s
,v
t
；步骤7、将类别语义分割uv map图u
seg
下采样到纹理特征v
s
,v
t
尺度，并分别将u
seg
除背景部分外其他语义掩码部分分别加到纹理特征v
s
,v
t
上，形成各个语义纹理特征步骤8、用语义纹理特征语义掩码部分的均值和方差去替换语义纹理特征语义掩码部分的均值和方差，并输入到已训练好的传统纹理风格迁移的decoder网络生成语义纹理风格迁移结果，与步骤4中生成的三维形状模型一起构成创新性形状和纹理三维模型。2.根据权利要求1所述的单视角图像的三维风格迁移方法，其特征在于，步骤1中利用umr的encoder编码器分别提取原图片s和目标图片t的形状特征f
s
,f
t
作为初步形状特征，uv map图u
s
,u
t
和类别语义分割uv map图u
seg
具有和三维模型空间点和纹理固定的映射方式并且语义一致。3.根据权利要求1所述的基于单视角图像的三维风格迁移方法，其特征在于，步骤2中的双残差门控网络，利用迭代结构分层提取原图和目标图的形状特征，利用残差结构保持形状特征的原有信息，基于两者形状特征生成门控信息获取形状特征的残差变化。4.根据权利要求1所述的基于单视角图像的三维风格迁移方法，其特征在于，步骤3中的比例因子控制原图和目标图形状特征的融合比例。5.根据权利要求4所述的基于单视角图像的三维风格迁移方法，其特征在于，按照以下公式生成形状融合特征公式生成形状融合特征6.根据权利要求1所述的基于单视角图像的三维风格迁移方法，其特征在于，步骤5中使用生成的创新性三维模型分别在原图相机位姿和目标图相机位姿，投影到二维平面之后的mask掩码与原图和目标图的mask掩码计算iou生成l
mas
，以及投影到二维平面之后带有纹理的图与原图和目标图计算感知损失l
per
，并在投影之后对关键点计算关键点损失l
key
；通过l
mask
和l
per
控制三维模型的总体形状，l
key
则能维持三维模型各个部位之间的相对位置。
7.根据权利要求1所述的基于单视角图像的三维风格迁移方法，其特征在于，步骤7中根据纹理特征和同尺度的类别语义分割uv map图u
seg
语义对应性，利用语义mask掩码构造除语义纹理特征8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的方法的步骤。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法的步骤。10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7中任一所述的方法的步骤。

技术总结
本发明公开了一种单视角图像的三维风格迁移方法，为三维建模领域提供更具有创新特色的三维模型。当输入一张原始图片，一个同类别的目标图片，本方法将目标图片中该类别目标的形状特征以及纹理迁移到原始图片中的目标上，形成具有创新意义的三维目标；本方法由形状迁移模块和纹理迁移模块这两部分组成；其中形状迁移模块目的在于提取两张单视角图片中的三维形状特征并加以融合，实现形状特征的迁移，实现基于单视角图片的三维形状迁移；纹理迁移模块则在传统的纹理风格迁移上加入mask掩码，实现可控制的部分纹理风格迁移。实现可控制的部分纹理风格迁移。实现可控制的部分纹理风格迁移。


技术研发人员：李俊 阙贵敏 王人可 杨健
受保护的技术使用者：南京理工大学
技术研发日：2022.12.21
技术公布日：2023/3/10