使用神经网络在3D资产渲染中传输几何和纹理样式的制作方法

技术特征：
1.一种计算机实现的方法，包括：接收源三维3d对象模型；接收目标3d对象模型；确定与所述源3d对象模型相对应的一个或更多个源几何段；确定与所述目标3d对象模型相对应的一个或更多个目标几何段；至少部分地基于所述一个或更多个目标几何段的对应目标形状来调整所述一个或更多个源几何段的相应形状；以及至少部分地基于所述一个或更多个源几何段的调整后的相应形状生成样式化3d对象模型。2.根据权利要求1所述的计算机实现的方法，还包括：确定源纹理；确定目标纹理；使用一个或更多个经训练的神经网络生成样式化纹理；以及将所述样式化纹理应用于所述样式化3d对象模型。3.根据权利要求1所述的计算机实现的方法，还包括：生成所述样式化3d对象模型的多个视图；对所述多个视图中的每个视图应用掩模，以识别一个或更多个背景像素；以及从所述样式化3d对象模型中移除从所述一个或更多个背景像素计算出的一个或更多个特征。4.根据权利要求1所述的计算机实现的方法，其中调整所述相应形状包括对所述一个或更多个源几何段应用3d仿射变换。5.根据权利要求1所述的计算机实现的方法，其中所述目标对象的所述一个或更多个几何段或所述源对象的所述一个或更多个几何段中的至少一部分分割是半监督的。6.根据权利要求1所述的计算机实现的方法，还包括：对于所述一个或更多个源几何段，确定一个或更多个椭球近似。7.根据权利要求1所述的计算机实现的方法，还包括：确定与所述源3d对象模型和所述目标3d对象模型相关联的对象类型；以及至少部分地基于所述对象类型，确定用于所述一个或更多个源几何段的段数。8.根据权利要求1所述的计算机实现的方法，其中所述调整所述相应形状包括使用几何样式传输网络调整所述相应形状，所述几何样式传输网络已经至少部分地在一组非纹理几何形状上进行了训练。9.根据权利要求1所述的计算机实现的方法，还包括：至少部分地基于一个或更多个图像数据集来训练纹理样式传输网络。10.一种方法，包括：使用经训练的第一神经网络处理源对象，以确定所述源对象的一个或更多个源几何特征；使用所述经训练的第一神经网络处理目标对象，以确定所述目标对象的一个或更多个目标几何特征；至少部分地基于所述一个或更多个目标几何特征调整选定的源几何特征；以及
至少部分地基于调整后的选定源几何特征来生成输出对象。11.根据权利要求10所述的方法，还包括：使用经训练的第二神经网络处理所述源对象，以确定所述源对象的源纹理；使用所述经训练的第二神经网络处理所述目标对象，以确定所述目标对象的目标纹理；至少部分地基于所述目标纹理调整所述源纹理的一个或更多个特征；至少部分地基于调整后的一个或更多个特征来生成输出纹理；以及将所述输出纹理应用于所述输出对象。12.根据权利要求10所述的方法，还包括：生成所述输出对象的多个视图，所述多个视图中的每个视图处于不同角度；以及使用所述多个视图确定与背景相关联的所述输出对象的一个或更多个特征。13.根据权利要求12所述的方法，还包括：至少部分地基于所述一个或更多个特征调整所述输出对象，以移除与所述背景相关联的所述一个或更多个特征。14.根据权利要求10所述的方法，还包括：相对于所述源对象的一个或更多个源几何特征分割所述源对象；以及相对于所述目标对象的所述一个或更多个目标几何特征分割所述目标对象。15.根据权利要求14所述的方法，其中用于所述分割的段数至少部分地基于所述源对象或所述目标对象中的至少一个的对象类型。16.一种方法，包括：将源三维3d对象分割成一个或更多个源组件；将目标3d对象分割成一个或更多个目标组件；确定所述一个或更多个源组件中的至少一个和所述一个或更多个目标组件中的相应的至少一个之间的差异；至少部分地基于所述差异来扭曲所述一个或更多个源组件中的所述至少一个；以及至少部分地基于所扭曲的所述一个或更多个源组件中的至少一个源组件来生成一个或更多个样式化组件。17.根据权利要求16所述的方法，还包括：使用所述一个或更多个样式化组件来生成样式化对象。18.根据权利要求16所述的方法，其中所述差异至少部分地基于倒角距离。19.根据权利要求16所述的方法，其中至少部分地使用仿射变换来执行所述扭曲。20.根据权利要求16所述的方法，其中用于所述源3d对象的段数至少部分地基于所述源3d对象的对象类型。

技术总结
本公开涉及使用神经网络在3D资产渲染中传输几何和纹理样式。对于没有足够的内容创建技能集的用户来说，生成三维(3D)对象模型可能具有挑战性，并且可能需要大量资源。一个或更多个样式传输网络可用于将源资产的几何特征和纹理组件的部分感知样式转换为目标资产。可以将源资产分割为特定部分，然后根据特定部分与目标资产的对应关系扭曲椭球近似。此外，与目标资源相关联的纹理可用于扭曲或调整源纹理，其中新纹理可应用于扭曲的部分。其中新纹理可应用于扭曲的部分。其中新纹理可应用于扭曲的部分。


技术研发人员：尹康学 高俊 M
受保护的技术使用者：辉达公司
技术研发日：2022.08.01
技术公布日：2023/3/10