利用纹理解析的对象重建的制作方法

技术特征：
1.一种用于生成一个或多个三维(3d)模型的方法，所述方法包括：获得对象的图像；生成所述图像中的所述对象的3d模型，所述3d模型包括几何形状信息；确定用于所述3d模型的色彩信息；基于对所述几何形状信息和用于所述3d模型的所述色彩信息的修改，来生成所述对象的经拟合的3d模型；以及基于所述经拟合的3d模型以及与所述经拟合的3d模型相关联的深度信息来生成所述对象的经细化的3d模型。2.根据权利要求1所述的方法，其中，所述色彩信息包括反照率色彩。3.根据权利要求1所述的方法，其中，生成所述对象的所述3d模型包括：获得通用对象模型；识别所述图像中的所述对象的关键点；以及通过使用所述对象的所识别的关键点将所述通用对象模型拟合到所述图像中的所述对象来生成所述3d模型。4.根据权利要求1所述的方法，其中，生成所述对象的所述经拟合的3d模型以及确定用于所述3d模型的所述色彩信息包括：执行所述3d模型的至少一个顶点级别拟合，所述至少一个顶点级别拟合修改所述3d模型的所述几何形状信息并且使用对象解析遮罩来确定用于所述3d模型的所述色彩信息，所述对象解析遮罩定义所述3d模型的用于色彩调整的一个或多个区域。5.根据权利要求4所述的方法，其中，执行所述3d模型的所述至少一个顶点级别拟合包括：执行所述几何形状信息和所述色彩信息的联合优化。6.根据权利要求4所述的方法，其中，执行所述3d模型的所述至少一个顶点级别拟合包括：识别由所述对象解析遮罩定义的所述一个或多个区域；执行所述3d模型到所述对象的第一顶点级别拟合，所述第一顶点级别拟合通过将所述3d模型的每个顶点移位以拟合所述图像中的所述对象来修改所述3d模型的所述几何形状信息，所述第一顶点级别拟合还确定用于所述3d模型的每个顶点的所述色彩信息；以及执行所述3d模型到所述对象的第二顶点级别拟合，所述第二顶点级别拟合调整用于所述3d模型的被包括在由所述对象解析遮罩标识的所述一个或多个区域中的每个顶点的所述色彩信息。7.根据权利要求6所述的方法，其中，确定用于所述3d模型的每个顶点的所述色彩信息包括：使用聚类算法来确定用于所述3d模型的被包括在由所述对象解析遮罩标识的所述一个或多个区域中的每个顶点的多个候选色彩；以及针对被包括在由所述对象解析遮罩标识的所述一个或多个区域中的每个顶点，从针对每个顶点确定的所述多个候选色彩中选择最亮色彩。8.根据权利要求7所述的方法，其中，所述聚类算法包括k-means算法。9.根据权利要求1所述的方法，其中，生成所述对象的所述经细化的3d模型包括：执行所述经拟合的3d模型的像素级别细化，所述像素级别细化将所述深度信息添加到
所述经拟合的3d模型的一部分中。10.根据权利要求9所述的方法，还包括：使用细化遮罩来确定所述经拟合的3d模型的用于使用所述像素级别细化来添加所述深度信息的所述一部分。11.根据权利要求10所述的方法，其中，所述对象包括面部，并且其中，所述细化遮罩包括眼睛遮罩，所述眼睛遮罩指示所述一部分包括所述面部的在所述面部的眼睛区域之外的区域。12.根据权利要求9所述的方法，其中，执行所述经拟合的3d模型的所述像素级别细化包括：生成用于所述经拟合的3d模型的反照率图像和深度图像；以及使用所述反照率图像和所述深度图像来生成所述经细化的3d模型。13.根据权利要求12所述的方法，还包括：将平滑函数应用于所述经拟合的3d模型。14.根据权利要求13所述的方法，其中，所述平滑函数包括离散laplacian平滑函数。15.根据权利要求1所述的方法，其中，所述对象是面部。16.根据权利要求1所述的方法，还包括：输出所述对象的所述经细化的3d模型。17.一种用于生成一个或多个三维(3d)模型的装置，包括：存储器；以及耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置为：获得对象的图像；生成所述图像中的所述对象的3d模型，所述3d模型包括几何形状信息；确定用于所述3d模型的色彩信息；基于对所述几何形状信息和用于所述3d模型的所述色彩信息的修改，来生成所述对象的经拟合的3d模型；以及基于所述经拟合的3d模型以及与所述经拟合的3d模型相关联的深度信息来生成所述对象的经细化的3d模型。18.根据权利要求17所述的装置，其中，所述色彩信息包括反照率色彩。19.根据权利要求17所述的装置，其中，生成所述对象的所述经拟合的3d模型以及确定用于所述3d模型的所述色彩信息包括：执行所述3d模型的至少一个顶点级别拟合，所述至少一个顶点级别拟合修改所述3d模型的所述几何形状信息并且使用对象解析遮罩来确定用于所述3d模型的所述色彩信息，所述对象解析遮罩定义所述3d模型的用于色彩调整的一个或多个区域。20.根据权利要求19所述的装置，其中，执行所述3d模型的所述至少一个顶点级别拟合包括：执行所述几何形状信息和所述色彩信息的联合优化。21.根据权利要求19所述的装置，其中，执行所述3d模型的所述至少一个顶点级别拟合包括：识别由所述对象解析遮罩定义的所述一个或多个区域；执行所述3d模型到所述对象的第一顶点级别拟合，所述第一顶点级别拟合通过将所述
3d模型的每个顶点移位以拟合所述图像中的所述对象来修改所述3d模型的所述几何形状信息，所述第一顶点级别拟合还确定用于所述3d模型的每个顶点的所述色彩信息；以及执行所述3d模型到所述对象的第二顶点级别拟合，所述第二顶点级别拟合调整用于所述3d模型的被包括在由所述对象解析遮罩标识的所述一个或多个区域中的每个顶点的所述色彩信息。22.根据权利要求21所述的装置，其中，确定用于所述3d模型的每个顶点的所述色彩信息包括：使用聚类算法来确定用于所述3d模型的被包括在由所述对象解析遮罩标识的所述一个或多个区域中的每个顶点的多个候选色彩；以及针对被包括在由所述对象解析遮罩标识的所述一个或多个区域中的每个顶点，从针对每个顶点确定的所述多个候选色彩中选择最亮色彩。23.根据权利要求17所述的装置，其中，生成所述对象的所述经细化的3d模型包括：执行所述经拟合的3d模型的像素级别细化，所述像素级别细化将所述深度信息添加到所述经拟合的3d模型的一部分中。24.根据权利要求23所述的装置，其中，所述一个或多个处理器被配置为：使用细化遮罩来确定所述经拟合的3d模型的用于使用所述像素级别细化来添加所述深度信息的所述一部分。25.根据权利要求23所述的装置，其中，执行所述经拟合的3d模型的所述像素级别细化包括：生成用于所述经拟合的3d模型的反照率图像和深度图像；以及使用所述反照率图像和所述深度图像来生成所述经细化的3d模型。26.根据权利要求17所述的装置，其中，所述对象是面部。27.根据权利要求17所述的装置，其中，所述装置包括移动设备。28.根据权利要求17所述的装置，其中，所述装置包括：显示器，其被配置为显示所述对象的所述经细化的3d模型。29.根据权利要求17所述的装置，其中，所述装置包括：相机，其被配置为捕获所述图像。30.一种具有存储在其上的指令的非暂时性计算机可读介质，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器进行以下操作：获得对象的图像；生成所述图像中的所述对象的3d模型，所述3d模型包括几何形状信息；确定用于所述3d模型的色彩信息；基于对所述几何形状信息和用于所述3d模型的所述色彩信息的修改，来生成所述对象的经拟合的3d模型；以及基于所述经拟合的3d模型以及与所述经拟合的3d模型相关联的深度信息来生成所述对象的经细化的3d模型。

技术总结
提供了用于生成一个或多个三维(3D)模型的技术。在一个示例中，获得对象(例如，面部或其它对象)的图像，并且生成图像中的对象的3D模型。3D模型包括几何形状信息。确定用于3D模型的色彩信息，并且基于对几何形状信息和用于3D模型的色彩信息的修改，来生成对象的经拟合的3D模型。在一些情况下，色彩信息(例如，对色彩信息的确定和/或修改)和经拟合的3D模型可以是基于一个或多个顶点级别拟合过程的。基于经拟合的3D模型以及与经拟合的3D模型相关联的深度信息来生成对象的经细化的3D模型。在一些情况下，经细化的3D模型可以是基于像素级别细化或拟合过程的。细化或拟合过程的。细化或拟合过程的。


技术研发人员：C-M
受保护的技术使用者：高通股份有限公司
技术研发日：2021.05.17
技术公布日：2023/1/31