用于构建三维扫描人体模型的方法和装置与流程

技术特征：
1.一种用于对象构建的电子装置，所述电子装置包括：处理器，配置成：获得对象的三维扫描图；通过最小化已建参数模型与所述三维扫描图之间的表面距离和三维关节误差，将所述已建参数模型匹配到所述三维扫描图；识别所述已建参数模型与所述三维扫描图之间的对应关系；基于所述对应关系将所述已建参数模型的属性转移到所述三维扫描图从而生成所构三维扫描图；以及将动画动作应用到所述所构三维扫描图，其中，具有所应用的动画动作的所述所构三维扫描图呈现在显示器上。2.根据权利要求1所述的电子装置，其中，为了将所述已建参数模型匹配到所述三维扫描图，所述处理器配置成：从所述三维扫描图的不同取向识别所述三维扫描图的多个二维界标；组合来自所述三维扫描图的所述不同取向的所述多个二维界标以识别所述三维扫描图的三维界标，其中，所述三维界标是所述三维扫描图上的与所述多个二维界标的集合对应的坐标集合；基于所述三维扫描图的三维界标与所述已建参数模型的三维关节之间的差异，识别所述三维关节误差；以及最小化所述三维关节误差以及最小化所述三维扫描图的表面与所述已建参数模型之间的距离。3.根据权利要求1所述的电子装置，其中，所述处理器还配置成：生成所述已建参数模型的能够修改的局部区域；以及通过使所述已建参数模型的所述局部区域变形来修改所述已建参数模型的所述局部区域，以匹配所述三维扫描图的相应形状。4.根据权利要求1所述的电子装置，其中：为了识别所述已建参数模型与所述三维扫描图之间的所述对应关系，所述处理器配置成：将所述已建参数模型的区域关联到所述三维扫描图的相应顶点，以及为了将所述已建参数模型的属性转移到所述三维扫描图，所述处理器配置成：将与所述已建参数模型的可识别部分相关联的关节、蒙皮权重、uv坐标和标记关联到所述三维扫描图。5.根据权利要求1所述的电子装置，其中：所述对象为人体模型；以及所述处理器还配置成：在所述三维扫描图中识别所述人体模型的手和脚；以及用模板网格替换所述所构三维扫描图的手，并且用扫描网格替换所述所构三维扫描图的脚。6.根据权利要求1所述的电子装置，其中，所述处理器还配置成：将所述已建参数模型的身体标记信息转移到所述所构三维扫描图；基于所述身体标记信息在与两个或更多预定义身体部位对应的顶点处分割所述所构
三维扫描图；在将所述所构三维扫描图分割成多个三维部分之后，基于所述对应关系将坐标从所述已建参数模型转移到所述所构三维扫描图；基于已转移的坐标生成包括二维位移图像和颜色图像的二维图像，其中，所述二维位移图像和所述颜色图像代表所述所构三维扫描图的由所述身体标记信息指示的所述多个三维部分，并且所述二维位移图像的第一位移图像与所述颜色图像的第一颜色图像相对应；修改所述二维图像的二维位移图像和颜色图像；以及基于经修改的所述二维位移图像和所述颜色图像对所述所构三维扫描图进行重构。7.根据权利要求6所述的电子装置，其中，为了将所述坐标从所述已建参数模型转移到所述所构三维扫描图，所述处理器配置成：基于对来自所述已建参数模型的最近三角形的第一uv坐标进行插值来识别所述三维扫描图的顶点的uv坐标；以及将所述顶点的uv坐标转移到二维域以生成所述二维图像的二维位移图像和颜色图像。8.根据权利要求6所述的电子装置，其中，为了修改所述二维位移图像和所述颜色图像，所述处理器配置成：向所述二维位移图像和所述颜色图像的边界添加填充，以防止在经重构的所构三维扫描图的、与所述已建参数模型的预定义身体部位的不同部分相对应的区域处出现颜色不连续。9.根据权利要求6所述的电子装置，其中：所述处理器还配置成：识别所述第一位移图像和所述第一颜色图像的包括孔洞的部分，其中，所述孔洞代表所述所构三维扫描图的缺少几何形状和纹理的区域，以及为了修改所述第一位移图像和所述第一颜色图像，所述处理器配置成：基于所述已建参数模型的相应表面在所述第一位移图像的孔洞处添加几何形状以填充所述孔洞，基于所述第一颜色图像的纹理向所添加的几何形状添加纹理，以及向所述二维位移图像和所述颜色图像的、在所述二维位移图像和所述颜色图像的边界附近的区域添加填充。10.根据权利要求1所述的电子装置，其中，为了获得所述三维扫描图，所述处理器配置成：拼接所述对象的、来自相机和深度相机中的至少一个的多个二维视图。11.一种用于对象构建的方法，包括：获得对象的三维扫描图；通过最小化已建参数模型与所述三维扫描图之间的表面距离以及最小化三维关节误差，将所述已建参数模型匹配到所述三维扫描图；识别所述已建参数模型与所述三维扫描图之间的对应关系；基于所述对应关系将所述已建参数模型的属性转移到所述三维扫描图以生成所构三维扫描图；以及将动画动作应用到所述所构三维扫描图，其中，将具有所应用的动画动作的所述所构三维扫描图呈现在显示器上。12.根据权利要求11所述的方法，其中，将所述已建参数模型匹配到所述三维扫描图包
括：从所述三维扫描图的不同取向识别所述三维扫描图的多个二维界标；组合来自所述三维扫描图的所述不同取向的所述多个二维界标以识别所述三维扫描图的三维界标，其中，所述三维界标是所述三维扫描图上的与所述多个二维界标的集合对应的坐标集合；基于所述三维扫描图的三维界标与所述已建参数模型的三维关节之间的差异，识别所述三维关节误差；以及最小化所述三维关节误差以及最小化所述三维扫描图的表面与所述已建参数模型之间的距离。13.根据权利要求11所述的方法，还包括：生成所述已建参数模型的能够修改的局部区域；以及通过使所述已建参数模型的所述局部区域变形来修改所述已建参数模型的所述局部区域以匹配所述三维扫描图的相应形状。14.根据权利要求11所述的方法，其中：识别所述已建参数模型与所述三维扫描图之间的所述对应关系包括：将所述已建参数模型的区域关联到所述三维扫描图的相应顶点，以及将所述已建参数模型的属性转移到所述三维扫描图包括：将与所述已建参数模型的可识别部分相关的关节、蒙皮权重、uv坐标和标记关联到所述三维扫描图。15.根据权利要求11所述的方法，其中，所述对象是人体模型，所述方法还包括：在所述三维扫描图中识别所述人体模型的手和脚；以及用模板网格替换所述所构三维扫描图的手，并且用扫描网格替换所述所构三维扫描图的脚。

技术总结
一种用于对象构建的电子装置，其包括处理器。处理器配置成：获得对象的三维扫描图。处理器还配置成：通过最小化已建参数模型与三维扫描图之间的表面距离以及最小化三维关节误差，将已建参数模型与三维扫描图相匹配。处理器还配置成：识别已建参数模型与三维扫描图之间的对应关系。此外，处理器配置成：基于对应关系将已建参数模型的属性转移到三维扫描图以生成所构三维扫描图。处理器还配置成：将动画动作应用到所构三维扫描图。具有所应用的动画动作的所构三维扫描图呈现在显示器上。的所构三维扫描图呈现在显示器上。的所构三维扫描图呈现在显示器上。


技术研发人员：罗然 郭小虎 倪赛凤
受保护的技术使用者：三星电子株式会社
技术研发日：2020.08.13
技术公布日：2022/4/1