一种人体表面重建方法、终端设备及存储介质

1.本发明涉及计算机视觉领域，尤其涉及一种人体表面重建方法、终端设备及存储介质。


背景技术：

2.3d几何通常以范围图像(激光扫描、结构光等)或更复杂结构的测量(激光雷达)的形式获取。无序的点集(点云)是扫描物体或场景的组合注册结果的常用表示。点云可以通过其他方式获得，例如，通过使用射线投射对隐性表面进行采样。从离散的点云中计算出一个连续的表面表示(例如，一个多边形网格、一个隐式表面或一组参数补丁)，其对噪声具有鲁棒性，同时保留关键的表面特征，并很好地接近采样的表面，这是一个普遍存在的挑战性问题。
3.人体表面重建在机器人，虚拟现实，增强现实领域有着广泛的应用。现有的基于深度学习的三维重建方法可以分为基于点的方法、基于体素的方法、基于表面网格的方法以及基于隐式函数的方法。最近的工作集中在以网格和多边形块的形式生成形状，但它们的形状表示能力仍然受到其离散和非平滑性质的限制。基于隐式函数的方法在整个三维域上定义平滑函数以保证结果的连续性。然而，隐式表面的生成是低效的，因为对于每一个点，在提取表面之前，必须对网络进行单独评估。


技术实现要素：

4.为了解决上述问题，本发明提出了一种人体表面重建方法、终端设备及存储介质。
5.具体方案如下：
6.一种人体表面重建方法，包括以下步骤：
7.s1：根据输入的人体点云，通过k近邻算法提取点云中每个点对应的周围k个点作为该点的邻点，基于每个点和其邻点提取局部特征；
8.s2：通过几何采样方式从点云中采样g个点，基于采集到的g个点提取全局特征；
9.s3：基于点云中的原始点提取点特征；
10.s4：聚合局部特征、全局特征和点特征得到逐点贡献；
11.s5：聚合神经网络中的逐点贡献以执行曲面积分；
12.s6：应用marching cubes算法生成曲面，实现人体表面重建。
13.进一步的，步骤s1中局部特征的提取过程包括以下步骤：
14.s101：将待提取局部特征的点作为查询点xi，将查询点xi的邻点设为将查询点xi的位置pi和邻点的位置构成3d空间中的局部位置上下文
15.s102：将查询点xi的位置pi与邻点的位置输入特征提取网络中提取查询点xi的初始特征fi和邻点的初始特征f
ik
；
16.s103：基于查询点xi的初始特征fi和邻点的初始特征f
ik
，构建特征空间中的局部特征上下文
17.s104：将局部特征上下文输入全连接层获取三维位置偏移空间
18.s105：将三维位置偏移空间叠加到邻点的位置得到邻点的偏移位置
19.s106：通过邻点偏移位置增强局部位置上下文
20.s107：将增强后的局部位置上下文输入全连接层获取特征偏移空间
21.s108：将特征偏移空间叠加到邻点的初始特征f
ik
，得到邻点的偏移特征δf
ik
；
22.s109：通过邻点偏移特征δf
ik
增强局部特征上下文
23.s110：将增强后的局部位置上下文和增强后的局部特征上下文分别输入到卷积网络学习得到查询点xi的局部特征f
lx
和邻点的局部特征f
lf
；
24.s111：将查询点xi的局部特征f
lx
和邻点的局部特征f
lf
合并作为提取的局部特征。
25.进一步的，步骤s2中全局特征的提取过程包括以下步骤：
26.s201：将通过几何采样方式采集到的各点作为中心点，根据预设的邻域半径确定且球形邻域；
27.s202：根据中心点和球形邻域内的各邻点构建无向图，其中中心点和球形邻域内的各邻点作为顶点，中心点与邻点之间的连线作为边；
28.s203：对无向图运用图卷积得到更新后的中心点特征；
29.s204：通过最大池化操作将中心点特征转化为全局特征。
30.进一步的，步骤s3中点特征的提取过程包括以下步骤：
31.s301：对点云中的原始点进行体素化；
32.s302：对体素化后的点云进行稀疏卷积，提取体素特征；
33.s303：采用线性插值的方式将体素特征转换为点特征。
34.一种人体表面重建终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。
35.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。
36.本发明采用如上技术方案，通过三种方式获取包含原始人体点云在内的三种不同类型的点集，进而基于不同类型的点集得到不同类型的特征，通过聚合不同类型的特征得到的更加准确的人体表面曲线。
附图说明
37.图1所示为本发明实施例一的流程图。
具体实施方式
38.为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。
39.现结合附图和具体实施方式对本发明进一步说明。
40.实施例一：
41.本发明实施例提供了一种人体表面重建方法，如图1所示，所述方法包括以下步骤：
42.s1：根据输入的人体点云，通过k近邻算法提取点云中每个点对应的周围k个点作为该点的邻点，基于每个点和其邻点提取局部特征。
43.该实施例中局部特征的提取过程包括以下步骤：
44.s101：将待提取局部特征的点作为查询点xi，将查询点xi的邻点设为将查询点xi的位置pi和邻点的位置构成3d空间中的局部位置上下文
45.s102：将查询点xi的位置pi与邻点的位置输入特征提取网络(该实施例中采用pointnet)中提取查询点xi的初始特征fi和邻点的初始特征f
ik
；
46.s103：基于查询点xi的初始特征fi和邻点的初始特征f
ik
，构建特征空间中的局部特征上下文
47.s104：将局部特征上下文输入全连接层获取三维位置偏移空间
48.s105：将三维位置偏移空间叠加到邻点的位置得到邻点的偏移位置
49.s106：通过邻点偏移位置增强局部位置上下文更新后的局部位置上下文表示为
50.s107：将局部位置上下文输入全连接层获取特征偏移空间
51.s108：将特征偏移空间叠加到邻点的初始特征f
ik
，得到邻点的偏移特征
52.s109：通过邻点偏移特征δf
ik
增强局部特征上下文更新后的局部特征上下文表示为{fi,f
ik-fi,δf
ik
}；
53.s110：将局部位置上下文和局部特征上下文分别输入到卷积网络学习得到
查询点xi的局部特征f
lx
和邻点的局部特征f
lf
；
54.s111：将查询点xi的局部特征f
lx
和邻点的局部特征f
lf
合并作为提取的局部特征
55.该实施例采用的上述据局部特征提取方式中，通过构建位置偏移空间以及特征偏移空间，进而充分学习局部位置上下文以及局部特征上下文，获取具有局部形状属性的局部特征。
56.s2：通过几何采样方式从点云中采样g个点，基于采集到的g个点提取全局特征。
57.该实施例中全局特征的提取过程包括以下步骤：
58.s201：将通过几何采样方式采集到的各点作为中心点，根据预设的邻域半径确定且球形邻域；
59.s202：根据中心点和球形邻域内的各邻点构建无向图，其中中心点和球形邻域内的各邻点作为顶点，中心点与邻点之间的连线作为边；
60.s203：对无向图运用图卷积得到更新后的中心点特征s203：对无向图运用图卷积得到更新后的中心点特征其中α表示激活函数，w
ij
表示权重系数；
61.s204：通过最大池化操作将中心点特征转化为全局特征转化为全局特征
62.该实施例采用的上述据全局特征提取方式中，通过在球形邻域内构建无向图，运用图卷积获取中心点特征，并通过池化操作转换为全局特征。
63.s3：基于点云中的原始点提取点特征。
64.该实施例中点特征的提取过程包括以下步骤：
65.s301：对点云中的原始点进行体素化；
66.s302：对体素化后的点云pv进行稀疏卷积，提取体素特征fv＝sc(pv)；
67.s303：采用线性插值的方式将体素特征转换为点特征f
p
＝linear(fv)。
68.s4：聚合局部特征f
l
、全局特征fg和点特征f
p
得到逐点贡献。
69.s5：聚合神经网络中的逐点贡献以执行曲面积分。
70.s6：应用marching cubes算法生成曲面，实现人体表面重建。
71.本发明实施例通过三个不同的特征学习分支分别学习局部特征、全局特征以及点特征，并将不同尺度的特征连接起来，以获取精确逐点贡献，进而执行曲面积分。最后，通过marching cubes算法实现人体表面重建。
72.实施例二：
73.本发明还提供一种人体表面重建终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现
本发明实施例一的上述方法实施例中的步骤。
74.进一步地，作为一个可执行方案，所述人体表面重建终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述人体表面重建终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述人体表面重建终端设备的组成结构仅仅是人体表面重建终端设备的示例，并不构成对人体表面重建终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述人体表面重建终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。
75.进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述人体表面重建终端设备的控制中心，利用各种接口和线路连接整个人体表面重建终端设备的各个部分。
76.所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述人体表面重建终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
77.本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。
78.所述人体表面重建终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)以及软件分发介质等。
79.尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。