基于骨骼约束与尺度估计的手部三维网格生成方法及系统与流程

本发明涉及图像数据处理，特别涉及基于骨骼约束与尺度估计的手部三维网格生成方法及系统。

背景技术：

1、随着增强现实（ar）、虚拟现实（vr）、数字人交互、人机交互以及移动端视觉应用的发展，基于视觉的手部跟踪技术得到了广泛应用。

2、现有手部三维重建方法主要包括：a)基于参数化模型的方法，例如mano模型，通过优化单位方向向量、形状参数以及全局变换参数生成手部网格；b)基于深度学习直接预测手部mesh的方法，通过神经网络直接回归三维顶点。

3、其中，参数化模型方法由于具有较强的人体结构约束，被广泛应用于数字人和虚拟交互领域。

4、但是，现有技术仍存在以下缺陷与不足：

5、参数化模型依赖全局形状参数，难以适应局部几何变化；

6、mano优化过程通常依赖大量迭代计算，难以满足移动终端和边缘设备的实时运行需求；

7、三维关键点存在深度误差导致mano的mesh几何畸变（手指不自然弯折）；

8、mano参数化模型计算复杂，渲染耗时；

9、深度学习mesh预测模型计算量大，难以部署于ar眼镜、移动终端以及边缘计算设备。

10、因此，如何提供基于骨骼约束与尺度估计的手部三维网格生成方法及系统，是目前亟待解决的问题。

技术实现思路

1、本发明实施例提供了基于骨骼约束与尺度估计的手部三维网格生成方法及系统，以解决现有技术中的上述技术的问题。

2、根据本发明实施例的第一方面，提供了基于骨骼约束与尺度估计的手部三维网格生成方法。

3、在一个实施例中，基于骨骼约束与尺度估计的手部三维网格生成方法，包括以下步骤：

4、获取手部图像，并基于轻量级检测网络对手部图像进行手部关键点检测，得到若干手部关键点及每个手部关键点的三维像素坐标；

5、根据预设的蒙皮权重，对预定义手部模板网格进行骨骼段分割，并结合手指关节的空间位置切分，得到多个手部局部子网格，以建立各局部子网格与对应骨骼段的绑定映射关系；

6、根据手部关键点的三维像素坐标，计算各骨骼段的单位方向向量，并基于相机成像参数与手部在图像中的像素尺度，估计手部的深度信息；

7、基于手部图像分割与投影掩膜匹配，并结合手部的深度信息，求解各局部子网格的几何尺度参数，根据骨骼生理约束校正关键点坐标，结合几何尺度参数及映射关系，对各局部子网格进行变形组合生成手部三维网格。

8、根据本发明实施例的第二方面，提供了基于骨骼约束与尺度估计的手部三维网格生成系统。

9、在一个实施例中，基于骨骼约束与尺度估计的手部三维网格生成系统，该系统包括：

10、图像检测模块，用于获取手部图像，并基于轻量级检测网络对手部图像进行手部关键点检测，得到若干手部关键点及每个手部关键点的三维像素坐标；

11、关系映射模块，用于根据预设的蒙皮权重，对预定义手部模板网格进行骨骼段分割，并结合手指关节的空间位置切分，得到多个手部局部子网格，以建立各局部子网格与对应骨骼段的绑定映射关系；

12、深度计算模块，用于根据手部关键点的三维像素坐标，计算各骨骼段的单位方向向量，并基于相机成像参数与手部在图像中的像素尺度，估计手部的深度信息；

13、网格生成模块，用于基于手部图像分割与投影掩膜匹配，并结合手部的深度信息，求解各局部子网格的几何尺度参数，根据骨骼生理约束校正关键点坐标，结合几何尺度参数及映射关系，对各局部子网格进行变形组合生成手部三维网格。

14、本发明实施例提供的技术方案可以包括以下有益效果：

15、1、本发明采用基于21个手部关键点直接驱动分段式mesh的重建方式，通过建立关键点与局部mesh之间的映射关系，实现各局部mesh的姿态变换，无需进行mano模型参数优化；相比传统参数化重建方式，本发明简化了手部mesh生成流程，降低了计算复杂度，提高了实时重建效率，并具有更好的部署适应性，适用于移动端、ar设备及边缘计算平台。

16、2、本发明将初始化的全手模板网格投影至图像平面，通过与真实手部分割掩膜进行损失优化，联合估计各局部子网格的缩放因子，使投影轮廓在像素层面与真实分割轮廓达到最佳匹配，从而间接且准确地反推出手指及手掌的局部宽度几何尺度；该初始化过程仅需在首帧执行一次，后续帧固定各区域宽度尺度参数、后续只更新局部mesh的空间位置和长度，既保证了个性化手型适配，又不影响实时帧率。

17、3、本发明支持根据应用需求选择目标区域生成局部mesh，例如单独手指段mesh、手指与手掌组合mesh等，并通过对应骨骼结构进行独立驱动；相比完整hand mesh渲染方式，本发明减少了参与计算的顶点数量和骨骼变换数量，降低渲染计算量，提高移动端实时渲染效率。

18、4、本发明通过建立手部骨骼拓扑结构，将关键点之间的连接关系转换为具有固定结构约束的骨骼链，并在mesh生成过程中保持：骨骼连接关系；手指弯曲方向正确；骨骼长度约束；避免直接根据存在误差的绝对三维坐标产生不合理形变，因此，即使输入关键点存在一定z方向误差，也能够保持符合人体结构规律的手指姿态，提高复杂动作情况下的重建稳定性。

19、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

1.基于骨骼约束与尺度估计的手部三维网格生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于骨骼约束与尺度估计的手部三维网格生成方法，其特征在于，所述获取手部图像，并基于轻量级检测网络对手部图像进行手部关键点检测，得到若干手部关键点及每个手部关键点的三维像素坐标包括以下步骤：

3.根据权利要求1所述的基于骨骼约束与尺度估计的手部三维网格生成方法，其特征在于，所述根据预设的蒙皮权重，对预定义手部模板网格进行骨骼段分割，并结合手指关节的空间位置切分，得到多个手部局部子网格，以建立各局部子网格与对应骨骼段的绑定映射关系包括以下步骤：

4.根据权利要求1所述的基于骨骼约束与尺度估计的手部三维网格生成方法，其特征在于，所述根据手部关键点的三维像素坐标，计算各骨骼段的单位方向向量，并基于相机成像参数与手部在图像中的像素尺度，估计手部的深度信息包括以下步骤：

5.根据权利要求4所述的基于骨骼约束与尺度估计的手部三维网格生成方法，其特征在于，所述计算各骨骼段的骨骼单位方向向量的表达式为：

6.根据权利要求4所述的基于骨骼约束与尺度估计的手部三维网格生成方法，其特征在于，所述通过坐标轴叉乘，建立局部旋转矩阵包括：

7.根据权利要求1所述的基于骨骼约束与尺度估计的手部三维网格生成方法，其特征在于，所述基于手部图像分割与投影掩膜匹配，并结合手部的深度信息，求解各局部子网格的几何尺度参数，根据骨骼生理约束校正关键点坐标，结合几何尺度参数及映射关系，对各局部子网格进行变形组合生成手部三维网格包括以下步骤：

8.根据权利要求7所述的基于骨骼约束与尺度估计的手部三维网格生成方法，其特征在于，所述深度初始化完成后，后续帧的尺度适配包括以下步骤：

9.根据权利要求7所述的基于骨骼约束与尺度估计的手部三维网格生成方法，其特征在于，所述骨骼生理结构约束包括：

10.基于骨骼约束与尺度估计的手部三维网格生成系统，其特征在于，该系统包括：