根据立体相机的手部姿势估计的制作方法

技术特征：
1.一种方法，包括：从相机接收手部的多个图像；通过以下操作生成多组关节位置坐标：对于所述多个图像中的每个给定图像：使用一个或更多个处理器裁剪所述给定图像的包括所述手部的部分；使用神经网络识别所述给定图像的裁剪部分中的第一组关节位置坐标；使用所述第一组关节位置坐标生成第二组关节位置坐标；以及基于所述多组关节位置坐标来识别三维手部姿势。2.根据权利要求1所述的方法，其中，所述多个图像包括所述手部的多个视图。3.根据权利要求1所述的方法，还包括：提示客户端设备的用户初始化手部位置；接收经初始化的手部位置；以及基于所述经初始化的手部位置来跟踪所述手部。4.根据权利要求1所述的方法，其中，所述相机是立体相机。5.根据权利要求1所述的方法，其中，所述第一组关节位置坐标是基于像素位置来测量的。6.根据权利要求1所述的方法，还包括：将所述第一组关节位置坐标转换为第三组关节位置坐标，其中，所述第三组关节位置坐标是相对于所述给定图像的未裁剪版本测量的；以及将所述第三组关节位置坐标转换为所述第二组关节位置坐标。7.根据权利要求1所述的方法，还包括：生成合成训练数据集，所述合成训练数据集包括虚拟手部的立体图像对以及相应的真实标记，其中，所述相应的真实标记包括关节位置。8.一种系统，包括：处理器；以及存储指令的存储器，所述指令在由所述处理器执行时将装置配置成执行操作，所述操作包括：从相机接收手部的多个图像；通过以下操作生成多组关节位置坐标：对于所述多个图像中的每个给定图像：使用一个或更多个处理器裁剪所述给定图像的包括所述手部的部分；使用神经网络识别所述给定图像的裁剪部分中的第一组关节位置坐标；使用所述第一组关节位置坐标生成第二组关节位置坐标；以及基于所述多组关节位置坐标来识别三维手部姿势。9.根据权利要求8所述的系统，其中，所述多个图像包括所述手部的多个视图。10.根据权利要求8所述的系统，还包括：提示客户端设备的用户初始化手部位置；接收经初始化的手部位置；以及基于所述经初始化的手部位置来跟踪所述手部。
11.根据权利要求8所述的系统，其中，所述相机是立体相机。12.根据权利要求8所述的系统，其中，所述第一组关节位置坐标是基于像素位置来测量的。13.根据权利要求8所述的系统，还包括：将所述第一组关节位置坐标转换为第三组关节位置坐标，其中，所述第三组关节位置坐标是相对于所述给定图像的未裁剪版本测量的；以及将所述第三组关节位置坐标转换为所述第二组关节位置坐标。14.根据权利要求8所述的系统，还包括：生成合成训练数据集，所述合成训练数据集包括虚拟手部的立体图像对以及相应的真实标记，其中，所述相应的真实标记包括关节位置。15.一种非暂态计算机可读存储介质，所述计算机可读存储介质包括指令，所述指令在由计算机执行时使所述计算机执行操作，所述操作包括：从相机接收手部的多个图像；通过以下操作生成多组关节位置坐标：对于所述多个图像中的每个给定图像：使用一个或更多个处理器裁剪所述给定图像的包括所述手部的部分；使用神经网络识别所述给定图像的裁剪部分中的第一组关节位置坐标；使用所述第一组关节位置坐标生成第二组关节位置坐标；以及基于所述多组关节位置坐标来识别三维手部姿势。16.根据权利要求15所述的计算机可读存储介质，其中，所述多个图像包括所述手部的多个视图。17.根据权利要求15所述的计算机可读存储介质，还包括：提示客户端设备的用户初始化手部位置；接收经初始化的手部位置；以及基于所述经初始化的手部位置来跟踪所述手部。18.根据权利要求15所述的计算机可读存储介质，其中，所述第二组关节位置坐标是使用毫米来测量的。19.根据权利要求15所述的计算机可读存储介质，还包括：生成合成训练数据集，所述合成训练数据集包括虚拟手部的立体图像对以及相应的真实标记，其中，所述相应的真实标记包括关节位置。20.根据权利要求15所述的计算机可读存储介质，还包括：将所述第一组关节位置坐标转换为第三组关节位置坐标，其中，所述第三组关节位置坐标是相对于所述给定图像的未裁剪版本测量的；以及将所述第三组关节位置坐标转换为所述第二组关节位置坐标。

技术总结
本文中的系统和方法描述了使用神经网络来识别第一组关节位置坐标和第二组关节位置坐标，以及基于第一组关节位置坐标和第二组关节位置坐标二者来识别三维手部姿势。节位置坐标二者来识别三维手部姿势。节位置坐标二者来识别三维手部姿势。


技术研发人员：李运成 乔纳森
受保护的技术使用者：斯纳普公司
技术研发日：2020.09.09
技术公布日：2022/4/22