动作捕捉方法、装置、电子设备及存储介质与流程

1.本公开涉及计算机技术领域，尤其涉及一种动作捕捉方法、装置、电子设备及存储介质。


背景技术：

2.动作捕捉是指对表演者的肢体动作进行估算的技术，在cg动画电影、虚拟形象等产业中有着广泛的应用。实时动作捕捉指的是在表演者表演动作的同时就能得到动作捕捉结果，该技术可以赋能虚拟形象产业的诸多应用，如虚拟偶像直播、虚拟主持人与观众的互动，以及短视频应用场景下的身体魔法特效等。
3.动作捕捉可以采用光学动作捕捉、惯性动作捕捉和无标记视觉动作捕捉几种方式实现。光学动作捕捉是现有的捕捉质量较高的动作捕捉方案，是三维动画电影制作流程中的常用手段。惯性动作捕捉在虚拟偶像等半专业内容生产中有广泛应用。对于光学动作捕捉和惯性动作捕捉，通常需要表演者穿上专业的服装，并采用专业的采集设备进行动作采集，存在成本较大的问题。而无标记视觉动作捕捉方式解决了动作捕捉成本较大的问题，表演者可以采用普通手机或者带有普通摄像头的计算机就能够进行动作采集。但是，相关技术中，无标记视觉动作捕捉方式由于运动模糊，以及在表演者全身入画时手部距离相机过远等因素，难以捕捉到清晰的表演者手腕的运动状态，导致难以得到完整的动作信息。


技术实现要素：

4.本公开提供一种动作捕捉方法、装置、电子设备及存储介质，以至少解决相关技术中动作捕捉过程中难以得到完整的动作信息的问题。本公开的技术方案如下：
5.根据本公开实施例的第一方面，提供一种动作捕捉方法，包括：
6.通过单目采集设备采集目标对象的全身动作视频数据；
7.通过神经网络模型识别目标对象的全身动作视频数据，得到主体关节运动信息，主体关节包括人体中除手腕关节外的其他关节；
8.接收目标对象上的手持设备输出的手腕关节运动信息，手持设备设置有惯性传感器；
9.对主体关节运动信息和手腕关节运动信息进行对齐处理，得到目标对象的目标动作信息。
10.在其中一个实施例中，对主体关节运动信息和手腕关节运动信息进行对齐处理，得到目标对象的目标动作信息，包括：
11.获取全身动作视频数据中的每帧视频图像对应的主体关节运动信息；
12.对于全身动作视频数据中的每帧视频图像，获取与每帧视频图像在时间上最近的手腕关节运动信息，作为每帧视频图像对应的手腕关节运动信息；
13.根据每帧视频图像对应的主体关节运动信息和手腕关节运动信息，生成一帧目标动作信息。
14.在其中一个实施例中，主体关节运动信息包括多个关节的旋转角度，手腕关节运动信息包括手腕关节方向；根据每帧视频图像对应的主体关节运动信息和手腕关节运动信息，生成一帧目标动作信息，包括：
15.获取预先配置的多个关节的排序，多个关节中包括肘部关节，肘部关节的顺序为多个关节中的最后一个；
16.按照多个关节的排序，根据每个关节的旋转角度依次对每个关节进行旋转处理，直至对肘部关节进行旋转处理后得到肘部关节方向，作为手臂方向；
17.获取手腕关节方向相对手臂方向之间的旋转角度，作为手腕关节的旋转角度；
18.将每帧视频图像对应的多个关节的旋转角度和手腕关节的旋转角度，作为一帧目标动作信息。
19.在其中一个实施例中，手持设备包括左手手持设备和右手手持设备；对主体关节运动信息和手腕关节运动信息进行对齐处理，得到目标对象的目标动作信息，包括：
20.对主体关节运动信息、左手手持设备对应的手腕关节运动信息以及右手手持设备对应的手腕关节运动信息进行对齐处理，得到目标对象的目标动作信息。
21.在其中一个实施例中，在接收目标对象上的手持设备输出的手腕关节运动信息之前，还包括：
22.接收手持设备发出的校准请求；
23.响应于校准请求，对手持设备在世界坐标系下的旋转方向进行归零校准，世界坐标系为单目采集设备的坐标系。
24.在其中一个实施例中，响应于校准请求，对手持设备在世界坐标系下的旋转方向进行归零校准，包括：
25.响应于校准请求，对手持设备的旋转欧拉角进行归零，其中，
26.在进行归零校准时，手持设备垂直指向用于单目采集设备，且手持设备的屏幕朝向正上方。
27.在其中一个实施例中，惯性传感器为陀螺仪。
28.根据本公开实施例的第二方面，提供一种动作捕捉装置，其特征在于，包括：
29.采集模块，被配置为执行通过单目采集设备采集目标对象的全身动作视频数据；
30.识别模块，被配置为执行通过神经网络模型识别目标对象的全身动作视频数据，得到主体关节运动信息，主体关节包括人体中除手腕关节外的其他关节；
31.接收模块，被配置为执行接收目标对象上的手持设备输出的手腕关节运动信息，手持设备设置有惯性传感器；
32.动作信息生成模块，被配置为执行对主体关节运动信息和手腕关节运动信息进行对齐处理，得到目标对象的目标动作信息。
33.在其中一个实施例中，动作信息生成模块，包括：
34.获取模块，被配置为执行获取全身动作视频数据中的每帧视频图像对应的主体关节运动信息
35.对齐模块，被配置为执行对于全身动作视频数据中的每帧视频图像，获取与每帧视频图像在时间上最近的手腕关节运动信息，作为每帧视频图像对应的手腕关节运动信息；
36.一帧动作信息生成模块，被配置为执行根据每帧视频图像对应的主体关节运动信息和手腕关节运动信息，生成一帧目标动作信息。
37.在其中一个实施例中，主体关节运动信息包括多个关节的旋转角度，手腕关节运动信息包括手腕关节方向；一帧动作信息生成模块，包括：
38.获取单元，被配置为执行获取预先配置的多个关节的排序，多个关节中包括肘部关节，肘部关节的顺序为多个关节中的最后一个；
39.手臂方向生成单元，被配置为执行按照多个关节的排序，根据每个关节的旋转角度依次对每个关节进行旋转处理，直至对肘部关节进行旋转处理后得到肘部关节方向，作为手臂方向；
40.手腕关节旋转角度生成单元，被配置为执行获取手腕关节方向相对手臂方向之间的旋转角度，作为手腕关节的旋转角度；
41.一帧动作信息生成单元，被配置为执行将每帧视频图像对应的多个关节的旋转角度和手腕关节的旋转角度，作为一帧目标动作信息。
42.在其中一个实施例中，手持设备包括左手手持设备和右手手持设备；动作信息生成模块，被配置为执行对主体关节运动信息、左手手持设备对应的手腕关节运动信息以及右手手持设备对应的手腕关节运动信息进行对齐处理，得到目标对象的目标动作信息。
43.在其中一个实施例中，接收模块，还被配置为执行接收手持设备发出的校准请求；
44.所述装置还包括校准模块，被配置为执行响应于校准请求，对手持设备在世界坐标系下的旋转方向进行归零校准，世界坐标系为单目采集设备的坐标系。
45.在其中一个实施例中，校准模块，被配置为执行响应于校准请求，对手持设备的旋转欧拉角进行归零，其中，在进行归零校准时，手持设备垂直指向用于单目采集设备，且手持设备的屏幕朝向正上方。
46.在其中一个实施例中，惯性传感器为陀螺仪。
47.根据本公开实施例的第三方面，提供一种电子设备，包括：
48.处理器；
49.用于存储所述处理器可执行指令的存储器；
50.其中，所述处理器被配置为执行所述指令，以实现如第一方面的任一项实施例中所述的动作捕捉方法。
51.根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面的任一项实施例中所述的动作捕捉方法。
52.根据本公开实施例的第五方面，提供一种计算机程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序，使得设备执行第一方面的任一项实施例中所述的动作捕捉方法。
53.本公开的实施例提供的技术方案至少带来以下有益效果：
54.通过单目采集设备采集目标对象的全身动作视频数据；通过神经网络模型识别全身动作视频数据，得到主体关节运动信息；通过设置有惯性传感器的手持设备采集手腕关节运动信息；将主体关节运动信息和手腕关节运动信息进行对齐处理，得到目标动作信息。
根据本公开的方案，一方面采用基于多模态输入的实时动作捕捉系统分别采集主体关节运动信息和手腕关节运动信息，当表演者做出对手腕朝向有高精度要求的动作(比如敬礼、拍手)，以及手持道具(比如挥剑，举杯)等动作时，可以得到包含精确的手腕关节动作信息的目标动作信息，从而实现完整的动作捕捉。另一方面，上述技术方案基于纯视觉方法进行动作捕捉，实现了在平民化的成本内进行完整动作采集。
55.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
56.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
57.图1是根据一示例性实施例示出的一种动作捕捉方法的应用环境图。
58.图2是根据一示例性实施例示出的一种动作捕捉方法的流程图。
59.图3是根据一示例性实施例示出的一种生成一帧目标动作信息步骤的流程图。
60.图4是根据一示例性实施例示出的一种生成目标动作信息步骤的流程图。
61.图5是根据一示例性实施例示出的一种校准步骤的流程图。
62.图6是根据一示例性实施例示出的一种动作捕捉方法的流程图。
63.图7是根据一示例性实施例示出的一种动作捕捉装置的框图。
64.图8是根据一示例性实施例示出的一种电子设备的内部结构图。
具体实施方式
65.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
66.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
67.本公开所提供的动作捕捉方法，可以应用于如图1所示的应用环境中。该应用环境包括终端110、单目采集设备120和手持设备130。终端110与单目采集设备120连接，与手持设备130通过网络连接。单目采集设备120可以是终端110的内置设备，也可以是单独的设备，在此不做限定。手持设备130是内置惯性传感器的设备，惯性传感器用于采集目标对象的手腕关节运动信息。终端110中部署有基于视觉方法进行动作捕捉的动作捕捉系统，用于实时处理单目采集设备120采集到的全身动作视频数据，得到与全身动作视频数据对应的主体关节动作信息；用于接收手持终端发送的手腕关节运动信息，对主体关节运动信息和手腕关节运动信息进行对齐处理，得到目标对象的目标动作信息。进一步地，终端110还可以通过对齐后的主体关节运动信息和手腕关节运动信息驱动三维模型，得到三维模型的主体关节动作和手腕关节动作。终端110还包括显示屏幕，用于播放三维模型的主体关节动作
和手腕关节动作，从而使用户能够预览已采集到的完整动作。
68.具体地，终端110获取单目采集设备120采集的目标对象的全身动作视频数据；终端110通过神经网络模型识别全身动作视频数据，得到主体关节运动信息；终端110接收目标对象上的手持设备130输出的手腕关节运动信息；对主体关节运动信息和手腕关节运动信息进行对齐处理，得到目标对象的目标动作信息。其中，终端110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。单目采集设备120可以但不限于是摄像机、照相机以及安装在电子设备上的摄像头中的至少一种。手持设备130可以但不限于是设置有惯性传感器的各种智能手机、平板电脑和便携式可穿戴设备。
69.图2是根据一示例性实施例示出的一种动作捕捉方法的流程图，如图2所示，动作捕捉方法用于终端110中，包括以下步骤。
70.在步骤s210中，通过单目采集设备采集目标对象的全身动作视频数据。
71.其中，单目采集设备是指采用一台视频采集设备进行采集。目标对象是指正在进行动作表演的对象，在以下实施例中将以目标对象为用户进行说明。具体地，动作捕捉基于一套需要表演的全身动作。当需要进行动作捕捉时，用户可以启动部署在终端中的动作捕捉系统。采用单目采集设备采集全身动作视频数据。终端实时获取单目采集设备采集到的全身动作视频数据。
72.在步骤s220中，通过神经网络模型识别目标对象的全身动作视频数据，得到主体关节运动信息。
73.其中，主体关节包括人体中除手腕关节外的其他关节，例如脊椎关节、锁骨关节、肩关节、肘关节、踝关节、胯关节等。终端中部署有已训练的神经网络模型，用于对全身动作视频数据进行识别，得到主体关节运动信息。神经网络模型可以是任一种能够用于人体姿态估计的模型，例如，densepose(实时人体姿态估计模型)，openpose(关键点检测模型)。具体地，终端通过单目采集设备实时采集用户的全身动作视频数据。将全身动作视频数据输入至已训练的神经网络模型，通过神经网络模型识别全身动作视频数据中的图像帧，得到主体关节运动信息。
74.在步骤s230中，接收目标对象上的手持设备输出的手腕关节运动信息，手持设备设置有惯性传感器。
75.其中，惯性传感器是一种用于检测和测量手腕关节的运动信息的传感器，例如检测手腕关节的加速度、旋转和朝向等信息。惯性传感器不限于是陀螺仪。具体地，在用户进行动作表演的过程中，用户手部持有内置惯性传感器的手持设备。在用户进行动作表演的过程中，随着手腕的转动，手持设备可以实时采集得到手腕关节运动信息，并实时将采集到的手腕关节运动信息发送至终端，以使终端能够根据接收到的手腕关节运动信息进行进一步处理。
76.在步骤s240中，对主体关节运动信息和手腕关节运动信息进行对齐处理，得到目标对象的目标动作信息。
77.具体地，终端在接收到手持设备发送的手腕关节运动信息后，将手腕关节运动信息和主体关节运动信息进行时间对齐处理。即，获取同一时刻或者时间相距最近的手腕关节运动信息和主体关节运动信息，作为完整的目标运动信息。
78.上述动作捕捉方法中，一方面采用基于多模态输入的实时动作捕捉系统分别采集
主体关节运动信息和手腕关节运动信息，当表演者做出对手腕朝向有高精度要求的动作(比如敬礼、拍手)，以及手持道具(比如挥剑，举杯)等动作时，可以得到包含精确的手腕关节动作信息的目标动作信息，从而实现完整的动作捕捉。另一方面，上述技术方案基于纯视觉方法进行动作捕捉，实现了在平民化的成本内进行完整动作采集。
79.在一示例性实施例中，手持设备包括左手手持设备和右手手持设备；在步骤s240中，对主体关节运动信息和手腕关节运动信息进行对齐处理，得到目标对象的目标动作信息，包括：对主体关节运动信息、左手手持设备对应的手腕关节运动信息以及右手手持设备对应的手腕关节运动信息进行对齐处理，得到目标对象的目标动作信息。
80.具体地，当用户需要采集双手的手腕关节运动信息时，可以双手各持一个设置有惯性传感器的手持设备。通过左手手持设备采集左手手腕的手腕关节运动信息，通过右手手持设备采集右手手腕的手腕关节运动信息。终端实时接收左手手持设备和右手手持设备各自输出的手腕关节运动信息。对主体关节运动信息、左手手持设备输出的左手手腕关节运动信息以及右手手持设备输出的右手手腕关节运动信息进行对齐处理，得到目标动作信息。本实施例中，通过使用户的左手和右手分别持有手持设备，可以采集双手的手腕关节动作信息，从而可以得到完整的动作信息，且还可以提高动作捕捉方法的适用性。
81.在一示例性实施例中，如图3所示，在步骤s240中，对主体关节运动信息和手腕关节运动信息进行对齐处理，得到目标对象的目标动作信息，具体可以通过以下步骤实现：
82.在步骤s310中，获取全身动作视频数据中的每帧视频图像对应的主体关节运动信息。
83.在步骤s320中，对于全身动作视频数据中的每帧视频图像，获取与每帧视频图像在时间上最近的手腕关节运动信息，作为每帧视频图像对应的手腕关节运动信息。
84.在步骤s330中，根据每帧视频图像对应的主体关节运动信息和手腕关节运动信息，生成一帧目标动作信息。
85.具体地，终端通过单目采集设备采集得到的全身动作视频数据携带有第一时间戳，接收到的手持设备输出的手腕关节运动信息携带有第二时间戳。由于手持设备的惯性传感器的刷新频率通常远高于单目采集设备的视频帧率，例如，惯性传感器的刷新频率可到100fps(frames per second，每秒传输帧数)以上，而单目采集设备的视频帧率为30fps。因此，对于全身动作视频数据中的每帧视频图像，可以根据每帧视频图像对应的第一时间戳查找时间最近的第二时间戳。将该每帧视频图像对应的主体关节运动信息，以及与每帧视频图像对应的第二时间戳的手腕关节运动信息作为一帧完整的目标运动信息。
86.本实施例中，基于多模态输入实时采集全身运动视频数据和手腕关节运动信息，对全身运动视频数据和手腕关节运动信息进行严格的时间同步，从而可以得到精确且清晰的完整动作。
87.在一示例性实施例中，主体关节运动信息包括多个关节的旋转角度，手腕关节运动信息包括手腕关节方向；如图4所示，在步骤s330中，根据每帧视频图像对应的主体关节运动信息和手腕关节运动信息，生成一帧目标动作信息，包括：
88.在步骤s410中，获取预先配置的多个关节的排序，多个关节中包括肘部关节，肘部关节的顺序为多个关节中的最后一个。
89.在步骤s420中，按照多个关节的排序，根据每个关节的旋转角度依次对每个关节
进行旋转处理，直至对肘部关节进行旋转处理后得到肘部关节方向，作为手臂方向。
90.具体地，终端在接收到手持设备输出的手腕关节方向后，对于全身动作视频数据中的每帧视频图像，将多个关节的旋转角度与手腕关节方向进行时间对齐处理，得到每帧视频图像对应的多个关节的旋转角度和手腕关节方向。然后，采用链式法则根据预先配置的多个关节的排序，对多个关节的旋转角度依次进行旋转处理，直至到达肘部关节，得到肘部关节方向。示例性地，假设多个关节包括胯关节、若干脊椎关节、锁骨关节、肩关节和肘关节。可以将胯关节作为父节点，从胯关节开始，依次经过若干脊椎关节、锁骨关节、肩关节和肘关节，构成链式结构。每个关节的旋转角度采用矩阵表示。从胯关节开始，依次对经过的若干脊椎关节、锁骨关节、肩关节和肘关节进行矩阵乘法运算，得到肘部关节方向。
91.在步骤s430中，获取手腕关节方向相对手臂方向之间的旋转角度，作为手腕关节的旋转角度。
92.在步骤s440中，将每帧视频图像对应的多个关节的旋转角度和手腕关节的旋转角度，作为一帧目标动作信息。
93.具体地，在获取肘部关节方向和对应的手腕关节方向后，计算手腕关节方向相对手臂方向之间的旋转角度，作为手腕关节的旋转角度。对于每帧视频图像，将多个关节的旋转角度和对应的手腕关节旋转角度作为一帧完整的目标动作信息。
94.本实施例中，通过获取一帧中多个关节的旋转角度和手腕关节旋转角度，可以得到一帧完整的身体动作，从而使动作捕捉具备完整性。
95.在一示例性实施例中，如图5所示，在接收目标对象上的手持设备输出的手腕关节运动信息之前，还包括以下步骤：
96.在步骤s510中，接收手持设备发出的校准请求。
97.在步骤s520中，响应于校准请求，对手持设备在世界坐标系下的旋转方向进行归零校准，世界坐标系为单目采集设备的坐标系。
98.具体地，为了能够融合主体关节运动信息和手持设备输出的手腕关节运动信息，需要将手持设备的朝向校正到单目采集设备的坐标系上。用户可以根据终端或者手持设备显示的提示信息手握手持设备。通过手持设备触发校准请求，并将该校准请求发送至终端。终端响应于接收到的校准请求，对手持设备的旋转方向进行归零校准。
99.本实施例中，在动作捕捉之前，通过对手持设备的旋转方向进行归零校准，将手持设备的朝向校正到单目采集设备的坐标系上，便于后续对主体关节运动信息和手腕关节运动信息进行融合，且可以提高动作捕捉的准确性。
100.在一示例性实施例中，响应于校准请求，对手持设备在世界坐标系下的旋转方向进行归零校准，包括：响应于校准请求，对手持设备的旋转欧拉角进行归零，其中，在进行归零校准时，手持设备垂直指向用于单目采集设备，且手持设备的屏幕朝向正上方。
101.其中，欧拉角用来确定定点转动刚体位置的三个一组独立角参量。在本实施例中，欧拉角用于表征手腕关节在世界坐标系下的旋转角度。具体地，终端响应于校准请求，对手持设备在单目采集设备的世界坐标系下的欧拉角进行归零，从而将手持设备的坐标系转换至单目采集设备的坐标系中。在本实施例中，对归零校准时手持设备的拿取姿势和朝向进行示例性说明。在进行归零校准时，手持设备垂直指向单目采集设备，且手持设备的屏幕朝向正上方。进一步地，在采集用户的手腕关节运动信息的过程中，可以按照手持设备长边平
行于除大拇指外的四个手指指根、手持设备顶端位于大拇指一侧，且手持设备屏幕背向手掌的姿态握紧手持设备，且保持手持设备相对于手掌不再有相对运动。
102.图6是根据一示例性实施例示出的一种动作捕捉方法的流程图。在本实施例中，终端和手持设备中可以部署有能够互相配合使用的应用程序，通过该互相配合使用的应用程序不限于实现如图6所示的步骤。如图6所示，动作捕捉方法包括以下步骤。
103.在步骤s601中，接收手持设备发出的校准请求。
104.在步骤s602中，响应于校准请求，对手持设备在世界坐标系下的旋转方向进行归零校准，世界坐标系为单目采集设备的坐标系。具体地，在归零校准时，用户可以按照一定的拿取姿势持有手持设备：手持设备垂直指向单目采集设备，且手持设备的屏幕朝向正上方。
105.在步骤s603中，通过单目采集设备采集目标对象的全身动作视频数据。全身动作视频数据中携带第一时间戳。单目采集设备可以是一个webcam(web camer，网络摄像头)摄像头。
106.在步骤s604中，采用身体姿态捕捉算法识别全身动作视频数据，得到主体关节的旋转角度。其中，身体姿态捕捉算法可以是实时算法，即，在获取全身动作视频数据的同时，通过身体姿态捕捉算法识别全身动作视频数据，得到主体关节的旋转角度。
107.在步骤s605中，接收手持设备输出的手腕关节方向。手腕关节方向携带第二时间戳。其中，手持设备可以但不限于是内置有陀螺仪的各种智能手机、平板电脑和便携式可穿戴设备。手腕关节方向可以通过手持设备中的陀螺仪采集得到。
108.在步骤s606中，对于全身动作视频数据中的每帧视频图像，获取每帧视频图像对应的主体关节运动信息，以及与每帧视频图像在时间上最近的手腕关节方向。
109.具体地，可以根据每帧视频图像对应的第一时间戳查找时间最近的第二时间戳。将该第二时间戳对应的手腕关节方向作为每帧视频图像对应的手腕关节方向。
110.在步骤s607中，获取预先配置的多个关节的排序，多个关节中包括肘部关节，肘部关节的顺序为所述多个关节中的最后一个。
111.在步骤s608中，按照多个关节的排序，根据每个关节的旋转角度依次对多个关节进行旋转处理，直至对肘部关节进行旋转处理后得到肘部关节方向，作为手臂方向。其中，多个关节进行旋转处理可以采用链式法则，具体可以参照附图4对应的实施例说明，在此不做具体阐述。
112.在步骤s609中，获取手腕关节方向相对手臂方向之间的旋转角度，作为手腕关节的旋转角度。
113.在步骤s610中，将每帧视频图像对应的多个关节的旋转角度和手腕关节的旋转角度，作为一帧目标动作信息。
114.进一步地，在获取一帧目标动作信息后，可以通过该一帧目标动作信息实时驱动预先定义的三维模型，得到三维模型的一帧完整动作，并在屏幕中实时播放三维模型的完整动作。三维模型的身体(除手腕外)动作和手腕动作虽然来自不同的设备，但经过了上述方法的校准和对齐处理后，用户能够实时看到通过完整动作驱动着的三维模型。三维模型可以是三维虚拟形象。终端的动作捕捉系统中可以包括多种三维虚拟形象，例如虚拟偶像直播、虚拟主持人，以及短视频应用场景下的身体魔法特效。用户可以依实际需求选取合适
的三维模型进行使用。
115.应该理解的是，虽然图1-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的子步骤或者阶段的至少一部分轮流或者交替地执行。
116.图7是根据一示例性实施例示出的一种动作捕捉装置700框图。参照图7，该装置700包括采集模块701、识别模块702、接收模块703和动作信息生成模块704。
117.采集模块701，被配置为执行通过单目采集设备采集目标对象的全身动作视频数据；
118.识别模块702，被配置为执行通过神经网络模型识别目标对象的全身动作视频数据，得到主体关节运动信息；
119.接收模块703，被配置为执行接收目标对象上的手持设备输出的手腕关节运动信息，手持设备设置有惯性传感器；
120.动作信息生成模块704，被配置为执行对主体关节运动信息和手腕关节运动信息进行对齐处理，得到目标对象的目标动作信息。
121.在一示例性实施例中，动作信息生成模块704，包括：获取模块，被配置为执行获取全身动作视频数据中的每帧视频图像对应的主体关节运动信息；对齐模块，被配置为执行对于全身动作视频数据中的每帧视频图像，获取与每帧视频图像在时间上最近的手腕关节运动信息，作为每帧视频图像对应的手腕关节运动信息；一帧动作信息生成模块，被配置为执行根据每帧视频图像对应的主体关节运动信息和手腕关节运动信息，生成一帧目标动作信息。
122.在一示例性实施例中，主体关节运动信息包括多个关节的旋转角度，手腕关节运动信息包括手腕关节方向；一帧动作信息生成模块，包括：获取单元，被配置为执行获取预先配置的多个关节的排序，多个关节中包括肘部关节，肘部关节的顺序为多个关节中的最后一个；手臂方向生成单元，被配置为执行按照多个关节的排序，根据每个关节的旋转角度依次对每个关节进行旋转处理，直至对肘部关节进行旋转处理后得到肘部关节方向，作为手臂方向；手腕关节旋转角度生成单元，被配置为执行获取手腕关节方向相对手臂方向之间的旋转角度，作为手腕关节的旋转角度；一帧动作信息生成单元，被配置为执行将每帧视频图像对应的多个关节的旋转角度和手腕关节的旋转角度，作为一帧目标动作信息。
123.在一示例性实施例中，手持设备包括左手手持设备和右手手持设备；动作信息生成模块704，被配置为执行对主体关节运动信息、左手手持设备对应的手腕关节运动信息以及右手手持设备对应的手腕关节运动信息进行对齐处理，得到目标对象的目标动作信息。
124.在一示例性实施例中，接收模块703，还被配置为执行接收手持设备发出的校准请求；
125.所述装置700还包括校准模块，被配置为执行响应于校准请求，对手持设备在世界坐标系下的旋转方向进行归零校准，世界坐标系为单目采集设备的坐标系。
126.在一示例性实施例中，校准模块，被配置为执行响应于校准请求，对手持设备的旋转欧拉角进行归零，其中，在进行归零校准时，手持设备垂直指向用于单目采集设备，且手持设备的屏幕朝向正上方。
127.在一示例性实施例中，惯性传感器为陀螺仪。
128.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
129.图8是根据一示例性实施例示出的一种用于动作捕捉的设备800的框图。例如，设备800可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
130.参照图8，设备800可以包括以下一个或多个组件：处理组件802、存储器804、电力组件806、多媒体组件808、音频组件810、输入/输出(i/o)的接口812、传感器组件814以及通信组件816。
131.处理组件802通常控制设备800的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
132.存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在设备800上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)、电可擦除可编程只读存储器(eeprom)、可擦除可编程只读存储器(eprom)、可编程只读存储器(prom)、只读存储器(rom)、磁存储器、快闪存储器、磁盘或光盘。
133.电源组件806为设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为设备800生成、管理和分配电力相关联的组件。
134.多媒体组件808包括在所述设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
135.音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
136.i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁
定按钮。
137.传感器组件814包括一个或多个传感器，用于为设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为设备800的显示器和小键盘，传感器组件814还可以检测设备800或设备800一个组件的位置改变，用户与设备800接触的存在或不存在，设备800方位或加速/减速和设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
138.通信组件816被配置为便于设备800和其他设备之间有线或无线方式的通信。设备800可以接入基于通信标准的无线网络，如wifi，运营商网络(如2g、3g、4g或5g)，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
139.在示例性实施例中，设备800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
140.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由设备800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
141.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
142.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。