姿态检测方法、装置、电子设备及计算机可读存储介质与流程

1.本技术涉及计算机处理领域，具体而言，本技术涉及一种姿态检测方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.随着深度学习的发展，人体姿态估计有着越来越高的准确度，更多的应用也随之出现。例如一些终端设备支持体感游戏、ai(artificial intelligence，人工智能)健身等、一些直播软件提供3d(3-dimension，三维)虚拟人物的驱动等。
3.相关技术中，基于单目视觉的深度学习算法能够适应绝大多数的场景，但是在生物体某些部位发生遮挡或者由于肢体快速移动造成画面模糊等情况下，基于深度学习算法所得到的人体姿态的精度较差，甚至会出现明显的抖动。而虽然利用惯性传感器能够解决由于生物体某些部位发生遮挡，导致人体姿态精度较差的问题，但惯性传感器的测量值会有误差，在累计惯性传感器的测量值以计算生物体的位移，或导致出现明显的偏移。可见，上述方法均无法检测出比较精确的生物体的姿态。


技术实现要素：

4.本技术实施例提供了一种姿态检测方法、装置、电子设备及计算机可读存储介质，可以精确地确定出目标部位的姿态。具体的技术方案如下：
5.根据本技术实施例的一个方面，提供了一种姿态检测方法，该方法包括：
6.获取目标对象对应的图像序列以及目标对象的目标部位的运动数据；
7.确定图像序列中任一图像中目标部位的各关键点的第一三维坐标信息；
8.根据各关键点的第一三维坐标信息，确定表征目标部位的方向的第一单位向量；
9.基于目标部位的运动数据，确定表征目标部位的方向的第二单位向量；
10.根据第一单位向量和第二单位向量之间的相似度，以及各关键点的第一三维坐标信息，确定目标部位的姿态。
11.根据本技术实施例的另一个方面，提供了一种姿态检测装置，该装置包括：
12.图像及运动数据获取模块，用于获取目标对象对应的图像序列以及目标对象的目标部位的运动数据；
13.三维坐标信息确定模块，用于确定图像序列中任一图像中目标部位的各关键点的第一三维坐标信息；
14.第一单位向量确定模块，用于根据各关键点的第一三维坐标信息，确定表征目标部位的方向的第一单位向量；
15.第二单位向量确定模块，用于基于目标部位的运动数据，确定表征目标部位的方向的第二单位向量；
16.姿态确定模块，用于根据第一单位向量和第二单位向量之间的相似度，以及各关键点的第一三维坐标信息，确定目标部位的姿态。
17.根据本技术实施例的再一个方面，提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行该计算机程序以实现上述方法的步骤。
18.根据本技术实施例的再一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
19.本技术实施例提供的技术方案带来的有益效果是：
20.基于本技术提供的目标对象的姿态检测方法，在对目标对象进行姿态检测时，通过确定图像序列中任一图像中目标部位的各关键点的第一三维坐标信息。通过将目标部位的第一三维坐标信息与目标部位的运动数据相结合，基于目标部位的第一三维坐标信息确定的第一单位向量和基于目标部位的运动数据确定的第二单位向量之间的相似度，考虑到第二单位向量所表征的目标部位的方向的实时性更强，可以基于该相似度，确定出是否由于目标部位在所获取的图像中被遮挡或者目标对象的快速移动等原因，导致无法基于对图像的处理准确获取到目标部位的姿态信息。同时，考虑到对图像进行处理所得到的各关键点的位置信息的稳定性更好，基于所确定的是否可以基于对图像的处理准确获取到目标部位的姿态信息的结果，以及各关键点的第一三维坐标信息，可以精确地确定出目标部位的姿态，提高用户体验，避免在目标部位被遮挡或者快速移动等情况下，影响用户感知。
附图说明
21.为了更清楚地说明本技术实施例中的技术方案，下面将对本技术实施例描述中所需要使用的附图作简单地介绍。
22.图1示出了本技术实施例提供的一种姿态检测方法的流程图；
23.图2示出了适用于本技术实施例的应用场景的示意图；
24.图3示出了适用于本技术实施例的另一应用场景的示意图；
25.图4为本技术实施例提供的一种姿态检测装置的结构示意图；
26.图5示出了本技术实施例所适用的一种电子设备的结构示意图。
具体实施方式
27.下面结合本技术中的附图描述本技术的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本技术实施例的技术方案的示例性描述，对本技术实施例的技术方案不构成限制。
28.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“a和/或b”可以实现为“a”，或者实现为“b”，或者实现为“a和b”。
29.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
30.基于前文的描述，相关技术中无法检测出比较精确的人体姿态，且在一些相关技术中，需要多个摄像头获取深度信息，视觉检测的关键点和惯性测量单元(inertial measurement unit，imu)的穿戴点位必须严格对应，才能得到确切的imu的位置信息。这些方法对摄像机的摆放要求限制了使用场景，并且在一些相关技术中，需要预先设置标定内参与外参，比较复杂，使得使用场景受限，无法适用于数字游戏和健身应用等场景中。
31.基于此，针对相关技术中所存在的上述至少一个技术问题或需要改善的地方，本技术提出了一种姿态检测方法、装置、电子设备以及计算机可读存储介质。该方案通过基于目标对象对应的图像，确定目标对象的目标部位的各关键点的第一三维坐标信息以及表征目标部位的方向的第一单位向量。基于目标部位的运动数据，确定表征目标部位的方向的第二单位向量。从而根据第一单位向量、第二单位向量和各关键点的第一三维坐标信息，将图像检测结果和获取到的运动数据相结合，精确确定出目标部位的姿态，提高用户体验。
32.该姿态检测方法可以通过姿态检测装置实现，该姿态检测装置可以为终端或服务器，其中，终端可以为任一电子设备，例如健身终端或游戏终端等，服务器可以为本地服务器、云服务器或由本地服务器和云服务器中的至少一项所组成的服务器集群，本技术实施例对此不做限制。
33.该姿态检测方法可以应用于不同的应用场景，例如，该姿态检测方法可以应用于健身或者体感游戏过程中，通过精确地采集用户的姿态，并将用户的姿态显示在健身终端对应的显示器上，可以使得用户根据该显示器中的显示姿态，实时调整运动状态，以更好地提升健身效果或游戏感知，提高用户体验。再例如，该姿态检测方法还可以应用于游戏制作过程中，通过该姿态方法采集动作人员的姿态，可以使得美术设计人员根据所采集到的动作人员的姿态更好地控制游戏角色在游戏场景中的姿态，进而使得游戏角色在游戏场景中的动作表现更加逼真，提升游戏玩家在游戏过程中的游戏体验。
34.下面通过对几个示例性实施方式的描述，对本技术实施例的技术方案以及本技术的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。
35.图1示出了本技术实施例提供的一种姿态检测方法的流程图。如图1所示，该方法可以应用于任一电子设备，具体地，该方法包括步骤s110至步骤s150。
36.步骤s110：获取目标对象对应的图像序列以及目标对象的目标部位的运动数据。
37.步骤s120：确定图像序列中任一图像中目标部位的各关键点的第一三维坐标信息。
38.步骤s130：根据各关键点的第一三维坐标信息，确定表征目标部位的方向的第一单位向量。
39.步骤s140：基于目标部位的运动数据，确定表征目标部位的方向的第二单位向量。
40.步骤s150：根据第一单位向量和第二单位向量之间的相似度，以及各关键点的第一三维坐标信息，确定目标部位的姿态。
41.基于本技术实施例所提供的姿态检测方法，第一单位向量是基于对包括目标对象
的图像进行处理得到的，第二单位向量是直接基于所获取的目标部位的运动数据进行处理得到的，考虑到第二单位向量所表征的目标部位的方向的实时性更强，通过确定第一单位向量和第二单位向量之间的相似度，可以确定是否可以基于对所获取的图像的处理，准确地获取到目标部位的姿态。同时，考虑到对图像进行处理所得到的各关键点的位置信息的稳定性更好，基于是否可以基于对所获取的图像的处理，准确地获取到目标部位的姿态的结果，以及各关键点的第一三维坐标信息，可以精确地确定出目标部位的姿态，提高用户体验，避免在目标部位被遮挡或者快速移动等情况下导致无法基于对所获取的图像的处理，准确地获取到目标部位的姿态，影响用户感知。
42.可选地，目标对象可以为任意可运动的对象。例如，目标对象可以为人、动物等。在本技术实施例中，可以将人作为目标对象，对该姿态检测方法进行说明。以目标对象是人为例，目标对象的目标部位可以为目标对象的手、手臂、腿、脚等部位。当然，目标部位也可以为手臂的一部分，例如大臂或小臂，也可以为整条手臂。其中，在目标部位为整条手臂的情况下，该目标部位可以包括两个子部位，分别为大臂和小臂。
43.在本技术实施例中，可以通过任一图像采集设备对目标对象进行图像采集，以获取目标对象对应的图像序列，本技术实施例对此不做限制，其中，图像采集设备可以包括但不限于摄像头、摄像机、照相机或者其他具有图像采集功能的设备(如手机、平板电脑等设备)等。其中，图像采集设备可以为单目图像采集设备，可选地，图像采集设备可以为单目rgb相机(彩色相机，rgb即red-green-blue)。
44.对于目标部位的运动数据的获取方式，本技术实施例对此不做限制，可选地，可以通过在目标对象的目标部位佩戴惯性传感器，例如imu手环，将佩戴在目标部位imu手环测量得到的数据作为目标部位的运动数据。
45.本技术实施例对惯性传感器的具体性能不做限制，可以根据实际情况确定。为了获取更精确的目标部位对应的数据，可以设置所佩戴的惯性传感器为九轴imu，以将该imu中磁力计对应的x、y、z三个方向的数据，加速度计对应的x、y、z三个方向的数据，以及陀螺仪对应的x、y、z三个方向的数据共九个自由度的数据作为目标部位的运动数据。其中，加速度计的数据用于指示加速度、陀螺仪的数据用于指示角速度、磁力计的数据用于指示方向。
46.在获取目标部位的运动数据之前，可以基于图像采集设备的位置信息，对惯性传感器对应的坐标系进行校准，使惯性传感器对应的坐标系与图像采集设备对应的坐标系对齐。
47.图2示出了适用于本技术实施例的应用场景的示意图。如图2所示，可以通过图像采集设备竖直摆放，将图像采集设备所在的竖直平面确定为x、y平面。控制目标对象正对图像采集设备站立，并摆放出t字姿态，将目标对象正对图像采集设备的方向为正方向，将惯性传感器初始化，并记录惯性传感器对应的初始数据，以在后续通过惯性传感器获取目标部位的实时数据的过程中，将所获取的目标部位的实时数据与初始数据之间的差值，确定为目标部位的运动数据，以完成对惯性传感器的对应的坐标系的校准，保证惯性传感器对应的坐标系与图像采集设备对应的坐标系对齐。
48.本技术实施例对惯性传感器的佩戴数量和佩戴位置也不做限制，可以根据实际情况确定。例如，对于一个目标部位，可以在该目标部位佩戴一个惯性传感器，且将该惯性传感器佩戴在目标部位的正中间，即距离该目标部位的两个端点位置的关键点距离相同的位
置。当然，在目标部位包括多个子部位的情况下，可以在该目标部位的每个子部位都佩戴一个惯性传感器。
49.对于图像序列中的任一图像，可以通过任一三维姿态检测模型，确定该图像中各关键点的第一三维坐标信息。也可以通过任一二维姿态检测算法先确定出该图像中各关键点的二维坐标信息，再基于图像序列中与该图像存在时序关系的图像，确定该图像中各关键点的第一三维坐标信息。本技术实施例对此不做限制。
50.应该理解的是，可以通过本技术实施例所提供的方法确定出目标对象的所有关键点的坐标信息(即，包括二维坐标信息和三维坐标信息)，在本技术实施例中仅以目标对象的目标部位的各关键点为例进行说明。各关键点的坐标信息可以是相对于根关键点(root)的坐标信息，其中，本技术实施例对根关键点的选取方式不做限制，可以为目标对象的所有关键点中的一个，也可以为图像采集设备对应的坐标系中的一个指定点。例如，可以将目标对象的腰部关键点作为根关键点。
51.可选地，图像序列包括至少两帧图像，确定图像序列中任一图像中目标部位的各关键点的第一三维坐标信息，包括：
52.对于任一图像，确定各关键点的第一二维坐标信息；
53.对于任一图像，基于图像序列中至少一帧与该图像相邻的图像中各关键点的第一二维坐标信息，以及该图像对应的各关键点的第一二维坐标信息，确定该图像中各关键点的第一三维坐标信息。
54.在该实现方式中，可以基于任一二维姿态检测模型确定各关键点相对于根关键点的第一二维坐标信息，其中，该二维姿态检测模型可以为hrnet(一种神经网络模型)。
55.至少一帧与该图像相邻的图像，即与该图像存在时序关系的、相邻的图像。其中，若该方法应用于实时场景中，至少一帧与该图像相邻的图像即在获取该图像之前所获取到的27帧图像。
56.对于任一图像，可以通过videopose算法，选取目标对象的腰部关键点为根关键点，先确定出图像序列中至少一帧与该图像相邻的图像，基于与该相邻的图像与该图像之间的时序关系、该相邻的图像中各关键点的二维坐标信息以及该图像对应的各关键点的第一二维坐标信息，确定该图像中各关键点相对于腰部关键点的第一三维坐标信息。
57.通过上述方式，可以精确地确定出图像序列中每帧图像中各关键点的第一三维坐标信息，实现实时地对目标对象的各关键点的位置捕捉。
58.可选地，目标部位对应的各关键点的初始三维坐标信息是通过以下方式确定的：
59.获取目标对象处于指定姿态下对应的初始图像序列，
60.对于初始图像序列中的任一初始图像，确定各关键点的初始二维坐标信息；
61.对于任一初始图像，基于初始图像序列中、至少一帧与该初始图像相邻的图像中各关键点的初始二维坐标信息，以及该初始图像对应的各关键点的初始二维坐标信息，确定该初始图像中各关键点的初始三维坐标信息；
62.基于目标部位对应的各关键点的初始三维坐标信息，确定目标部位的长度，包括：
63.确定出目标部位的各关键点中处于目标部位的端点位置的两个目标关键点；
64.基于两个目标关键点的初始三维坐标信息，确定两个目标关键点之间的距离，将两个目标关键点之间的距离确定为目标部位的长度。
65.在该实现方式中，初始图像序列即基准图像序列，可以根据基于初始图像序列所确定的初始三维坐标信息，对目标对象处于任一姿态下的三维坐标信息进行校准。
66.考虑到在目标对象处于t字姿态时，目标对象的目标部位并不会出现例如遮挡等情况，因此，可以设定指定姿态为t字姿态，通过在目标对象处于t字姿态下，获取目标对象的初始图像序列，以进一步根据目标对象的初始图像序列，确定目标部位的各关键点的初始三维坐标信息。在本技术实施例中，可以在对惯性传感器进行校准的同时，确定各关键点的初始三维坐标信息。
67.可以基于上述确定各关键点的第一三维坐标信息的方式，确定出各关键点的初始三维坐标信息。具体如下：
68.可选地，可以在目标对象处于t字姿态时，通过图像采集设备采集目标对象对应的包括27帧图像的初始图像序列，该初始图像序列中的各图像为目标对象处于t字姿态的初始图像。例如，可以控制目标对象在t字姿态下保持预设时间段，在该预设时间段内，获取该目标对象对应的初始图像序列。本技术实施例对预设时间段不做限制，可以根据实际情况确定。例如，在图像采集设备采集图像的频率为30次/秒的情况下，可以设置预设时间段为5秒。
69.对于该初始图像序列中的任一初始图像，可以基于hrnet确定各关键点的初始二维坐标信息。对于该初始图像序列中的任一图像，通过videopose算法，选取目标对象的腰部关键点为根关键点，确定该初始图像序列中27帧与该初始图像相邻的图像，基于该相邻的图像以及该图像之间的时序关系、该相邻的图像中各关键点的初始二维坐标信息以及该图像中各关键点的初始二维坐标信息，确定该图像中各关键点相对于腰部关键点的初始三维坐标信息。
70.对于一个目标部位，可能会存在多个关键点，在本技术实施例中，在确定出目标部位的各关键点的初始三维坐标信息之后，可以一个目标部位的各关键点为该目标部位的端点位置的两个目标关键点为例进行说明。可以通过确定该目标部位两个关目标键点的初始三维坐标信息ki1和ki2之间的距离l0＝|ki
1-ki2|，将该距离l0确定为该目标部位的长度。
71.在目标对象处于任一姿态下，可以通过确定该目标部位两个关键点的第一三维坐标信息k1和k2之间的位移将该目标部位的两个关键点的第一三维坐标信息之间的位移与该目标部位的长度l0之间的比值确定为表征该目标部位的方向的第一单位向量(即，该目标部位对应的第一单位向量，基于对图像处理所得到的目标部位对应的单位向量)。
72.在该实现方式中，可以根据例如基于ahrs(attitude heading reference system，航向姿态参照系统)的算法等方式，结合目标部位的运动数据，确定出表征该目标部位的方向的第二单位向量(即，该目标部位对应的第二单位向量，基于对运动数据的处理所得到的目标部位对应的单位向量)。
73.应该理解的是，在理想情况下，通过目标部位对应的第一单位向量和第二单位向量应该是相同的，二者之间的相似度为1，也即，无论通过何种方式所确定的目标部位的方向应该是一致的。由于在实际应用中，由于目标部位在所获取的图像中可能会被遮挡或者
随着目标对象的快速移动无法获取到包括目标对象的清晰的图像，导致基于对图像处理所得到的目标部位对应的单位向量不准确，此时，若仍依据对图像处理所得到的目标部位的各第一三维坐标信息确定目标部位的姿态，可能会不准确。
74.为了避免上述情况发生，在本技术实施例中，在确定目标部位的第一单位向量、第二单位向量和各关键点的第一三维坐标信息之后，可以基于第一单位向量和第二单位向量之间的相似度，确定出是否由于目标部位在所获取的图像中被遮挡或者目标对象的快速移动等原因，导致无法基于对图像的处理准确获取到目标部位的姿态信息，从而可以基于各关键点的第一三维坐标信息，进一步地确定出目标部位的姿态。
75.其中，若第一单位向量和第二单位向量之间的相似度较高，即基于目标部位的运动数据得到的目标部位的方向、与基于目标部位的运动数据得到的目标部位的方向是一致的，目标部位在所获取的图像中没有被遮挡；若第一单位向量和第二单位向量之间的相似度较低，即基于目标部位的运动数据得到的目标部位的方向、与基于目标部位的运动数据得到的目标部位的方向是不一致的，目标部位在所获取的图像中被遮挡了。
76.由于在对包括目标对象的图像进行处理的过程中，即便目标部位的部分关键点在所获取的图像中被遮挡了，可以根据其他未遮挡的关键点的第一三维坐标信息，进行预测得到被遮挡的关键点的第一三维坐标信息，即在目标部位的部分关键点被遮挡的情况下，所得到的被遮挡的关键点的第一三维坐标信息可能不够准确。考虑到目标部位的长度不会改变以及基于目标部位的运动数据确定的表征目标部位的方向第二单位向量的实时性更强，本技术实施例还提供了以下具体确定目标部位的姿态的方式：
77.可选地，根据第一单位向量和第二单位向量之间的相似度，以及各关键点的第一三维坐标信息，确定目标部位的姿态，包括：
78.若相似度大于或等于预设阈值，基于目标部位对应的各关键点的第一三维坐标信息，确定目标部位的姿态；
79.若相似度小于预设阈值，基于目标部位对应的各关键点的初始三维坐标信息，确定目标部位的长度，基于目标部位的长度和第二单位向量，确定其他关键点的第二三维坐标信息；基于第一指定关键点的第一三维坐标信息以及其他关键点的第二三维坐标信息，确定目标部位的姿态，其他关键点为各关键点中除第一指定关键点之外的关键点。
80.在该实现方式中，对预设阈值的具体取值不做限制，可以为实验值或经验值，也可以根据实际情况确定，例如，可以设置预设阈值为0.7。在本技术实施例中，由于第一单位向量的模和第二单位向量的模均为1，可以直接将第一单位向量和第二单位向量的内积，即第一单位向量和第二单位向量夹角的余弦值，作为第一单位向量和第二向量的相似度。例如，在第一单位向量为第二单位向量为的情况下，第二单位向量和第二向量的相似度为
81.若相似度大于或等于预设阈值，即前文所描述的，第一单位向量和第二单位向量之间的相似度较高，基于目标部位的运动数据得到的目标部位的方向、与基于目标部位的运动数据得到的目标部位的方向是一致的，目标部位在所获取的图像中没有被遮挡。
82.考虑到对图像进行处理所得到的各关键点的位置信息的稳定性更好，可以将对图像进行处理所得到的各关键点的第一三维坐标信息作为确定该目标部位的姿态所需的该
第一指定关键点的三维坐标信息，即直接基于目标部位对应的各关键点的第一三维坐标信息，确定出目标部位的姿态。
83.可选地，由于基于对图像处理所得到的目标部位的方向与基于目标部位的运动数据得到的目标部位的方向是一致的，而基于目标部位的运动数据得到的目标部位的方向的实时性更强，为了更准确地确定目标部位的姿态，还可以基于目标部位对应的各关键点的第一三维坐标信息，结合基于目标部位的运动数据得到的目标部位的方向确定出动态的目标部位，即目标部位完整的动作表现。
84.若相似度小于预设阈值，即前文所描述的，第一单位向量和第二单位向量之间的相似度较低，基于目标部位的运动数据得到的目标部位的方向、与基于目标部位的运动数据得到的目标部位的方向是不一致的，目标部位在所获取的图像中可能被遮挡了，或者由于目标对象的快速移动导致无法通过图像采集设备获取到目标部位的准确信息。
85.考虑到无论目标部位是否被遮挡或者目标对象是否发生了快速移动，目标部位的长度是不变的，而基于目标部位的运动数据确定的目标部位的的方向是可以实时被测量得到的，即基于目标部位的运动数据确定的表征目标部位的方向第二单位向量的实时性更强，因此，可以基于目标部位的长度和目标部位的运动数据对目标部位的各关键点的第一三维坐标信息进行校正，得到各关键点的校正后的第一三维坐标信息，也即各关键点的第二三维坐标信息(即最终确定目标部位的姿态所需的该第一指定关键点的三维坐标信息)。
86.可选地，可以选取目标部位中变化可能性较小的关键点作为第一指定关键点，将基于对图像进行处理所得到的第一指定关键点的第一三维坐标信息确定为该第一指定关键点的第二三维坐标信息，从而基于目标部位的长度和基于目标部位的运动数据确定的第二单位向量，确定其他关键点的第二三维坐标信息。
87.以目标部位为小腿(不区分左右方向)为例，小腿对应的两个端点位置的关键点分别为脚踝关键点和膝盖关键点，膝盖关键点的第一三维坐标信息为k3，脚踝关键点的第一三维坐标信息为k4。考虑到通常情况下，膝盖关键点的第一三维坐标信息k3会相对固定，可以将膝盖关键点设置为第一指定关键点，假设膝盖关键点的初始三维坐标信息为ki3，脚踝关键点的初始三维坐标信息为ki4，小腿长度为l’＝|ki
4-ki3|，基于对图像处理所得到的目标部位的方向基于小腿的运动数据确定的小腿的单位向量(从膝盖关键点指向脚踝关键点)为若小于预设阈值，则可以确定脚踝关键点的第二三维坐标信息为
88.在确定出目标部位的其他关键点的第二三维坐标信息之后，可以基于第一指定关键点的第一三维坐标信息以及其他关键点的第二三维坐标信息，确定目标部位的姿态。
89.通过上述方式，基于第一单位向量和第二单位向量之间的相似度，在该相似度较高的情况下，直接基于对图像进行处理所得到的各关键点的第一三维坐标信息确定出目标部位的姿态。在该相似度较低的情况下，考虑目标部位的长度不会变，基于第一指定关键点的第一三维坐标信息，目标部位的第二单位向量、目标部位的长度，确定出目标部位的姿态。即通过上述方式，可以在基于所获取的目标对象的图像，无法准确地获取到目标部位的姿态的情况下，精确地确定出目标部位的姿态。
90.可选地，目标部位包括具有连接关系的至少两个子部位，各关键点的第一三维坐标信息包括每个子部位的各关键点的第一三维坐标信息，目标部位的运动数据包括每个子部位对应的运动数据；
91.根据各关键点的第一三维坐标信息，确定目标部位对应的第一单位向量，包括：
92.对于每个子部位，根据该子部位的关键点的第一三维坐标信息，确定该子部位对应的第一单位向量；
93.基于目标部位的运动数据，确定目标部位的第二单位向量，包括：
94.对于每个子部位，根据该子部位的运动数据，确定该子部位的第二单位向量；
95.根据第一单位向量和第二单位向量之间的相似度，以及各关键点的第一三维坐标信息，确定目标部位的姿态，包括：
96.对于每个子部位，根据该子部位对应的第一单位向量和该子部位对应的第二单位向量之间的相似度，以及该子部位的各关键点的第一三维坐标信息，确定该子部位的姿态；
97.基于目标部位的各子部位的姿态，确定目标部位的姿态。
98.在该实现方式中，可以基于目标部位的各关键点中的连接关键点，将目标部位分为具有连接关系至少两个子部位。
99.如图2和图3所示，以目标部位为目标对象的右手手臂(x轴的负方向对应的手臂)为例，在该目标部位中，右手的肘部对应的关键点应该为该目标部位的连接关键点，通过该连接关键点可以将该目标部位划分为2个子部位，分别为目标对象的右手手臂的大臂(以下简称“右大臂”)、右手手臂的小臂(以下简称“右小臂”)。对应地，若目标部位为目标对象的左手手臂，左手的肘部对应的关键点应该为该目标部位的连接关键点，通过该连接关键点可以将该目标部位划分为2个子部位，分别为目标对象的左手手臂的大臂(以下简称“左大臂”)、左手手臂的小臂(以下简称“左小臂”)。且如图2和图3所示，所佩戴的惯性传感器可以包括四个，可以各惯性传感器可以分别被佩戴在目标对象的右大臂、右小臂、左大臂和左小臂的任意位置。
100.参见前文所描述的通过图像序列中的图像确定目标部位的各关键点的初始三维坐标信息和第一三维坐标信息的方式，如图2所示，可以确定出右大臂的各关键点的初始三维坐标信息分别为ki
r1
，ki
r2
，右小臂的各关键点的初始三维坐标信息分别为ki
r2
，ki
r3
。其中，左大臂的各关键点的初始三维坐标信息分别为ki
l1
，ki
l2
，左小臂的各关键点的初始三维坐标信息分别为ki
l2
，ki
l3
。如图3所示，可以确定出右大臂的各关键点的第一三维坐标信息分别为k
r1
，ki
r2
，右小臂的各关键点的第一三维坐标信息分别为k
r2
，k
r3
。其中，左大臂的各关键点的第一三维坐标信息分别为k
l1
，k
l2
，左小臂的各关键点的第一三维坐标信息分别为k
l2
，k
l3
。
101.参见前文所描述的基于目标部位的各关键点的初始三维坐标信息，确定目标部位的长度的方式，以及基于目标部位的各关键点的第一三维坐标信息，确定目标部位对应的第一单位向量的方式，可以确定出右大臂的长度为l1＝|ki
r2-ki
r1
|，右大臂对应的第一单位向量为右小臂的长度为l2＝|ki
r3-ki
r2
|，右小臂对应的第一单位向量为左大臂的长度为l3＝|ki
l2-ki
l1
|，左大臂对应的第一单位向量为
左大臂的长度为l4＝|ki
l3-ki
l2
|，左小臂对应的第一单位向量为
102.参见前文所描述的基于目标部位运动数据，确定目标部位对应的第二单位向量的方式，可以基于ahrs算法，结合目标部位的各子部位的运动数据，确定出右大臂对应的第二单位向量为右小臂对应的第二单位向量为左大臂对应的第二单位向量为左小臂对应的第二单位向量为
103.参见前文所描述的确定目标部位对应的第一单位向量和目标部位对应的第二单位向量之间的相似度的方式，可以确定右大臂对应的相似度(即，右大臂对应的第一单位向量和该子部位对应的第二单位向量之间的相似度)为右小臂对应的相似度为左大臂对应的相似度为左小臂对应的相似度为
104.由于目标部位的各子部位之间存在连接关系，通过依次确定目标部位中具有连接关系的各子部位对应的第一单位向量、第二单位向量以及二者的相似度，对于每个子部位，可以根据该子部位对应的相似度以及该子部位的各关键点的第一三维坐标信息，确定出该子部位的姿态。在确定出各子部位的姿态之后，可以基于目标部位的各子部位的姿态以及各子部位之间的连接关系，进行目标部位的姿态的确定，可以使得所确定出的目标部位的姿态更加精确。
105.如前文所描述的，由于在对包括目标对象的图像进行处理的过程中，在目标部位的部分关键点被遮挡的情况下，所得到的被遮挡的关键点的第一三维坐标信息可能不够准确，即目标部位的各子部位中的关键点的第一三维坐标信息也可能不够准确，基于同样的考虑，即各子部位的长度不会改变以及基于各子部位的运动数据确定的表征各子部位的方向第二单位向量的实时性更强，本技术实施例还提供了以下具体确定目标部位的姿态的方式：
106.对于每个子部位，根据该子部位对应的第一单位向量和该子部位对应的第二单位向量之间的相似度，以及该子部位的各关键点的第一三维坐标信息，确定该子部位的姿态，包括：
107.对于相似度大于或等于对应的预设阈值的第一子部位，基于该子部位的各关键点的第一三维坐标信息，确定该子部位的姿态；
108.对于相似度小于对应的预设阈值的第二子部位，基于该子部位的各关键点的第一三维坐标信息以及该子部位对应的第二单位向量，确定该子部位的各关键点的第二三维坐标信息；根据该子部位的各关键点的第二三维坐标信息，确定该子部位的姿态。
109.在该实现方式中，每个子部位对应的预设阈值可以相同，也可以不同，本技术实施例对此不做限制。以前文所描述的目标部位为右手手臂为例，考虑到右大臂的活动区间相对于右小臂较小，可以设置右大臂对应的预设阈值大于右小臂对应的预设阈值例如，可以设置为0.8，为0.6。
110.基于同样的方式，对于一子部位，若该子部位对应的相似度大于或等于对应的预
设阈值，则表示基于图像处理所得到的该子部位(即第一子部位)的第一单位向量和基于该子部位的运动数据所得到的该子部位的第二单位向量相似度较高，可以直接基于图像处理所得到的该子部位的各关键点的第一三维坐标信息，确定该子部位的姿态。
111.如图3所示，以前文所描述的目标部位为右手手臂为例，右大臂对应的相似度右小臂对应的相似度之后，若a＞0.8，且b＞0.6，则可以基于k
r1
，k
r2
确定右大臂的姿态，基于k
r2
，k
r3
确定右小臂的姿态。
112.若该子部位对应的相似度小于对应的预设阈值，则表示基于图像处理所得到的该子部位(即第二子部位)的第一单位向量和基于该子部位的运动数据所得到的该子部位的第二单位向量相似度较低，需要对该子部位的各关键点的第一三维坐标信息进行校正，即需要进一步确定该子部位的各关键点的第二三维坐标信息，才能准确确定该子部位的姿态。
113.基于上述方式，可以精确地确定出各子部位的姿态。
114.如前文所记载的，考虑到该子部位的长度不会改变，可以先基于该子部位的各关键点的初始三维坐标信息，确定该子部位的长度，进一步基于该子部位的长度和该子部位对应的第二单位向量，确定该子部位的各关键点的第二三维坐标信息，从而根据该子部位的各关键点的第二三维坐标信息，确定该子部位的姿态。具体的实施方式如下：
115.可选地，各关键点的初始三维坐标信息包括每个子部位的各关键点的初始三维坐标信息，对于第二子部位，基于该子部位的各关键点的第一三维坐标信息以及该子部位对应的第二单位向量，确定该子部位的各关键点的第二三维坐标信息，包括：
116.基于该子部位的各关键点的初始三维坐标信息，确定该子部位的长度；
117.若至少两个子部位中包括第一子部位和第二子部位，将与该子部位存在连接关系的目标第一子部位的各关键点中的第一连接关键点的第一三维坐标信息作为该子部位中该第一连接关键点的第二三维坐标信息；根据该子部位的长度和该子部位对应的第二单位向量，确定该子部位中除第一连接关键点之外的其他关键点的第二坐标信息，目标第一子部位为已确定出对应的各关键点的第二三维坐标信息的第一子部位，第一连接关键点为该子部位与目标第一子部位的公共关键点；
118.若至少两个子部位中各子部位均为第二子部位，确定各关键点中的第二指定关键点，并通过以下方式确定该子部位的各关键点中的第二三维坐标信息：
119.对于第二指定关键点所属的指定第二子部位，将第二指定关键点的第一三维坐标信息作为该第二指定关键点的第二三维坐标信息，根据该子部位的长度和该子部位对应的第二单位向量，确定该子部位中除第二指定关键点之外的其他关键点的第二三维坐标信息；
120.对于至少两个子部位中除指定第二子部位之外的其他子部位，根据该子部位的长度和该子部位对应的第二单位向量，确定该子部位中出第二连接关键点之外的其他关键点的第二三维坐标信息，目标第二子部位为已确定出对应的各关键点的第二三维坐标信息的第二子部位，第二连接关键点为该子部位以及与该子部位存在连接关系的目标第二子部位的公共关键点。
121.如前文所记载的，可以直接基于第一子部位的各关键点的第一三维坐标信息，确
定该第一子部位的姿态，即，可以直接将第一子部位的各关键点的第一三维坐标信息确定为用于确定该第一子部位的姿态的对应的关键点的三维坐标信息。
122.由于目标部位中各子部位之间存在连接关系，相互连接的子部位之间存在公共关键点(即两个子部位中有一个关键点相同，且该相同的关键点为各自对应的子部位的一个端点位置的关键点)，若目标部位同时包括第一子部位和第二子部位，对于该目标部位中与第一子部位存在连接关系的第二子部位，可以根据第一子部位的各关键点的第一三维坐标信息，确定出该第二子部位与该第一子部位的公共关键点的第二三维坐标信息(即用于确定第二子部位的姿态所需的该公共关键点的三维坐标信息，其实质为该公共关键点的第一三维坐标信息)。以一个第二子部位包括两个端点位置的关键点为例，在得到第二子部位的一个端点位置的关键点的第二三维坐标信息之后，可以基于该第二子部位的长度(即基于该第二子部位的两个端点位置的关键点的初始三维坐标信息，所确定的该第二子部位的两个端点位置的关键点之间的距离)以及该子部位的第二单位向量，确定出该第二子部位的另一关键点的第二三维坐标信息。
123.如图3所示，以前文所描述的目标部位为右手手臂为例，若a＞0.8，且b＜0.6，则可以基于k
r1
和k
r2
确定右大臂的姿态，并进一步根据右小臂的长度和右小臂对应的第二单位向量，确定右小臂中与右大臂不连接的关键点的第二三维坐标信息，具体为：并基于k
r2
和k
r3’确定右小臂的姿态。
124.若a＜0.8，且b＞0.6，则可以基于k
r2
和k
r3
确定右小臂的姿态，并进一步根据右大臂的长度和右大臂对应的第二单位向量，确定右大臂中与右小臂不连接的关键点的第二三维坐标信息，具体为：并基于k
r1’和k
r2
确定右大臂的姿态。
125.若目标部位中的所有子部位均为第二子部位，即对于目标部位中的任一子部位，基于图像处理所得到的该子部位对应的第一单位向量和基于该子部位的运动数据所得到的该子部位的第二单位向量相似度较低，在图像中目标部位可能都被遮挡了。此时，为了尽可能的减少误差，可以选取各关键点中发生偏移可能较小的关键点作为第二指定关键点，将该第二指定关键点的第一三维坐标信息确定为该第二指定关键点的第二三维坐标信息(即用于确定该第二指定关键点所属的指定第二子部位所需的该第二指定关键点的三维坐标信息)。并进一步地，根据该子部位的长度和该子部位对应的第二单位向量，确定该子部位中除第二指定关键点之外的其他关键点的第二三维坐标信息。
126.由于已经确定了指定第二子部位的各关键点的第二三维坐标信息，可以参照上述基于第一子部位的各关键点的第一三维坐标信息以及与该第一子部位存在连接关系的第二子部位的第二单位向量，确定与该第一子部位存在连接关系的第二子部位的各关键点的第二三维坐标信息的方式，确定出该目标部位中所有子部位中各关键点的第二三维坐标信息，从而确定出该目标部位中所有子部位的姿态。
127.如图3所示，以前文所描述的目标部位为右手手臂为例，若a＜0.8，且b＜0.6，则可以确定可能右手手臂都被遮挡，由于右大臂与右肩的公共关键点属于肩部关节，一般不会发生较大的偏移，则可以将右大臂与右肩的公共关键点作为第二指定关键点，将k
r1
作为该第二指定关键点的第二三维坐标信息，并进一步确定右大臂的另一关键点的第二三维坐标
信息为基于k
r1
和k
r2’确定右大臂的姿态，进一步确定右小臂中与右大臂不连接的另一关键点的第二三维坐标信息为右大臂不连接的另一关键点的第二三维坐标信息为并k
r2’和k
r3’确定右小臂的姿态。
128.通过上述方式，可以精准的确定出目标部位中所有子部位的姿态，从而更好地确定出目标部位的姿态。
129.需要说明的是，虽然以上均是以目标部位包括两个关键点或者子部位包括两个关键点，且各关键点均为对应的部位的端点位置的关键点为例进行说明的，但在实际应用中，对于一个目标部位、一个子部位可能均存在多个关键点。可以采取上述方式，在每两个关键点之间佩戴惯性传感器，基于每个关键点的第一三维坐标信息、每两个相邻的关键点之间的部位的长度、每两个相邻关键点之间的部位对应的第一单位向量和第二单位向量、以及每两个相邻关键点之间的部位与其他部位之间的连接关系，以此确定出目标部位中所有关键点的第二三维坐标信息，并基于目标部位中所有关键点的第二三维坐标信息，准确地确定出目标部位的姿态。
130.基于与本技术实施例提供的姿态检测方法相同的原理，本技术实施例提供了一种姿态检测装置。图4为本技术实施例提供的一种姿态检测装置的结构示意图，如图4所示，该装置40可以包括：
131.图像及运动数据获取模块401，用于获取目标对象对应的图像序列以及目标对象的目标部位的运动数据；
132.三维坐标信息确定模块402，用于确定图像序列中任一图像中目标部位的各关键点的第一三维坐标信息；
133.第一单位向量确定模块403，用于根据各关键点的第一三维坐标信息，确定表征目标部位的方向的第一单位向量；
134.第二单位向量确定模块404，用于基于目标部位的运动数据，确定表征目标部位的方向的第二单位向量；
135.姿态确定模块405，用于根据第一单位向量和第二单位向量之间的相似度，以及各关键点的第一三维坐标信息，确定目标部位的姿态。
136.可选地，姿态确定模块405在根据第一单位向量和第二单位向量之间的相似度，以及各关键点的第一三维坐标信息，确定目标部位的姿态时，具体用于：
137.若相似度大于或等于预设阈值，基于目标部位对应的各关键点的第一三维坐标信息，确定目标部位的姿态；
138.若相似度小于预设阈值，基于目标部位对应的各关键点的初始三维坐标信息，确定目标部位的长度，基于目标部位的长度和第二单位向量，确定其他关键点的第二三维坐标信息；基于第一指定关键点的第一三维坐标信息以及其他关键点的第二三维坐标信息，确定目标部位的姿态，其他关键点为各关键点中除第一指定关键点之外的关键点。
139.可选地，目标部位包括具有连接关系的至少两个子部位，各关键点的第一三维坐标信息包括每个子部位的各关键点的第一三维坐标信息，目标部位的运动数据包括每个子部位对应的运动数据；
140.第一单位向量确定模块403在根据各关键点的第一三维坐标信息，确定目标部位
对应的第一单位向量时，具体用于：
141.对于每个子部位，根据该子部位的关键点的第一三维坐标信息，确定该子部位对应的第一单位向量；
142.第二单位向量确定模块404在基于目标部位的运动数据，确定目标部位的第二单位向量时，具体用于：
143.对于每个子部位，根据该子部位的运动数据，确定该子部位的第二单位向量；
144.姿态确定模块405在根据第一单位向量和第二单位向量之间的相似度，以及各关键点的第一三维坐标信息，确定目标部位的姿态时，具体用于：
145.对于每个子部位，根据该子部位对应的第一单位向量和该子部位对应的第二单位向量之间的相似度，以及该子部位的各关键点的第一三维坐标信息，确定该子部位的姿态；
146.基于目标部位的各子部位的姿态，确定目标部位的姿态。
147.可选地，对于每个子部位，姿态确定模块405在根据该子部位对应的第一单位向量和该子部位对应的第二单位向量之间的相似度，以及该子部位的各关键点的第一三维坐标信息，确定该子部位的姿态时，具体用于：
148.对于相似度大于或等于对应的预设阈值的第一子部位，基于该子部位的各关键点的第一三维坐标信息，确定该子部位的姿态；
149.对于相似度小于对应的预设阈值的第二子部位，基于该子部位的各关键点的第一三维坐标信息以及该子部位对应的第二单位向量，确定该子部位的各关键点的第二三维坐标信息；根据该子部位的各关键点的第二三维坐标信息，确定该子部位的姿态。
150.可选地，各关键点的初始三维坐标信息包括每个子部位的各关键点的初始三维坐标信息，对于第二子部位，姿态确定模块405在基于该子部位的各关键点的第一三维坐标信息以及该子部位对应的第二单位向量，确定该子部位的各关键点的第二三维坐标信息时，具体用于：
151.基于该子部位的各关键点的初始三维坐标信息，确定该子部位的长度；
152.若至少两个子部位中包括第一子部位和第二子部位，将与该子部位存在连接关系的目标第一子部位的各关键点中的第一连接关键点的第一三维坐标信息作为该子部位中该第一连接关键点的第二三维坐标信息；根据该子部位的长度和该子部位对应的第二单位向量，确定该子部位中除第一连接关键点之外的其他关键点的第二坐标信息，目标第一子部位为已确定出对应的各关键点的第二三维坐标信息的第一子部位，第一连接关键点为该子部位与目标第一子部位的公共关键点；
153.若至少两个子部位中各子部位均为第二子部位，确定各关键点中的第二指定关键点，并通过以下方式确定该子部位的各关键点中的第二三维坐标信息：
154.对于第二指定关键点所属的指定第二子部位，将第二指定关键点的第一三维坐标信息作为该第二指定关键点的第二三维坐标信息，根据该子部位的长度和该子部位对应的第二单位向量，确定该子部位中除第二指定关键点之外的其他关键点的第二三维坐标信息；
155.对于至少两个子部位中除指定第二子部位之外的其他子部位，根据该子部位的长度和该子部位对应的第二单位向量，确定该子部位中出第二连接关键点之外的其他关键点的第二三维坐标信息，目标第二子部位为已确定出对应的各关键点的第二三维坐标信息的
第二子部位，第二连接关键点为该子部位以及与该子部位存在连接关系的目标第二子部位的公共关键点。
156.可选地，图像序列包括至少两帧图像，三维坐标信息确定模块402在确定图像序列中任一图像中目标部位的各关键点的第一三维坐标信息时，具体用于：
157.对于任一图像，确定各关键点的第一二维坐标信息；
158.对于任一图像，基于图像序列中、至少一帧与该图像相邻的图像中各关键点的第一二维坐标信息，以及该图像对应的各关键点的第一二维坐标信息，确定该图像中各关键点的第一三维坐标信息。
159.可选地，目标部位对应的各关键点的初始三维坐标信息是通过以下方式确定的：
160.获取目标对象处于指定姿态下对应的初始图像序列，
161.对于初始图像序列中的任一初始图像，确定各关键点的初始二维坐标信息；
162.对于任一初始图像，基于初始图像序列中、至少一帧与该初始图像相邻的图像中各关键点的初始二维坐标信息，以及该初始图像对应的各关键点的初始二维坐标信息，确定该初始图像中各关键点的初始三维坐标信息；
163.姿态确定模块405在基于目标部位对应的各关键点的初始三维坐标信息，确定目标部位的长度时，具体用于：
164.确定出目标部位的各关键点中处于目标部位的端点位置的两个目标关键点；
165.基于两个目标关键点的初始三维坐标信息，确定两个目标关键点之间的距离，将两个目标关键点之间的距离确定为目标部位的长度。
166.本技术实施例的装置可执行本技术实施例所提供的方法，其实现原理相类似，本技术各实施例的装置中的各模块所执行的动作是与本技术各实施例的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应方法中的描述，此处不再赘述。
167.基于与本技术实施例提供的姿态检测方法及装置相同的原理，本技术实施例中还提供了一种电子设备(如服务器)，该电子设备可以包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行上述计算机程序以实现本技术任一可选实施例中提供的方法的步骤。
168.可选地，图5示出了本技术实施例所适用的一种电子设备的结构示意图，如图5所示，图5所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本技术实施例的限定。
169.处理器4001可以是cpu(central processing unit，中央处理器)，通用处理器，dsp(digital signal processor，数据信号处理器)，asic(application specific integrated circuit，专用集成电路)，fpga(field programmable gate array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的
组合等。
170.总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
171.存储器4003可以是rom(read only memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，ram(random access memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是eeprom(electrically erasable programmable read only memory，电可擦可编程只读存储器)、cd-rom(compact disc read only memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。
172.存储器4003用于存储执行本技术实施例的计算机程序，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的计算机程序，以实现前述方法实施例所示的步骤。
173.本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
174.本技术实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
175.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除图示或文字描述以外的顺序实施。
176.应该理解的是，虽然本技术实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本技术实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本技术实施例对此不限制。
177.以上所述仅是本技术部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术的方案技术构思的前提下，采用基于本技术技术思想的其他类似实施手段，同样属于本技术实施例的保护范畴。