三维姿态调整的方法、装置、电子设备及存储介质与流程

1.本公开涉及计算机视觉技术领域，具体而言，涉及一种三维姿态调整的方法、装置、电子设备及存储介质。


背景技术：

2.三维(three
‑
dimensional，3d)人体姿态估计是指从图像、视频或点云中估计人物目标的姿态，常用于人体重建、人机交互、行为识别、游戏建模等各个工业领域。
3.相关技术中提供了一种基于3d空间体素化进行多视角特征提取，并通过卷积神经网络(convolutional neural networks，cnn)检测关键点的3d人体姿态估计方案。其中，空间体素化是将3d空间等距地划分为等大小的网格，体素化后的多视角图像特征可以作为3d卷积的输入。
4.上述3d人体姿态估计方案中的空间体素化会带来量化误差，在较大的3d空间场景里，往往只能选择较大的步长进行体素化，这会进一步增大量化误差，导致所确定的三维姿态的精度和准确度均较低。


技术实现要素：

5.本公开实施例至少提供一种三维姿态调整的方法、装置、电子设备及存储介质，以提升三维姿态评估的精度和准确度。
6.第一方面，本公开实施例提供了一种三维姿态调整的方法，所述方法包括：
7.获取目标对象的多个关键点在目标体素空间内的待调整三维坐标；
8.基于所述待调整三维坐标，确定所述多个关键点分别在多张目标图像中投影得到的关键点特征信息；所述多张目标图像为多个视角下拍摄目标对象得到的目标图像；
9.基于所述目标对象对应的预先构建的关键点连接关系信息，以及多个关键点分别在所述多个视角对应的目标图像的关键点特征信息，确定所述目标对象的三维姿态信息。
10.采用上述三维姿态调整的方法，在获取到目标对象的多个关键点在目标体素空间内的待调整三维坐标的情况下，可以基于待调整三维坐标，确定多个关键点分别在多张目标图像中投影得到的关键点特征信息，最后基于目标对象对应的预先构建的关键点连接关系信息，以及多个关键点分别在多个视角对应的目标图像的关键点特征信息，确定目标对象的三维姿态信息。可知，本公开利用多个关键点在不同视角下的关键点特征信息可以确定多个关键点在不同视角下的连接关系，这样的连接关系将有助于确定出更为准确的关键点特征信息，除此之外，结合预先构建的关键点连接关系信息可以约束关键点之间的连接关系，使得确定出的关键点特征信息更为准确，进一步使得所确定的三维姿态信息的精度和准确度得以提升。
11.在一种可能的实施方式中，所述基于所述待调整三维坐标，确定所述多个关键点分别在多张目标图像中投影得到的关键点特征信息，包括：
12.基于所述待调整三维坐标，确定所述多个关键点分别在所述多张目标图像中的二
维投影点信息，以及提取所述多张目标图像分别对应的图像特征；
13.基于所述关键点在所述多张目标图像中的二维投影点信息，从所述多张目标图像分别对应的图像特征中提取与所述关键点匹配的关键点特征信息；
14.将提取的所述与所述关键点匹配的关键点特征信息确定为所述在多张目标图像中投影得到的关键点特征信息。
15.这里，可以基于关键点在多张目标图像中的二维投影点信息与图像特征之间的对应关系，确定与关键点匹配的关键点特征信息，操作简单。
16.在一种可能的实施方式中，所述二维投影点信息包括二维投影点的图像位置信息；所述基于所述关键点在所述多张目标图像中的二维投影点信息，从所述多张目标图像分别对应的图像特征中提取与所述关键点匹配的关键点特征信息，包括：
17.针对所述多张目标图像中的每张目标图像，基于所述关键点在所述多张目标图像中的二维投影点的图像位置信息，从所述目标图像对应的图像特征中提取与所述图像位置信息对应的图像特征；
18.将提取的与所述图像位置信息对应的图像特征，确定为与所述关键点匹配的关键点特征信息。
19.在一种可能的实施方式中，所述基于所述目标对象对应的预先构建的关键点连接关系信息，以及多个关键点分别在所述多个视角对应的目标图像的关键点特征信息，确定所述目标对象的三维姿态信息，包括：
20.针对所述多个关键点中的每个关键点，基于所述关键点在不同视角下的关键点特征信息，以及与所述关键点关联的其他关键点的关键点特征信息，确定所述关键点在不同视角下的更新关键点特征信息；
21.基于所述多个关键点分别对应的更新关键点特征信息，以及所述目标对象对应的预先构建的关键点连接关系信息，确定所述目标对象的三维姿态信息。
22.这里，可以利用每个关键点在不同视角下的关键点特征信息，以及与该关键点关联的其他关键点的关键点特征信息进行该关键点的关键点特征信息的更新，更新关键点特征信息一定程度上包括了一个视图内的其他关键点的特征，还包括了不同视图间的关键点的特征，使得关键点的特征更趋近于准确，进而使得所确定的三维姿态信息也更为准确。
23.在一种可能的实施方式中，所述基于所述关键点在不同视角下的关键点特征信息，以及与所述关键点关联的其他关键点的关键点特征信息，确定所述关键点在不同视角下的更新关键点特征信息，包括：
24.将所述多个视角中的每个视角作为目标视角，分别执行下列步骤：
25.基于所述关键点在不同视角下的关键点特征信息以及所述关键点在不同视角下的各个二维投影点之间的第一连接关系，对所述关键点在不同视角下的关键点特征信息进行第一更新，得到第一更新后的关键点特征信息；
26.基于所述关键点在所述目标视角下的关键点特征信息以及与所述关键点同属于所述目标视角、且与所述关键点存在第二连接关系的其他关键点的关键点特征信息对所述关键点在所述目标视角下的关键点特征信息进行第二更新，得到第二更新后的关键点特征信息；
27.基于所述第一更新后的关键点特征信息以及所述第二更新后的关键点特征信息，
确定所述关键点在所述目标视角下的更新关键点特征信息。
28.在一种可能的实施方式中，所述基于所述目标对象对应的预先构建的关键点连接关系信息，以及多个关键点分别在所述多个视角对应的目标图像的关键点特征信息，确定所述目标对象的三维姿态信息，包括：
29.针对所述多个关键点中的每个关键点，将所述关键点在不同视角下的关键点特征信息进行融合，得到所述关键点对应的融合关键点特征信息；
30.基于所述目标对象对应的预先构建的关键点连接关系信息、以及所述多个关键点分别对应的融合关键点特征信息，确定所述目标对象的三维姿态信息。
31.这里，通过不同视角下的关键点特征信息的融合操作，使得所确定的融合关键点特征信息能够兼顾不同视角的特征，进一步提升三维姿态信息的准确度。
32.在一种可能的实施方式中，所述关键点特征信息包括多个维度的关键点特征值；所述将所述关键点在不同视角下的关键点特征信息进行融合，得到所述关键点对应的融合关键点特征信息，包括：
33.针对所述多个维度中的每个所述维度，确定所述关键点在不同视角下、所述维度对应的多个关键点特征值，并基于确定的所述多个关键点特征值确定所述维度对应的融合后关键点特征值；
34.基于所述多个维度分别对应的融合后关键点特征值，确定所述关键点对应的融合关键点特征信息。
35.在一种可能的实施方式中，所述基于确定的所述多个关键点特征值确定所述维度对应的融合后关键点特征值，包括如下多种方式中的一种方式：
36.从所述多个关键点特征值中选取取值最大的关键点特征值，作为所述维度对应的融合后关键点特征值；
37.将所述多个关键点特征值的平均值作为所述维度对应的融合后关键点特征值；
38.获取与所述多个关键点特征值分别对应的权重值，并基于所述多个关键点特征值以及与所述多个关键点特征值分别对应的权重值之间的加权求和，确定所述维度对应的融合后关键点特征值。
39.在一种可能的实施方式中，基于所述目标对象对应的预先构建的关键点连接关系信息、以及所述多个关键点分别对应的融合关键点特征信息，确定所述目标对象的三维姿态信息，包括：
40.基于所述目标对象对应的预先构建的关键点连接关系信息包括的各个关键点之间的第三连接关系，对所述多个关键点分别对应的融合关键点特征信息进行更新，得到更新后的融合关键点特征信息；
41.基于所述更新后的融合关键点特征信息，确定所述目标对象的三维姿态信息。
42.这里，可以基于预先构建的关键点连接关系信息包括的各个关键点之间的第三连接关系对多个关键点分别对应的融合关键点特征信息进行更新，得到更新后的融合关键点特征信息，也即，利用预先构建的第三连接关系可以校准融合关键点特征信息，使得所确定的三维姿态也更为准确。
43.在一种可能的实施方式中，所述目标对象的多个关键点中的每个关键点作为第一关键点，具备所述第三连接关系的各个关键点中的每个关键点作为第二关键点；
44.所述第二关键点为人体骨骼点；
45.所述第一关键点包括人体骨骼点和人体标记点中的至少一项。
46.在一种可能的实施方式中，所述基于所述更新后的融合关键点特征信息，确定所述目标对象的三维姿态信息，包括：
47.将所述更新后的融合关键点特征信息输入到预先训练好的目标姿态识别网络中，输出姿态偏差信息；所述姿态偏差信息用于表示所述目标对象的当前姿态与待调整姿态之间的偏差情况；
48.基于所述姿态偏差信息以及所述目标对象的多个关键点在所述目标体素空间内的待调整三维坐标，确定所述目标对象的多个关键点在所述目标体素空间内的调整后三维坐标，并基于所述调整后三维坐标确定所述目标对象的三维姿态信息。
49.在一种可能的实施方式中，所述获取目标对象的多个关键点在目标体素空间内的待调整三维坐标，包括如下方式中的一种：
50.获取在多个视角下拍摄所述目标对象得到的多张目标图像，并基于所述多张目标图像，确定目标对象的多个关键点在所述目标体素空间内的待调整三维坐标；
51.获取无线电设备发射的多条探测射线分别返回的深度信息，并基于所述深度信息确定所述目标对象的多个关键点在所述目标体素空间内的待调整三维坐标。
52.在一种可能的实施方式中，获取的所述多张目标图像中的每张目标图像作为第一目标图像，用于所述关键点投影的多张目标图像中的每张目标图像作为第二目标图像；
53.所述第一目标图像中至少部分图像与所述第二目标图像中至少部分图像相同；或者，
54.所述第一目标图像与所述第二目标图像不存在相同的图像。
55.第二方面，本公开实施还提供了一种三维姿态调整的装置，所述装置包括：
56.获取模块，用于获取目标对象的多个关键点在目标体素空间内的待调整三维坐标；
57.确定模块，用于基于所述待调整三维坐标，确定所述多个关键点分别在所述多张目标图像中投影得到的关键点特征信息；所述多张目标图像为多个视角下拍摄目标对象得到的目标图像；
58.调整模块，用于基于所述目标对象对应的预先构建的关键点连接关系信息，以及多个关键点分别在所述多个视角对应的目标图像的关键点特征信息，确定所述目标对象的三维姿态信息。
59.第三方面，本公开实施还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一所述的三维姿态调整的方法的步骤。
60.第四方面，本公开实施还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面及其各种实施方式任一所述的三维姿态调整的方法的步骤。
61.关于上述三维姿态调整的装置、电子设备、及计算机可读存储介质的效果描述参见上述三维姿态调整的方法的说明，这里不再赘述。
62.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
63.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
64.图1示出了本公开实施例所提供的一种三维姿态调整的方法的流程图；
65.图2示出了本公开实施例所提供的一种三维姿态调整的方法的应用示意图；
66.图3示出了本公开实施例所提供的一种三维姿态调整的装置的示意图；
67.图4示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
68.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
69.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
70.本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
71.经研究发现，相关技术中提供了一种基于3d空间体素化进行多视角特征提取，并通过cnn检测关键点的3d人体姿态估计方案。其中，空间体素化是将3d空间等距地划分为等大小的网格，体素化后的多视角图像特征可以作为3d卷积的输入。
72.上述3d人体姿态估计方案中的空间体素化会带来量化误差，在较大的3d空间场景里，往往只能选择较大的步长进行体素化，这会进一步增大量化误差，导致所确定的三维姿态的精度和准确度均较低。
73.基于上述研究，本公开提供了一种三维姿态调整的方法、装置、电子设备及存储介质，以提升三维姿态评估的精度和准确度。
74.为便于对本实施例进行理解，首先对本公开实施例所公开的一种三维姿态调整的方法进行详细介绍，本公开实施例所提供的三维姿态调整的方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设
备可以为用户设备(user equipment，ue)、移动设备、蜂窝电话、无绳电话、个人数字助理(personal digital assistant，pda)、手持设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该三维姿态调整的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
75.参见图1所示，为本公开实施例提供的三维姿态调整的方法的流程图，方法包括步骤s101～s103，其中：
76.s101：获取目标对象的多个关键点在目标体素空间内的待调整三维坐标；
77.s102：基于待调整三维坐标，确定多个关键点分别在多张目标图像中投影得到的关键点特征信息；多张目标图像为多个视角下拍摄目标对象得到的目标图像；
78.s103：基于目标对象对应的预先构建的关键点连接关系信息，以及多个关键点分别在多个视角对应的目标图像的关键点特征信息，确定目标对象的三维姿态信息。
79.为了便于理解本公开实施例提供的三维姿态调整的方法，接下来首先对该方法的应用场景进行简单介绍。本公开实施例中的三维姿态调整的方法可以应用于任何需要进行三维姿态调整的应用场景中，例如，自动驾驶领域中对自动驾驶车辆前方的行人进行三维姿态的调整，再如，智能安防领域对道路车辆的三维姿态进行调整等，本公开实施例对此不做具体的限制。接下来多以自动驾驶领域进行示例说明。
80.考虑到相关技术中结合体素化和cnn网络所确定三维姿态的精度往往受限于体素化的量化误差，另外，即使是采用其它车载设备，例如无线电设备等所确定的三维姿态的精度也可能会因为受到各种不良因素的影响而导致所确定的三维姿态信息的精度和准确度较低。
81.正是为了解决上述问题，本公开实施例才提供了一种结合预先构建的关键点连接关系信息以及多个关键点分别在不同视角下的关键点特征信息进行三维姿态调整的方案，以提升三维姿态的精度和准确度，从而可以更好的应用于各种实际场景。
82.本公开实施例中的待调整三维坐标可以是针对同一目标对象的多个关键点的初始三维坐标。在具体应用中，上述待调整三维坐标可以是基于多张目标图像进行体素化和cnn网络检测所确定的，也可以是基于多张目标图像进行极限距离计算，而后基于3d重建得到的，还可以是基于同步工作的无线电设备所探测的深度信息计算得到的，除此以外，还可以是其它方法确定的，本公开实施例对此不做具体的限制。
83.需要说明的是，这里在确定待调整三维坐标的情况下所选用的目标图像与后续进行关键点投影的目标图像可以是针对同一目标对象拍摄所得到的图像。在具体应用中，可以是完全相同的图像，也可以是部分相同的图像，也可以是完全不同的图像。以确定待调整三维坐标所选用的每张目标图像作为第一目标图像，以用于关键点投影的每张目标图像作为第二目标图像而言，第一目标图像中至少部分图像与第二目标图像中至少部分图像相同，这里可以是部分图像相同，也可以是全部图像相同，部分图像相同可以指的是存在重叠的图像，且重叠的图像的数量以及拍摄视角相同；或者，第一目标图像与第二目标图像不存在相同的图像，也即，尽管第一目标图像和第二目标图像均是针对处于某一姿态的目标对象所拍摄的图像，但在拍摄目标对象时，所采用的拍摄视角并不相同。
84.本公开实施例中，目标对象的多个关键点对应的可以是目标对象的关键节点，以人体作为目标对象为例，这里的关键点可以是与人体骨骼对应的人体骨骼点，还可以是能
够识别出人体的人体标记点。
85.在获取到待调整三维坐标的情况下，本公开实施例提供的三维姿态调整的方法可以先确定多个关键点分别在多张目标图像中的二维投影点信息，并基于二维投影点信息，确定多个关键点在不同视角下的关键点特征信息。
86.这里的用于进行二维投影的多张目标图像可以是在多个视角下针对同一目标对象拍摄得到的，也即，一个视角可以对应一张目标图像。在自动驾驶领域中，上述多张目标图像可以是安装在车辆的多个摄像头针对同一目标对象进行同步拍摄得到的，这里的多个摄像头可以是结合不同的用户需求来选取，例如可以是车头两侧及中心位置处对应安装的三个摄像头针对前方行人抓拍的三张目标图像。
87.其中，有关二维投影点信息可以是基于待调整三维坐标所在三维坐标系与目标图像所在二维坐标系之间的转换关系确定的，也即，利用转换关系可以将关键点投影到目标图像上，从而确定关键点在目标图像上的二维投影点的图像位置等信息。
88.基于多个关键点分别在多张目标图像中的二维投影点信息，可以确定多个关键点在不同视角下的关键点特征信息，这里所确定的关键点特征信息可以是融合不同视角的特征信息，这主要是考虑到针对同一目标对象而言，在不同视角下，对应关键点之间存在一定的连接关系，继而可以实现有关关键点特征的更新。除此以外，在同一视角下，对应关键点之间也存在一定的连接关系，也可以实现有关关键点特征的更新，从而使得所确定的关键点特征信息更为贴合符合目标对象的实际姿态。
89.这里，预先构建的关键点连接关系信息可以对应的是一定姿态的目标对象，结合关键点连接关系信息可以对多个关键点分别在不同视角下的关键点特征信息进行约束，进一步可以使得所确定的三维姿态更为准确。
90.其中，基于关键点连接关系以及关键点特征信息所确定的三维姿态信息可以是由对目标对象的多个关键点中的每个关键点的待调整三维坐标进行调整后得到的调整后三维坐标组合得到的，也即，多个关键点的调整后三维坐标可以表征出目标对象的三维姿态。
91.考虑到关键点的关键点特征信息的确定对于三维姿态调整的关键作用，接下来可以对确定关键点特征信息的过程进行详细描述。
92.上述确定关键点特征信息的过程主要包括如下步骤：
93.步骤一、基于待调整三维坐标，确定多个关键点分别在多张目标图像中的二维投影点信息，以及提取多张目标图像分别对应的图像特征；
94.步骤二、基于关键点在多张目标图像中的二维投影点信息，从多张目标图像分别对应的图像特征中提取与关键点匹配的关键点特征信息；
95.步骤三、将提取的与关键点匹配的关键点特征信息确定为在多张目标图像中投影得到的关键点特征信息。
96.为了提取与关键点匹配的关键点特征信息，本公开实施例提供的三维姿态调整的方法中，可以针对每张目标图像，基于关键点在多张目标图像中的二维投影点的图像位置信息，从该张目标图像对应的图像特征中提取与图像位置信息对应的图像特征，并将提取的该图像特征作为与关键点匹配的关键点特征信息。
97.其中，有关目标图像对应的图像特征可以是基于图像处理得到的，也可以是基于训练好的特征提取网络提取得到的，还可以是其它能够提取出表征目标对象、目标对象所
在场景等各种信息的其它方法确定的，本公开实施例对此不做具体的限制。
98.为了确定出更为准确的目标对象的三维姿态信息，这里，可以先基于关键点连接关系对关键点的关键点特征信息进行更新，而后基于更新关键点特征信息，以及目标对象对应的预先构建的关键点连接关系信息，确定目标对象的三维姿态信息，具体可以通过如下步骤来实现：
99.步骤一、针对多个关键点中的每个关键点，基于关键点在不同视角下的关键点特征信息，以及与关键点关联的其他关键点的关键点特征信息，确定关键点在不同视角下的更新关键点特征信息；
100.步骤二、基于多个关键点分别对应的更新关键点特征信息，以及目标对象对应的预先构建的关键点连接关系信息，确定目标对象的三维姿态信息。
101.这里，针对每个关键点，与该关键点关联的其他关键点可以是与关键点存在连接关系的关键点，这里的连接关系主要对应的是同一视图下关键点之间的连接关系，而对于关键点在不同视角下的关键点特征信息而言，可以确定的是不同视图下针对同一关键点所确定的二维投影点之间的连接关系。将多个视角中的每个视角作为目标视角，具体可以通过如下步骤来进行关键点在每个视角下的关键点特征信息的更新：
102.步骤一、基于关键点在不同视角下的关键点特征信息以及关键点在不同视角下的各个二维投影点之间的第一连接关系，对关键点在不同视角下的关键点特征信息进行第一更新，得到第一更新后的关键点特征信息；以及，基于关键点在目标视角下的关键点特征信息以及与关键点同属于目标视角、且与关键点存在第二连接关系的其他关键点的关键点特征信息对关键点在目标视角下的关键点特征信息进行第二更新，得到第二更新后的关键点特征信息；
103.步骤二、基于第一更新后的关键点特征信息以及第二更新后的关键点特征信息，确定关键点在目标视角下的更新关键点特征信息。
104.其中，关键点在不同视角下的各个二维投影点之间的第一连接关系是预先确定的，基于第一连接关系可以基于各个视角下的关键点的关键点特征信息对一个视角下的关键点的关键点特征信息进行更新，也即，第一更新后的关键点特征信息融合了其它视图下同一关键点的关键点特征。
105.另外，基于同属于目标视角、且与关键点存在第二连接关系的其他关键点的关键点特征信息可以对关键点的关键点特征信息进行更新，这里的第二连接关系也可以是预先确定的，这样所确定的第二更新后的关键点特征信息融合了同一视图的其它关键点的关键点特征。
106.结合第一更新后的关键点特征信息以及第二更新后的关键点特征信息，可以使得所确定的关键点在任一视角下的更新关键点特征信息更为准确。
107.需要说明的是，在结合第一更新后的关键点特征信息以及第二更新后的关键点特征信息进行关键点特征信息更新的过程中，可以先进行第一更新，然后在第一更新的基础上再进行第二更新；也可以先进行第二更新，然后在第二更新的基础上再进行第一更新；还可以同时进行第一更新和第二更新，而后融合第一更新和第二更新的结果实现关键点特征信息的更新，在此不做具体的限制。
108.在实际应用中，可以利用图神经网络(graph neural network，gnn)实现上述关键
点特征信息的更新。这里，在进行特征更新之前，可以基于上述第一连接关系、第二连接关系以及关键点特征信息构建图模型，通过对图模型进行卷积运算，不断更新关键点的关键点特征信息。
109.本公开实施例提供的三维姿态调整的方法，可以先进行关键点特征信息的融合，再结合预先构建的关键点连接关系信息确定目标对象的三维姿态信息，以提升三维姿态信息的准确性，具体可以通过如下步骤来实现：
110.步骤一、针对多个关键点中的每个关键点，将关键点在不同视角下的关键点特征信息进行融合，得到关键点对应的融合关键点特征信息；
111.步骤二、基于目标对象对应的预先构建的关键点连接关系信息、以及多个关键点分别对应的融合关键点特征信息，确定目标对象的三维姿态信息。
112.这里，可以针对关键点进行不同视角下的关键点特征信息的融合，这样所得到的融合关键点特征信息一定程度上可以兼顾各视角下的目标对象的姿态，具体可以包括如下步骤：
113.步骤一、针对多个维度中的每个维度，确定关键点在不同视角下、维度对应的多个关键点特征值，并基于确定的多个关键点特征值确定维度对应的融合后关键点特征值；
114.步骤二、基于多个维度分别对应的融合后关键点特征值，确定关键点对应的融合关键点特征信息。
115.这里，针对关键点特征信息的每个维度，可以从一个关键点在不同视角下、该维度对应的多个关键点特征值中选取取值最大的关键点特征值确定为该维度对应的融合后关键点特征值，以最大可能性的彰显每个维度的特征，除此之外，本公开实施例还可以针对每个维度，求取对应多个关键点特征值的平均值，并作为对应的融合后关键点特征值，也即，进行了每个维度下的多个视角的关键点特征的融合。
116.另外，这里还可以结合与多个关键点特征值分别对应的权重值进行加权求和，确定融合后关键点特征值，从而实现了针对关键点的特征融合。在实际应用中，上述有关权重值可以是人工方式确定的，也可以通过预先训练的权重匹配网络确定的，在此不做具体的限制。
117.本公开实施例在进行目标对象的三维姿态信息确认的过程中，还可以基于目标对象对应的预先构建的关键点连接关系信息对上述融合关键点特征信息进行更新，进一步提升所确定姿态的准确性，具体可以通过如下步骤来实现：
118.步骤一、基于目标对象对应的预先构建的关键点连接关系信息包括的各个关键点之间的第三连接关系，对多个关键点分别对应的融合关键点特征信息进行更新，得到更新后的融合关键点特征信息；
119.步骤二、基于更新后的融合关键点特征信息，确定目标对象的三维姿态信息。
120.这里，有关预先构建的关键点连接关系信息可以包括的是各个关键点之间的第三连接关系，这里的第三连接关系可以是按照人体骨架结构依次连接人体的各个人体骨骼点所形成的连接关系，一定程度上可以对每个关键点所对应的融合关键点特征信息进行更为准确的校准，这样所确定的目标对象的三维姿态也更为准确。
121.本公开实施例中，可以按照如下步骤确定目标对象的三维姿态信息：
122.步骤一、将更新后的融合关键点特征信息输入到预先训练好的目标姿态识别网络
中，输出姿态偏差信息；姿态偏差信息用于表示目标对象的当前姿态与待调整姿态之间的偏差情况；
123.步骤二、基于姿态偏差信息以及目标对象的多个关键点在目标体素空间内的待调整三维坐标，确定目标对象的多个关键点在目标体素空间内的调整后三维坐标，并基于调整后三维坐标确定目标对象的三维姿态信息。
124.这里，利用目标姿态识别网络确定的可以是有关姿态偏差信息，该姿态偏差信息对应的是当前姿态与待调整姿态之间的偏差情况，基于姿态偏差信息以及待调整三维坐标，可以确定目标对象在目标体素空间内的调整后三维坐标，从而可以确定出目标对象的三维姿态信息。
125.其中，上述待调整姿态可以是由目标对象的多个关键点的待调整三维坐标组合得到的，这样，目标姿态识别网络可以输出的是针对目标对象的每个关键点的坐标偏差量，将坐标偏差量与对应待调整三维坐标进行求和，即可以确定出每个关键点的调整后三位坐标。
126.为了便于进一步理解本公开实施例提供的三维姿态调整的方法，接下来可以结合图2进一步进行说明。
127.如图2所示，对于待调整姿态下的目标对象而言，可以基于其待调整姿态确定多个关键点在目标体素空间内的待调整三维坐标，将待调整三维坐标投影到三个视角下的摄像机(camera#1
‑
camera#3)所拍摄的目标图像上，可以构造如图所示的图模型g＝{v,e}。
128.其中，节点v对应的是关键点在目标图像中的二维投影点所在图像位置处的图像特征，边e对应的是节点之间的关系，可以是同一个关键点在跨视角下的连接或者是单个视角内不同关键点的连接。
129.构造好图模型之后，可以进行关键点在不同视角下的关键点特征信息的更新，这里，可以利用gnn来具体实现特征的更新。除此之外，可以基于最大值池化完成多视角特征的融合。
130.对于融合得到的融合关键点特征信息可以利用目标对象对应的预先构建的关键点连接关系信息进行更新，并将更新后的融合关键点特征信息输入到回归网络，预测出对待调整姿态估计的修正值，将该修正值与待调整姿态进行求和运算，可以确定出调整后的三维姿态信息。
131.本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
132.基于同一发明构思，本公开实施例中还提供了与三维姿态调整的方法对应的三维姿态调整的装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述三维姿态调整的方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
133.参照图3所示，为本公开实施例提供的一种三维姿态调整的装置的示意图，装置包括：获取模块301、确定模块302和调整模块303；其中，
134.获取模块301，用于获取目标对象的多个关键点在目标体素空间内的待调整三维坐标；
135.确定模块302，用于基于待调整三维坐标，确定多个关键点分别在多张目标图像中
投影得到的关键点特征信息；多张目标图像为多个视角下拍摄目标对象得到的目标图像；
136.调整模块303，用于基于目标对象对应的预先构建的关键点连接关系信息，以及多个关键点分别在多个视角对应的目标图像的关键点特征信息，确定目标对象的三维姿态信息。
137.采用上述三维姿态调整的装置，在获取到目标对象的多个关键点在目标体素空间内的待调整三维坐标的情况下，可以基于待调整三维坐标，确定多个关键点分别在多张目标图像中投影得到的关键点特征信息，最后基于目标对象对应的预先构建的关键点连接关系信息，以及多个关键点分别在多个视角对应的目标图像的关键点特征信息，确定目标对象的三维姿态信息。可知，本公开利用多个关键点在不同视角下的关键点特征信息可以确定多个关键点在不同视角下的连接关系，这样的连接关系将有助于确定出更为准确的关键点特征信息，除此之外，结合预先构建的关键点连接关系信息可以约束关键点之间的连接关系，使得确定出的关键点特征信息更为准确，进一步使得所确定的三维姿态信息的精度和准确度得以提升。
138.在一种可能的实施方式中，确定模块302，用于按照如下步骤基于待调整三维坐标，确定多个关键点分别在多张目标图像中投影得到的关键点特征信息：
139.基于待调整三维坐标，确定多个关键点分别在多张目标图像中的二维投影点信息，以及提取多张目标图像分别对应的图像特征；
140.基于关键点在多张目标图像中的二维投影点信息，从多张目标图像分别对应的图像特征中提取与关键点匹配的关键点特征信息；
141.将提取的与关键点匹配的关键点特征信息确定为在多张目标图像中投影得到的关键点特征信息。
142.在一种可能的实施方式中，二维投影点信息包括二维投影点的图像位置信息；确定模块302，用于按照如下步骤基于关键点在多张目标图像中的二维投影点信息，从多张目标图像分别对应的图像特征中提取与关键点匹配的关键点特征信息：
143.针对多张目标图像中的每张目标图像，基于关键点在多张目标图像中的二维投影点的图像位置信息，从目标图像对应的图像特征中提取与图像位置信息对应的图像特征；
144.将提取的与图像位置信息对应的图像特征，确定为与关键点匹配的关键点特征信息。
145.在一种可能的实施方式中，调整模块303，用于按照如下步骤基于目标对象对应的预先构建的关键点连接关系信息，以及多个关键点分别在多个视角对应的目标图像的关键点特征信息，确定目标对象的三维姿态信息：
146.针对多个关键点中的每个关键点，基于关键点在不同视角下的关键点特征信息，以及与关键点关联的其他关键点的关键点特征信息，确定关键点在不同视角下的更新关键点特征信息；
147.基于多个关键点分别对应的更新关键点特征信息，以及目标对象对应的预先构建的关键点连接关系信息，确定目标对象的三维姿态信息。
148.在一种可能的实施方式中，调整模块303，用于按照如下步骤基于关键点在不同视角下的关键点特征信息，以及与关键点关联的其他关键点的关键点特征信息，确定关键点在不同视角下的更新关键点特征信息：
149.将多个视角中的每个视角作为目标视角，分别执行下列步骤：
150.基于关键点在不同视角下的关键点特征信息以及关键点在不同视角下的各个二维投影点之间的第一连接关系，对关键点在不同视角下的关键点特征信息进行第一更新，得到第一更新后的关键点特征信息；以及，
151.基于关键点在目标视角下的关键点特征信息以及与关键点同属于目标视角、且与关键点存在第二连接关系的其他关键点的关键点特征信息对关键点在目标视角下的关键点特征信息进行第二更新，得到第二更新后的关键点特征信息；
152.基于第一更新后的关键点特征信息以及第二更新后的关键点特征信息，确定关键点在目标视角下的更新关键点特征信息。
153.在一种可能的实施方式中，调整模块303，用于按照如下步骤基于目标对象对应的预先构建的关键点连接关系信息，以及多个关键点分别在多个视角对应的目标图像的关键点特征信息，确定目标对象的三维姿态信息：
154.针对多个关键点中的每个关键点，将关键点在不同视角下的关键点特征信息进行融合，得到关键点对应的融合关键点特征信息；
155.基于目标对象对应的预先构建的关键点连接关系信息、以及多个关键点分别对应的融合关键点特征信息，确定目标对象的三维姿态信息。
156.在一种可能的实施方式中，关键点特征信息包括多个维度的关键点特征值；调整模块303，用于按照如下步骤将关键点在不同视角下的关键点特征信息进行融合，得到关键点对应的融合关键点特征信息：
157.针对多个维度中的每个维度维度，确定关键点在不同视角下、维度对应的多个关键点特征值，并基于确定的多个关键点特征值确定维度对应的融合后关键点特征值；
158.基于多个维度分别对应的融合后关键点特征值，确定关键点对应的融合关键点特征信息。
159.在一种可能的实施方式中，调整模块303，用于按照如下方式基于确定的多个关键点特征值确定维度对应的融合后关键点特征值：
160.从多个关键点特征值中选取取值最大的关键点特征值，作为维度对应的融合后关键点特征值；
161.将多个关键点特征值的平均值作为维度对应的融合后关键点特征值；
162.获取与多个关键点特征值分别对应的权重值，并基于多个关键点特征值以及与多个关键点特征值分别对应的权重值之间的加权求和，确定维度对应的融合后关键点特征值。
163.在一种可能的实施方式中，调整模块303，用于按照如下步骤基于目标对象对应的预先构建的关键点连接关系信息、以及多个关键点分别对应的融合关键点特征信息，确定目标对象的三维姿态信息：
164.基于目标对象对应的预先构建的关键点连接关系信息包括的各个关键点之间的第三连接关系，对多个关键点分别对应的融合关键点特征信息进行更新，得到更新后的融合关键点特征信息；
165.基于更新后的融合关键点特征信息，确定目标对象的三维姿态信息。
166.在一种可能的实施方式中，目标对象的多个关键点中的每个关键点作为第一关键
点，具备第三连接关系的各个关键点中的每个关键点作为第二关键点；
167.第二关键点为人体骨骼点；
168.第一关键点包括人体骨骼点和人体标记点中的至少一项。
169.在一种可能的实施方式中，调整模块303，用于按照如下步骤基于更新后的融合关键点特征信息，确定目标对象的三维姿态信息：
170.将更新后的融合关键点特征信息输入到预先训练好的目标姿态识别网络中，输出姿态偏差信息；姿态偏差信息用于表示目标对象的当前姿态与待调整姿态之间的偏差情况；
171.基于姿态偏差信息以及目标对象的多个关键点在目标体素空间内的待调整三维坐标，确定目标对象的多个关键点在目标体素空间内的调整后三维坐标，并基于调整后三维坐标确定目标对象的三维姿态信息。
172.在一种可能的实施方式中，获取模块301，用于按照以下方式获取目标对象的多个关键点在目标体素空间内的待调整三维坐标：
173.获取在多个视角下拍摄目标对象得到的多张目标图像，并基于多张目标图像，确定目标对象的多个关键点在目标体素空间内的待调整三维坐标；
174.获取无线电设备发射的多条探测射线分别返回的深度信息，并基于深度信息确定目标对象的多个关键点在目标体素空间内的待调整三维坐标。
175.在一种可能的实施方式中，获取的多张目标图像中的每张目标图像作为第一目标图像，用于关键点投影的多张目标图像中的每张目标图像作为第二目标图像；
176.第一目标图像中至少部分图像与第二目标图像中至少部分图像相同；
177.第一目标图像与第二目标图像不存在相同的图像。
178.关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
179.本公开实施例还提供了一种电子设备，如图4所示，为本公开实施例提供的电子设备结构示意图，包括：处理器401、存储器402、和总线403。存储器402存储有处理器401可执行的机器可读指令(比如，图3中的装置中获取模块301、确定模块302、以及调整模块303对应的执行指令等)，当电子设备运行时，处理器401与存储器402之间通过总线403通信，机器可读指令被处理器401执行时执行如下处理：
180.获取目标对象的多个关键点在目标体素空间内的待调整三维坐标；
181.基于待调整三维坐标，确定多个关键点分别在多张目标图像中投影得到的关键点特征信息；多张目标图像为多个视角下拍摄目标对象得到的目标图像；
182.基于目标对象对应的预先构建的关键点连接关系信息，以及多个关键点分别在多个视角对应的目标图像的关键点特征信息，确定目标对象的三维姿态信息。
183.本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的三维姿态调整的方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
184.本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的三维姿态调整的方法的步骤，具体可参见上述方法实施例，在此不再赘述。
185.其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
186.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
187.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
188.另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
189.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
190.最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。