三维姿态调整的方法、装置、电子设备及存储介质与流程

技术特征：
1.一种三维姿态调整的方法，其特征在于，所述方法包括：获取目标对象的多个关键点在目标体素空间内的待调整三维坐标；基于所述待调整三维坐标，确定所述多个关键点分别在多张目标图像中投影得到的关键点特征信息；所述多张目标图像为多个视角下拍摄目标对象得到的目标图像；基于所述目标对象对应的预先构建的关键点连接关系信息，以及多个关键点分别在所述多个视角对应的目标图像的关键点特征信息，确定所述目标对象的三维姿态信息。2.根据权利要求1所述的方法，其特征在于，所述基于所述待调整三维坐标，确定所述多个关键点分别在多张目标图像中投影得到的关键点特征信息，包括：基于所述待调整三维坐标，确定所述多个关键点分别在所述多张目标图像中的二维投影点信息，以及提取所述多张目标图像分别对应的图像特征；基于所述关键点在所述多张目标图像中的二维投影点信息，从所述多张目标图像分别对应的图像特征中提取与所述关键点匹配的关键点特征信息；将提取的与所述关键点匹配的关键点特征信息确定为所述在多张目标图像中投影得到的关键点特征信息。3.根据权利要求2所述的方法，其特征在于，所述二维投影点信息包括二维投影点的图像位置信息；所述基于所述关键点在所述多张目标图像中的二维投影点信息，从所述多张目标图像分别对应的图像特征中提取与所述关键点匹配的关键点特征信息，包括：针对所述多张目标图像中的每张目标图像，基于所述关键点在所述目标图像中的二维投影点的图像位置信息，从所述目标图像对应的图像特征中提取与所述图像位置信息对应的图像特征；将提取的与所述图像位置信息对应的图像特征，确定为与所述关键点匹配的关键点特征信息。4.根据权利要求1
‑
3任一所述的方法，其特征在于，所述基于所述目标对象对应的预先构建的关键点连接关系信息，以及多个关键点分别在所述多个视角对应的目标图像的关键点特征信息，确定所述目标对象的三维姿态信息，包括：针对所述多个关键点中的每个关键点，基于所述关键点在不同视角下的关键点特征信息，以及与所述关键点关联的其他关键点的关键点特征信息，确定所述关键点在不同视角下的更新关键点特征信息；基于所述多个关键点分别对应的更新关键点特征信息，以及所述目标对象对应的预先构建的关键点连接关系信息，确定所述目标对象的三维姿态信息。5.根据权利要求4所述的方法，其特征在于，所述基于所述关键点在不同视角下的关键点特征信息，以及与所述关键点关联的其他关键点的关键点特征信息，确定所述关键点在不同视角下的更新关键点特征信息，包括：将所述多个视角中的每个视角作为目标视角，分别执行下列步骤：基于所述关键点在不同视角下的关键点特征信息以及所述关键点在不同视角下的各个二维投影点之间的第一连接关系，对所述关键点在不同视角下的关键点特征信息进行第一更新，得到第一更新后的关键点特征信息；基于所述关键点在所述目标视角下的关键点特征信息以及与所述关键点同属于所述目标视角、且与所述关键点存在第二连接关系的其他关键点的关键点特征信息对所述关键
点在所述目标视角下的关键点特征信息进行第二更新，得到第二更新后的关键点特征信息；基于所述第一更新后的关键点特征信息以及所述第二更新后的关键点特征信息，确定所述关键点在所述目标视角下的更新关键点特征信息。6.根据权利要求1
‑
5任一所述的方法，其特征在于，所述基于所述目标对象对应的预先构建的关键点连接关系信息，以及多个关键点分别在所述多个视角对应的目标图像的关键点特征信息，确定所述目标对象的三维姿态信息，包括：针对所述多个关键点中的每个关键点，将所述关键点在不同视角下的关键点特征信息进行融合，得到所述关键点对应的融合关键点特征信息；基于所述目标对象对应的预先构建的关键点连接关系信息、以及所述多个关键点分别对应的融合关键点特征信息，确定所述目标对象的三维姿态信息。7.根据权利要求6所述的方法，其特征在于，所述关键点特征信息包括多个维度的关键点特征值；所述将所述关键点在不同视角下的关键点特征信息进行融合，得到所述关键点对应的融合关键点特征信息，包括：针对所述多个维度中的每个所述维度，确定所述关键点在不同视角下、所述维度对应的多个关键点特征值，并基于确定的所述多个关键点特征值确定所述维度对应的融合后关键点特征值；基于所述多个维度分别对应的融合后关键点特征值，确定所述关键点对应的融合关键点特征信息。8.根据权利要求7所述的方法，其特征在于，所述基于确定的所述多个关键点特征值确定所述维度对应的融合后关键点特征值，包括如下多种方式中的一种方式：从所述多个关键点特征值中选取取值最大的关键点特征值，作为所述维度对应的融合后关键点特征值；将所述多个关键点特征值的平均值作为所述维度对应的融合后关键点特征值；获取与所述多个关键点特征值分别对应的权重值，并基于所述多个关键点特征值以及与所述多个关键点特征值分别对应的权重值之间的加权求和，确定所述维度对应的融合后关键点特征值。9.根据权利要求6
‑
8任一所述的方法，其特征在于，所述基于所述目标对象对应的预先构建的关键点连接关系信息、以及所述多个关键点分别对应的融合关键点特征信息，确定所述目标对象的三维姿态信息，包括：基于所述目标对象对应的预先构建的关键点连接关系信息包括的各个关键点之间的第三连接关系，对所述多个关键点分别对应的融合关键点特征信息进行更新，得到更新后的融合关键点特征信息；基于所述更新后的融合关键点特征信息，确定所述目标对象的三维姿态信息。10.根据权利要求9所述的方法，其特征在于，所述目标对象的多个关键点中的每个关键点作为第一关键点，具备所述第三连接关系的各个关键点中的每个关键点作为第二关键点；所述第二关键点为人体骨骼点；所述第一关键点包括人体骨骼点和人体标记点中的至少一项。
11.根据权利要求9或10所述的方法，其特征在于，所述基于所述更新后的融合关键点特征信息，确定所述目标对象的三维姿态信息，包括：将所述更新后的融合关键点特征信息输入到预先训练好的目标姿态识别网络中，输出姿态偏差信息；所述姿态偏差信息用于表示所述目标对象的当前姿态与待调整姿态之间的偏差情况；基于所述姿态偏差信息以及所述目标对象的多个关键点在所述目标体素空间内的待调整三维坐标，确定所述目标对象的多个关键点在所述目标体素空间内的调整后三维坐标，并基于所述调整后三维坐标确定所述目标对象的三维姿态信息。12.根据权利要求1
‑
11任一所述的方法，其特征在于，所述获取目标对象的多个关键点在目标体素空间内的待调整三维坐标，包括如下方式中的一种：获取在多个视角下拍摄所述目标对象得到的多张目标图像，并基于所述多张目标图像，确定目标对象的多个关键点在所述目标体素空间内的待调整三维坐标；获取无线电设备发射的多条探测射线分别返回的深度信息，并基于所述深度信息确定所述目标对象的多个关键点在所述目标体素空间内的待调整三维坐标。13.根据权利要求12所述的方法，其特征在于，获取的所述多张目标图像中的每张目标图像作为第一目标图像，用于所述关键点投影的多张目标图像中的每张目标图像作为第二目标图像；所述第一目标图像中至少部分图像与所述第二目标图像中至少部分图像相同；或者，所述第一目标图像与所述第二目标图像不存在相同的图像。14.一种三维姿态调整的装置，其特征在于，所述装置包括：获取模块，用于获取目标对象的多个关键点在目标体素空间内的待调整三维坐标；确定模块，用于基于所述待调整三维坐标，确定所述多个关键点分别在多张目标图像中投影得到的关键点特征信息；所述多张目标图像为多个视角下拍摄目标对象得到的目标图像；调整模块，用于基于所述目标对象对应的预先构建的关键点连接关系信息，以及多个关键点分别在所述多个视角对应的目标图像的关键点特征信息，确定所述目标对象的三维姿态信息。15.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至13任一所述的三维姿态调整的方法的步骤。16.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至13任一所述的三维姿态调整的方法的步骤。

技术总结
本公开提供了一种三维姿态调整的方法、装置、电子设备及存储介质，其中，该方法包括：获取目标对象的多个关键点在目标体素空间内的待调整三维坐标；基于待调整三维坐标，确定多个关键点分别在多张目标图像中投影得到的关键点特征信息；基于目标对象对应的预先构建的关键点连接关系信息，以及多个关键点分别在多个视角对应的目标图像的关键点特征信息，确定目标对象的三维姿态信息。本公开结合关键点连接关系信息可以约束关键点之间的连接关系，使得确定出的关键点特征信息更为准确，进一步提升三维姿态的精度和准确度。升三维姿态的精度和准确度。升三维姿态的精度和准确度。


技术研发人员：吴思泽 金晟 刘文韬 钱晨
受保护的技术使用者：北京市商汤科技开发有限公司
技术研发日：2021.08.13
技术公布日：2021/11/5