一种多视角人体关键点序列数据识别方法、装置及介质

本发明涉及多视角人体关键点序列数据识别，具体而言，涉及一种多视角人体关键点序列数据识别方法、装置及介质。

背景技术：

1、多视角人体关键点序列数据处理通常根据多个同步视角下的二维关键点数据确定人体关键点的三维空间坐标。该类方法能够利用不同视角之间的互补观测信息，但现有方法多在单一坐标表征空间中处理人体关键点序列，难以同时兼顾人体整体结构关系与父子关键点局部偏移关系；当出现遮挡、视角偏移或局部关键点检测误差时，单一路径的数据识别方式容易使误差在三维坐标确定过程中累积，影响最终坐标数据的稳定性。

2、此外，现有多视角关键点数据融合方式通常采用固定权重叠加、平均融合或特征拼接，难以根据不同时间帧、不同人体关键点以及不同表征通道的可靠性差异自适应调整信息贡献比例；在三维坐标输出后，也缺少轻量稳定的坐标补偿校准机制，导致融合结果中的细小偏差难以进一步消除。因此，多视角人体关键点序列到三维坐标数据的转换准确性和鲁棒性仍有提升空间。

3、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本发明实施例提供了一种多视角人体关键点序列数据识别方法、装置及介质，以至少解决多视角人体关键点数据处理方法中单一表征空间难以兼顾全局结构与局部偏移的技术问题。

2、根据本发明实施例的一个方面，为了实现上述目的，根据本发明的一个方面，提供了一种多视角人体关键点序列数据识别方法，包括：获取待识别人体在多个同步视角下的二维关键点序列数据；基于二维关键点序列数据，构建全局关键点坐标表征数据和骨架层级偏移表征数据；分别对全局关键点坐标表征数据和骨架层级偏移表征数据进行空间维、视角维和时间维的特征识别，得到全局关键点坐标表征特征和骨架层级偏移表征特征，并生成三维坐标数据集合。

3、进一步地，获取待识别人体在多个同步视角下的二维关键点序列数据，包括：获取多个采集设备分别布设于不同空间位置并在采集过程中保持时间同步所采集的同步图像帧；基于各视角的连续图像帧，分别确定人体各关键点的二维坐标，并按时间顺序组成二维关键点序列数据。

4、进一步地，构建全局关键点坐标表征数据和骨架层级偏移表征数据，包括：对二维关键点序列数据进行缺失补齐预处理，确定处理后的二维关键点序列数据；基于处理后的二维关键点序列数据，构建全局关键点坐标表征数据和骨架层级偏移表征数据。

5、进一步地，对二维关键点序列数据进行缺失补齐预处理，确定处理后的二维关键点序列数据，包括：当至少一个视角的二维关键点数据存在缺失时，通过插值补齐、零值补齐或者基于其他同步视角的关键点数据进行估计补齐，确定补齐后的二维关键点序列数据；基于补齐后的二维关键点序列数据，将输入数据保持为预设固定维度，确定处理后的二维关键点序列数据。

6、进一步地，基于处理后的二维关键点序列数据，构建骨架层级偏移表征数据，包括：根据人体骨架父子拓扑关系，将人体关键点划分为根关键点和非根关键点；对于根关键点，保留其在处理后的二维关键点序列数据中的二维坐标，作为骨架层级偏移表征数据中的根节点参考坐标；对于非根关键点，计算该关键点二维坐标与其父关键点二维坐标之间的差值，作为该非根关键点在骨架层级偏移表征数据中的相对二维坐标。

7、进一步地，空间维、视角维和时间维的特征识别，包括：通过空间维识别层识别同一时间帧内不同人体关键点之间的空间结构关系；通过视角维识别层识别多个同步视角之间的互补观测关系；通过时间维识别层识别连续时间帧之间的关键点坐标变化关系；空间维识别层、视角维识别层和时间维识别层按照空间维、视角维、时间维的顺序构成一个特征识别块。

8、进一步地，基于识别得到的全局关键点坐标表征特征和骨架层级偏移表征特征生成三维坐标数据集合，包括：对全局关键点坐标表征特征进行归一化和线性映射，确定全局关键点三维坐标候选结果；对骨架层级偏移表征特征进行归一化和线性映射，确定骨架层级三维偏移候选结果，并将骨架层级三维偏移候选结果按照人体骨架父子拓扑关系从根关键点开始逐级向下递归还原，确定骨架层级还原坐标结果；根据全局关键点坐标表征特征和骨架层级偏移表征特征确定逐帧逐关节自适应权重，基于逐帧逐关节自适应权重对全局关键点三维坐标候选结果和骨架层级还原坐标结果进行坐标级融合，确定融合三维坐标结果，并对全局关键点坐标表征特征和骨架层级偏移表征特征进行特征级融合，确定特征级融合结果；将特征级融合结果输入三维坐标残差补偿校准模块，生成三维坐标残差补偿量，并将融合三维坐标结果与三维坐标残差补偿量按照预设残差缩放系数进行叠加，确定三维坐标数据集合。

9、进一步地，确定三维坐标数据集合之后，还包括：在训练阶段，采用联合误差约束函数进行优化，联合误差约束函数包括最终坐标误差、骨段长度一致性误差、全局坐标辅助误差和层级偏移辅助误差；其中，对于层级偏移辅助误差，骨架层级偏移表征数据中的根关键点以真实三维坐标作为监督目标，骨架层级偏移表征数据中的非根关键点以其真实三维坐标相对于父关键点真实三维坐标的偏移作为监督目标。

10、根据本发明其中一实施例，还提供了一种多视角人体关键点序列数据识别装置，包括：获取模块，用于获取待识别人体在多个同步视角下的二维关键点序列数据；构建模块，用于基于二维关键点序列数据，构建全局关键点坐标表征数据和骨架层级偏移表征数据；识别模块，用于分别对全局关键点坐标表征数据和骨架层级偏移表征数据进行空间维、视角维和时间维的特征识别，得到全局关键点坐标表征特征和骨架层级偏移表征特征，并生成三维坐标数据集合。

11、根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的可执行程序，其中，在可执行程序运行时控制计算机可读存储介质所在设备执行本发明各个实施例中的方法。

12、在本发明实施例中，通过骨架拓扑双表征协同识别机制，将全局关键点坐标表征与骨架层级偏移表征进行协同处理，实现人体整体结构关系与父子关键点相对偏移关系的分离表达；同时利用关键点空间关系、同步视角互补关系和连续帧坐标变化关系；通过逐帧逐关节自适应权重融合机制，根据不同帧和不同关键点的表征特征动态分配两类结果的信息贡献比例；通过三维坐标残差补偿校准模块，在保持融合结果稳定的基础上对细小坐标偏差进行补偿，提高了多视角人体关键点序列数据转换为三维坐标数据的准确性、稳定性和复杂动作条件下的鲁棒性。

1.一种多视角人体关键点序列数据识别方法，其特征在于，包括：

2.根据权利要求1所述的多视角人体关键点序列数据识别方法，其特征在于，获取待识别人体在多个同步视角下的所述二维关键点序列数据，包括：

3.根据权利要求2所述的多视角人体关键点序列数据识别方法，其特征在于，构建所述全局关键点坐标表征数据和所述骨架层级偏移表征数据，包括：

4.根据权利要求3所述的多视角人体关键点序列数据识别方法，其特征在于，对所述二维关键点序列数据进行缺失补齐预处理，确定处理后的二维关键点序列数据，包括：

5.根据权利要求3所述的多视角人体关键点序列数据识别方法，其特征在于，基于所述处理后的二维关键点序列数据，构建所述骨架层级偏移表征数据，包括：

6.根据权利要求1所述的多视角人体关键点序列数据识别方法，其特征在于，所述空间维、视角维和时间维的特征识别，包括：

7.根据权利要求1所述的多视角人体关键点序列数据识别方法，其特征在于，基于识别得到的所述全局关键点坐标表征特征和所述骨架层级偏移表征特征生成所述三维坐标数据集合，包括：

8.根据权利要求7所述的多视角人体关键点序列数据识别方法，其特征在于，确定所述三维坐标数据集合之后，还包括：

9.一种多视角人体关键点序列数据识别装置，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，计算机可读存储介质包括存储的可执行程序，其中，在可执行程序运行时控制存储介质所在设备执行权利要求1至8中任意一项的多视角人体关键点序列数据识别方法。