基于多视角人体关节约束的SMPL表面真值生成方法及系统

本发明涉及计算机视觉、三维人体重建、传感器标定和训练数据生成，特别是一种基于多视角人体关节约束的smpl表面真值生成方法及系统。

背景技术：

1、人体三维表面重建任务通常需要高质量的人体姿态、人体形状和表面网格监督真值。传统监督真值获取方式多依赖光学动作捕捉系统、穿戴式惯性传感器或人工标注流程。此类方式虽然能够获得较高精度的运动信息，但通常存在采集环境受限、设备成本较高、受试者穿戴负担较大、场景扩展能力有限等问题。

2、多视角视觉系统能够从不同观测方向获取人体图像，并可利用多视角几何约束恢复人体三维关节点。在此基础上，参数化人体模型能够以统一拓扑的人体网格表示不同人体姿态和体型，为人体表面重建网络提供顶点级监督。因此，基于多视角视觉系统生成smpl表面真值成为替代传统动捕方案的重要技术路径。

3、然而，现有基于多视角视觉的smpl表面真值生成方法仍存在以下技术缺陷：

4、其一，二维关键点检测结果的质量直接决定后续三维重建精度，但现有方法通常仅依靠置信度阈值进行简单筛选，缺乏系统的视角有效性评估机制。当某一视角存在局部遮挡或检测失败时，低质量观测仍会参与三角化计算，导致恢复的三维关节点产生较大偏差。

5、其二，现有三角化方法多为单向开环处理，即基于各视角二维观测一次求解三维坐标。在实际应用中，受限于二维检测误差和相机标定残留误差，初始三角化结果往往存在偏离真实位置的异常点，而现有方法缺乏对此类异常点的自动识别和迭代修正机制，无法通过闭环反馈进一步提升三维关节精度。

6、其三，现有方法在将三维关节点拟合至smpl模型时，通常仅以三维关节点作为约束，未能充分利用多视角二维观测中包含的丰富空间信息。仅依赖稀疏的关节约束难以驱动smpl网格顶点精确贴合真实人体表面，导致生成的smpl表面真值与人体真实形状之间存在偏差。

7、其四，现有方法对生成的人体表面真值缺乏系统的质量验证体系。由于二维关键点检测误差、局部遮挡、多相机标定误差和不同坐标系之间的不一致，均会降低smpl表面真值的可靠性，而现有方法缺少从重投影一致性、骨架拓扑合理性和坐标空间一致性等多维度进行验证和筛选的机制，异常帧和误差较大帧的smpl拟合结果可能被直接作为监督真值使用，进而影响下游人体三维表面重建网络的训练效果。

8、因此，有必要提出一种将多视角相机标定、二维关键点质量筛选、三维关节鲁棒恢复、smpl参数优化和真值质量验证相结合的表面真值生成方法，以在不依赖红外动作捕捉系统和穿戴式设备的条件下，为人体三维表面重建任务构建稳定、可用且空间一致的监督真值。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于多视角人体关节约束的smpl表面真值生成方法及系统，该方法解决了现有技术中因二维关键点检测误差、遮挡及相机标定误差导致smpl表面真值可靠性不足，无法为人体三维表面重建网络提供稳定监督真值的技术问题。

2、为达到上述目的，本发明提供如下技术方案：

3、本发明提供的基于多视角人体关节约束的smpl表面真值生成方法，包括以下步骤：

4、步骤1，搭建包含多个相机的多视角人体图像采集系统；

5、步骤2，利用标定板对所述多个相机分别进行内参标定、畸变参数标定和相对外参标定，得到各相机对应的投影矩阵；

6、步骤3，获取同一时刻下的多视角人体图像，对各视角图像进行二维人体关键点检测，得到包含像素坐标和置信度的二维关节点观测；根据所述二维关节点观测的置信度和视角有效性筛选规则，确定每个人体关节的有效观测视角集合；

7、步骤4，基于所述有效观测视角集合和各相机的投影矩阵，对同一人体关节进行多视角三角化求解，得到三维人体关节；对初步恢复得到的三维点进行重投影检验，当某一视角的重投影误差超过阈值时，将该视角观测剔除并重新求解；

8、步骤5，以迭代更新后的三维人体关节、多视角二维关节点观测和相机投影矩阵作为约束，建立smpl参数优化模型；通过迭代优化求解smpl姿态参数、形状参数和全局平移参数，生成smpl人体表面顶点、smpl模型关节和smpl参数真值；

9、步骤6，对生成的smpl表面真值进行重投影一致性验证、人体骨架拓扑合理性验证和坐标统一验证，将通过验证的结果作为人体三维表面重建任务的训练监督真值。

10、进一步，所述步骤2中对所述多个相机进行内参标定、畸变参数标定和相对外参标定，具体包括：

11、步骤21，基于棋盘格标定板，以标定板角点在物理空间中的已知位置与其在图像中的观测位置之间的对应关系，求解各相机的内参矩阵；

12、步骤22，在获得各幅图像的角点对应关系后，先通过单应矩阵估计得到内参矩阵的初值，再在此基础上结合畸变参数进行非线性优化，以最小化所有角点的重投影误差，求解径向畸变系数和切向畸变系数；

13、步骤23，选取系统中一个相机作为参考相机，基于棋盘格标定板，各相机同时观测同一标定板，利用同一组棋盘格角点建立跨视角对应关系，利用各相机相对于世界坐标系的外参组合，计算参考相机到第m个相机的相对旋转矩阵和平移向量，在固定内参条件下，通过最小化参考相机与第m个相机上的联合重投影误差，优化相对外参；

14、步骤24，以参考相机为中心，统一组织整个多相机系统的外参参数集合。

15、进一步，所述步骤21中求解各相机的内参矩阵的具体过程包括：

16、定义世界坐标系、相机坐标系、图像物理坐标系和像素坐标系；

17、棋盘格标定板上的所有角点位于同一平面，角点的第三维坐标恒为0，棋盘格角点在物理空间中的已知三维坐标与其在图像中的二维观测坐标之间建立一一对应关系；

18、根据投影模型，将棋盘格角点的三维坐标到像素坐标的投影关系简化为平面到图像的单应关系：

19、

20、其中，s为尺度因子；表示像素坐标；

21、表示表示棋盘格角点在标定板坐标系（世界坐标系）中的横向坐标；表示表示棋盘格角点在标定板坐标系（世界坐标系）中的纵向坐标；

22、h为标定板平面到图像平面的单应矩阵；

23、不同姿态下的棋盘格图像对应不同的单应矩阵，多个单应矩阵共同对相机内参施加约束，实现内参估计。

24、进一步，所述步骤22中最小化所有角点的重投影误差的目标函数为：

25、

26、其中，表示实际检测到的角点像素坐标，表示根据当前参数估计由投影模型计算得到的重投影点，和表示第q幅标定图像对应的外参；

27、q表示标定图像组数，m表示棋盘格角点的行数，k为相机内参矩阵，d为畸变参数向量;

28、i表示棋盘格角点的行索引；

29、j表示棋盘格角点的列索引。

30、进一步，所述步骤23中优化相对外参时，参考相机与第m个相机的联合重投影误差目标函数为：

31、

32、其中，别表示参考相机和第m个相机中实际检测到的角点像素坐标，则表示根据当前参数投影得到的角点坐标；

33、表示从参考相机坐标系到第m个相机坐标系的相对旋转矩阵；表示从参考相机坐标系到第m个相机坐标系的相对平移向量；表示标定图像组的索引。

34、进一步，所述步骤3中对各视角图像进行二维人体关键点检测，得到包含像素坐标和置信度的二维关节点观测，具体包括：

35、对同步后的多视角图像分别进行二维人体关键点检测，通过卷积神经网络联合预测关键点热力图与肢体关联场，输出人体二维关键点集合：

36、

37、其中，表示第j个关节在图像平面中的像素坐标，表示对应关键点的检测置信度，j为人体关键点总数；表示第v个视角在时刻t下检测得到的人体二维关键点集合；

38、对二维关节点观测进行预处理：剔除置信度低于预设阈值τ的关键点观测，结合人体拓扑结构对异常检测结果进行筛查过滤，当个别视角出现误检或漏检时，仅保留有效视角参与后续三角化。

39、进一步，所述步骤5中建立的smpl参数优化模型的目标函数为：

40、

41、其中，表示模型关节投影到多视角图像平面后与二维关键点检测结果之间的误差项，表示模型关节与三维关节真值之间的误差项，表示人体姿态先验约束项，表示形状参数及其他模型参数的正则项，、、、为各损失项对应权重；

42、三维关节约束项为：

43、

44、式中，表示由当前smpl参数生成的第j个模型关节位置，表示由多视角三角化恢复得到的第j个三维关节真值；

45、二维重投影约束项为：

46、

47、其中，为第v个相机的投影矩阵，表示第v个视角下第j个关节的二维观测位置，为对应置信度权重，表示齐次投影到像素坐标的过程。

48、进一步，所述步骤6中对生成的smpl表面真值进行坐标统一验证，具体包括：

49、根据跨传感器外参标定结果，将smpl关节和顶点从相机坐标系变换到激光雷达坐标系：

50、

51、其中，和分别表示从相机坐标系到激光雷达坐标系的旋转与平移变换；

52、其中，j_c和v_c分别表示相机坐标系下的smpl模型关节和顶点坐标，j_l和v_l分别表示激光雷达坐标系下的smpl模型关节和顶点坐标，r_cl和t_cl分别表示从相机坐标系到激光雷达坐标系的旋转矩阵和平移向量。

53、本发明提供的基于多视角人体关节约束的smpl表面真值生成系统，包括：

54、多视角图像采集模块，用于搭建包含多个相机的多视角人体图像采集系统，获取同一时刻下的多视角人体图像；

55、相机标定模块，用于利用标定板对所述多个相机分别进行内参标定、畸变参数标定和相对外参标定，得到各相机对应的投影矩阵；

56、二维关节点检测与有效视角筛选模块，用于对各视角图像进行二维人体关键点检测，得到包含像素坐标和置信度的二维关节点观测，并根据所述二维关节点观测的置信度和视角有效性筛选规则，确定每个人体关节的有效观测视角集合；

57、三维关节迭代恢复模块，用于基于所述有效观测视角集合和各相机的投影矩阵，对同一人体关节进行多视角三角化求解，得到三维人体关节，并对初步恢复得到的三维点进行重投影检验，当某一视角的重投影误差超过阈值时将该视角观测剔除并重新求解；

58、smpl参数联合优化模块，用于以迭代更新后的三维人体关节、多视角二维关节点观测和相机投影矩阵作为约束，建立smpl参数优化模型，通过迭代优化求解smpl姿态参数、形状参数和全局平移参数，生成smpl人体表面顶点、smpl模型关节和smpl参数真值；

59、三重验证与监督真值生成模块，用于对生成的smpl表面真值进行重投影一致性验证、人体骨架拓扑合理性验证和坐标统一验证，将通过验证的结果作为人体三维表面重建任务的训练监督真值。

60、进一步，所述相机标定模块包括：

61、内参标定子模块，用于基于棋盘格标定板，以标定板角点在物理空间中的已知位置与其在图像中的观测位置之间的对应关系，求解各相机的内参矩阵和畸变参数；

62、外参标定子模块，用于选取系统中一个相机作为参考相机，基于棋盘格标定板，利用各相机同时观测同一标定板时的同一组棋盘格角点，计算参考相机到第m个相机的相对旋转矩阵和平移向量；

63、标定验证子模块，用于计算单相机全部标定图像上的平均重投影误差、参考相机与第m个相机之间的平均联合重投影误差，并在标定图像中绘制实际检测角点与重投影角点进行可视化对比，基于外参标定结果恢复各相机相对位置并与实际布设场景进行空间结构一致性验证。

64、本发明的有益效果在于：

65、本发明提供的基于多视角人体关节约束的smpl表面真值生成方法。该方法包括：搭建多视角相机采集系统并对相机进行标定；获取同一时刻多视角人体图像并进行二维关节点检测，得到包含像素坐标和置信度的二维关节点观测；根据置信度和视角有效性筛选规则确定有效观测视角集合；基于有效观测视角集合和相机投影矩阵进行多视角三角化求解，对初步恢复的三维点进行重投影检验并迭代剔除异常视角；以迭代更新后的三维人体关节、二维关节点观测和相机投影矩阵为约束建立smpl参数优化模型，迭代求解姿态参数、形状参数和全局平移参数，生成smpl表面顶点、模型关节和参数真值；对生成的smpl表面真值进行重投影一致性验证、人体骨架拓扑合理性验证和坐标统一验证，将验证通过的结果作为人体三维表面重建任务的训练监督真值。本发明在不依赖红外动作捕捉系统的条件下，能够生成稳定、可用且空间一致的smpl表面监督真值。与现有技术相比，本发明具有以下有益效果：

66、第一，本发明通过结合置信度与视角有效性筛选规则确定有效观测视角集合，有效剔除了因局部遮挡、运动模糊或检测失败而产生的低质量二维关节点观测。相比现有技术中仅使用置信度进行加权融合的方式，本发明的视角筛选机制能够从源头过滤不可靠视角，减少了错误观测对后续三角化重建的污染，显著提高了三维人体关节恢复的鲁棒性和准确性。第二，本发明通过对初步恢复的三维点进行重投影检验并迭代剔除异常视角，构建了“三角化-验证-修正-再三角化”的闭环优化机制。该机制能够自适应地识别和剔除重投影误差超阈值的异常视角，相比现有技术中单次三角化的开环处理方式，有效抑制了因二维检测误差或相机标定残留误差导致的三维点漂移，使恢复的三维人体关节在空间位置上更加精确和稳定。第三，本发明以迭代更新后的三维人体关节、多视角二维关节点观测和相机投影矩阵作为联合约束建立smpl参数优化模型，实现了对smpl姿态参数、形状参数和全局平移参数的一体化迭代求解。不同于现有技术中仅依赖三维关节点或单纯依赖二维投影约束的拟合方式，本发明的三重几何约束能够相互补充和校正，使生成的smpl人体网格在三维空间中与真实人体骨架保持高度一致，同时在多视角投影中与图像观测保持对齐，显著提高了smpl表面真值的精度和空间一致性。第四，本发明通过对生成的smpl表面真值进行重投影一致性验证、人体骨架拓扑合理性验证和坐标统一验证，形成了完整的多维度质量保障体系。重投影一致性验证确保smpl网格与多视角图像观测在几何上的一致性；骨架拓扑合理性验证确保人体骨架符合解剖学结构约束，避免出现骨段长度异常或骨架扭曲变形；坐标统一验证确保smpl真值与下游训练数据的坐标系一致。三重验证相互独立又互为补充，将从smpl优化结果中识别出的异常帧进行剔除，保证了最终输出的训练监督真值的可靠性和可用性。第五，本发明将验证通过的结果作为人体三维表面重建网络的训练监督真值，实现了从多视角图像到smpl表面真值的完整生成链路。相比于现有技术仅输出三维关节点或三维重建模型本身，本发明生成的smpl表面顶点级真值能够直接用于人体三维表面重建网络的监督训练，为无需依赖红外动作捕捉系统的高质量人体重建提供了数据基础，具有重要的应用价值和推广前景。

67、本发明的上述和其他目的、优点及特征，将通过下文结合附图的具体实施方式的详细描述而得到更充分的阐述和证明。本领域技术人员在参阅了下文的详细描述和附图后，将能够更好地理解并实现本发明的上述优点。本发明的其他目标、特征和优点，在具体实施方式部分并结合附图进行详细描述后，将变得更加清楚。