一种光学动作捕捉中标记点三维坐标的校正方法与流程

本发明涉及光学动作捕捉，具体涉及一种光学动作捕捉中标记点三维坐标的校正方法。

背景技术：

1、光学动作捕捉系统通常由多台同步摄像机组成，通过采集粘贴于被测对象表面的标记点图像，利用多视图几何原理重建标记点的三维坐标。该类系统已广泛应用于运动分析、虚拟现实、电影特效制作、机器人控制和生物力学研究等领域。然而，在实际应用中，标记点三维坐标的精度和鲁棒性受到多种因素制约，现有校正手段仍存在如下不足：

2、系统级标定精度有限：传统方法使用t型标定杆在捕捉区域内挥动，通过已知标记点间距反算摄像机内外参数和镜头畸变系数。但标定过程通常依赖人工操作，标定杆运动轨迹覆盖范围不均匀，且一次标定后参数固定，难以适应使用过程中摄像机微动、环境温度变化等因素引起的参数漂移，导致三维重建坐标存在系统性误差。

3、事后优化手段单一：现有技术中常利用刚体上标记点之间距离已知且固定这一约束，对三维坐标进行非线性优化。然而，该类方法仅能改善标记点之间的相对距离精度，对整体坐标系的尺度偏差、局部非线性形变以及绝对定位精度提升有限。

4、高精度基准校正成本高且不实时：采用全站仪、激光跟踪仪或机械臂等高精度设备测量标记点真实位置，能够获得高精度参考数据并建立误差模型，但此类设备价格昂贵、操作复杂，通常仅用于实验室环境下的离线验证，难以直接用于日常捕捉任务的实时校正。

5、遮挡和飞点问题突出：当标记点被遮挡或受到强光干扰时，光学动作捕捉系统容易产生缺失点或错误的三维坐标点（即“飞点”）。现有方法对遮挡后坐标恢复和异常点剔除的处理能力有限，影响最终轨迹的连续性和可靠性。

6、多源校正结果缺乏有效融合：系统级标定、刚体约束优化、高精度基准校正以及特殊场景校正通常被孤立使用，各自输出独立结果。现有技术缺少一种根据各校正结果不确定度进行自适应融合的框架，导致校正精度和鲁棒性不足。

7、为解决上述问题，本技术中提出一种光学动作捕捉中标记点三维坐标的校正方法。

技术实现思路

1、本发明的目的在于提供一种光学动作捕捉中标记点三维坐标的校正方法，以解决现有技术中校正手段单一、精度和鲁棒性不足的问题。本发明通过系统级标定、刚体约束优化、高精度基准校正、特殊场景校正以及自适应加权融合，实现标记点三维坐标的多层次高精度校正。

2、为实现上述目的，本发明提供如下技术方案：一种光学动作捕捉中标记点三维坐标的校正方法，包括以下步骤：

3、步骤s1：在捕捉场地内挥动已知标记点间距的t型标定杆，采集多帧多视角图像，基于多视图几何约束，利用光束平差法联合优化摄像机内参数、外参数和镜头畸变系数，获取每个摄像机的内参数、外参数及镜头畸变系数，建立初始三维重建模型，得到标记点的初始三维坐标；

4、步骤s2：利用已知刚体约束对所述初始三维坐标进行第一级优化校正，得到第一校正坐标；

5、步骤s3：利用高精度基准设备对至少部分标记点的真实三维坐标进行测量，将测量值与所述第一校正坐标进行比较，采用径向基函数插值构建局部误差校正模型，并对全部标记点进行第二级校正，得到第二校正坐标；

6、步骤s4：对所述第一校正坐标进行特殊场景校正，得到第三校正坐标；所述特殊场景校正包括遮挡场景下基于平面镜虚像的坐标推算和/或动态异常标记点识别与剔除；其中，遮挡恢复的触发条件为标记点连续缺失至少5帧且该标记点在平面镜中的虚像被至少两台摄像机观测到；异常点检测的触发条件为标记点存在有效观测坐标且卡尔曼滤波已连续跟踪至少10帧；

7、步骤s5：将所述第一校正坐标、第二校正坐标和第三校正坐标进行自适应加权融合，输出最终标记点三维坐标；所述自适应加权融合为：根据所述第一校正坐标、第二校正坐标和第三校正坐标各自的不确定度，按权重与不确定度平方成反比的方式计算各校正坐标的权重，加权求和得到最终输出坐标。

8、优选的，步骤s1中所述系统级标定包括：

9、在捕捉场地内挥动已知标记点间距的t型标定杆，采集多帧多视角图像；

10、提取所述多帧多视角图像中标记点的二维坐标；

11、基于多视图几何约束，利用光束平差法联合优化摄像机内参数、外参数和镜头畸变系数，使得重投影误差与标定杆距离约束误差之和最小；

12、其中，目标函数为：

13、，

14、式中，为第个标记点在第个摄像机图像中的观测二维坐标，投影函数，分别为第个摄像机的内参数矩阵、旋转矩阵和平移向量，为标记点三维坐标，为标定杆上标记点之间的已知距离，为距离约束权重系数。

15、优选的，步骤s2中所述已知刚体约束为刚体上标记点之间的距离已知且保持不变；

16、所述第一级优化校正包括构造距离约束目标函数：

17、，

18、式中，为待优化的第个标记点三维坐标，为第个标记点的初始三维坐标，为标记点与之间的已知距离，为距离约束对集合，为正则化系数；

19、采用levenberg-marquardt算法对所述距离约束目标函数进行迭代求解，得到第一校正坐标。

20、优选的，步骤s3中所述高精度基准设备包括全站仪、激光跟踪仪或机械臂；

21、所述局部误差校正模型的构建方式为：

22、计算高精度基准设备测量值与所述第一校正坐标之间的误差向量：

23、，

24、采用径向基函数插值构建误差场：

25、，

26、式中，为高精度基准设备测量点的数量，为径向基函数中心，为径向基函数，为线性多项式项；

27、通过求解线性方程组确定权值，然后对全部标记点应用所述误差场进行第二级校正。

28、优选的，所述径向基函数采用高斯函数：

29、，

30、式中，形状参数根据高精度基准设备测量点之间的平均间距确定，且，

31、其中，γ的取值通过留一交叉验证方法确定。

32、优选的，步骤s4中所述遮挡场景下基于平面镜虚像的坐标推算包括：

33、获取平面镜的平面方程，其中为单位法向量，为平面偏移量；

34、计算反射矩阵：，

35、获取被遮挡标记点在平面镜中的虚像坐标，则真实坐标为

36、，

37、将所述真实坐标作为该标记点在遮挡期间的三维坐标。

38、优选的，步骤s4中所述动态异常标记点识别与剔除包括：

39、利用卡尔曼滤波或扩展卡尔曼滤波对标记点轨迹进行预测，得到预测坐标及预测协方差矩阵；

40、计算实际观测坐标与预测坐标之间的马氏距离：

41、，

42、若马氏距离大于预设阈值，则判定该实际观测坐标为异常点，并予以剔除或使用预测坐标进行替代；

43、所述预设阈值通过卡方分布分位数确定：

44、，

45、其中为自由度为3的卡方分布的分位数，为期望误检率。

46、优选的，步骤s5中所述自适应加权融合包括：

47、根据所述第一校正坐标、第二校正坐标和第三校正坐标各自的不确定度，计算权重：

48、，

49、最终输出坐标：

50、，

51、式中，为第一校正坐标，为第二校正坐标，为第三校正坐标；若某一校正坐标缺失，则将其对应权重设为0，并将剩余权重归一化。

52、优选的，所述不确定度的确定方式为：

53、由第一级优化校正的残差均方根误差估计；

54、由高精度基准设备的标称精度与径向基函数插值残差合成；

55、由卡尔曼滤波的预测协方差矩阵迹的平方根估计。

56、一种光学动作捕捉系统，包括多台摄像机、处理器和存储器，其特征在于，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述一种光学动作捕捉中标记点三维坐标的校正方法。

57、与现有技术相比，本发明的有益效果是：

58、针对系统级标定精度有限的问题，本发明通过t型标定杆的已知距离约束和光束平差法联合优化摄像机内外参数及畸变系数，有效降低重投影误差，提高初始三维重建精度。

59、针对事后优化手段单一的问题，本发明利用刚体上标记点间已知不变距离进行非线性优化，通过正则化项控制坐标调整幅度，能够在保持整体结构稳定的同时改善局部形变和尺度漂移。

60、针对高精度基准校正成本高且不实时的问题，本发明仅需在离线阶段使用高精度基准设备对少量标记点进行测量，构建局部误差场后即可对全部标记点进行校正，在不影响实时性的前提下显著提升绝对定位精度。

61、针对遮挡和飞点问题，本发明通过平面镜虚像坐标推算恢复被遮挡标记点坐标，并利用卡尔曼滤波和马氏距离检测动态异常点，提高了复杂场景下三维坐标的连续性和可靠性。

62、针对多源校正结果缺乏有效融合的问题，本发明根据各校正结果的不确定度进行自适应加权融合，充分发挥各校正方法的优势，进一步提高最终三维坐标的精度和鲁棒性。