一种光学动作捕捉系统三维轨迹异常点抑制和处理方法与流程

1.本发明涉及光学动作捕捉系统技术领域，具体为一种光学动作捕捉系统三维轨迹异常点抑制和处理方法。


背景技术：

2.光学式动作捕捉凭借着采集精度高、可实时反馈等优势已成为运动捕捉技术中的重要研究分支。常见的光学式运动捕捉大多基于计算机视觉原理，从理论上说，对于空间中的一个点，只要它能同时为两部相机所见，则根据同一时刻两部相机所拍摄的图像和相机参数，可以确定这一时刻该点在空间中的位置，而当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的三维运动轨迹。三维空间坐标数据被计算机识别后，可以应用在数字沙盘、动画制作、步态分析、生物力学、人机工程等领域。
3.中国专利cn110770793a公开了一种三维轨迹数据的异常值处理方法及光学动作捕捉方法，其中请求保护的异常值处理方法包括输入步骤、判断步骤、处理步骤、输出步骤等环节，请求保护的光学动作捕捉方法包括获取测量点二维图像、计算三维轨迹数据、三维轨迹数据异常值处理等环节，由于提供了三维轨迹数据的异常值处理方法，使得光学动作捕捉系统能够消除三维轨迹数据中一些不期望的三维数据，从而避免捕捉环境变化所带来的测量误差，也有助于提高测量对象的定位精度。
4.中国专利cn110753930a公开了一种三维轨迹数据的拟合处理方法及光学动作捕捉方法，其中拟合处理方法包括输入步骤、判断步骤、调整步骤、处理步骤、输出步骤等环节，光学动作捕捉方法包括获取三维轨迹数据及拟合处理等环节。由于通过标准高斯分布概率密度函数对应的核函数值来判断每个三维数据为正常值还是为异常值，使得核函数值与预设阈值能够进行有效的比较，能够增加判断的精确度；此外，调整步骤中通过将三维轨迹数据中若干个正常值对应的三维数据调整为异常值，可通过扩大排查范围的方式对异常值进行筛选，进一步地找出未检测出来的异常值，从而最大限度地排除为异常值的三维数据的干扰，保证测量对象的三维轨迹数据的测量精确度。
5.现有技术公布的轨迹异常值处理方法，用拟合的数据点替换三维轨迹的异常点，这个处理过程是对重建后的异常点进行修正的方法，该方法对异常点产生的根本问题没有解决，其一，环境变化（强光、加入其它物体）导致二维图像中出现干扰区域，而致使提取标记点的二维坐标错误，最终三维重建出现异常点；其二，多个相机传输出现网络异常或者处理延迟，导致的多个相机数据不同步，而引起三维重建出现异常点。
6.而本技术采用标记点的光学动作捕捉系统往往包括光学标记点(也可称为marker)、动作捕捉相机(简称动捕相机)、信号传输设备、数据处理中心等功能单元。当运动物体粘贴上标记点并运动时，多个动捕相机会从不同角度同时拍摄运动物体，获取其上标记点的图像，并将拍摄到的图像进行预处理，获取标记点的二维位置信息；与此同时，信号传输设备将标记点的二维位置信息实时地传输至数据处理中心，数据处理中心将根据预设的算法(如立体视觉匹配算法等)计算出标记点的三维空间坐标（简称三维重建），从而获得
运动物体（由多个marker点组成，简称刚体）的运动轨迹，实现运动物体的空间定位。


技术实现要素：

7.针对现有技术的不足，本发明提供了一种光学动作捕捉系统三维轨迹异常点抑制和处理方法，具备识别准确率高和计算效率高等优点，解决了现有的抑制处理方法抑制效果差，导致光学动作捕捉系统识别准确率低且计算效率低的问题。
8.为实现上述目的，本发明提供如下技术方案：一种光学动作捕捉系统三维轨迹异常点抑制和处理方法，包括以下步骤：s1：图像动态自适应去背景，具体分为以下步骤：s1-1：设相机的图像帧号为f；s1-2：从第0帧开始，以n为间隔，当f为n的倍数时，设置第f帧图像为原始背景图；s1-3:用f帧的marker点轮廓，在原始背景图上绘制屏蔽区域，得到最终背景图；s1-9：第f 1到f n帧图像减去s1-3的背景图，得到去背景图像；s2：识别并筛选marker点，具体分为以下步骤：s2-1：计算s1-3所述去背景图像的所有轮廓；轮廓为图像中闭合区域的外边界，反映亮区域的范围；s2-2：依次利用面积、圆度、离心率、均匀度、离群度特征来筛选marker点轮廓，满足所有筛选条件的轮廓作为候选轮廓，输出轮廓的拟合圆中心点作为marker点p，拟合圆半径r；s2-3：利用两点距离融合marker点信息，计算每个marker点p与其他候选点的最小距离l，设置阈值t；如果l《t
×
r，则以两个点的中间点代替原始的两个候选点p，将p存入点集p；s2-4：将s2-3处理的点集p作为最终输出的marker点集；s3：相机帧时间同步和超前帧恢复，具体分为以下步骤：s3-1：定时获取每个相机的marker点集p和图像获取时间t；p的点数量n
p
，刚体点数量n
rigid
，如果n
p
≥n
rigid
，则t为有效时间，否则t为无效时间；s3-2：在第f帧时，计算相机的有效时间中值t
med
，设置时间阈值t
threshold
；如果t
med-t
threshold
≤t≤t
med
t
threshold
，将p记录在点集c
sel
中，用于三维重建；如果t
med
t
threshol
≤t，则将p和t记录在点集c
beyond
中，并记做p
beyond
和t
beyond
；如果t≤t
med-t
threshold
，则将p删除；s3-3：将c
sel
作为三维重建输入点；s3-4：在f 1帧时，重复s3-2步骤，增加判断，如果c
beyond
中的|t
beyond-t
med
|《|t-t
med
|，则使用p
beyond
代替p记录在c
sel
中，并将p和t记录在点集c
beyond
中；s4：三维点重建，以s3-4的c
sel
作为输入点，使用三角测量法对每个marker点进行三维重建，计算三维坐标，多帧连续的三维坐标组成轨迹线；s5：轨迹异常点识别和处理，具体分为以下步骤：s5-1:在轨迹线上取最新的5个轨迹点，分别记作p0、p1、p2、p3、p4，pi和点pj的距离记作d
ij
；s5-2：以p2作为目标点，设置阈值d
threshold
，先计算p2到p1、p3的距离d
21
、d
23
，再计算d01
、d
34
，如果d
21
d
23
》d
threshold
×
(d
01
d
34
)，则判断p2为异常点，使用p1和p3的平均点替换p2；s5-3：将p2更新至轨迹点中；s6：轨迹噪声平滑，使用卡尔曼滤波实现，具体分为以下步骤：s6-1:设置卡尔曼滤波初始化参数，包括过程噪声协方差矩阵和测量噪声协方差矩阵；s6-2：以s5-3中更新的轨迹点p2作为目标点，获取p2坐标x、y、z，和p2与前一个点的坐标差值δx、δy、δz；将x、y、z、δx、δy和δz作为卡尔曼滤波的输入信息；s6-3:输出卡尔曼滤波的预测p
smooth
，存入新的轨迹线。
9.进一步，所述s1-2以n为间隔，n为刷新背景时间乘以相机采集帧率。
10.进一步，所述s1-3绘制屏蔽区域，其特征为黑色填充区域。
11.进一步，所述s2-2利用面积特征来筛选marker点轮廓，具体的，轮廓的面积为轮廓的像素数量，设置面积最小阈值16、最大阈值100，过滤掉面积小于16或面积大于100的轮廓；所述s2-2利用圆度特征来筛选marker点轮廓，具体的，轮廓圆度为周长和面积的比值，设置圆度阈值0.6，过滤掉圆度小于0.6的轮廓；所述s2-2利用离心度特征来筛选marker点轮廓，具体的，先计算轮廓拟合圆的圆心坐标p
centre1
和半径r，再计算轮廓中灰度最大值坐标p
maxgray
，最后计算p
centre1
与p
maxgray
的距离d与r的比值作为离心率，设置离心度阈值0.2，过滤掉离心率大于0.2的轮廓。
12.进一步，所述s2-2利用均匀度特征来筛选marker点轮廓，具体的，用图像灰度的标准差来衡量均匀度，设置均匀度阈值为0.3，过滤掉均匀度小于0.3的轮廓；所述s2-2利用离群度特征来筛选marker点轮廓，具体的，先计算多个p的中心点p
centre2
，再计算每个p到p
centre2
的距离d，最后将d代入标准高斯分布概率密度函数，计算对应的核函数值作为离群度，设置离群度阈值2.3，过滤掉离群度大于阈值的轮廓。
13.进一步，所述s2-3设置阈值t，具体的，t的范围为1-2.5。
14.进一步，所述s3-2的时间阈值t
threshold
，其范围是0-t
interval
，t
interval
为相机图像采集的间隔时间平均值。
15.进一步，所述s5-2的阈值d
threshold
，其最优范围是1-9。
16.进一步，所述s6-1过程噪声协方差矩阵的取值范围是0.0001-0.01；过程噪声协方差矩阵最优取值为0.001；所述s6-1测量噪声协方差矩阵的取值范围是0.01-1。
17.与现有技术相比，本发明提供了一种光学动作捕捉系统三维轨迹异常点抑制和处理方法，具备以下有益效果：1、该光学动作捕捉系统三维轨迹异常点抑制和处理方法，通过图像动态自适应去背景，在不干扰marker点提取的前提下，去除相对静态干扰因素，极大提高marker点识别的准确率，抑制三维重建异常点的生成。
18.2、该光学动作捕捉系统三维轨迹异常点抑制和处理方法，根据动态干扰因素与marker反光球的图像特征差异，使用面积、圆度、离群度等特征筛选方法，有效去除动态干扰区域，提升marker点识别准确率，抑制三维重建异常点的生成。
19.3、该光学动作捕捉系统三维轨迹异常点抑制和处理方法，相机帧时间同步，可以去除时间滞后的相机数据，避免帧错位导致重建点偏差大的问题；且本方法缓存帧时间超
前的时间，可以恢复超前数据在时间同步的位置，提高了三维重建的容错性，抑制三维重建异常点的生成。
20.4、该光学动作捕捉系统三维轨迹异常点抑制和处理方法，通过利用轨迹点的连续性，比较目标点到相邻两点的距离，识别出异常点，并用相邻的平均点替换异常点，本方法的算法的复杂度低，计算效率更高。
21.5、该光学动作捕捉系统三维轨迹异常点抑制和处理方法，通过卡尔曼滤波能有效去除轨迹线的噪声，增加轨迹的平滑性。
附图说明
22.图1为本发明一种光学动作捕捉系统三维轨迹异常点抑制和处理方法的异常点抑制和处理流程图；图2为本发明一种光学动作捕捉系统三维轨迹异常点抑制和处理方法的marker点特征筛选方法流程图；图3为本发明一种光学动作捕捉系统三维轨迹异常点抑制和处理方法的相机帧时间同步和超前帧恢复流程图；图4为本发明一种光学动作捕捉系统三维轨迹异常点抑制和处理方法的三维轨迹异常点中的轨迹原始x值；图5为本发明一种光学动作捕捉系统三维轨迹异常点抑制和处理方法的三维轨迹异常点中的轨迹处理x值的处理效果图；图6为本发明一种光学动作捕捉系统三维轨迹异常点抑制和处理方法的三维轨迹异常点中的轨迹原始y值；图7为本发明一种光学动作捕捉系统三维轨迹异常点抑制和处理方法的三维轨迹异常点中的轨迹处理y值的处理效果图；图8为本发明一种光学动作捕捉系统三维轨迹异常点抑制和处理方法的三维轨迹异常点中的轨迹原始z值；图9为本发明一种光学动作捕捉系统三维轨迹异常点抑制和处理方法的三维轨迹异常点中的轨迹处理z值的处理效果图。
实施方式
23.下面将结合本发明实施例中的附图和实施例，对本发明实施例中的技术方案进行清楚、完整地描述，本文对本发明作进一步详细说明，其中不同实施方式中类似元件采用了相关联的类似元件标号。此外，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。此外，本文中为部件所编序号本身仅用于区分所描述的对象，不具有任何顺序或技术含义；而本技术所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。本技术相关的一些操作可以以任意适当的方式结合形成各种实施方式，同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
24.请参阅图1-9，本实施例中的光学动作捕捉系统工作环境中存在一些相对静态的干扰因素。昼夜变化的自然光会引起图像整体亮度变化，而亮度变化会降低marker的提取准确率；环境中的浅色桌椅，浅色地板或红外反光材料都会在图像上产生干扰区域。以上干扰因素均具有位置相对固定、亮度稳定的特点，称为相对静态干扰因素。本发明使用去背景的操作实现自适应去除相对静态干扰的方法。具体步骤如下：s1-1：设相机的图像帧号为f。帧号为从0开始，不断累加的数字，用于记录相机采集图像的序号；图像获取时间为从相机开始采集图像开始，连续累加的时间，单位为ms。
25.s1-2：从第0帧开始，以n为间隔，当f为n的倍数时，设置第f帧图像为原始背景图；n为刷新背景时间乘以相机采集帧率，本实施例中，刷新背景时间为30s，相机采集帧率为25fps，n的取值为750。定时刷新背景图，可兼容干扰物突然移动，导致背景图变化的问题，也能适应自然光的缓慢变化。
26.s1-3:用f帧的marker轮廓，在原始背景图上绘制屏蔽区域，得到最终背景图；本实施例中屏蔽区域为的黑色填充区域。
27.用f帧轮廓绘制黑色屏蔽区域的优点。f后几帧图像的marker点轮廓与f帧的marker点轮廓重叠，屏蔽区可避免后续图像减去背景时同时去除重叠的marker点信息。
28.s1-9：第f 1到f n帧图像减去s1-3的背景图，得到去背景图像。图像减去背景图，可以去除背景区域的像素信息，得到亮度差值主要为移动的marker点信息。
实施例二
29.请参阅图1-9，本实施例中的光学动作捕捉系统工作环境中经常存在动态干扰因素。例如衣物、鞋子上的反光logo、可产生镜面反射的眼镜等，这些干扰会随着人移动而发生位置变化，无法使用去背景的方法有效去除。但这些动态干扰因素在图像上通常为面积随机、形状不规则、位置随机的亮区域，且亮区域的亮度最大位置随机；刚体由多个marker反光球组成，marker点轮廓为圆形、面积范围固定、多个marker轮廓位置集中，且marker轮廓中亮度最大位置为轮廓圆心，轮廓中的亮度从中心到边缘逐渐衰减。本发明利用面积、圆度、离群度等特征筛选方法去除动态干扰因素的影响，如附图2所示，具体步骤如下：s2-1：计算s1-3去背景图像的所有轮廓；轮廓为图像中闭合区域的外边界，反映亮区域的范围。
30.s2-2：依次使用面积、圆度、离心率、均匀度、离群度特征来筛选marker点轮廓，满足所有筛选条件的轮廓作为候选轮廓，输出轮廓的拟合圆中心点作为marker点p，拟合圆半径r。
31.本实施例中，轮廓的面积为轮廓的像素数量，反映出轮廓的大小。marker点的轮廓面积随着marker点到相机距离变大而减小；marker反光球尺寸15mm，动作捕捉的工作距离为1-5米，计算得到marker点的轮廓面积在16-100之间。因此设置面积最小阈值为16、最大阈值为100，过滤掉面积小于16或面积大于100的轮廓。
32.本实施例中，轮廓圆度为周长和面积的比值。marker反光球边缘处较暗，提取的边缘不规则，高速运动的marker点轮廓为椭圆。统计得到marker点轮廓的圆度一般大于0.6，因此设置圆度的阈值为0.6，过滤掉圆度小于0.6的轮廓。
33.本实施例中，离心率反映轮廓中灰度值最大的点偏离圆心的程度，离心率越大，说明该点离圆心越远，偏离程度越大；计算过程，先计算轮廓拟合圆的圆心坐标p
centre1
和半径r，再计算轮廓中灰度最大值坐标p
maxgray
，最后计算p
centre1
与p
maxgray
的距离d与r的比值作为离心率。以0.2作为阈值，过滤掉离心率大于0.2的轮廓。
34.本实施例中，均匀度用图像灰度的标准差来衡量，标准差越小，说明图像的亮度越均匀。统计得到marker点的灰度均匀度大于0.3，因此设置均匀度阈值为0.3，过滤掉均匀度小于0.3的轮廓。
35.本实施例中，离群度为marker点偏离刚体中心的程度，离群度越大则说明marker点偏离刚体中心越远。先计算多个p的中心点p
centre2
，再计算每个p到p
centre2
的距离d，最后将d代入标准高斯分布概率密度函数，计算对应的核函数值作为离群度。设置2.3倍标准差作为离群度阈值，过滤掉离群度大于阈值的轮廓。
36.s2-3：利用两点距离融合marker点信息，计算每个marker点p与其他候选点的最小距离l，设置阈值t；如果l《t
×
r，则以两个点的中间点代替原始的两个候选点p。将p存入点集p；本实施例中，t设置为2。以中心点代替重叠点能减少三维重建点的误差，减少异常点的生成。
37.s2-4：将s2-3处理的点集p作为最终输出的marker点集。
38.本方法结合动态干扰因素与marker反光球的差异，针对性的使用面积、圆度、离心率、均匀度、离群度特征来筛选marker点轮廓，能有效排除动态干扰因素，减少三维重建异常点的生成。
实施例三
39.请参阅图1-9，本实施例中的光学动作捕捉系统包含3个以上的相机，大场景的动作捕捉相机数量达到十几个甚至几十个。大量相机的图像传输经常会遇到掉帧、个别相机传输延迟等问题，服务器（电脑）多线程处理各相机图像时偶尔会出现cpu时间片分配延迟，会导致多个相机的图像处理无法同步。而运动的marker点在不同帧的位置不同，如果图像出现帧错位，则会导致三维重建的marker位置出现明显偏差，最终生成异常点。实现图像时间同步对抑制异常点产生具有重要意义。本发明提供一种光学动作捕捉相机帧时间同步的方法，如附图3所示，具体步骤如下：s3-1：定时获取每个相机图像采集时间t，t为相机生成图片的时间，每个相机记录t的起始时间相同。该图像提取的marker点集为p，p的点数量n
p
，刚体点数量n
rigid
，如果n
p
≥n
rigid
，则t为有效时间，否则t为无效时间。
40.s3-2：在三维重建第f
reconture
帧时，计算相机有效时间的中值t
med
，设置时间阈值t
threshold
；如果t
med-t
threshold
≤t≤t
med
t
threshold
，将p记录在点集c
sel
中，用于三维重建；如果t
med
t
threshol
≤t，则将p和t记录在点集c
beyond
中，并记做p
beyond
和t
beyond
；如果t≤t
med-t
threshold
，则将p删除；s3-3：将c
sel
作为三维重建输入点。
41.s3-4：在f
reconture
1帧时，重复s3-2步骤，增加判断，如果c
beyond
中的|t
beyond-t
med
|《|t-t
med
|，则使用p
beyond
代替p记录在c
sel
中，并将p和t记录在点集c
beyond
中。
42.s3-2的时间阈值t
threshold
，其范围是0-t
interval
，t
interval
为相机图像采集的间隔时间平均值。
43.需要说明的是，该t
threshold
的最优值为t
interval
的1/2。
44.本方法提供的时间同步方法，通过设置t
threshold
实现了重建帧的时间间隔在t
interval
内，并且缓存了超前帧数据用于下一帧的同步。即完成了延迟帧的剔除，又实现了时间超前帧恢复到正常帧的位置用于重建。提高了三维重建的成功率，减少了异常帧的生成。
实施例四
45.请参阅图1-9，本实施例中的光学动作捕捉系统三维重建时如果出现marker点匹配错误等问题，会产生异常点，该类异常点具有随机性难以完全避免。需要动作捕捉系统能识别出异常点，并用一个近似点替换异常点。轨迹线上的点具有连续性、平滑性，正常轨迹之间点的间隔均匀，而异常点与相邻点的间隔会突然增大，可利用这一特点识别出异常点。对于异常点，可使用相邻点的中间点来替换，保持轨迹线的连续性和平滑性。本方法提供一种异常点的识别和处理方法。具体步骤如下：s5-1:在轨迹线上取最新的5个轨迹点，分别记作p0、p1、p2、p3、p4，pi和点pj的距离记作d
ij
；s5-2：以p2作为目标点，设置阈值d
threshold
。先计算p2到p1、p3的距离d
21
、d
23
，再计算d
01
、d
34
。如果d
21
d
23
》d
threshold
×
(d
01
d
34
)，则判断p2为异常点，使用p1和p3的中间点替换p2。阈值d
threshold
，其范围是1-9。
46.需要说明的是，该阈值d
threshold的
最优值为1.5。
47.s5-3：将p2更新至轨迹点中。
48.本方法利用三维轨迹的连续性和平滑性来识别和处理异常点。相对现有的动作捕捉系统异常点处理方法，本方法的算法复杂度更低，计算速度更快，且有相同的处理效果。
实施例五
49.请参阅图1-9，本实施例中的光学动作捕捉系统三维重建的轨迹线去除异常点后，还会存在一些噪声数据，噪声会影响轨迹的平滑性。在类似数字沙盘的应用场景中，三维轨迹点在三维场景中需要方法数百倍，噪声会导致三维场景的虚拟镜头出现严重抖动的问题，因此需用使用数据平滑方法来效果噪声的影响。卡尔曼滤波可以使用观测方程，结合轨迹点坐标和速度，预测出轨迹的下一个位置，且多个预测值之间符合线性方程，具有非常好的平滑性。该方法常用于数据融合和缺失数据补齐。本方法使用卡尔曼滤波进行三维轨迹的平滑去噪，具体步骤如下：s6-1:设置卡尔曼滤波初始化参数，包括过程噪声协方差矩阵和测量噪声协方差矩阵；过程噪声协方差矩阵的取值范围是0.0001-0.01，过程噪声协方差矩阵最优取值为0.001；测量噪声协方差矩阵的取值范围是0.01-1。
50.需要说明的是，该测量噪声协方差矩阵的最优取值为0.5。
51.s6-2：以s5-3中更新的轨迹点p2作为目标点，获取p2坐标x、y、z，和p2与前一个点的坐标差值δx、δy、δz；将x、y、z、δx、δy、δz作为卡尔曼滤波的输入信息。
52.s6-3:输出卡尔曼滤波的预测p
smooth
，存入新的轨迹线。
53.该方法实现三维轨迹的平滑去噪，具有实时性强、参数可控、平滑效果好、可补全缺失数据的优点。可以应用于基于光学动作捕捉的数字沙盘等对轨迹平滑流畅的应用场景。
54.本发明的有益效果是：该光学动作捕捉系统三维轨迹异常点抑制和处理方法，通过图像动态自适应去背景，在不干扰marker点提取的前提下，去除相对静态干扰因素，极大提高marker点识别的准确率，抑制三维重建异常点的生成。
55.该光学动作捕捉系统三维轨迹异常点抑制和处理方法，根据动态干扰因素与marker反光球的图像特征差异，使用面积、圆度、离群度等特征筛选方法，有效去除动态干扰区域，提升marker点识别准确率，抑制三维重建异常点的生成。
56.该光学动作捕捉系统三维轨迹异常点抑制和处理方法，相机帧时间同步，可以去除时间滞后的相机数据，避免帧错位导致重建点偏差大的问题；且本方法缓存帧时间超前的时间，可以恢复超前数据在时间同步的位置，提高了三维重建的容错性，抑制三维重建异常点的生成。
57.该光学动作捕捉系统三维轨迹异常点抑制和处理方法，通过利用轨迹点的连续性，比较目标点到相邻两点的距离，识别出异常点，并用相邻的平均点替换异常点，本方法的算法的复杂度低，计算效率更高。
58.该光学动作捕捉系统三维轨迹异常点抑制和处理方法，通过卡尔曼滤波能有效去除轨迹线的噪声，增加轨迹的平滑性。
59.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。