一种用于孕妇体操教学的双目3D成像方法

摘要: 本发明涉及图像处理及计算机视觉,具体为一种用于孕妇体操教学的双目3d成像方法。背景技术:1、孕妇体操教学通常需要采集孕妇在弯腰、转身、伸展或站立等动作过程中的体...
一种用于孕妇体操教学的双目3D成像方法

本发明涉及图像处理及计算机视觉,具体为一种用于孕妇体操教学的双目3d成像方法。

背景技术:

1、孕妇体操教学通常需要采集孕妇在弯腰、转身、伸展或站立等动作过程中的体态信息,并将当前体操动作姿态与对应的标准体操动作姿态进行比较。双目3d成像能够通过左右两路图像的立体匹配生成三维点云,因而可用于获取孕妇体操动作对应的3d体态数据。

2、现有双目3d成像方法主要面向一般人体姿态重建。在孕妇体操教学场景中,孕妇腹部具有明显的大曲面膨隆特征,动作过程中还容易因肢体摆动及服装褶皱形成单侧阴影和局部灰度突变。上述因素会干扰左右两路图像中同名像素的确定,使立体匹配产生错误视差,进而造成三维点云局部缺失、腹部边缘拉伸或中部凹陷。

3、现有图像增强方法通常仅依据像素灰度或阴影检测结果进行处理,难以根据不同孕妇体操动作对应的动态干扰程度调节补偿范围。对于只在一路图像中出现的阴影,双路阴影标识的不合理融合还可能使阴影位置无法被有效保留。若直接在二维图像中对腹部区域进行大范围非线性位置校正,则可能改变同名像素的极线对应关系,影响后续立体匹配。

4、此外,现有点云平滑或曲面拟合方法通常依据单侧点云的局部几何特征进行处理,难以区分服装表面图案、细小褶皱引起的视觉假性曲率与腹部大曲面膨隆对应的真实物理表面曲率,也缺少将孕妇体操动作、腹部整体膨隆程度与局部曲率共同用于点云形变校准的反馈机制,导致腹部区域的点云校准容易出现过度修正或迭代不稳定。

技术实现思路

1、本发明提供一种用于孕妇体操教学的双目3d成像方法,旨在抑制孕妇体操动作阴影和腹部大曲面变形造成的双目误匹配,在保持极线约束的同时提高3d体态数据重构精度。

2、为实现上述目的,本发明提供了如下的技术方案:

3、本发明一种用于孕妇体操教学的双目3d成像方法,包括:

4、s100:采集原始图像对,根据孕妇体操动作确定当前动作姿态权重;根据当前动作姿态权重、初始视差及双路单一阴影标识的极大值融合结果生成动态阴影掩码,利用动态阴影掩码进行跨路像素补偿,得到增强图像对;

5、s200:立体匹配增强图像对,生成三维原始点云;根据腹部区域实时投影面积与腹部参考投影面积确定全局腹部膨隆度,以三维原始点云初始化形变微调点云,将循环次数置零并初始化形变校准步长;

6、s300:对形变微调点云进行局部曲面拟合,得到表面主曲率和归一化表面法向量;以对侧路点云先验曲率约束表面主曲率,得到真实物理表面曲率;

7、s400:根据真实物理表面曲率、当前动作姿态权重和全局腹部膨隆度确定形变校准量,根据所述形变校准量和当前的形变校准步长确定非线性形变校准系数,并对所述非线性形变校准系数进行下限约束;沿归一化表面法向量更新形变微调点云;

8、s500:根据更新后的形变微调点云与上一时序帧3d体态数据之间的空间距离,以及当前体操动作姿态与对应的标准体操动作姿态之间的空间匹配残差,确定时序重构残差;若所述时序重构残差大于预设精度阈值且所述循环次数小于预设最大迭代次数,则根据所述时序重构残差和所述当前动作姿态权重更新所述形变校准步长,增加所述循环次数并返回s300;否则输出更新后的形变微调点云作为3d体态数据。

9、作为本发明的一种优选技术方案,在s100中,所述根据孕妇体操动作确定当前动作姿态权重的步骤包括:

10、识别所述孕妇体操动作所属的动作姿态类型,所述动作姿态类型包括弯腰或转身动作、伸展或站立动作以及其他动态体操动作;

11、分别设置不同动作姿态类型对应的动作姿态权重,弯腰或转身动作对应的动作姿态权重大于其他动态体操动作对应的动作姿态权重,其他动态体操动作对应的动作姿态权重大于伸展或站立动作对应的动作姿态权重;

12、将识别出的动作姿态类型对应的动作姿态权重确定为当前动作姿态权重。

13、作为本发明的一种优选技术方案,在s100中,获得所述初始视差和所述双路单一阴影标识的步骤包括:

14、对所述原始图像对进行基于时域运动残差衰减的帧间消残影处理,得到由左路目标图像和右路目标图像组成的目标图像对;

15、对所述目标图像对进行初始立体匹配,得到初始视差;

16、分别对所述左路目标图像和所述右路目标图像进行局部二值阈值处理,得到左路单一阴影标识和右路单一阴影标识;

17、将所述左路单一阴影标识和所述右路单一阴影标识组成双路单一阴影标识。

18、作为本发明的一种优选技术方案,在s100中,生成所述动态阴影掩码并利用所述动态阴影掩码进行跨路像素补偿的步骤包括:

19、根据所述初始视差确定所述左路目标图像和所述右路目标图像中的同名像素,计算所述同名像素邻域的局部灰度均值的绝对差值;

20、根据服装表面基准灰度标准差对所述绝对差值进行归一化处理,并对所述左路单一阴影标识和所述右路单一阴影标识进行逐像素极大值融合,得到极大值融合结果;

21、将归一化处理结果、所述极大值融合结果和所述当前动作姿态权重相乘,并根据所述初始视差对相乘结果进行负指数衰减,得到动态阴影掩码;

22、根据所述初始视差确定当前像素在对侧目标图像中的同名像素,按照所述动态阴影掩码融合所述当前像素与所述同名像素,得到增强图像对。

23、作为本发明的一种优选技术方案,在s200中,确定所述全局腹部膨隆度并初始化所述形变微调点云、所述循环次数和所述形变校准步长的步骤包括:

24、从所述增强图像对中确定预设基准增强图像,通过图像分割提取所述预设基准增强图像中腹部区域的实时投影面积;

25、获取与孕妇当前孕周对应的腹部参考投影面积;

26、计算所述实时投影面积与所述腹部参考投影面积之差相对于所述腹部参考投影面积的比值,得到全局腹部膨隆度;

27、将所述三维原始点云确定为初始的形变微调点云,将所述循环次数置为0,并将所述形变校准步长初始化为0。

28、作为本发明的一种优选技术方案,在s300中,对所述形变微调点云进行局部曲面拟合,并以所述对侧路点云先验曲率约束所述表面主曲率的步骤包括:

29、针对所述形变微调点云中的空间坐标点,对所述空间坐标点的邻域点云进行局部二阶多项式曲面拟合,得到表面主曲率和归一化表面法向量;

30、根据所述增强图像对的立体匹配结果,确定与所述空间坐标点对应的对侧路点云邻域,并对所述对侧路点云邻域进行局部二阶多项式曲面拟合,得到对侧路点云先验曲率;

31、根据所述表面主曲率与所述对侧路点云先验曲率之间的绝对曲率差确定曲率一致性权重,所述曲率一致性权重随所述绝对曲率差的增大而减小;

32、根据所述曲率一致性权重对所述表面主曲率与所述对侧路点云先验曲率进行加权融合,得到真实物理表面曲率。

33、作为本发明的一种优选技术方案,在s400中,所述形变校准量和所述非线性形变校准系数的确定步骤包括:

34、获取预设的曲率归一化基准,所述曲率归一化基准为腹部表面极限主曲率;

35、计算所述真实物理表面曲率的绝对值与所述曲率归一化基准的比值,并对所述比值与单位基准值之和进行对数变换,得到曲率变换结果;

36、将所述曲率变换结果、所述当前动作姿态权重和所述全局腹部膨隆度相乘,得到形变校准量;

37、将当前的形变校准步长与所述形变校准量相乘,并将所得乘积与预设基准值相加,得到候选校准系数;

38、将所述候选校准系数与所述预设基准值中的较大值确定为非线性形变校准系数。

39、作为本发明的一种优选技术方案,在s400中,所述沿归一化表面法向量更新形变微调点云的步骤包括:

40、根据所述形变微调点云中腹部区域的空间中心与对应三维点之间的径向方向,对所述归一化表面法向量进行方向统一;

41、计算所述非线性形变校准系数与所述预设基准值之间的校准差值,并根据所述曲率归一化基准的倒数确定法向位移尺度;

42、将所述校准差值、所述法向位移尺度和方向统一后的归一化表面法向量相乘,得到点云坐标增量;

43、将所述点云坐标增量与所述对应三维点的当前坐标相加,得到更新后的形变微调点云。

44、作为本发明的一种优选技术方案,在s500中,所述确定时序重构残差的步骤包括:

45、对更新后的形变微调点云与上一时序帧3d体态数据进行空间配准,并在配准结果之间建立三维点对应关系;

46、计算对应三维点之间的欧氏距离平均值,得到点云空间差异;

47、计算当前体操动作姿态与对应的标准体操动作姿态中对应姿态特征点之间的空间距离,得到体操动作姿态空间匹配残差;

48、将所述点云空间差异与所述体操动作姿态空间匹配残差进行加权组合,得到空间总体时序重构偏差;

49、根据预设的更新步长惩罚因子对所述空间总体时序重构偏差进行归一化处理,得到时序重构残差。

50、作为本发明的一种优选技术方案,在s500中,所述形变校准步长的更新步骤包括:

51、将所述时序重构残差与所述当前动作姿态权重相乘,得到步长衰减量;

52、从预设参考步长中减去所述步长衰减量,得到候选形变校准步长;

53、将所述候选形变校准步长与预设步长下限值中的较大值确定为更新后的形变校准步长;

54、其中,所述预设参考步长大于所述预设步长下限值,所述预设步长下限值大于0。

55、本发明的有益效果是:

56、1.根据当前动作姿态权重、初始视差及双路单一阴影标识的极大值融合结果生成动态阴影掩码,并进行跨路像素补偿,能够减小单侧阴影和服装褶皱对立体匹配的干扰,同时保持双目图像的极线对应关系。

57、2.以对侧路点云先验曲率约束表面主曲率,并结合当前动作姿态权重和全局腹部膨隆度进行点云形变校准,能够抑制视觉假性曲率造成的腹部区域形变失真,提高3d体态数据的重构准确性。

58、3.根据时序重构残差反馈更新形变校准步长,能够限制点云过度校准,提高连续孕妇体操动作重构的稳定性。