一种基于多视角坐标融合的姿态识别方法与流程

本发明涉及姿态识别与数据处理，尤其涉及一种基于多视角坐标融合的姿态识别方法。

背景技术：

1、现有的姿态识别与提醒方案多依赖单目摄像头或可穿戴传感器。可穿戴传感器需使用者持续佩戴，佩戴不适且易遗忘。单目摄像头方案存在以下缺陷：其一、单视角观测在手臂、书本对躯干的遮挡下关键点直接失效，姿态判定中断或误判，使用者离开座位时系统仍可能基于不可靠观测输出错误判定；其二、单视角下光照变化与背景干扰使关键点的可见度估计漂移，坐标预测质量不可控；其三、若增设多视角并按固定优先级切换视角，视角间微小的观测差异经切换被放大为坐标跳变，遮挡、模糊视角的观测误差按权重混入融合坐标造成污染；其四，姿态类别在分类边界附近的抖动转化为提醒信号的反复启停，形成噪声提醒；其五、固定间隔或无约束的降频提醒难以兼顾矫正有效性与提醒疲劳，长时间使用后使用者对提醒的遵从度下降；其六、遮挡时段不加区分地计入统计，使长期姿态统计与训练指导失真；其七、支撑结构碰撞、温度形变等缓慢扰动引起标定漂移，系统长期运行后判定精度持续退化且无从检测。由此，需要一种能够在多视角观测质量波动与遮挡条件下获得连续、可信、不因视角切换产生坐标跳变的关键点坐标，并使提醒触发与长期统计均建立在观测可靠的帧之上的姿态识别方法。

技术实现思路

1、本发明提出一种基于多视角坐标融合的姿态识别方法，包括：

2、s1、对多视角图像数据进行姿态追踪预测得到多视角关键点数据；

3、s2、将所述多视角关键点数据中各关键点在各视角下的归一化坐标变换至同一参考坐标系，得到各关键点在各视角下的参考坐标；当关键点在至少一个视角下的可见度不低于第一可见度阈值时，按可见度将其在各视角下的参考坐标融合为该关键点的融合坐标；当关键点在各视角下的可见度均低于第一可见度阈值时，在预设补充帧数内以其历史融合坐标作为当帧坐标，超过预设补充帧数时将其标记为不可见退出姿态判定；当处于时序补充状态的关键点数量的占比超过预设比例阈值时，判定当前帧的判定结果无效，得到融合关键点数据；

4、s3、由所述融合关键点数据中未被标记为不可见的关键点的当帧坐标构造姿态特征数据，输入姿态分类模型得到姿态类别数据；

5、s4、对所述姿态类别数据进行提醒触发判定与加权统计，得到训练指导数据。

6、进一步地，所述姿态追踪预测包括：对每一帧多视角图像数据执行光照归一化预处理与人物检测，未检测到人物时保持等待，检测到人物时定位包含人物的感兴趣区域，由感兴趣区域内的图像数据逐帧预测各关键点的归一化坐标与可见度，得到多视角关键点数据。

7、进一步地，所述归一化坐标在变换至同一参考坐标系时，先乘以所在视角图像的宽高还原为像素坐标，再对像素坐标执行畸变校正，将畸变校正后的像素坐标逆投影至相机坐标系，确定关键点在相机坐标系下的深度后，将相机坐标系下的坐标经旋转矩阵与平移向量变换至参考坐标系，得到各关键点在各视角下的参考坐标。

8、进一步地，所述确定关键点在相机坐标系下的深度包括：当两个视角的基线长度不小于拍摄距离的预设比例时，以同一关键点在不同视角下的像素坐标为同名点执行三角化恢复深度；当基线长度小于所述预设比例或三角化的深度不确定性超过深度值的预设比例时，将逆投影射线与预设约束平面的交点作为深度，所述预设约束平面在标定阶段由预设标定区的边缘拟合确定。

9、进一步地，判定当前帧的判定结果无效时进入熔断状态，暂停时序补充并冻结各关键点已连续处于时序补充状态的帧数的计数更新；熔断期间持续监测处于时序补充状态的关键点数量的占比，当连续预设恢复帧数内所述占比保持在所述预设比例阈值以下时，退出熔断状态，恢复时序补充，并将已连续处于时序补充状态的帧数清零后从恢复帧重新起算。

10、进一步地，所述构造姿态特征数据包括：由头部、双肩、双肘、双手腕与脊柱上部中未被标记为不可见的关键点的当帧坐标及坐标间比值构造特征，各特征均以双肩距离归一化，使姿态特征数据与体型无关；其中，当帧坐标在有效观测帧为融合坐标，在时序补充帧为施加递减权重的历史融合坐标。

11、进一步地，所述提醒触发判定包括触发条件与停止条件；触发条件为，当所述姿态类别数据属于预设异常姿态类别且单次连续持续帧数达到第一持续帧阈值时，输出对应于该预设异常姿态类别的提醒数据；停止条件为，在提醒数据输出期间，当所述姿态类别数据不再属于预设异常姿态类别的单次连续持续帧数达到大于所述第一持续帧阈值的第二持续帧阈值时，停止输出提醒数据，使触发与停止之间构成滞回；触发条件与停止条件所针对的单次连续持续帧数在姿态类别偏离当前所针对的预设异常姿态类别时清零重计。

12、进一步地，相邻两次输出提醒数据之间的最小间隔随历史统计量自适应调整，所述历史统计量为此前统计周期中同一预设异常姿态类别的占比，该占比经单调映射函数确定最小间隔，占比越大，最小间隔越长，不存在该占比的冷启动阶段，最小间隔取单调映射函数的下限值，单调映射函数的参数以提醒矫正有效性保持率为约束标定，使调整后单位时间内有效提醒次数不低于调整前的预设比例。

13、进一步地，所述加权统计包括：判定结果无效的帧不计入统计，处于时序补充状态的关键点数量的占比超过预设降权阈值且未超过所述预设比例阈值的帧以低于正常帧的权重计入统计，其余帧以满权重计入统计，经加权后的统计量用于习惯判定。

14、进一步地，在得到各关键点在各视角下的参考坐标之后、由未被标记为不可见的关键点的当帧坐标构造姿态特征数据之前，对各关键点在各视角下的参考坐标执行在线漂移校验，该校验与后续步骤并行执行，以姿态类别数据的类别切换事件为边界划分姿态时段，针对静态身体部位对应的关键点，在其于各视角下的可见度均高于第二可见度阈值的帧中，计算该关键点在不同视角下的参考坐标之间的位置偏差向量，对前后两个姿态时段分别统计位置偏差向量，作差分得到消去真实身体位移的残余偏差，当残余偏差在滑动窗口上的统计量超过预设偏差阈值时，判定变换至同一参考坐标系的变换发生漂移，暂停姿态判定并输出重新标定提示，重新标定后恢复姿态判定。

15、本发明通过上述技术方案，能够实现以下技术效果：

16、同一关键点各视角的参考坐标均变换至同一参考坐标系，具备可比性，双分支融合使融合坐标随可见度连续变化，姿态判定不因单视角遮挡中断且视角切换不产生坐标跳变，单视角遮挡时其余视角的有效观测维持判定。时序补充与点级退出、帧级熔断构成两级保护，补充权重随遮挡持续线性衰减，关键点退出不产生特征突变，大量关键点同时失效时拒绝输出任何判定结果，异常姿态的判定输出仅由观测可靠的帧产生。熔断期间冻结计数更新并恢复后清零重起算，恢复后各关键点保有完整的补充预算，系统在从短时遮挡到长时间离开的全遮挡谱段上均无错误判定输出且恢复后无振荡。坐标变换经同一标定基准的畸变校正与外参变换统一数值口径，深度按基线条件在三角化与平面约束间二选一，小基线布置下深度仍可确定，为可见度作为融合权重提供正确的几何前提。姿态特征数据全部经双肩距离归一化，与使用者体型无关，时序补充帧施加递减权重使特征取值平滑过渡，遮挡状态与正常观测状态共用同一分类决策边界，分类模型在遮挡场景下的准确率与正常观测场景保持一致。提醒触发判定采用触发严于停止的滞回与清零重计，边界抖动不再转化为提醒信号的反复启停，每一条提醒均对应一次确认的异常姿态。最小间隔随历史占比经单调映射函数自适应调整，并以提醒矫正有效性保持率为约束，降频不滑向放任，整体矫正效果优于固定间隔提醒或无约束降频中的任一单独方案。加权统计与熔断判定共享同一占比指标，遮挡程度由同一指标在判定与统计两端连续分档，习惯标识数据与训练指导数据不受遮挡时段污染。在线漂移校验以姿态时段差分消去真实身体位移，在标定漂移累积为系统性误判之前将其截获，系统无需定期人工停机标定即可维持部署初期的判定精度。即时提醒与长期训练指导按统计结果自动分工，使用者在矫正初期获得及时提醒，习惯形成后提醒频率随矫正进程自动演化，无需人工配置。