一种图像与惯性融合互校的运动监测系统与方法与流程

本发明涉及多模态运动监测，特别是涉及一种图像与惯性融合互校的运动监测系统与方法。

背景技术：

1、随着居家康复训练、远程运动健康管理等场景的快速发展，对人体关节运动角度、肢体运动轨迹及运动质量进行连续、客观、量化监测的需求日益增长。当前主流的运动监测技术主要分为两类：一类是基于视觉图像的人体姿态估计技术，另一类是基于惯性测量单元的穿戴式惯性测量技术，二者在实际应用中均存在各自的固有局限。

2、基于图像的姿态估计技术通过摄像头采集人体运动视频，结合关键点识别算法解算人体姿态与关节角度，无需用户佩戴额外设备，使用门槛较低。但该技术存在以下难以通过单模态算法完全消除的固有缺陷：其一，遮挡导致的数据中断，当肢体发生自遮挡、或被衣物/外物遮挡时，对应部位的关键点无法被稳定识别，导致姿态量输出中断、不连续；其二，关键点抖动导致的高阶指标失真，单帧关键点识别结果在相邻帧间易出现随机抖动，基于该序列计算得到的运动速度、加速度及平滑度等运动质量指标的可靠性会显著下降。

3、基于惯性测量单元的穿戴式监测技术通过陀螺仪、加速度传感器采集肢体运动的角速度与加速度，经解算得到姿态角度，具有采样率高、不受光线与遮挡影响的优势。但该技术存在漂移累积的核心问题：受陀螺仪零偏、温度漂移以及积分运算误差累积的影响，长时间连续测量会产生明显的航向漂移，导致姿态角度误差随时间持续增大。为保证测量精度，现有方案通常需要用户频繁进行人工标定，难以满足居家康复等长时间、无专人监督场景下的连续监测需求。

4、现有的图像与惯性多模态方案多为单向补偿，即仅以一种模态补偿另一种模态的不足，例如仅以惯性数据填补图像遮挡时段，或仅以图像对惯性进行初始标定。此类方案缺乏使两种模态互为校准器的系统级设计：既未在图像可靠时持续以图像为惯性校零以抑制漂移，也未在图像失效时系统性地以惯性补偿图像在遮挡、前屈与平滑度上的缺陷，因而在遮挡、前屈与长时间漂移并存的真实使用场景中，监测的稳健性与精度均受到限制。

技术实现思路

1、本发明所要解决的技术问题是提供一种图像与惯性融合互校的运动监测系统与方法，能够提升运动监测的稳健性与精度以适配复杂真实场景下的连续运动监测需求。

2、本发明解决其技术问题所采用的技术方案是：提供一种图像与惯性融合互校的运动监测系统，包括：

3、同步获取单元，用于同步获取图像姿态序列与惯性测量序列；

4、校零单元，用于在所述图像姿态序列满足设定条件时，以所述图像姿态序列为参照，对输出所述惯性测量序列的惯性测量单元的零偏或航向进行校正；

5、补偿单元，用于在所述图像姿态序列存在缺陷时，采用由所述惯性测量序列解算得到的姿态量对由所述图像姿态序列解算的姿态量进行补偿；

6、融合单元，用于按所述图像姿态序列与所述惯性测量序列各自的置信度对由所述图像姿态序列估计的角度和由所述惯性测量序列解算得到的角度进行加权融合，得到运动监测量。

7、所述的图像与惯性融合互校的运动监测系统还包括：

8、伪影抑制单元，用于对所述图像姿态序列或所述惯性测量序列中对应软组织伪影的数据段进行抑制或降权。

9、所述图像姿态序列满足设定条件是指，在连续设定的帧数内由所述图像姿态序列解算得到的运动速度均低于预设速度，且所述图像姿态序列未发生遮挡情况。

10、所述校零单元以所述图像姿态序列为参照，对输出所述惯性测量序列的惯性测量单元的零偏或航向进行校正时，以所述图像姿态序列为观测量，通过卡尔曼滤波对由所述惯性测量序列解算得到的姿态的航向角与陀螺零偏进行状态修正。

11、所述补偿单元包括：

12、判断子单元，用于通过图像姿态序列的关键点判断所述图像姿态序列存在的缺陷的类型；当图像姿态序列的关键点置信度低于置信度阈值、或图像姿态序列的关键点出现抖动时，所述图像姿态序列存在缺陷；

13、第一执行子单元，用于在图像姿态序列的关键点置信度低于置信度阈值时，采用由所述惯性测量序列解算得到的姿态量替代由所述图像姿态序列解算得到的姿态量，或在加权融合时以由所述惯性测量序列解算得到的角度占主导；

14、第二执行子单元，用于在图像姿态序列的关键点出现抖动时，以所述惯性测量序列为参照对由所述图像姿态序列解算得到的姿态量进行平滑处理。

15、所述融合单元按置信度权重函数分配所述图像姿态序列与所述惯性测量序列的权重，所述置信度权重函数随各模态的置信度单调变化。

16、所述同步获取单元通过时间戳对齐或事件对齐使所述图像姿态序列与所述惯性测量序列在时间上同步。

17、所述运动监测量包括关节角度与运动质量指标中的至少之一，所述运动质量指标由融合后的序列的速度或加速度计算得到。

18、所述运动监测系统用于肩关节运动监测，所述图像姿态序列来自终端摄像头，所述惯性测量序列来自布置于上臂与躯干的惯性测量单元。

19、上述系统的核心在于构建图像与惯性之间的双向校正关系：校零单元实现由图像到惯性方向的校正，在图像可靠时以图像姿态为参考抑制惯性的零偏与航向漂移；补偿单元实现由惯性到图像方向的补偿，在图像失效时以惯性数据补全或平滑相应姿态量；融合单元按置信度对二者加权融合。两种模态互为校准器，使系统在遮挡、前屈、漂移等场景下仍能输出稳健的运动监测量。

20、本发明解决其技术问题所采用的技术方案是：提供一种图像与惯性融合互校的运动监测方法，包括以下步骤：

21、同步获取图像姿态序列与惯性测量序列；

22、在所述图像姿态序列满足设定条件时，以所述图像姿态序列为参照，对输出所述惯性测量序列的惯性测量单元的零偏或航向进行校正；

23、在所述图像姿态序列存在缺陷时，采用由所述惯性测量序列解算得到的姿态量对由所述图像姿态序列解算的姿态量进行补偿；

24、按所述图像姿态序列与所述惯性测量序列各自的置信度对由所述图像姿态序列估计的角度和由所述惯性测量序列解算得到的角度进行加权融合，得到运动监测量。

25、所述的图像与惯性融合互校的运动监测方法，还包括：

26、对所述图像姿态序列或所述惯性测量序列中对应软组织伪影的数据段进行抑制或降权。

27、所述运动监测方法用于肩关节运动监测，所述图像姿态序列来自终端摄像头，所述惯性测量序列来自布置于上臂与躯干的惯性测量单元。

28、本发明解决其技术问题所采用的技术方案是：提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像与惯性融合互校的运动监测方法的步骤。

29、有益效果

30、由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明构建了图像与惯性双向互校机制，在图像可靠时校正惯性测量的零偏与航向，有效抑制长时间测量的漂移累积，降低人工标定频率，在图像存在遮挡或关键点抖动缺陷时，以惯性解算姿态量进行补全与平滑，保障姿态输出连续稳定。本发明采用置信度加权融合策略，动态分配两模态角度数据的权重，适配不同场景下的模态可靠性，兼顾测量精度与抗干扰能力，显著提升复杂真实场景下运动监测的稳健性与准确性。本发明架构通用性强，不依赖特定硬件，可适配多种终端与穿戴传感器，适用于居家康复等长时间无监督监测场景。