一种传感器空时对齐的姿态检测方法及系统与流程

摘要: 本发明属于计算机视觉,具体涉及一种传感器空时对齐的姿态检测方法及系统。背景技术:1、在现代运动表现评估、康复医学诊断以及智能人机交互中,融合人体动作捕捉与表面肌...
一种传感器空时对齐的姿态检测方法及系统与流程

本发明属于计算机视觉,具体涉及一种传感器空时对齐的姿态检测方法及系统。

背景技术:

1、在现代运动表现评估、康复医学诊断以及智能人机交互中,融合人体动作捕捉与表面肌电信号的多模态动作分析技术起着关键作用。通过同时获取人体三维运动学姿态与深层肌肉电生理信号,能够精准评估关节运动受力及运动损伤风险。随着消费级多目相机阵列和边缘计算技术的发展,采用多个普通可见光相机组网在本地端侧直接重构人体姿态已成为主流趋势,而如何在彻底摆脱红外相机及外设惯性传感器的前提下,实现纯肌电信号与多视角三维姿态的自动空时配准,是实现轻量化、无感式穿戴运动评估亟待解决的瓶颈。

2、现有动作采集系统通常采用基于外部个人计算机(personal computer,pc)级联对齐的方案或基于单目相机与手动标定的消费级方案。前者需用户佩戴内置惯性测量单元的无线肌电传感器,通过多台通用串行总线(universal serial bus,usb)工业相机拍摄视频,各路视频流与无线肌电数据通过电缆或射频信道汇总至外部高性能计算机,由主控pc端通过级联软件依次运行姿态估计模型和滑窗对齐算法完成空间匹配;后者用户佩戴纯肌电传感器并使用智能手机单目摄像头拍摄视频,因单目视觉存在严重自遮挡和深度缺失且手机芯片算力受限,无法本地运行复杂肌肉力学反向求解,只能将数据上传云端服务器,在后期通过人工拖动时间轴进行粗略对齐。

3、上述现有技术方案存在以下技术缺陷:高度依赖外部物理连接线或大型计算主机,系统硬件极其臃肿、接线复杂,无法在户外及家庭等非专业实验室环境下便携部署,且数据流传输产生随机系统时延,无法提供直接流畅的即时交互;传感器端需内嵌高功耗惯性测量单元以提供运动学参照,导致体积增加、续航极短,同时单目视觉自遮挡严重,无法连续获取无畸变三维角加速度,难以建立严格肌肉骨骼动力学约束方程;传统级联架构和云端计算路径导致系统端到端延迟较大,整体运行帧率较低,用户感知明显图像卡顿与交互顿挫,且使运动伤害毫秒级瞬态内即时防护预警机制完全失效。

技术实现思路

1、为了解决现有技术中存在的上述问题,本发明提供了一种传感器空时对齐的姿态检测方法及系统。本发明要解决的技术问题通过以下技术方案实现:

2、第一方面,本发明提供了一种传感器空时对齐的姿态检测系统,包括姿态检测主机和肌电从机;所述姿态检测主机包括图像采集模块、中央智能处理器及主通信模块;所述肌电从机包括肌电采集与时钟同步模块及从通信模块;

3、所述图像采集模块用于采集人体运动图像;

4、所述肌电采集与时钟同步模块用于采集肌电信号并添加时间标记,得到肌电数据;

5、所述从通信模块用于将所述肌电数据发送至所述主通信模块;

6、所述中央智能处理器用于基于所述人体运动图像确定人体关节运动学参数和视觉关节力矩,将所述肌电数据转换为候选关节驱动力矩,并与所述视觉关节力矩进行残差匹配,得到空间对应关系及时序补偿量,基于所述空间对应关系及时序补偿量生成空时对齐的姿态检测数据。

7、第二方面,本发明提供了一种传感器空时对齐的姿态检测方法,应用于第一方面提供的姿态检测系统,所述方法包括:

8、通过所述图像采集模块采集人体运动图像;

9、通过所述肌电采集与时钟同步模块采集肌电信号并添加时间标记,得到肌电数据;

10、通过所述从通信模块将所述肌电数据发送至所述主通信模块;

11、通过所述中央智能处理器,基于所述人体运动图像确定人体关节运动学参数和视觉关节力矩,基于所述肌电数据确定候选关节驱动力矩,将所述候选关节驱动力矩与所述视觉关节力矩残差匹配,得到空间对应关系及时序补偿量,基于所述空间对应关系及时序补偿量生成空时对齐的姿态检测数据。

12、与现有技术相比,本发明的有益效果:

13、本发明提供的传感器空时对齐的姿态检测方法,通过图像采集模块与中央智能处理器形成端侧视觉链路,在本地确定人体关节运动学参数和视觉关节力矩,从而摆脱外部主控电脑或服务器限制,减少外部传输造成的附加时延;通过肌电从机采集肌电信号并添加时间标记,并通过主通信模块与从通信模块构成无线通信网络,从而减少可穿戴端器件数量、体积和功耗,避免惯性积分漂移;将肌电数据转换为候选关节驱动力矩,并与视觉关节力矩进行残差匹配得到空间对应关系,从而在缺少惯性参照和人工标志物的条件下完成肌电通道的空间校准;在残差匹配中引入时序补偿量,从而自适应补偿无线传输时延和随机抖动,提高视觉帧与肌电数据的时间一致性。最终实现了在本地端侧完成纯肌电信号与多视角三维姿态的自动空时配准,无需可穿戴端惯性测量单元,通过低功耗蓝牙无线通信即可实现实时姿态检测与损伤评估,具备极高部署便利度与低成本普及性,满足运动伤害瞬态防护预警的即时交互需求。

14、以下将结合附图及实施例对本发明做进一步详细说明。

1.一种传感器空时对齐的姿态检测系统,其特征在于,包括姿态检测主机和肌电从机;所述姿态检测主机包括图像采集模块、中央智能处理器及主通信模块;所述肌电从机包括肌电采集与时钟同步模块及从通信模块;

2.根据权利要求1所述的姿态检测系统,其特征在于,所述图像采集模块包括多角度可见光镜头组及多通道cmos图像传感器组;

3.根据权利要求1所述的姿态检测系统,其特征在于,所述中央智能处理器集成计算单元与图像信号处理器;

4.根据权利要求1所述的姿态检测系统,其特征在于,所述肌电采集与时钟同步模块包括多通道肌电采集电极和时钟同步芯片;

5.根据权利要求1所述的姿态检测系统,其特征在于,所述中央智能处理器用于基于所述肌电数据确定肌肉激活度,并通过人体骨骼肌肉力学模型和肌肉力臂将所述肌肉激活度映射为所述候选关节驱动力矩;

6.一种传感器空时对齐的姿态检测方法,其特征在于,应用于权利要求1-5任一项所述的姿态检测系统,所述方法包括:

7.根据权利要求6所述的姿态检测方法,其特征在于,所述通过所述图像采集模块采集人体运动图像,包括:

8.根据权利要求6所述的姿态检测方法,其特征在于,所述通过所述中央智能处理器,基于所述人体运动图像确定人体关节运动学参数,包括:

9.根据权利要求6所述的姿态检测方法,其特征在于,所述通过所述肌电采集与时钟同步模块采集肌电信号并添加时间标记,得到肌电数据,包括:

10.根据权利要求6所述的姿态检测方法,其特征在于,所述将所述候选关节驱动力矩与所述视觉关节力矩残差匹配,得到空间对应关系及时序补偿量,包括: