一种融合足底力学感知与视觉姿态分析的双模态运动功能评估方法和装置与流程
本公开涉及多模态运动评估,尤其是一种融合足底力学感知与视觉姿态分析的双模态运动功能评估方法和装置。
背景技术:
1、随着全民健身国家战略深入推进和主动健康理念广泛普及,运动功能评估已从专业运动员的专属需求转变为涵盖健身爱好者、康复人群和中老年群体的广泛社会需求。近年来,随着可穿戴传感技术、人工智能计算机视觉和边缘计算能力的快速发展,越来越多的评估工具应运而生,但这些工具多局限于运动表象的量化描述,缺乏对运动功能障碍根源的追溯与诊断能力,难以满足精准化运动健康管理的实际需求。
2、针对上述问题,现有的运动功能评估方法主要有以下三类。第一类是基于可穿戴传感器的运动评估方案,通过足底压力鞋垫和惯性测量单元采集足底压力分布与下肢运动学数据,能够量化足弓功能、步态参数和肌肉发力等下肢力学指标。但感知范围局限于下肢,无法获取躯干、上肢及头颈的全身姿态信息。第二类是基于人工智能视觉的姿态评估方案,通过手机摄像头或深度相机拍摄用户运动视频,利用人体关键点检测网络提取全身关节坐标,进而分析动作是否符合标准姿态模板。虽然能够覆盖全身姿态,但只能“看到”外在运动表象,无法感知足弓塌陷、肌肉发力模式等内在力学传导异常第三类是基于运动捕捉实验室的多模态评估方案,在受控环境中同时使用三维测力板、红外运动捕捉系统和表面肌电设备进行综合评估,能够同步获取地面反力、全身关节运动学和肌肉激活模式。但设备造价高达数十万至数百万元,且需要专业人员在固定场地内操作,难以脱离科研环境进入大众日常运动场景。
3、因此,需要一种或多种方法解决上述问题。
4、需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本公开的目的在于提供一种融合足底力学感知与视觉姿态分析的双模态运动功能评估方法和装置、设备和介质,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
2、根据本公开的一个方面,提供一种融合足底力学感知与视觉姿态分析的双模态运动功能评估方法,包括:
3、通过鞋垫内的足底压力传感器阵列和分布式惯性测量单元采集力学模态数据并发送至移动终端,通过所述移动终端的摄像头采集视觉模态数据,所述移动终端将所述力学模态数据、视觉模态数据对齐至统一的时间轴,完成双模态数据的同步采集;
4、从所述力学模态数据中提取包括足弓功能指纹、下肢运动学特征、肌肉力估计值的力学模态特征,生成力学模态特征向量,从所述视觉模态数据中提取包括全身关节坐标时间序列的视觉模态特征,生成视觉模态特征序列;
5、采用双编码器结构的双模态融合诊断模型,通过将所述力学模态特征向量作为查询、将所述视觉模态特征序列作为键和值进行跨模态注意力计算,输出诊断结论,所述诊断结论包括根源性诊断、全身代偿链条;
6、基于所述根源性诊断、全身代偿链条,当用户执行训练动作时,通过提取实时双模态特征与预设的参考基线进行对比,基于对比结果,锁定异常关节及代偿起点关节并提出针对所述异常关节及代偿起点关节的动作矫正提示,完成用户在体能训练场景中的运动功能评估。
7、在本公开的一种示例性实施例中,所述双模态数据的同步采集,包括:
8、通过嵌置于鞋垫内的六功能区非均匀布局的足底压力传感器阵列和分布式惯性测量单元网络对足底压力数据、下肢惯性姿态数据进行采集,获取力学模态数据并由所述鞋垫内的微控制单元将所述力学模态数据发送至移动终端;
9、通过所述移动终端的摄像头对用户运动视频进行采集,获取视觉模态数据;
10、所述移动终端接收所述力学模态数据后,读取携带的微控制单元本地时间戳,并同时获取所述视觉模态数据各帧所对应的移动终端系统时间戳,建立所述微控制单元时钟与所述移动终端时钟之间的线性映射关系;
11、将所述力学模态数据与所述视觉模态数据按所述线性映射关系对齐至统一时间轴,完成双模态数据的同步采集。
12、在本公开的一种示例性实施例中,采用双编码器结构的双模态融合诊断模型,包括力学编码器、视觉编码器:
13、所述力学模态特征为多维度特征向量,并通过公式进行表示;
14、其中dai为动态足弓指数,ati为足横弓塌陷指数,wei为绞盘效应效率,csi为横弓-纵弓协同指数,为旋前角速度峰值,为膝外翻角度,为胫骨后肌激活度偏差,为臀中肌激活度偏差,为比目鱼肌激活度偏差,为腓肠肌激活度偏差,为力学特征向量维度。
15、所述力学编码器通过全连接层将所述力学模态特征向量编码为力学隐空间表示,编码公式为;
16、其中为可学习权重矩阵(),为偏置向量,为力学隐空间维度;
17、所述视觉编码器通过时序特征编码网络将所述视觉模态特征序列编码为视觉隐空间表示。
18、在本公开的一种示例性实施例中,将所述力学隐空间表示、视觉隐空间表示输入所述双模态融合诊断模型的跨模态注意力层;
19、将所述力学隐空间表示作为查询,;
20、将所述视觉隐空间表示作为键和值,其中,;
21、通过公式计算所述力学模态特征对视觉模态特征的注意力权重,输出跨模态注意力;
22、其中为注意力维度,为值维度,为可学习的投影矩阵,的维度为,的维度为,的维度为,为缩放因子。
23、在本公开的一种示例性实施例中,将所述跨模态注意力输入所述双模态融合诊断模型的诊断输出层;
24、通过公式将所述跨模态注意力与所述力学模态特征向量、全局池化后的视觉隐空间表示进行拼接,输出诊断结论。
25、在本公开的一种示例性实施例中,还包括采用多任务损失函数对所述双模态融合诊断模型的训练,其中:
26、所述多任务损失函数包括根源性诊断损失函数、代偿链条损失函数、模态一致性损失函数的三项之和;
27、所述根源性诊断损失函数采用二元交叉熵损失进行计算,对所述根源性诊断分支的分类准确性进行优化;
28、所述代偿链条损失函数采用均方误差损失进行计算,对所述全身代偿链条分支的各层级代偿程度的预测精度进行优化;
29、当所述双模态融合诊断模型在训练过程中通过掩码方式屏蔽力学模态特征或视觉模态特征中的任意一者,获得单一模态诊断结论时,通过所述模态一致性损失函数约束所述单一模态诊断结论趋于一致。
30、在本公开的一种示例性实施例中,采集多位示范者执行同一训练动作的双模态数据,提取标准力学模态特征和标准视觉模态特征,生成标准动作特征序列,并将所述标准动作特征序列作为预设的参考基线;
31、基于所述诊断结论,当用户执行训练动作时,提取用户的实时力学模态特征和实时视觉模态特征;
32、基于所述全身代偿链条,将用户实时运动的代偿路径与参考基线的代偿路径进行逐一关节比对,对偏差超过预设阈值的关节发出第一动作矫正提示,所述第一矫正提示用于实时纠正当前动作中的异常姿态;
33、基于所述根源性诊断,确定所述用户实时运动的代偿路径上的起点关节,并对所述起点关节发出第二矫正提示,所述第二动作矫正提示用于指导用户针对所述起点关节进行根源性康复训练。
34、在本公开的一个方面,提供一种融合足底力学感知与视觉姿态分析的双模态运动功能评估装置,包括:
35、同步采集模块,用于通过鞋垫内的足底压力传感器阵列和分布式惯性测量单元采集力学模态数据并发送至移动终端,通过所述移动终端的摄像头采集视觉模态数据,所述移动终端将所述力学模态数据、视觉模态数据对齐至统一的时间轴,完成双模态数据的同步采集;
36、特征提取模块,用于从所述力学模态数据中提取包括足弓功能指纹、下肢运动学特征、肌肉力估计值的力学模态特征,生成力学模态特征向量,从所述视觉模态数据中提取包括全身关节坐标时间序列的视觉模态特征,生成视觉模态特征序列;
37、诊断输出模块,采用双编码器结构的双模态融合诊断模型,用于通过将所述力学模态特征向量作为查询、将所述视觉模态特征序列作为键和值进行跨模态注意力计算,输出诊断结论,所述诊断结论包括根源性诊断、全身代偿链条;
38、运动功能评估模块,用于根据所述根源性诊断、全身代偿链条,当用户执行训练动作时,通过提取实时双模态特征与预设的参考基线进行对比,基于对比结果,锁定异常关节及代偿起点关节并提出针对所述异常关节及代偿起点关节的动作矫正提示,完成用户在体能训练场景中的运动功能评估。
39、在本公开的一个方面,提供一种电子设备,包括:
40、处理器;以及
41、存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现根据上述任意一项所述的方法。
42、在本公开的一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现根据上述任意一项所述的方法。
43、基于本公开实施例,同步采集力学模态数据、视觉模态数据。再从力学模态数据中提取力学模态特征向量,从视觉模态数据中提取视觉模态特征序列。采用双编码器结构的双模态融合诊断模型,将力学模态特征向量作为查询、将视觉模态特征序列作为键和值进行跨模态注意力计算,输出诊断结论。根据诊断结论,锁定异常关节及代偿起点关节并提出针对其的动作矫正提示,完成用户在体能训练场景中的运动功能评估。本公开实施例实现了力学与视觉特征的深度融合,解决了单模态方案无法进行根源性诊断的技术难题,提升了运动功能评估从现象描述到因果推断的智能化水平。
44、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
45、下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com