基于多模态时序特征融合的体育动作质量评价方法及系统与流程

摘要: 本发明涉及运动分析,尤其涉及一种基于多模态时序特征融合的体育动作质量评价方法及系统。背景技术:1、体育动作质量评价是运动训练、竞技比赛评判、康复医学及学校体育教...
基于多模态时序特征融合的体育动作质量评价方法及系统与流程

本发明涉及运动分析,尤其涉及一种基于多模态时序特征融合的体育动作质量评价方法及系统。

背景技术:

1、体育动作质量评价是运动训练、竞技比赛评判、康复医学及学校体育教学等领域中的核心环节,其目的在于客观、量化地衡量运动个体在执行特定动作过程中的规范性、协调性、稳定性及有效性。随着全民健身运动的普及和竞技体育水平的不断提高,专业运动员和普通大众对精细化、即时化的动作反馈需求日益增长,体育动作质量评价已不再局限于比赛中的打分判定,而是延伸至日常训练辅助、损伤风险预警、动作模式优化等更广泛的场景。准确的动作评价不仅有助于提升运动表现,还能有效降低因动作错误或不规范导致的运动损伤风险,具有重要的理论价值和现实意义。

2、然而,现有技术中多依赖人工观察或单一模态传感,难以融合视觉、力学、声音与生理等多维信息,且缺乏依动作阶段动态调整融合权重的机制,导致复杂或跨项目场景下评价准确性不足。

技术实现思路

1、本发明的目的在于提供一种基于多模态时序特征融合的体育动作质量评价方法及系统,解决了现有技术中多依赖人工观察或单一模态传感,难以融合视觉、力学、声音与生理等多维信息,且缺乏依动作阶段动态调整融合权重的机制,导致复杂或跨项目场景下评价准确性不足的技术问题。

2、为实现上述目的,本发明提供了一种基于多模态时序特征融合的体育动作质量评价方法,包括:

3、通过部署于目标对象的多模态采集设备获取原始运动数据,多模态采集设备至少包括视觉采集、惯性传感、音频采集与生物信号采集;

4、将所获取的各模态原始数据统一抽象为时序骨架序列,建立以骨架序列为统一表征的通用动作描述框架,使评价方法不依赖于特定体育项目;

5、对所获取的原始运动数据进行时空对齐处理,依据各模态的数据质量指标确定采集阶段的初始融合权重;

6、基于统一时间基准将各模态数据划分为时序数据切片,对各模态数据分别提取时序特征,形成多模态时序特征集,其中音频模态提取的时序特征至少包含用于判别动作有效性的音频事件时序特征;

7、将多模态时序特征集输入预设的多模态时序融合模型,融合模型内置动作阶段识别机制,依据当前动作的阶段识别结果动态调整各模态特征的融合权重,输出动作质量评价结果;融合模型采用弱监督学习策略进行训练,训练监督信号仅为视频级的合格/不合格标签;

8、将评价结果及对应的中间过程数据进行加密存储,并通过数据挖掘手段识别评价偏差模式,基于识别结果对融合模型进行增量式优化;增量式优化采用逐量更新策略并设置异常监测哨点,当更新后模型评价准确率下降超过预设阈值时触发回退机制,恢复至更新前的模型状态。

9、其中,时序骨架序列通过视觉采集数据提取人体关键点坐标生成;通用动作描述框架基于骨架序列的拓扑结构与运动学参数建立,不同体育项目共用同一套骨架表示格式与特征提取流水线;各模态数据以骨架序列的时间戳为基准进行时序对齐,音频特征与惯性特征通过时间戳映射至对应的骨架序列帧。

10、其中,弱监督学习策略采用基于多实例学习的训练框架,以整个动作视频为输入单元,视频级标签作为唯一监督信号;融合模型通过注意力机制自动定位视频中与评价结果相关的关键时序片段,并通过时序邻域对比学习将完整动作序列分解为语义连贯的子动作单元,以弥补帧级标注缺失。

11、其中,音频采集获取的音频特征用于辅助判断动作规范性与有效性,具体包括:通过动作伴随声音的时间戳与视觉骨架序列中对应动作帧的时间对齐,判断动作时机的准确性;通过声音的强度与频谱特征,结合惯性传感数据,评估动作的发力质量与稳定性;音频特征通过跨模态注意力机制与视觉骨架特征、惯性特征进行交互融合;

12、多模态时序融合模型中的动作阶段识别机制依据时序特征的变化趋势识别当前动作所处的运动阶段,运动阶段至少包括准备阶段、发力阶段、维持阶段与收束阶段;动态调整融合权重具体为:依据识别出的运动阶段从预设的阶段-权重映射表中调取对应的权重配置,不同运动阶段下视觉、音频、惯性模态的融合权重配置不同。

13、其中,原始运动数据在传输过程中采用加密传输协议,处理端配置有隐私计算单元;

14、隐私计算单元在不解密原始数据的情况下对加密数据进行特征提取与初步评价,其输出结果经解密后进行最终评价,以在不暴露原始运动数据的前提下完成评价流程。

15、其中,加密存储包括将评价过程的完整链路数据进行结构化存储,完整链路数据至少包括原始运动数据、对齐后中间数据、时序特征、动态融合权重序列及评价结果;

16、数据挖掘手段通过关联规则挖掘与时序模式挖掘识别导致评价偏差的特征模式,并生成包含融合权重修正与阶段划分边界调整的模型优化策略。

17、其中,增量式优化采用基于滑动窗口的在线学习策略,每次参数更新比例依据模型当前成熟度动态调整,成熟度越高则更新比例越低;

18、异常监测哨点设置于每次参数更新后,通过对验证集的准确率测试判断是否触发回退机制;

19、触发回退后系统记录本次更新的参数变化轨迹与异常原因,供后续优化分析使用。

20、本发明还提供一种基于多模态时序特征融合的体育动作质量评价系统,用于执行如上述所述的基于多模态时序特征融合的体育动作质量评价方法,

21、包括数据采集模块、数据传输模块、特征提取模块、融合评价模块、存储挖掘模块和模型优化模块,所述数据采集模块用于获取原始运动数据并进行时空对齐处理,原始运动数据至少包括视觉数据、惯性数据、音频数据与生物信号数据;所述数据传输模块用于对采集数据进行加密传输并在加密状态下完成特征提取;所述特征提取模块用于对各模态数据提取时序特征,形成多模态时序特征集;所述融合评价模块用于识别动作阶段并依据阶段动态调整融合权重,输出动作质量评价结果,且该模块采用仅依赖视频级标签的弱监督学习策略训练;所述存储挖掘模块用于对评价过程的完整链路数据进行结构化存储,并通过数据挖掘手段识别评价偏差模式;所述模型优化模块用于基于识别出的偏差模式对融合模型进行增量式优化,优化采用逐量更新策略并配置有异常回退机制。

22、本发明的一种基于多模态时序特征融合的体育动作质量评价方法及系统,通过将视觉、惯性、音频与生物信号等多模态原始数据统一抽象为时序骨架序列,构建了跨体育项目通用的动作描述框架,从根本上摆脱了对特定项目规则或人工先验知识的依赖,提升了评价方法的泛化能力和适用广度;其次,引入数据质量指标驱动的初始融合权重和动作阶段自适应的动态权重调整机制,使模型能够依据动作执行过程中不同阶段的主导信息源(如起跳阶段侧重力学与惯性、落地阶段侧重视觉与声音冲击)实时优化特征贡献度,解决了传统固定融合策略在复杂动作中信息冗余或关键特征被淹没的缺陷,提高了评价精度和鲁棒性;再者,采用弱监督学习策略,仅需视频级整体合格性标签即可训练融合模型,极大降低了标注成本,同时结合加密存储与数据挖掘驱动的偏差识别机制,能够主动发现评价系统中的系统性误差,并借助带有异常监测哨点和回退机制的增量式优化策略,在保障模型持续进化的同时,有效防止性能退化,确保评价结果的稳定性与可信度。