肢体功能评估方法、评估装置、电子设备、介质和产品与流程
本发明涉及图像处理,尤其涉及一种肢体功能评估方法、评估装置、电子设备、介质和产品。
背景技术:
1、肢体功能评估是衡量人体运动能力、健康状态及功能恢复程度的核心手段,在医疗康复、运动健康、工业作业安全以及老年照护等诸多领域具有不可替代的重要性。例如,在医疗领域,医生常需依赖患者执行特定的肢体动作来诊断神经肌肉疾病的严重程度、制定康复方案并监测治疗效果。
2、传统的肢体功能评估主要依赖于评估人员的专业经验,通过人工观察被评估对象执行相关动作的情况,并结合临床量表进行人工打分。然而,这种传统评估方法普遍存在以下缺陷:其一,主观性强,不同评估者的标准难以完全统一,导致评估结果重复性差、歧义性高;其二,效率低下,多为手动记录,无法实现实时动态跟踪;其三,对专业人员依赖度极高,难以在基层医疗机构或居家康复等场景中规模化开展。
技术实现思路
1、本发明提供一种肢体功能评估方法、评估装置、电子设备、介质和产品,用以解决现有技术中肢体功能评估依靠人工的方式,存在主观性强、效率低下,对专业人员依赖度高的缺陷,大幅提升了肢体功能评估的准确性、鲁棒性和自动化程度。
2、本发明提供一种基于人体姿态估计模型的肢体功能评估方法,包括如下步骤。
3、对被评估对象的肢体运动视频进行关键帧提取,得到关键帧图像序列;
4、将所述关键帧图像序列中每一图像逐一输入至预先训练的人体姿态估计模型进行骨骼关键点提取,得到骨骼关键点坐标序列;
5、获取与当前测试动作类型相匹配的空间参考线,并结合所述骨骼关键点坐标序列,计算目标关节在时间维度上的关节角度序列;
6、根据所述关节角度序列与自适应阈值的对比结果,确定肢体动作的时间事件;
7、基于所述肢体动作的时间事件确定肢体功能的评估结果。
8、根据本发明提供的一种基于人体姿态估计模型的肢体功能评估方法,所述人体姿态估计模型包括特征提取模块、单向局部窗口自注意力机制模块和分组坐标预测模块,所述将所述关键帧图像序列中每一图像逐一输入至预先训练的人体姿态估计模型进行骨骼关键点提取,得到骨骼关键点坐标序列,包括:
9、将所述关键帧图像序列中每一图像逐一输入至所述特征提取模块,得到所述特征提取模块输出的输入特征图序列;
10、将所述输入特征图序列中每一图像逐一输入至所述单向局部窗口自注意力机制模块,得到所述单向局部窗口自注意力机制模块输出的特征图序列;
11、将所述特征图序列中每一图像逐一输入至所述分组坐标预测模块,得到所述分组坐标预测模块输出的骨骼关键点坐标序列。
12、根据本发明提供的一种基于人体姿态估计模型的肢体功能评估方法,所述单向局部窗口自注意力机制模块具体用于:
13、将输入特征图划分为多个互不重叠的局部窗口;
14、在每个局部窗口内,将特征元素按照行方向和列方向进行分组,分别独立执行行方向多头部注意力计算和列方向多头部注意力计算;
15、并行同步融合所述行方向与列方向的注意力计算结果以更新特征图。
16、根据本发明提供的一种基于人体姿态估计模型的肢体功能评估方法,所述分组坐标预测模块具体用于:
17、根据人体肢体拓扑特性将骨骼关键点划分为多个预测分组;
18、利用为每个所述预测分组配置的独立的水平坐标分类器和垂直坐标分类器,对每一更新后的特征图进行分类,得到每一骨骼关键点的骨骼关键点坐标;
19、其中,多个预测分组包括以下中的一种或多种:
20、头部、躯干、右臂、左臂、右腿、左腿。
21、根据本发明提供的一种基于人体姿态估计模型的肢体功能评估方法,所述获取与当前测试动作类型相匹配的空间参考线,并结合所述骨骼关键点坐标序列,计算目标关节在时间维度上的关节角度序列之前,所述基于人体姿态估计模型的肢体功能评估方法还包括:
22、采用预先选择的滤波器对所述骨骼关键点坐标序列中的横、纵坐标序列进行局部多项式拟合平滑处理。
23、根据本发明提供的一种基于人体姿态估计模型的肢体功能评估方法,所述基于人体姿态估计模型的肢体功能评估方法还包括:
24、将所述关节角度序列的第95百分位数作为角度振幅;
25、获取与当前测试动作类型相匹配的阈值比例,将所述角度振幅与所述阈值比例的乘积确定为所述自适应阈值。
26、根据本发明提供的一种基于人体姿态估计模型的肢体功能评估方法,所述根据所述关节角度序列与自适应阈值的对比结果,确定肢体动作的时间事件,包括:
27、遍历所述关节角度序列,将序列中首次超过所述自适应阈值的帧对应的时间记录为肢体动作的测试开始时间;
28、继续遍历所述关节角度序列,将首次低于所述自适应阈值的帧对应的时间记录为肢体动作的测试结束时间。
29、根据本发明提供的一种基于人体姿态估计模型的肢体功能评估方法,所述基于所述肢体动作的时间事件确定肢体功能的评估结果,包括:
30、计算所述测试结束时间与所述测试开始时间的差值,得到肢体维持动作的持续时间;
31、基于所述持续时间及所述持续时间对应的关节角度序列,确定肢体功能的评估结果。
32、根据本发明提供的一种基于人体姿态估计模型的肢体功能评估方法,所述人体姿态估计模型是基于以下步骤训练得到的:
33、构建多场景肢体运动专用数据集,并将所述多场景肢体运动专用数据集划分为专用训练集与专用验证集;其中,同一被评估对象的图像数据不同时分布在所述专用训练集和所述专用验证集中;
34、在第一训练阶段,使用通用公共数据集对初始人体姿态估计模型进行迭代训练,得到中间估计模型;
35、在第二训练阶段,使用所述专用训练集和所述专用验证集对所述中间估计模型进行微调训练和验证,得到所述人体姿态估计模型。
36、本发明还提供一种基于人体姿态估计模型的肢体功能评估装置,包括如下单元:
37、提取单元,用于对被评估对象的肢体运动视频进行关键帧提取,得到关键帧图像序列;
38、标注单元,用于将所述关键帧图像序列中每一图像逐一输入至预先训练的人体姿态估计模型进行骨骼关键点提取,得到骨骼关键点坐标序列;
39、计算单元,用于获取与当前测试动作类型相匹配的空间参考线,并结合所述骨骼关键点坐标序列,计算目标关节在时间维度上的关节角度序列;
40、第一确定单元,用于根据所述关节角度序列与自适应阈值的对比结果,确定肢体动作的时间事件;
41、第二确定单元,用于基于所述肢体动作的时间事件确定肢体功能的评估结果。
42、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述基于人体姿态估计模型的肢体功能评估方法。
43、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述基于人体姿态估计模型的肢体功能评估方法。
44、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述基于人体姿态估计模型的肢体功能评估方法。
45、本发明提供的一种肢体功能评估方法、评估装置、电子设备、介质和产品,利用预先训练的人体姿态估计模型,将高维的像素信息转化为了低维且结构化的骨骼关键点坐标序列;随后引入针对性的空间参考线进行向量几何计算,将离散的坐标点融合转化为了能够直观反映肢体运动轨迹的关节角度序列。使得原本难以量化的视觉动作变为了可供数学运算的连续序列信号。通过将关节角度序列与自适应阈值进行动态数值比对处理,精确提取出了肢体动作的时间事件,使得最终导出的评估结果完全依赖于客观连贯的数据推演,克服了传统人工评估主观性强、易受环境及经验影响的缺陷,大幅提升了肢体功能评估的准确性、鲁棒性和自动化程度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com