一种基于单目视觉的老年人异常步态识别方法及装置
本技术涉及图像识别,具体涉及一种基于单目视觉的老年人异常步态识别方法及装置。
背景技术:
1、随着全球人口老龄化进程的加速,老年人群体的运动功能衰退及其引发的健康风险日益成为重要的公共卫生问题。步态异常是老年人运动功能下降的早期且典型的表现之一,与跌倒风险、肌肉骨骼系统退行性病变、神经系统功能障碍以及心血管健康水平密切相关。研究表明,步态参数的异常变化往往早于临床症状的出现,因此对老年人步态进行客观、量化的评估,对于早期发现功能衰退、预测跌倒风险以及制定康复干预方案具有重要的临床意义和社会价值。
2、目前,老年人步态评估的现有技术方案主要包括以下几类:
3、第一类为临床主观量表评估方法,代表性的如tinetti步态与平衡量表、计时起立行走测试(tug)以及6分钟步行试验(6mwt)等。此类方法通过临床医师或测试人员的目视观察和主观打分来评估受试者的步态功能。然而,这类方法存在以下固有缺陷:其一,评估结果高度依赖评估者的临床经验和主观判断,不同评估者之间的一致性较差,可重复性不足;其二,量表评分通常为离散的等级划分,难以捕捉老年人低强度步行状态下细微的步态异常变化,对于早期功能下降的检出灵敏度有限;其三,传统6mwt仅记录步行总距离等宏观终点指标,无法反映步行过程中动态的、逐周期的步态运动学特征,异常步态的发生时机、持续时间和频率等关键信息完全丢失。
4、第二类为三维运动捕捉系统,如基于红外光学标记的vicon系统、基于电磁跟踪的运动分析系统等。此类系统通过多个高速摄像机或传感器对粘贴于受试者体表的标记点进行三维空间定位,能够获取高精度的关节角度、力矩和时空参数。然而,该类方案存在以下不足:其一,设备价格昂贵,一套完整的三维运动捕捉系统通常需要数十万至数百万元的投入,难以在社区卫生服务中心、养老机构等基层场景普及;其二,对测试环境要求严格,需要专用的实验室空间和标定流程,且受试者需要粘贴大量体表标记物,准备过程繁琐,不适用于大规模人群筛查和常态化监测;其三,系统操作复杂,需要专业技术人员进行数据采集和后处理,临床推广门槛较高。
5、第三类为可穿戴传感器方法,如基于惯性测量单元(imu)的步态分析系统、足底压力鞋垫、肌电信号采集设备等。此类方法通过将传感器佩戴于受试者腰部、下肢或鞋内,采集加速度、角速度、压力分布或肌电信号等数据来反演步态参数。该类方案虽然在一定程度上降低了设备成本并提高了便携性,但仍存在以下问题:其一,受试者需要佩戴额外的硬件设备,佩戴位置的偏差和传感器的漂移会直接影响测量精度,且部分老年人对佩戴设备存在抵触心理,影响自然步态的表达;其二,可穿戴传感器通常只能获取间接的运动学信号,需要通过算法反演关节角度和步态事件,反演模型的个体适应性和精度仍存在局限;其三,多传感器系统的同步校准和数据融合增加了系统复杂度和维护成本。
6、第四类为基于计算机视觉的步态分析方法。近年来,随着深度学习和人体姿态估计技术的发展,基于单目或多目视频的非接触式步态分析逐渐成为研究热点。该类方法通过摄像机采集受试者步行视频,利用目标检测和姿态估计算法提取人体关键点坐标,进而计算步态时空参数。然而,现有基于视觉的步态分析方法仍存在以下技术缺陷:
7、其一,单目视觉尺度恢复问题。现有基于单目摄像机的步态分析方法大多仅能获取图像平面内的二维像素坐标,缺乏深度信息,无法直接将像素距离转换为真实物理尺度,导致步长、步宽、步速等关键物理参数的绝对量值难以准确获取。部分方案通过假设受试者身高或已知人体部位比例进行尺度估算,但这种估算方式引入了较大的个体误差,且无法适应不同身高、不同拍摄距离的场景。
8、其二,异常步态识别能力不足。现有视觉步态分析方法多集中于提取步速、步长、步频、步态周期等宏观时空参数,缺乏对异常步态模式的细粒度识别。具体而言,现有方法通常仅能判断步态是否异常,无法进一步识别异常步态的具体类型,如骨盆侧倾或下沉、躯干代偿摆动、膝关节过伸或屈曲不足、足下垂或拖步、推蹬力不足等具有明确临床意义的异常模式。部分研究虽然尝试基于关键点坐标进行异常检测,但检测判据多为简单的固定阈值或全周期统计量,未结合步态时相(支撑相/摆动相、单侧/双侧支撑)进行条件化分析,导致正常生理性运动与病理性异常之间的区分度不足,假阳性率较高。
9、其三,依赖人工标注,缺乏自动化检测机制。部分现有方案在获取视频和关键点后,仍需要经过训练的专业人员逐帧或分段观察视频,对异常步态进行人工标注和评分。这种方式不仅效率低下、人力成本高,而且标注结果受主观因素影响,不同标注者之间的一致性难以保证,评估结果的可复现性和客观性不足。
10、其四,量化评估体系粗糙。现有方法对步态异常严重程度的评估多采用简单的离散评分规则,例如出现一次记1分、出现多次记2分、持续超过1分钟记3分。这种评分方式仅考虑了异常的发生次数和粗略持续时间,未将异常的严重程度(即运动学参数偏离正常范围的程度)纳入量化模型,导致评分结果无法精细反映肌肉功能障碍的真实水平,且评分阈值的设定缺乏客观依据。
11、其五,异常步态与肌肉功能状态的映射缺乏技术支撑。虽然生物力学领域已知异常步态与特定肌肉群功能障碍之间存在对应关系(如臀中肌无力导致骨盆下沉、股四头肌无力导致膝关节屈曲不足、胫骨前肌无力导致足下垂等),但现有视觉步态分析方法大多停留在步态参数的提取层面,未建立从异常步态自动检测结果到肌肉功能状态量化评估的完整技术链路,无法直接输出各目标肌肉的功能评分,临床指导价值有限。
12、综上所述,现有技术中缺乏一种低成本、易实施、无需额外硬件、能够基于普通单目视频自动识别多种异常步态类型并进行客观量化评估的技术方案。如何在单目视觉条件下实现真实物理尺度的步态参数重建、如何结合步态时相实现多种异常步态的自动化高精度检测、以及如何构建融合频率-时长-严重程度的多维度量化评分模型,是本领域亟待解决的技术问题。
技术实现思路
1、本发明的目的在于提供一种基于单目视觉的老年人异常步态识别方法来至少解决上述的一个技术问题。
2、本发明的一个方面,提供一种基于单目视觉的老年人异常步态识别方法,所述基于单目视觉的老年人异常步态识别方法包括:
3、步骤1:基础测试环境参数;
4、步骤2:获取待检测老年人的连续视频数据;
5、步骤3:对所述连续视频数据进行处理,从而获取关键点的时序轨迹数据;
6、步骤4:根据所述关键点的时序轨迹数据以及基础测试环境参数生成步态时空参数、关节角度时序曲线以及下肢关键点地面物理坐标时序轨迹;
7、步骤5:根据关节角度时序曲线、步态时空参数、下肢关键点地面物理坐标时序轨迹以及关键点的时序轨迹数据进行异常步态识别,从而获取异常步态识别信息。
8、可选地,所述基于单目视觉的老年人异常步态识别方法进一步包括:
9、步骤6:根据异常步态识别信息、关节角度时序曲线、步态时空参数生成每块目标肌肉的异常负荷指数以及肌肉功能评分;
10、步骤7:根据每块目标肌肉的异常负荷指数以及肌肉功能评分生成综合评估信息。
11、可选地,所述步骤3包括:
12、步骤31:对关键点的时序轨迹数据进行视频解码与原始帧序列提取,从而获取原始帧序列;
13、步骤32:对原始帧序列进行帧级去噪处理,从而获取去噪帧序列;
14、步骤33:根据去噪帧序列以及原始帧率提取关键帧序列;
15、步骤34:根据关键帧序列进行人体目标检测与跟踪,从而获取待检测老年人的每帧的人体边界框、每帧的扩展裁剪框、缩放后的人体区域图像以及坐标映射参数;
16、步骤35:根据缩放后的人体区域图像以及坐标映射参数进行2d 人体姿态估计与关键点提取,从而获取每帧的关键点的原始像素坐标、每个关键点的检测置信度以及关键点状态标记;
17、步骤36:根据每帧的关键点的原始像素坐标、每个关键点的检测置信度以及关键点状态标记进行关键点时序轨迹构建与时空平滑,从而生成关键点的2d像素坐标时序轨迹,所述关键点的2d像素坐标时序轨迹作为关键点的时序轨迹数据。
18、可选地,所述基础测试环境参数包括摄像机内参矩阵、地面单应矩阵、尺度因子、标尺线两端点的像素坐标;
19、所述步骤4包括:
20、步骤41:根据所述基础测试环境参数进行地面单应矩阵精化,从而获取精化后的地面单应矩阵;
21、步骤42:根据精化后的地面单应矩阵以及关键点的时序轨迹数据进行下肢关键点地面物理坐标映射,从而获取双足地面物理坐标时序轨迹;
22、步骤43:根据双足地面物理坐标时序轨迹以及关键帧时间戳进行步态事件监测,从而获取足部跟踪事件序列、每个步态周期的周期时长、支撑相时长以及摆动相时长;
23、步骤44:根据双足地面物理坐标时序轨迹、足部跟踪事件序列进行步态时空参数计算,从而获取步长信息、步宽信息、步速信息、步频信息、平均支撑相占比以及每周期占比序列;
24、步骤45:根据所述关键点的时序轨迹数据进行关节角度时序计算,从而获取关节角度时序曲线;
25、步骤46:根据所述足部跟踪事件序列、关节角度时序曲线进行步态周期对齐以及归一化,从而获取对齐后的步态时空参数、关节角度时序曲线。
26、可选地,所述步骤5包括:
27、步骤51:根据所述足部跟踪事件序列、步态时空参数、关节角度时序曲线进行异常检测预处理与步态时相定位,从而获取每个步态周期的精细时相信息;
28、步骤52:根据每个步态周期的精细时相标记以及关节角度时序曲线生成骨盆侧倾或下沉异常事件信息;
29、步骤53:根据所述关键点的时序轨迹数据进行躯干代偿摆动检测,从而获取躯干代偿摆动异常事件信息;
30、步骤54:根据所述关键点的时序轨迹数据进行膝关节过伸或屈曲不足检测,从而获取膝关节过伸或屈曲不足异常事件信息;
31、步骤55:根据所述关键点的时序轨迹数据进行足下垂或拖步检测,从而获取足下垂或拖步异常事件信息;
32、步骤56:根据所述关键点的时序轨迹数据进行推蹬力不足检测,从而获取推蹬力不足异常事件信息;还可以同步检测骨盆前倾与躯干后倾异常,生成骨盆前倾或躯干后倾异常事件信息;
33、步骤57:对所述骨盆侧倾或下沉异常事件信息、躯干代偿摆动异常事件信息、膝关节过伸或屈曲不足异常事件信息、足下垂或拖步异常事件信息、推蹬力不足异常事件信息进行异常事件融合去重,从而获取异常步态识别信息。
34、还可以对所述骨盆侧倾或下沉异常事件信息、躯干代偿摆动异常事件信息、膝关节过伸或屈曲不足异常事件信息、足下垂或拖步异常事件信息、推蹬力不足异常事件信息、骨盆前倾或躯干后倾异常事件信息进行异常事件融合去重,从而获取异常步态识别信息。
35、可选地,所述每个步态周期的精细时相信息包括:每个步态周期的支撑相早期时间区间、支撑相中期时间区间、支撑相末期时间区间、摆动相早期时间区间、摆动相末期时间区间、逐帧支撑类型标记以及单侧支撑相与支撑相中期的交集时间区间;其中,所述逐帧支撑类型标记包括左侧单侧支撑、右侧单侧支撑和双侧支撑三种类型,所述单侧支撑相与支撑相中期的交集时间区间为单侧支撑相时间区间与支撑相中期时间区间的重叠部分;
36、所述关节角度时序曲线包括:左右侧膝关节角度时序曲线、左右侧髋关节角度时序曲线、左右侧踝关节角度时序曲线以及骨盆倾斜角时序曲线;其中,所述骨盆倾斜角为左右髋关节连线与水平线之间的夹角,骨盆倾斜角为零度表示骨盆处于水平中立位;
37、所述步骤52包括:
38、步骤521:从所述关节角度时序曲线中提取骨盆倾斜角时序曲线,根据所述单侧支撑相与支撑相中期的交集时间区间,分别在右侧单侧支撑相中期交集区间和左侧单侧支撑相中期交集区间内提取骨盆倾斜角的峰值绝对值,作为右侧骨盆下沉量和左侧骨盆下沉量;
39、步骤522:将所述右侧骨盆下沉量和左侧骨盆下沉量分别与第一预设角度阈值进行比较,当任一侧骨盆下沉量大于所述第一预设角度阈值时,判定该步态周期存在骨盆侧倾或下沉异常;
40、步骤523:根据所述右侧骨盆下沉量的全程平均值与所述左侧骨盆下沉量的全程平均值,计算骨盆下沉不对称性指数;将所述骨盆下沉不对称性指数与预设不对称性阈值进行比较,当所述骨盆下沉不对称性指数大于所述预设不对称性阈值时,判定存在骨盆侧倾或下沉异常,并将骨盆下沉量平均值较大的一侧确定为异常侧别;
41、步骤524:根据步骤522和步骤523的判定结果,生成骨盆侧倾或下沉异常事件信息,所述骨盆侧倾或下沉异常事件信息包括异常发生时间、持续时间、异常侧别、峰值下沉角度、触发判据编号以及对应步态周期编号。
42、可选地,所述关键点的时序轨迹数据进一步包括左右肩关节关键点坐标和左右髋关节关键点坐标的二维像素坐标时序轨迹;
43、所述步骤53包括:
44、步骤531:根据所述左右肩关节关键点坐标计算躯干参考点坐标,所述躯干参考点为左侧肩关节关键点与右侧肩关节关键点的中点坐标;根据所述左右髋关节关键点坐标计算骨盆参考点坐标,所述骨盆参考点为左侧髋关节关键点与右侧髋关节关键点的中点坐标;
45、步骤532:根据所述躯干参考点坐标与所述骨盆参考点坐标,逐帧计算躯干侧倾角,形成躯干侧倾角时序曲线;其中,所述躯干侧倾角为躯干参考点相对于骨盆参考点在图像水平方向上的偏移量与躯干参考点到骨盆参考点在图像垂直方向上的距离的反正切值,所述躯干侧倾角为消去身高和拍摄距离影响的无量纲角度量,躯干侧倾角为正值表示躯干向图像右侧倾斜,为负值表示躯干向图像左侧倾斜;
46、步骤533:根据所述单侧支撑相与支撑相中期的交集时间区间,在右侧单侧支撑相中期交集区间内提取躯干侧倾角的第一峰值,在左侧单侧支撑相中期交集区间内提取躯干侧倾角的第二峰值;当所述第一峰值的绝对值大于第二预设角度阈值且躯干侧倾角为正值时,或者当所述第二峰值的绝对值大于第二预设角度阈值且躯干侧倾角为负值时,判定该步态周期存在躯干代偿摆动异常;
47、步骤534:根据判定结果生成躯干代偿摆动异常事件信息,所述躯干代偿摆动异常事件信息包括异常发生时间、持续时间、躯干侧倾角峰值、倾斜方向、支撑腿侧别以及对应步态周期编号。
48、可选地,所述关节角度时序曲线进一步包括左右侧膝关节角度时序曲线,所述膝关节角度为大腿向量与小腿向量之间的夹角,膝关节角度为一百八十度表示膝关节完全伸直,小于一百八十度表示膝关节屈曲;
49、所述步骤54包括:
50、步骤541:根据所述支撑相中期时间区间,对左右侧膝关节角度时序曲线分别提取每个步态周期支撑相中期内的膝关节角度均值和膝关节角度最大值,并提取每个步态周期全周期内的膝关节角度最小值及其对应的发生时刻;
51、步骤542:当所述支撑相中期内的膝关节角度最大值大于第三预设角度阈值,且膝关节角度大于第三预设角度阈值的持续时间占支撑相中期时长的比例大于预设比例阈值时,判定该步态周期该侧腿存在膝关节过伸异常;
52、步骤543:当所述支撑相中期内的膝关节角度均值大于第四预设角度阈值时,判定该步态周期该侧腿存在膝关节屈曲不足异常;或者,当所述膝关节角度最小值对应的发生时刻晚于支撑相中期结束时刻时,判定该步态周期该侧腿存在膝关节屈曲不足异常;
53、步骤544:根据步骤542和步骤543的判定结果,生成膝关节过伸或屈曲不足异常事件信息,所述膝关节过伸或屈曲不足异常事件信息包括异常亚型、发生时间、持续时间、膝关节角度极值、侧别以及对应步态周期编号。
54、可选地,所述关节角度时序曲线进一步包括左右侧踝关节角度时序曲线,所述踝关节角度为小腿向量与足部向量之间的夹角,踝关节角度为九十度表示踝关节处于中立位,大于九十度表示背屈,小于九十度表示跖屈;所述关键点的时序轨迹数据包括左右脚尖点关键点坐标的二维像素坐标时序轨迹;所述基础测试环境参数包括尺度因子;
55、所述步骤55包括:
56、步骤551:根据所述左右脚尖点关键点坐标以及所述尺度因子,计算左右脚尖点离地高度时序曲线;其中,脚尖点离地高度为脚尖点关键点垂直坐标与地面参考线垂直坐标之差经所述尺度因子转换后的物理高度;
57、步骤552:根据所述摆动相早期时间区间和摆动相末期时间区间确定摆动相区间,在所述摆动相区间内计算踝关节角度小于九十度的帧数占摆动相总帧数的比例,当所述比例大于第二预设比例阈值且摆动相区间内踝关节角度最小值小于第五预设角度阈值时,判定该步态周期该侧腿存在足下垂异常;
58、步骤553:在所述摆动相区间内计算脚尖点离地高度小于预设高度阈值的帧数占摆动相总帧数的比例,当所述比例大于第三预设比例阈值时,判定该步态周期该侧腿存在拖步异常;或者,在所述摆动相区间内计算脚尖点离地高度对时间的积分值,当所述积分值小于预设积分阈值时,判定该步态周期该侧腿存在拖步异常;
59、步骤554:根据步骤552和步骤553的判定结果,生成足下垂或拖步异常事件信息,所述足下垂或拖步异常事件信息包括异常亚型、发生时间、持续时间、跖屈位时间占比、低高度时间占比、离地高度积分值、侧别以及对应步态周期编号。
60、本技术还提供了一种基于单目视觉的老年人异常步态识别装置,所述基于单目视觉的老年人异常步态识别装置包括:
61、基础测试环境参数获取模块,所述基础测试环境参数获取模块用于获取基础测试环境参数;
62、连续视频数据获取模块,所述连续视频数据获取模块用于获取待检测老年人的连续视频数据;
63、时序轨迹获取模块,所述时序轨迹获取模块用于对所述连续视频数据进行处理,从而获取关键点的时序轨迹数据;
64、单目尺度恢复与步态参数重建模块,所述单目尺度恢复与步态参数重建模块用于根据所述关键点的时序轨迹数据以及基础测试环境参数生成步态时空参数、关节角度时序曲线以及下肢关键点地面物理坐标时序轨迹;
65、异常步态识别模块,所述异常步态识别模块用于根据关节角度时序曲线、步态时空参数、下肢关键点地面物理坐标时序轨迹以及关键点的时序轨迹数据进行异常步态识别,从而获取异常步态识别信息。
66、本技术的基于单目视觉的老年人异常步态识别方法仅需一台普通单目摄像机和试验环境中已有的地面标尺线即可完成步态数据采集与量化评估,无需三维运动捕捉系统的多相机阵列、红外光学标记物及专用标定场地,也无需惯性测量单元、足底压力鞋垫等可穿戴设备。与三维运动捕捉系统相比,硬件成本降低一个数量级以上;与可穿戴传感器方法相比,受试者无需佩戴任何设备,自然步行即可完成评估,从根本上避免了佩戴物对步态表达的干扰以及部分老年人对佩戴设备的抵触心理。由于采集设备简单、环境要求低,本方法可在社区卫生服务中心活动室、养老机构走廊等普通空间快速部署,为大规模老年人群步态筛查和常态化功能监测提供了可行的技术路径。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com