一种无人机视角步态分析方法及医疗辅助系统

本发明涉及医疗康复设备与计算机视觉领域，涉及一种无人机视角步态分析方法及医疗辅助系统，具体涉及一种基于对称双向状态空间模型的无人机视角步态分析方法及医疗辅助系统，尤其涉及针对医疗机构内俯视视角下患者步态的相位识别、腿部分割及脚跟关键点定位的多任务协同分析方法，可应用于帕金森病、脑卒中、骨科术后康复等疾病的步态评估与康复监测。

背景技术：

1、步态是人体神经肌肉骨骼系统综合功能的外在表现，包含步频、步长、支撑/摆动相比例、左右对称性、足跟着地时刻（heel strike）等关键参数。在临床场景中，步态异常被广泛用于帕金森病、脑卒中后偏瘫、脊髓损伤、髋膝关节术后康复、下肢骨折恢复、老年跌倒风险评估等疾病/状态的评估与随访。近年来，步态被视为一种“数字生物标志物”，其量化检测与长期追踪有助于实现客观化评估、疗效对比和个体化康复指导。

2、现有医学步态检测手段主要包括：（1）光学动作捕捉系统与测力台，可提供高精度三维运动学/动力学数据，但设备昂贵、布置复杂、对场地与标定依赖强，难以在普通病房、社区门诊和家庭康复中常态化应用；（2）可穿戴惯导/压力传感器，部署相对灵活，但存在佩戴依从性不足、传感器漂移、跨品牌一致性与消毒管理等问题；（3）基于单目/多目视频的步态分析，具备非接触和低成本优势，但在真实医疗环境中常受遮挡、光照变化、衣物差异、视角变化以及多人干扰影响，且对隐私保护与可审计性提出更高要求。

3、在医疗级步态分析的实际应用中，临床诊断与康复评估对数据的客观性与可解释性提出了极高要求。与消费级应用不同，医疗场景下的步态分析系统必须具备极高的稳定性与证据可溯源性：输出的指标需要能够直接对应康复进程或跌倒风险，而非模糊的预测概率。然而，现有的通用计算机视觉方法往往难以直接满足这种严苛的临床标准。单纯依赖关键点定位的方法在肢体互遮时极易发生漂移，导致测量失效；而单纯的分类任务虽能判断状态，却无法提供直观的运动学空间证据。这种单一维度的分析方式在面对复杂的病理步态时，往往缺乏足够的鲁棒性与可信度，难以作为辅助诊断的有效依据。

4、此外，医疗机构常见的俯视/顶视/侧边视采集形态（例如走廊天花板相机、康复训练房相机、移动平台在特定场景下的采集）具有遮挡相对更少、对隐私更友好（弱身份特征）等优点，但也带来新的技术挑战：俯视背部视图下左右下肢呈镜像对称，腿部边界与脚跟区域尺度小且易互相遮挡；步态事件（如足跟着地、离地）往往需要同时利用事件前后若干帧的上下文信息，单向时序模型只能利用“过去信息”，对事件边界处的判别不充分；而transformer 等全局注意力模型虽具备强建模能力，但计算复杂度较高，不利于在医疗边缘设备/低功耗平台上实时部署。

5、基于上述临床需求与工程约束，亟需一种面向俯视视角的、可端到端输出临床相关要素的步态分析方法：在保证可解释输出的同时兼顾实时性与稳定性。为此，本发明提出基于对称双向状态空间模型（symmamba）的多任务步态分析框架：利用左右对称解耦策略贴合俯视结构特性，以双向状态空间模型在保持线性复杂度的前提下融合前后帧信息，并通过分割、相位识别与脚跟关键点定位的协同学习输出可用于临床量化的中间证据与指标，从而更好地支撑医疗器械化产品在性能验证、风险控制与临床可用性方面的要求。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本发明提供了一种无人机视角步态分析方法及医疗辅助系统，其目的在于针对医疗机构内俯视视角下患者步态的相位识别、腿部分割及脚跟关键点定位的多任务协同分析，可应用于帕金森病、脑卒中、骨科术后康复等疾病的步态评估与康复监测，由此解决了现有方法缺乏足够的鲁棒性与可信度，难以作为辅助诊断有效依据的技术问题。

2、为实现上述目的，按照本发明的一个方面，提供了一种无人机视角步态分析方法，包括以下步骤：

3、s1：控制无人机以目标人员后方跟拍视角采集连续步态视频，从视频中提取连续图像帧，裁剪包含下肢的目标区域并统一缩放，按照预设序列长度和滑动步长构成连续图像序列；

4、s2空间特征编码器：将步骤s1获得的各帧图像依次输入空间特征编码器，经卷积降采样、convnext v2特征提取和双向视觉状态空间特征提取阶段，输出空间特征图；

5、s3坐标注意力增强：在步骤s2的convnext v2特征提取阶段之后引入坐标注意力模块，所述坐标注意力模块分别沿水平和垂直方向进行一维全局池化，将两个方向的特征编码后分离，生成水平方向注意力权重和垂直方向注意力权重，并对对应阶段的空间特征进行重标定；

6、s4辅助分割解码器：将步骤s2输出且经步骤s3坐标注意力重标定后的空间特征图输入辅助分割解码器，经一层卷积核尺寸为1×1的卷积层，输出与输入图像尺寸一致的腿部区域未归一化分割得分；利用s形激活函数将所述未归一化分割得分转换为腿部区域概率掩码，并根据所述概率掩码获得腿部区域分割结果；

7、s5对称解耦模块：基于步骤s4获得的腿部区域概率掩码，计算其沿水平方向的加权质心，以所述质心作为目标区域的自适应左右分界位置；根据所述分界位置生成互补的左侧软掩码和右侧软掩码，并分别作用于步骤s2输出的空间特征图；随后经步骤s3采用空间注意力池化将左侧特征和右侧特征分别聚合为左侧特征向量和右侧特征向量，并计算二者之差，得到左右差异特征向量；

8、s6双向时序建模模块：将步骤s5获得的左侧特征向量序列、右侧特征向量序列和左右差异特征向量序列分别输入三个独立的状态空间时序建模模块，获得左侧时序特征、右侧时序特征和左右差异时序特征；对左侧时序特征和右侧时序特征进行自适应对称约束后，将三路时序特征拼接并进行时序融合；

9、s7多任务预测：基于步骤s6获得并融合的左侧时序特征、右侧时序特征和左右差异时序特征，进行左右脚步态相位预测和左右脚后跟坐标预测，得到左右脚步态相位预测结果和左右脚后跟坐标；其中，将左右脚摆动相标记为1、支撑相标记为0，将步态相位由0变为1的时刻确定为离地事件时刻，将步态相位由1变为0的时刻确定为着地事件时刻；并输出步骤s4获得的腿部区域分割结果、左右脚步态相位预测结果、左右脚步态事件时刻和左右脚后跟坐标，作为步态分析结果；

10、s8多任务联合损失计算：根据步骤s4获得的腿部区域分割结果以及步骤s7输出的左右脚步态相位预测结果和左右脚后跟坐标，分别计算分割损失、步态相位损失和关键点坐标回归损失，并对各项损失进行加权求和，得到多任务联合损失函数；进一步对相邻帧的关键点坐标和步态相位施加时序平滑约束；

11、s9关键点坐标归一化：根据步骤s4获得的腿部区域分割结果确定腿部区域轮廓，并根据所述轮廓中各像素点的横坐标最小值、横坐标最大值、纵坐标最小值和纵坐标最大值构建腿部区域边界框；以所述边界框的左上角为原点，以所述边界框的宽度和高度为归一化尺度，对步骤s7获得的左右脚后跟坐标进行归一化表示；训练阶段，将腿部区域分割标注、左右脚步态相位标注和归一化后的左右脚后跟坐标标注作为多任务联合训练的监督标签；

12、s10数据处理与训练策略：按照时间顺序对连续图像帧进行排列，采用长度为预设帧数的滑动窗口构建训练样本，相邻窗口按照预设步长滑动；

13、训练阶段，将步骤s1得到的连续图像序列输入网络，并将腿部区域分割标签、左右脚步态相位标签和步骤s9归一化后的左右脚后跟坐标标签作为多任务联合训练的监督标签；推理阶段，将连续图像序列输入训练完成的网络，输出步态分析结果。

14、作为优选，步骤s1中输入的连续图像序列为：

15、

16、其中，为批次大小，为序列长度，和为图像的高度和宽度。

17、作为优选，步骤s3中空间特征编码器包括依次连接的卷积降采样层、第一convnext v2特征提取阶段、第一坐标注意力模块、下采样层、第二convnext v2特征提取阶段、第二坐标注意力模块、下采样层和双向视觉状态空间特征提取阶段，输出空间特征图的尺度为原始图像尺寸十六分之一。

18、作为优选，步骤s4中辅助分割解码器包括两级四倍双线性上采样、卷积层、批归一化层和激活层，其具体结构如下：

19、

20、

21、其中，表示转置卷积，表示组归一化，是腿部预测编码，是瓶颈层特征，其余层的计算方式用到表示，decoder为解码器，用于将提取的抽象特征还原为像素级的腿部区域预测结果；gelu为高斯误差线性单元，用于对特征进行平滑的非线性变换，使网络能够学习复杂的步态特征。

22、作为优选，步骤s5中左特征向量表示为：

23、

24、其中，是左特征图，是左特征向量，为批次大小，为序列长度，d为特征向量的维度；gap为全局平均池化，用于对特征图各通道的空间位置取平均，将腿部区域特征汇总为向量；

25、右特征向量表示为：

26、

27、其中，是左特征图，是左特征向量；

28、左右差异特征向量表示为：

29、

30、其中，为左右差异特征向量。

31、作为优选，步骤s6中左侧时序特征、右侧时序特征和左右差异时序特征应用独立的双向mamba模块表示为：

32、

33、

34、

35、其中，为左侧时序特征，为右侧时序特征，为左右差异时序特征；h为时间长度，diff是差值；bimamba为双向mamba模块，用于从时间正向和反向提取步态序列信息，综合前后帧判断腿部运动状态；

36、作为优选，步骤s6中三路时序特征融合表示为：

37、

38、其中，是融合后的特征。

39、作为优选，步骤s8中多任务联合损失函数表示为：

40、

41、其中，为关键点坐标损失，为步态相位损失，为分割损失，、、为权重参数。

42、作为优选，所述关键点坐标损失采用均方误差计算，其表示为：

43、

44、步态相位损失采用二元交叉熵，其表示为：

45、

46、分割损失采用带logits的二元交叉熵，其表示为：

47、

48、其中，b为批次大小，t为序列长度，b批次，t为时间索引，为第 b 个样本第 t帧预测关键点坐标，为第 b 个样本第 t 帧真实关键点坐标，为第k只脚处于摆动期的预测概率，为对应的真实步态相位标签，为腿部区域的预测分割原始值，为对应的真实分割掩码；bcewithlogits为二元交叉熵损失，用于衡量腿部区域预测与真实标注之间的差异，用于指导网络训练。

49、为实现上述目的，按照本发明的另一个方面，提供了一种无人机视角步态分析医疗辅助系统，采用上述的无人机视角步态分析方法，包括空间特征编码器、辅助分割解码器、对称解耦模块、双向时序建模模块、多任务预测模块、多任务联合损失计算模块、关键点坐标归一化模块、以及数据处理与训练策略模块，其应用于帕金森病、脑卒中、骨科术后康复疾病的步态评估与康复监测。

50、总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

51、本发明针对医疗机构内俯视视角下患者步态的相位识别、腿部分割及脚跟关键点定位的多任务协同分析，应用于帕金森病、脑卒中、骨科术后康复等疾病的步态评估与康复监测；具体的：

52、1、满足医疗级精度要求：采用双向mamba机制，同时利用过去和未来的时序信息，相比单向模型能够更准确地捕捉步态周期特征与病理步态的细微变化，输出可溯源的量化指标，满足临床诊断与康复评估对数据精度和可解释性的要求。

53、2、适用于医疗机构部署环境：针对医疗机构常见的俯视采集视角（走廊天花板相机、康复室固定相机），提出对称解耦策略充分利用左右腿对称分布特点，并通过差异特征捕捉步态不对称性（如偏瘫患者单侧异常），提高了对病理步态的识别能力。

54、3、多任务协同提供临床证据：通过联合学习分割、相位识别和关键点定位三个任务，输出腿部区域、步态事件时刻和足跟轨迹等多维度临床证据，便于医护人员进行综合判读，增强了系统在医疗场景下的可信度。

55、4、鲁棒适应个体差异：采用相对于腿部边界框的归一化坐标表示，结合分割辅助的边界框估计，提高了关键点定位对患者个体差异（身高、体型）、衣物遮挡和视角变化的鲁棒性，确保在真实医疗环境中的稳定性。

56、5、便于医疗设备集成部署：整个网络采用端到端的方式进行训练和推理，保持线性计算复杂度，可在医疗边缘设备或低功耗平台上实时运行，无需复杂的后处理步骤，便于集成到康复训练设备或远程监护系统中。