基于深度学习和三维捕捉的运动系统损伤筛查系统

本发明属于医疗器械与计算机技术交叉，具体涉及一种基于深度学习和三维捕捉的运动系统损伤筛查系统。

背景技术：

1、运动系统损伤，如膝骨关节炎、前交叉韧带损伤和半月板损伤等，是影响人群生活质量的重要健康问题。早期的筛查和分类对于有效干预和预防病情恶化至关重要。步态分析是评估运动功能的核心手段，传统的运动分析系统（基于红外标记点的vicon系统）存在明显的局限性：它们通常价格昂贵、需要专业的操作人员、必须在固定的实验室内进行，无法在基层医疗机构普及或进行大规模筛查。

2、近年来，随着计算机视觉的发展，基于二维视频的步态分析取得了一定进展。然而，这类方法缺乏深度信息，容易受到遮挡、光照、视角变化的影响，分析精度和可靠性有限，难以满足临床诊断的需求。另一方面，虽然深度学习技术在图像识别领域表现出色，但其在运动系统损伤筛查和分类领域的应用面临两大瓶颈：其一，缺乏大规模、高质量、经过专业医学标注的步态数据库；其二，现有的算法模型多为孤立系统，未能将数据采集、智能分析、云服务部署形成闭环，无法为基层医疗机构提供高效、可扩展的技术服务。

技术实现思路

1、为解决传统步态分析设备价格昂贵、操作复杂且难以普及的问题，本发明提供一种基于深度学习和三维捕捉的运动系统损伤筛查系统，实现了运动系统损伤的高效、精准、便携化自动筛查与分类，具有较高的灵敏度和特异度。

2、本发明为解决技术问题所采用的技术方案如下：

3、本发明提供的一种运动系统损伤筛查模型系统，其主干网络采用基于改进的resnet50架构的双分支深度融合网络实现，所述双分支深度融合网络包括：图像步态特征分支和数值步态特征分支，分别针对图像与数值两类步态特征进行提取与融合。

4、进一步的，所述图像步态特征分支中，先采用7×7卷积层，结合批归一化bn与relu激活函数进行初始特征变换，再经过最大池化操作完成初步的空间特征提取；随后，通过连续堆叠多组bottleneck模块构建深层特征表示网络，并在深层特征表示网络的较高层级嵌入cbam注意力模块，以增强运动系统损伤筛查模型对步态关键区域的感知与聚焦能力；最终通过平均池化输出视觉特征。

5、进一步的，所述深层特征表示网络包括连续堆叠的四组bottleneck模块，第一组包括3个bottleneck模块，第二组包括4个bottleneck模块，第三组包括6个bottleneck模块和cbam注意力模块，第四组包括3个bottleneck模块和cbam注意力模。

6、进一步的，所述cbam注意力模块的处理流程如下：

7、（1）动态通道注意力计算；

8、在利用平均池化与最大池化操作聚合空间信息基础上，引入跨通道交互机制与可学习的动态权重参数，融合不同池化路径的信息，并生成通道注意力图：

9、；

10、其中，为中间特征图，表示sigmoid函数，和均表示可学习的权重参数，表示分组卷积，mlp表示共享的多层感知机，其隐藏层维度为，r表示缩减比率，表示平均池化操作，表示最大池化操作；

11、（2）空间注意力计算；

12、在通道细化后的特征图上，沿通道轴进行平均池化与最大池化，并将结果拼接后通过一个卷积层生成空间注意力图：

13、；

14、其中，表示滤波器大小为7×7的卷积操作，表示特征图加权乘法运算符号；

15、（3）残差连接；

16、在空间细化后的特征图上，引入残差连接以保留原始信息，得到最终生成的特征图：

17、。

18、进一步的，所述数值步态特征分支中，利用两层全连接层对步态参数进行抽象化编码，输出数值特征。

19、进一步的，在特征融合阶段，所述图像步态特征分支和数值步态特征分支的输出经由混合多模态感知模块实现跨模态信息的自适应整合，进一步通过全连接层进行特征压缩与交互处理，最终由分类器输出运动系统损伤分类概率。

20、进一步的，所述混合多模态感知模块的处理流程如下：

21、（1）大核全局感知；

22、通过大核卷积捕获视觉特征的全局上下文信息：

23、；

24、其中，为输入图像经过卷积层与残差块提取后的视觉特征，表示全局特征，表示大卷积核尺寸，表示分组卷积，表示批归一化，表示激活函数，表示1×1卷积；

25、（2）小核局部聚合；

26、通过小核卷积增强局部细节特征的提取能力：

27、；

28、其中，表示局部特征，为小卷积核尺寸；

29、（3）真实状态空间建模；

30、将全局特征与局部特征进行逐元素相加得到增强后的空间特征，对增强后的空间特征进行投影并序列化后，输入至mambablock进行时序建模：

31、；

32、；

33、；

34、其中，表示增强后的空间特征，表示序列化特征，表示选择性状态空间模型输出特征，上标t表示转置操作，表示展平操作，表示层归一化操作；

35、（4）语义引导跨模态注意力；

36、通过语义投影与交叉注意力机制融合图像与数值信息：

37、；

38、；

39、；

40、其中，、、分别表示查询矩阵、键矩阵以及值矩阵，表示线性变换操作，表示归一化操作，表示键向量维度，表示输出注意力分数，表示空间位置数，注意力输出被重构为；

41、（5）动态特征融合；

42、通过门控机制自适应融合ssm输出与跨模态注意力输出：

43、；

44、；

45、其中，表示门控权重张量，表示融合后特征，表示逐元素乘法运算符号，表示sigmoid函数；

46、最后，输出特征图经过卷积层进行通道调整与归一化操作，得到最终的输出特征图为，。

47、本发明提供的一种基于深度学习和三维捕捉的运动系统损伤筛查系统，包括：

48、三维数据采集模块，用于采集受试者的步态数据并构建原始步态数据集；

49、步态数据库，用于存储按临床标准标注的健康与患者步态数据；

50、数据处理与分析模块，用于对采集的三维数据进行预处理；

51、数据转化模块，用于将预处理后的训练样本集转化为特征向量；

52、模型训练模块，用于实现对运动系统损伤筛查模型的训练；

53、损伤筛查模块，用于利用训练好的运动系统损伤筛查模型对提取的步态特征进行推理分析，输出运动系统损伤的分类信息；

54、api服务模块，用于向基层医疗机构提供高并发、低延时的智能化服务接口，通过将运动系统损伤筛查模型输出的运动系统损伤的分类信息返回至用户端，为基层医疗机构现有信息平台提供智能化辅助服务。

55、进一步的，所述三维数据采集模块采用基于惯性测量单元以及深度摄像头的设备实现。

56、本发明提供的一种基于深度学习和三维捕捉的运动系统损伤筛查方法，包括以下步骤：

57、步骤s1：通过三维数据采集模块采集受试者的步态数据，包括静态足底压力分布热图、关节角度活动量和步态参数；

58、步骤s2：对步态数据进行数据增强、缺失值填充、异常值剔除和重复数据去除的预处理，并对连续型特征数据进行归一化处理，形成训练样本集；

59、步骤s3：将预处理后的训练样本集转化为特征向量；

60、步骤s4：将转化后的特征向量输入至运动系统损伤筛查模型中进行模型训练；

61、步骤s5：将新获取的步态数据输入至训练好的运动系统损伤筛查模型中，获得运动系统损伤的分类信息；

62、步骤s6：运动系统损伤筛查模型的分析结果通过api服务模块返回至用户端。

63、与现有技术相比，本发明的有益效果如下：

64、（1）在精度方面，系统采用一种运动系统损伤筛查模型，该模型以改进的resnet50作为主干网络，并结合cbam注意力模块（dc-cbam）以增强对关键步态特征的感知能力；同时通过混合多模态感知模块（hmpm）实现图像与数值模态信息的自适应整合，从而提升模型对运动系统损伤类型的整体识别性能。在运动系统损伤类型的分类任务中，模型在灵敏度与特异度两项关键指标上均达到80%以上，显示出较高的识别准确性与可靠性。

65、（2）在系统部署方面，本发明基于便携式三维动作捕捉设备构建，大幅降低了对硬件环境的要求，有效克服了传统步态分析设备价格昂贵、操作复杂、对专业人员依赖度高等局限，从而具有良好的适用性与推广潜力，尤其适合在基层医疗机构中普及使用。

66、（3）在服务响应性能上，系统采用云端api架构提供服务，具备高并发处理能力与低延时响应特性，显著提升了筛查任务的处理效率，同时也增强了服务的可及性，为用户带来更加流畅的使用体验。

67、（4）在模型结构设计上，cbam注意力模块（dc-cbam）通过通道注意力与空间注意力机制的协同作用，使模型能够自适应地聚焦于与步态判别最相关的特征区域，抑制无关背景信息的干扰，从而在复杂场景下仍保持良好的泛化能力与鲁棒性。混合多模态感知模块（hmpm）通过结合大核全局感知、小核局部聚合、真实状态空间建模、语义引导跨模态注意力与动态特征融合机制，实现对多源特征的高效融合与增强，从而大幅提升模型对运动系统损伤类型的分类能力。