面向膝关节炎患者康复训练的动作识别方法及设备

本发明属于动作识别和辅助康复，具体涉及一种面向膝关节炎患者康复训练的动作识别方法及设备。

背景技术：

1、膝关节炎（knee osteoarthritis, koa）是一种以膝关节软骨退变、骨质增生为核心特征的慢性关节疾病，也是中老年人群最常见的骨关节疾病之一。该病会导致患者膝关节疼痛、僵硬、活动受限，严重影响日常行走、上下楼梯等基础生活能力，降低生活质量，同时给家庭和社会带来沉重的医疗与照护负担。

2、康复训练是膝关节炎非手术治疗的核心手段，也是术后功能恢复的关键环节。科学规范的康复训练能够改善膝关节活动度、增强下肢肌肉力量、纠正异常步态，延缓病情进展，减少致残风险。但由于患者基数庞大、康复周期长，且对训练动作的规范性要求极高，传统康复模式已难以满足大规模、个性化、长期化的康复需求。

技术实现思路

1、有鉴于此，本发明提供一种面向膝关节炎患者康复训练的动作识别方法及设备，以更好地满足大规模、个性化、长期化的康复训练的需求。

2、为了达到上述目的，本发明采用的解决方案是：面向膝关节炎患者康复训练的动作识别方法，包括以下步骤：

3、采集获取患者的第一图像；

4、所述第一图像经过前后堆叠的多个续接模块处理后，各个所述续接模块依次输出第一信息集合；

5、相邻的两个所述第一信息集合经过对应的居间机构处理后，获得对应的第二信息集合，所述居间机构用于对相邻的两个所述第一信息集合进行居间对偶调整；

6、对多个所述第二信息集合进行半分散式的特征纯化，获得第二图像；

7、利用人体关键点检测模型对所述第二图像进行处理，提取获得所述患者人体关键点的位置信息；

8、基于所述位置信息识别所述患者的动作。

9、上述续接模块、居间机构和特征纯化的内部算子对第一图像进行处理前都经过了训练，上述人体关键点检测模型对第二图像进行处理前，同样也是经过了训练的。在实际的应用中，患者拍摄的图像往往存在多种影响人体关键点位置信息提取的因素，比如：逆光、阴影等光影干扰，肢体运动产生运动模糊、镜头拖影等。针对上述情况，本发明先对原始的第一图像进行针对性的优化处理，生成第二图像，在第二图像的基础上提取人体关键点的位置信息，提高对关键点位置的识别准确率。

10、现有的图像优化技术中，各特征提取模块相对独立运算，得到的信息层间关联度低，导致无法完整刻画多个人体关键点（例如髋-膝-踝）之间的联动关系，优化后的图像对提升关键点位置信息提取效果有限。本技术获得多个第一信息集合后，先对相邻的两个第一信息集合进行居间对偶调整，再对所有的第二信息集合进行半分散式的特征纯化，这样能打通多层级特征关联，更好地建立长距离关键点之间的空间关联关系，大幅提升后续关键点检测的准确性，进而提升动作识别的准确率。

11、作为一种示例性的实施方式，所述续接模块处理过程包括：

12、根据第一改造机构对待处理信息进行处理，获得第一改造信息、第三改造信息和第四改造信息；

13、根据第二改造机构对所述第一改造信息和第三改造信息进行处理，获得第五改造信息、第六改造信息和第七改造信息；

14、所述第四改造信息与第七改造信息耦合后获得对偶信息；

15、所述第五改造信息与第六改造信息耦合后获得所述第一信息集合。

16、作为一种示例性的实施方式，所述第一改造机构处理过程包括：

17、根据串联的第一卷积层和第一leakyrelu层对所述待处理信息进行处理，获得所述第一改造信息；

18、根据串联的第二卷积层和第一tanh层对所述待处理信息进行处理，获得第二改造信息；

19、所述第二改造信息与所述待处理信息逐元素作差后经过第二tanh层处理，获得所述第三改造信息；

20、所述第三改造信息与所述第一改造信息逐元素相乘，获得所述第四改造信息。

21、作为一种示例性的实施方式，所述第二改造机构处理过程包括：

22、根据串联的第三卷积层和第三tanh层对所述第一改造信息进行处理，获得所述第五改造信息；

23、根据串联的第四卷积层和第二leakyrelu层对所述第三改造信息进行处理，获得所述第六改造信息；

24、所述第五改造信息与所述第六改造信息逐元素作差，获得所述第七改造信息。

25、作为一种示例性的实施方式，相邻的两个所述第一信息集合经过对应的居间机构处理后，获得对应的第二信息集合，包括：

26、获取与所述居间机构相邻的两个所述第一信息集合，前一个所述第一信息集合记作前一信息集合，后一个所述第一信息集合记作后一信息集合；获取对应续接模块中的对偶信息；

27、所述前一信息集合经过串联的第一空洞卷积层和第一relu层处理，获得第一调整信息；

28、所述第一调整信息与所述后一信息集合逐元素相乘后经过串联的第五卷积层和第二relu层处理，获得第二调整信息；

29、所述前一信息集合与所述后一信息集合逐元素作差后经过串联的第二空洞卷积层和第三relu层处理，获得第三调整信息；

30、所述对偶信息、第二调整信息和第三调整信息耦合后获得所述第二信息集合。

31、作为一种示例性的实施方式，所述第四改造信息与第七改造信息拼接后，经过串联的第六卷积层和第四relu层处理实现耦合；

32、或/和，所述第五改造信息与第六改造信息拼接后，经过串联的第七卷积层和第五relu层处理实现耦合；

33、或/和，所述对偶信息、第二调整信息和第三调整信息逐元素相加后，经过第六relu层处理实现耦合。

34、作为一种示例性的实施方式，对多个所述第二信息集合进行半分散式的特征纯化，包括：

35、对各个所述第二信息集合进行全通道特征平均化整合，获得多个第一纯化信息；多个所述第一纯化信息耦合，获得第二纯化信息；

36、对各个所述第二信息集合进行全通道特征最大化整合，获得多个第三纯化信息；多个所述第三纯化信息耦合，获得第四纯化信息；

37、多个所述第二信息集合拼接后经过第一降维模块处理，获得第五纯化信息，所述第一降维模块用于对通道维度进行降维；根据所述第二纯化信息调整所述第五纯化信息，获得第六纯化信息；

38、所述第六纯化信息经过第二降维模块处理，获得第七纯化信息，所述第二降维模块用于对通道维度进行降维；根据所述第四纯化信息调整所述第七纯化信息，获得所述第二图像。

39、作为一种示例性的实施方式，多个所述第一纯化信息耦合，包括：多个所述第一纯化信息逐元素相加后经过第一sigmoid层处理，获得所述第二纯化信息；

40、或/和，多个所述第三纯化信息耦合，包括：多个所述第三纯化信息拼接后，经过第八卷积层和第二sigmoid层处理，获得所述第四纯化信息；

41、或/和，根据所述第二纯化信息调整所述第五纯化信息，包括，根据所述第二纯化信息对所述第五纯化信息进行加权处理；

42、或/和，根据所述第四纯化信息调整所述第七纯化信息，包括，根据所述第四纯化信息对所述第七纯化信息进行加权处理。

43、作为一种示例性的实施方式，第一降维模块设有串联的第九卷积层和第七relu层；

44、第二降维模块设有串联的第十卷积层和第八relu层。

45、本发明还提供了一种面向膝关节炎患者康复训练的动作识别设备，包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过加载所述计算机程序，用于执行如上所述的方法。

46、本发明的有益效果是：

47、传统膝关节炎康复训练主要依赖康复师现场指导与评估，康复师通过肉眼观察患者动作、结合主观经验判断动作规范性，缺乏客观量化的评估标准。人工观察对个人经验要求极高，且易出现遗漏，导致评估结果存在较大主观性，难以精准反映患者的康复状态，也无法为训练方案调整提供可靠的数据支撑。此外，多数膝关节炎患者需长期居家康复，但居家场景下缺乏专业人员的实时指导，患者易出现动作变形、训练强度不当等问题，不仅无法达到康复效果，还可能因错误动作加重膝关节软骨磨损，诱发急性疼痛。同时，居家训练的完成情况、动作质量难以被有效追踪，康复师无法及时掌握患者的训练进展，导致康复方案调整滞后，患者训练依从性普遍偏低。本发明采用基于图像的康复训练动作识别技术，无需患者佩戴传感器、绑带等穿戴设备，仅通过普通摄像头即可实现动作捕捉与分析，具有无接触、低成本、易操作的优势，能满足居家、社区、医院等多场景的康复需求。