一种基于MicrosoftKinect的脑卒中患者上肢运动功能训练方法与流程

一种基于microsoft kinect的脑卒中患者上肢运动功能训练方法
技术领域
1.本发明涉及人机交互技术和康复训练技术领域，具体涉及一种基于microsoft kinect 2.0的脑卒中患者上肢运动功能训练方法。


背景技术：

2.我国脑卒中的发病率、患病率逐年上升，发病年龄呈下降趋势。同时伴随着医学的发展进步，脑卒中患者的死亡率逐步下降，造成残疾的比率和残疾的人数不断增加。减轻患者的功能障碍，帮助患者重新回归到家庭和社会需要康复治疗的介入。在一些经济发展相对落后的地区，康复专业人员的数量远不足以服务当地的残疾人，脑卒中患者常不能得到与其所处恢复阶段相匹配的专业康复治疗训练，这往往导致脑卒中患者的患侧肢体功能在恢复期内不能得到显著的改善。长期的卧床和制动产生的废用综合征带来的关节挛缩、骨质疏松、肌肉萎缩、肌力及耐力的下降等一系列问题将加重偏瘫患者的功能障碍。病后治疗或自主活动方法不当产生的误用、过用综合征，会导致患者肌肉及韧带的损伤、骨折、异位骨化、肩痛等问题，并可能加重患者的异常痉挛模式。
3.现有的上肢康复训练系统种类繁多，多数训练系统需要在患者身上佩戴传感器或由机械臂引导患者完成训练动作，外在设备对身体感觉刺激的输入会导致患者难以获得身在其中的真实感受，训练过程中难以集中注意力、体验感较差。市场上部分训练系统将训练动作局限于二维平面，与日常生活活动相关的三维空间动作无法进行。同时现今应用的康复训练系统多价格昂贵，在基层康复医疗机构难以得到普及。
4.microsoft kinect是一种体感设备，利用骨骼跟踪技术和基于环境的深度图像数据来实现对人体的跟踪，主要用于捕捉三维空间中患者的运动，获取患者执行训练动作过程中人体关节点的三维坐标信息。同时利用kinect从深度图像中识别出人体骨骼并构造虚拟人体，主要用于给予患者训练动作执行情况的视觉反馈。


技术实现要素：

5.针对背景技术中现有上肢康复训练系统的不足，提出一种基于microsoft kinect 2.0，与脑卒中患者的上肢运动功能障碍分期相匹配的三维空间中偏瘫患者上肢运动功能训练方法。该训练方法为非接触式，无需患者佩戴任何传感器或借助机械臂，并且可供非专业人士在康复医生及治疗师缺席的情况下，根据系统指示对脑卒中患者进行康复训练。
6.为了实现上述目的，本发明采用如下技术方案：一种基于microsoft kinect 2.0的脑卒中患者上肢运动功能训练方法，包括以下步骤：1）初始定义：建立人体空间坐标系，调用训练动作相关的关节点参数定义，并初始化各参数值、设置基本姿势的条件算法；2）动作执行：偏瘫患者在屏幕中文字、图像及声音的指导下执行训练动作；3）数据采集：利用安装在治疗室的kinect摄像头获取患者人体关节点的三维坐标
信息；4）数据分析：通过动作算法将训练动作分解，对获取到的关节点坐标按流程进行计算分析，判断患者训练动作执行的充分程度；5）实时反馈：利用kinect构造虚拟人体，将患者训练动作的执行情况通过屏幕图像进行实时反馈，并对动作完成的不充分之处给予提示；6）结果评价：对康复训练过程中各项动作的完成程度进行统计分析，量化整体的训练成绩。
7.进一步，所述步骤1）建立人体空间坐标系：假设head、neck、spine shoulder、spine mid、spine base在一条直线上。以spine base骨骼坐标点为（0，0），左右方向为（x），上下方向为（y），前后方向为（z）。向右、向上和向前为正值，向左、向下和向后为负值。
8.进一步，所述步骤1）评定动作相关的关节点参数定义，直接调用microsoft kinect 2.0系统自带的参数定义。
9.进一步，所述步骤1）初始化各参数，具体为确定人体上肢手臂长度、躯干长度值：左手臂长度：l_amlt = j_srlt_y
ꢀ‑ꢀ
j_hdlt_y右手臂长度：l_amrt = j_srrt_y
ꢀ‑ꢀ
j_hdrt_y左手手掌到肘关节长度：l_amlt_1 = j_ewlt_y
ꢀ‑ꢀ
j_hdlt_y右手手掌到肘关节长度：l_amrt_1 = j_ewrt_y
ꢀ‑ꢀ
j_hdrt_y左手肘关节到肩长度：l_amlt_2 = j_srlt_y
ꢀ‑ꢀ
j_ewlt_y右手肘关节到肩长度：l_amrt_2 = j_srrt_y
ꢀ‑ꢀ
j_ewrt_y。
10.进一步，所述步骤1）设置基本姿势的条件算法：设定容差为delt = 5cm。
11.当人体处于端坐位时，各动作满足的条件：左手自然下垂，不弯曲：|j_srlt_x
ꢀ‑ꢀ
j_hdlt_x| <delt & |j_srlt_y
ꢀ‑ꢀ
j_hdlt_y
ꢀ‑ꢀ
l_amlt |<delt右手自然下垂，不弯曲：|j_srrt_x
ꢀ‑ꢀ
j_hdrt_x| <delt &|j_srrt_y
ꢀ‑ꢀ
j_hdrt_y
ꢀ‑ꢀ
l_amrt |<delt。
12.左右手臂伸直的满足条件：|（（s_srlt_x
ꢀ‑ꢀ
s_hdlt_x）2 （s_srlt_y
ꢀ‑ꢀ
s_hdlt_y）2 s_srlt_z
ꢀ‑ꢀ
s_hdlt_z）2）^0.5
ꢀ‑ꢀ
l_amlt| < delt|（（s_srrt_x
ꢀ‑ꢀ
s_hdrt_x）2 （s_srrt_y
ꢀ‑ꢀ
s_hdrt_y）2 s_srrt_z
ꢀ‑ꢀ
s_hdrt_z）2）^0.5
ꢀ‑ꢀ
l_amrt| < delt。
13.进一步，所述步骤2）训练动作，基于brunnstrom上肢运动功能评定表中各期的障碍特点设计，具体包括：（1）brunnstrom上肢运动功能恢复
ⅰ‑ⅱ
期推荐训练动作：
①
健手握住患手，双上臂贴在身前。用健手带动患手，使双上肢共同向身体前方伸展；
②
健手握住患手，双上肢肘关节伸直。用健手带动患手，使双上肢共同上举过头顶；（2）brunnstrom上肢运动功能恢复ⅲ期推荐训练动作：
①
健手握住患手，双上臂贴在身前。用健手带动患手，使双上肢共同向身体前方伸
展；
②
健手握住患手，双上肢肘关节伸直。用健手带动患手，使双上肢共同上举过头顶；
③
健手握住患手，双上臂贴在身前。用健手带动患手，使双上肢共同向身体前方伸展，而后以双臂间为轴，转动双上肢至健手在上，并轻压患侧上肢，使患侧肩关节外旋，前臂旋后；（3）brunnstrom上肢运动功能恢复ⅳ期推荐训练动作：
①
患侧上肢自然下垂。将患侧上肢向身体前方伸展；
②
患侧上肢自然下垂。将患侧上肢向身体前方伸展，而后尝试患侧前臂旋后至拇指朝上；
③
患侧上肢自然下垂，肘关节伸直。将患侧上肢由身体前方上举至与肩同高；
④
患侧上肢自然下垂，肘关节伸直。将患侧上肢向身体侧方与矢状轴呈30
°
方向水平外展，与肩同高（将患侧上肢抬至与肩同高、与身体矢状轴呈30
°
夹角处）；
⑤
患侧手放至身体前侧。患侧上肢尝试伸向背后，触碰腰部背面；
⑥
患侧上肢模拟打电话、浇花等动作；（4）brunnstrom上肢运动功能恢复
ⅴ
期推荐训练动作：
①
患侧上肢自然下垂，肘关节伸直。将患侧上肢由身体前方上举，尝试举到过头顶；
②
患侧上肢自然下垂。将患侧上肢向身体前方伸展，而后患侧前臂旋后至手心朝上，并保持5秒；
③
患侧上肢自然下垂。将患侧上肢向身体侧方与矢状轴呈45
°
方向水平伸展，并尝试举过头顶；
④
患侧上肢自然下垂。将患侧上肢向身体侧方与矢状轴呈60
°
方向水平伸展，并尝试举过头顶；
⑤
患者上肢模拟用钥匙开门、指路等动作；（5）brunnstrom上肢运动功能恢复
ⅵ
期推荐训练动作：
①
患侧上肢肘关节屈曲，指尖搭在肩上。用最快的速度上举并伸展患侧上肢，而后还原初始动作，反复进行10次；
②
患侧手放在同侧大腿上。用最快的速度触摸下巴，然后放回到大腿上，反复进行10次；
③
患侧上肢模拟打羽毛球、套圈等动作。
14.进一步，所述步骤4）通过动作算法将训练动作分解，具体过程如下：基于kinect可捕捉到的人体关节点，利用身体各部位关节点间x、y、z的坐标参照关系，设计出可以分解复杂训练动作的动作算法。将kinect捕捉到的患者动作过程中相关关节点的三维坐标带入算法，判断患者完成了多少分解动作，进而确定该项训练动作执行的充分程度。
15.进一步，所述步骤5）利用kinect构造虚拟人体，具体为利用kinect从深度图像中识别出人体骨骼后，进一步构造丰满的肢体。构造过程类似人体素描，先勾勒出人体骨骼，再画出肌肉。在技术算法层面上，先抓取特征点周边表面的角度和朝向，进而判断该点可能存在于空间的位置。同时根据朝向判断，在特征点周围形成一个虚拟距离场。再利用平滑算
法，判断漏洞附近的表面朝向，进而实现自动修补，粗糙变平滑、缺陷自动补齐，呈现出生动真实的虚拟人体图像。
16.进一步，所述步骤5）将患者动作的执行情况通过屏幕图像进行实时反馈，具体指将患者的动作完成情况以虚拟人体图像的形式即时反馈在屏幕上，并与屏幕中的标准指导动作形成对比，清楚地反映出患者训练动作完成的不充分之处。
17.进一步，所述步骤5）对动作完成的不充分之处给予提示，具体基于动作算法对于每项训练动作的分解动作完成情况的判断。依据每项训练动作判定时的计算分析流程，对未达标准的分解动作给予图像、文字、语音提示，并给予患者执行、调整的时间。若患者在规定时间内达成分解动作的要求，则依据判定流程对该项训练动作的下一个分解动作的完成情况进行判断，重复上述的提示流程。若患者在规定时间内仍未达成分解动作的要求，则储存、记录该项训练动作的完成度，并进行下一项训练动作。
18.进一步，所述步骤6）对康复训练过程中各项动作的完成程度进行统计分析，基于动作算法按照预定流程对每项训练动作的分解动作完成情况的判定。对于单项训练动作，即使不能充分地完成，依据其中达成分解动作数量的不同，可反映出患者该项训练动作完成度的差异，进而得到不同的评分。统计各项训练动作的完成程度，最终可量化整体训练的成绩。
19.与现有技术相比，本发明的有益效果在于：microsoft kinect 2.0和计算机、监视器组合而成的上肢康复训练系统价格低廉，因此可以广泛应用于经济发展相对落后地区的基层医疗康复机构，为本上肢康复训练系统的普及提供了可能。
20.在医疗领域对脑卒中患者进行上肢运动功能训练，需要康复医生和治疗师等专业人员结合患者的功能恢复阶段进行针对性的康复训练。基于microsoft kinect 2.0的脑卒中患者上肢运动功能训练系统，可供非专业人士在康复医生及治疗师缺席的情况下，根据系统指示对脑卒中患者进行各恢复阶段的康复训练。因此在康复专业人员不足的地区有很高的利用价值。
21.基于microsoft kinect 2.0的脑卒中患者上肢运动功能训练方法的实施过程中，无需患者佩戴任何传感器或借助机械臂，这降低了使用难度，也减少了患者穿戴设备的安全隐患。由于没有外在设备对身体感觉刺激的输入，患者训练过程中更容易获得身在其中的真实感受，注意力更加集中。此外，患者不需要额外的操作学习，仅需在屏幕中文字、图像及声音的指导下完成训练动作，就可以实现与计算机的交互，具有简单易行、体验性好的特点。这有利于激励患者的参与动机，提高患者的依从性。
22.基于microsoft kinect 2.0的脑卒中患者上肢运动功能训练方法的实施过程中，患者将得到多种形式的反馈，包括：基于患者训练动作的实时虚拟人体图像的呈现，以及基于动作算法判断的患者训练动作不充分之处的图像、文字、语音提示。这些视觉和听觉反馈可以帮助患者意识到自身训练动作执行的错误或不充分之处，并有意识的主动纠正或调整。
附图说明
23.图1是基于kinect的脑卒中患者上肢运动功能训练方法的流程图。
具体实施方式
24.下面结合附图对本发明作进一步详细说明。
25.如图1所示，一种基于microsoft kinect 2.0的脑卒中患者上肢运动功能训练方法，包括以下步骤：1）初始定义：建立人体空间坐标系，调用训练动作相关的关节点参数定义，并初始化各参数值、设置基本姿势的条件算法；2）动作执行：偏瘫患者在屏幕中文字、图像及声音的指导下执行训练动作；3）数据采集：利用安装在治疗室的kinect摄像头获取患者人体关节点的三维坐标信息；4）数据分析：通过动作算法将训练动作分解，对获取到的关节点坐标按流程进行计算分析，判断患者训练动作执行的充分程度；5）实时反馈：利用kinect构造虚拟人体，将患者训练动作的执行情况通过屏幕图像进行实时反馈，并对动作完成的不充分之处给予提示；6）结果评价：对康复训练过程中各项动作的完成程度进行统计分析，量化整体的训练成绩。
26.所述步骤1）建立人体空间坐标系：假设head、neck、spine shoulder、spine mid、spine base在一条直线上。以spine base骨骼坐标点为（0，0），左右方向为（x），上下方向为（y），前后方向为（z）。向右、向上和向前为正值，向左、向下和向后为负值。
27.所述步骤1）评定动作相关的关节点参数定义，直接调用microsoft kinect 2.0系统自带的参数定义。
28.所述步骤1）初始化各参数，具体为受试者在椅子上端正坐好，下肢髋、膝、踝关节屈曲90
°
，双上肢于身侧自然下垂的体位姿势下，确定受试者上肢手臂长度、躯干长度值：左手臂长度：l_amlt = j_srlt_y
ꢀ‑ꢀ
j_hdlt_y右手臂长度：l_amrt = j_srrt_y
ꢀ‑ꢀ
j_hdrt_y左手手掌到肘关节长度：l_amlt_1 = j_ewlt_y
ꢀ‑ꢀ
j_hdlt_y右手手掌到肘关节长度：l_amrt_1 = j_ewrt_y
ꢀ‑ꢀ
j_hdrt_y左手肘关节到肩长度：l_amlt_2 = j_srlt_y
ꢀ‑ꢀ
j_ewlt_y右手肘关节到肩长度：l_amrt_2 = j_srrt_y
ꢀ‑ꢀ
j_ewrt_y。
29.进一步，所述步骤1）设置基本姿势的条件算法：设定容差为delt = 5cm。
30.当人体处于端坐位时，各动作满足的条件：左手自然下垂，不弯曲：|j_srlt_x
ꢀ‑ꢀ
j_hdlt_x| <delt & |j_srlt_y
ꢀ‑ꢀ
j_hdlt_y
ꢀ‑ꢀ
l_amlt |<delt右手自然下垂，不弯曲：|j_srrt_x
ꢀ‑ꢀ
j_hdrt_x| <delt &|j_srrt_y
ꢀ‑ꢀ
j_hdrt_y
ꢀ‑ꢀ
l_amrt |<delt。
31.左右手臂伸直的满足条件：|（（s_srlt_x
ꢀ‑ꢀ
s_hdlt_x）2 （s_srlt_y
ꢀ‑ꢀ
s_hdlt_y）2 s_srlt_z
ꢀ‑ꢀ
s_hdlt_z）2）^0.5
ꢀ‑ꢀ
l_amlt| < delt|（（s_srrt_x
ꢀ‑ꢀ
s_hdrt_x）2 （s_srrt_y
ꢀ‑ꢀ
s_hdrt_y）2 s_srrt_z
ꢀ‑ꢀ
s_hdrt_z）2）^0.5
ꢀ‑ꢀ
l_amrt| < delt。
32.所述步骤2）训练动作，基于brunnstrom上肢运动功能评定表中各期的障碍特点设计，具体包括：（1）brunnstrom上肢运动功能恢复
ⅰ‑ⅱ
期推荐训练动作：
①
健手握住患手，双上臂贴在身前。用健手带动患手，使双上肢共同向身体前方伸展；
②
健手握住患手，双上肢肘关节伸直。用健手带动患手，使双上肢共同上举过头顶；（2）brunnstrom上肢运动功能恢复ⅲ期推荐训练动作：
①
健手握住患手，双上臂贴在身前。用健手带动患手，使双上肢共同向身体前方伸展；
②
健手握住患手，双上肢肘关节伸直。用健手带动患手，使双上肢共同上举过头顶；
③
健手握住患手，双上臂贴在身前。用健手带动患手，使双上肢共同向身体前方伸展，而后以双臂间为轴，转动双上肢至健手在上，并轻压患侧上肢，使患侧肩关节外旋，前臂旋后；（3）brunnstrom上肢运动功能恢复ⅳ期推荐训练动作：
①
患侧上肢自然下垂。将患侧上肢向身体前方伸展；
②
患侧上肢自然下垂。将患侧上肢向身体前方伸展，而后尝试患侧前臂旋后至拇指朝上；
③
患侧上肢自然下垂，肘关节伸直。将患侧上肢由身体前方上举至与肩同高；
④
患侧上肢自然下垂，肘关节伸直。将患侧上肢向身体侧方与矢状轴呈30
°
方向水平外展，与肩同高（将患侧上肢抬至与肩同高、与身体矢状轴呈30
°
夹角处）；
⑤
患侧手放至身体前侧。患侧上肢尝试伸向背后，触碰腰部背面；
⑥
患侧上肢模拟打电话、浇花等动作；（4）brunnstrom上肢运动功能恢复
ⅴ
期推荐训练动作：
①
患侧上肢自然下垂，肘关节伸直。将患侧上肢由身体前方上举，尝试举到过头顶；
②
患侧上肢自然下垂。将患侧上肢向身体前方伸展，而后患侧前臂旋后至手心朝上，并保持5秒；
③
患侧上肢自然下垂。将患侧上肢向身体侧方与矢状轴呈45
°
方向水平伸展，并尝试举过头顶；
④
患侧上肢自然下垂。将患侧上肢向身体侧方与矢状轴呈60
°
方向水平伸展，并尝试举过头顶；
⑤
患者上肢模拟用钥匙开门、指路等动作；（5）brunnstrom上肢运动功能恢复
ⅵ
期推荐训练动作：
①
患侧上肢肘关节屈曲，指尖搭在肩上。用最快的速度上举并伸展患侧上肢，而后还原初始动作，反复进行10次；
②
患侧手放在同侧大腿上。用最快的速度触摸下巴，然后放回到大腿上，反复进行10次；
③
患侧上肢模拟打羽毛球、套圈等动作。
33.根据脑卒中患者的上肢运动功能障碍分期，选择合适的训练内容，并在屏幕中文字、图像及声音的指导下执行训练动作。
34.所述步骤3），偏瘫患者在执行训练动作时，利用安装在治疗室的kinect摄像头获取患者人体关节点的三维坐标信息。
35.所述步骤4），利用计算机对获取到的关节点三维坐标数据进行分析处理。通过动作算法将训练动作分解，具体过程如下：基于kinect可捕捉到的人体关节点，利用身体各部位关节点间x、y、z的坐标参照关系，设计出可以分解复杂训练动作的动作算法。将kinect捕捉到的患者动作过程中相关关节点的三维坐标带入算法，判断患者完成了多少分解动作，进而确定该项训练动作执行的充分程度。
36.所述步骤5），利用kinect构造虚拟人体，具体为利用kinect从深度图像中识别出人体骨骼后，进一步构造丰满的肢体。构造过程类似人体素描，先勾勒出人体骨骼，再画出肌肉。在技术算法层面上，先抓取特征点周边表面的角度和朝向，进而判断该点可能存在于空间的位置。同时根据朝向判断，在特征点周围形成一个虚拟距离场。再利用平滑算法，判断漏洞附近的表面朝向，进而实现自动修补，粗糙变平滑、缺陷自动补齐，呈现出生动真实的虚拟人体图像。根据步骤3）中获取的患者执行训练动作时的人体关节点三维坐标信息，将患者的动作完成情况以虚拟人体图像的形式即时反馈在屏幕上，并与屏幕中的标准指导动作形成对比，清楚地反映出患者训练动作完成的不充分之处。
37.所述步骤5），对动作完成的不充分之处给予提示，具体基于步骤4）中动作算法对于每项训练动作的分解动作完成情况的判断。依据每项训练动作判定时的计算分析流程，对未达标准的分解动作给予图像、文字、语音提示，并给予患者执行、调整的时间。若患者在规定时间内达成分解动作的要求，则依据判定流程对该项训练动作的下一个分解动作的完成情况进行判断，重复上述的提示流程。若患者在规定时间内仍未达成分解动作的要求，则储存、记录该项训练动作的完成度，并进行下一项训练动作。
38.通过对患者训练时关节点三维坐标的获取，并进行数据分析及处理，患者可以得到基于自身动作完成情况的人体虚拟图像和不充分动作提示两项反馈，以图像、文字、语音多种形成呈现。患者根据反馈内容可对自身动作不充分之处进行改进。
39.所述步骤6）,对康复训练过程中各项动作的完成程度进行统计分析，基于动作算法按照预定流程对每项训练动作的分解动作完成情况的判定。对于单项训练动作，即使不能充分地完成，依据其中达成分解动作数量的不同，可反映出患者该项训练动作完成度的差异，进而得到不同的评分。统计各项训练动作的完成程度，最终可量化整体训练的成绩。