一种基于虚拟现实和人机交互的远程康复系统及训练方法

1.本发明涉及远程康复训练系统技术领域，具体为一种基于虚拟现实和人机交互的远程康复系统。


背景技术：

2.我国庞大的人口基数带来了庞大的康复医疗需求群体，而老年人口由于发病率相对更高，是康复医疗的最主要需求群体；目前我国已逐渐步入老龄化社会，且老龄化速度在不断加快；老年人口数量的增加意味着年龄相关性的疾病患者数量也会增加，由此可见我国康复医疗市场需求规模巨大，对我国康复医疗市场提出了巨大的供给挑战。
3.我国目前的康复行业现状，大多数康复机构只停留在原始的康复疗法上，现有的康复设备陈旧、落后，难以满足患者人群多样化需求，而且这些康复机构也大多只存在于发达的大城市，使得多数非本地患者只能回家休养，针对此种需求，基于虚拟现实和人机交互技术的远程康复系统将能极大改善这种情况，使得康复训练地点更加多元化。
4.然而，针对现有的虚拟现实康复系统，还存在以下问题：1.在训练系统的使用过程中，患者往往需要穿戴感知输入设备，如数据手套、数据衣、数据头盔等，穿戴过程繁琐，不便于患者的康复训练；除此之外，穿戴设备相对昂贵，大大加重了康复训练成本。
5.2.患者在使用康复系统过程中，系统本身对患者的康复动作并不能进行系统地指导，导致康复训练质量不高。
6.3.虚拟现实康复系统是为了患者能够离开医院也能进行康复训练，然而患者在使用虚拟现实康复系统的数据并不能让主治医生快速掌握，使得患者在康复复查时需要浪费大量时间精力进行配合；与此同时，其主治医生也无法根据患者的康复训练情况及时给出康复训练建议和指导意见，会给患者的康复训练带来一定的盲目性。
7.4.患者在使用康复系统过程中，常常会穿戴轻便的防摔安全气囊等防护装置，然而单一的防护装置仅仅能够做到防摔，可一旦因倒地扭伤等情况发生，并不能在第一时间联系上相关医生得到及时救助，导致错过最佳救助时间。
8.综上所述，目前急需发明一种基于虚拟现实和人机交互的远程康复系统。


技术实现要素：

9.针对上述问题，本发明的目的在于提供一种基于虚拟现实和人机交互的远程康复系统，具体技术方案如下：一种基于虚拟现实和人机交互的远程康复系统，其特征在于，包括：信息分析处理中心和远程康复子系统；所述远程康复子系统包括处理器、图像收集模块、人机交互模块、虚拟现实模块、姿势识别评价模块、语音交流模块、摔倒检测模块、第二存储模块、第二电源模块、第一信息传输模块和安全防护装置；所述图像收集模块用于实时收集患者的图像信息并发至处理
器；所述人机交互模块根据患者的图像信息进行平面骨骼点信息提取并发至处理器和第二存储模块；所述第一信息传输模块用于信息分析处理中心和远程康复子系统之间的信息交互，包括：信息分析处理中心端的康复医师根据患者康复训练数据制定康复训练方案并发送至远程康复子系统、患者通过远程康复子系统与信息分析处理中心的问答以及信息分析处理中心对各个远程康复子系统所使用患者的应急救援处理；所述处理器根据接收的康复训练方案以及平面骨骼点信息建立平面骨骼点模型，进一步建立虚拟场景游戏并发送至虚拟现实模块；所述虚拟现实模块用于显示虚拟场景游戏，使患者根据游戏场景进行训练；所述姿势识别评价模块用于通过分析病患者的局部时空特征，识别不同肢体部位的运动轨迹，并与提前存入的标准动作数据库中的数据通过算法进行比对，所得的误差比对将作为智能推荐训练动作、动态调整游戏难度算法的数据依据，再次返回处理器；所述语音交流模块用于患者与信息分析处理中心进行语音交互；所述摔倒检测模块用于根据姿势识别评价模块对患者肢体动作与标准动作的识别对比检测判断病患者是否发生摔倒，并在判断摔倒后将摔倒事件发送至处理器；所述安全防护装置佩戴在患者身上，用于在患者意外摔倒时进行保护，并将摔倒事件发送至处理器；所述第二电源模块用于为远程康复子系统各模块提供电压大小合适且稳定的电源；所述信息分析处理中心设置于医院或康复中心，用于分析处理各个远程康复子系统运行过程中产生的问题。
10.所述远程康复子系统还包括定位模块和第二声光报警模块，所述定位模块用于定位患者的训练位置；所述第二声光报警模块用于患者摔倒时发出声光报警。
11.所述远程康复子系统还包括人脸识别模块，用于识别患者以快速进入康复训练。
12.所述信息分析处理中心包括：信息分析处理器、人工操作模块、第一存储模块、人机交互显示屏、第一电源模块和智能问答模块；所述信息分析处理器用于针对所述远程康复子系统发来的信息进行分析并发出处理指令；所述人工操作模块用于康复医师与患者进行人工沟通；所述人机交互显示屏用于康复医师针对患者训练情况制定康复训练计划以及对患者问题的解答，并将患者训练数据、康复训练计划发送至第一存储模块，同时将患者问题解答发送至智能问答模块进行储存；所述第一电源模块用于为信息分析处理中心各模块提供电压大小合适且稳定的电源；所述智能问答模块用于对各个患者提出的、且智能问答模块数据库中已保存并有答案的问题进行快速回答，以及在患者出现意外摔倒时进行智能安抚和远程救助指导。
13.所述信息分析处理中心还包括：第二信息传输模块和第一声光报警模块，所述第二信息传输模块用于在患者出现意外时向康复医师发送通知信息；所述的第一声光报警模块应用于在患者意外摔倒时发出声光报警。
14.所述安全防护装置包括加速度传感器、气囊模块和报警模块，所述速度传感器在检测到患者身体失衡时，触发气囊模块中的气囊自动弹出，并同时触发报警模块向处理器发出报警信号。
15.所述报警模块与处理器通过蓝牙传输模块连接。
16.所述处理器为计算机，所述计算机上装有键盘、鼠标、显示器和音箱。
17.所述姿势识别评价模块还包括积分模块，用于对患者的各步动作进行积分。
18.一种基于虚拟现实和人机交互的远程康复系统运行方法，其特征在于，包括以下
步骤：（一）患者首先穿戴好安全防护装置，穿戴完毕后进入活动区域；（二）患者通过人脸识别进入远程康复子系统，并通过处理器选择虚拟场景游戏后开始游戏，此时虚拟现实模块显示虚拟场景游戏，患者开始根据游戏场景进行训练；（三）图像收集模块在患者训练过程中实时收集患者肢体动作图像信息，并将图像信息发送至处理器；人机交互模块根据患者的图像信息进行平面骨骼点信息提取并发至处理器和第二存储模块；处理器根据接收的平面骨骼点信息建立平面骨骼点模型，并发送至虚拟现实模块；在这个过程中，姿势识别评价模块通过分析病患者的局部时空特征，识别不同肢体部位的运动轨迹，并与提前存入的标准动作数据库中的数据通过算法进行比对，所得的误差比对将作为智能推荐训练动作、动态调整游戏难度算法的数据依据，再次返回处理器，具体表现为虚拟现实模块中实时出现患者训练当下标准动作轨迹的引导，并对患者完成的每一步合格的动作进行积分，并根据患者的积分情况对游戏动作难度进行实时调整；当游戏结束后，处理器通过第一信息传输模块将训练数据发送至信息分析处理中心，信息分析处理中心端的康复医师根据患者康复训练数据制定康复训练方案并发送至远程康复子系统，患者在下次进行康复训练时，处理器根据接收的康复训练方案建立虚拟场景游戏，往复循环，直至患者彻底康复；（四）在康复训练过程中，当患者对自身动作产生疑惑需要解答时，患者通过唤醒语音交流模块与信息分析处理中心进行咨询，如智能问答模块中数据库中已储存该问题及答案，则采用智能语音回答的方式与患者交流，如智能问答模块中数据库中没有储存患者咨询的问题，则告知患者“该问题已保存，稍后为您解答，请继续参与游戏中下一动作”，随后在康复医师通过人机交互显示屏后第一时间将答案通过第一信息传输模块发送至处理器，并在处理器的显示器上显示以及通过音箱播放；（五）在康复训练过程中，当患者身体失衡作出即将摔倒动作时，满足下列条件之一则第二声光报警模块发出报警：条件一：安全防护装置中的加速度传感器向气囊模块发送信号，气囊模块中的气囊瞬间打开，报警装置向处理器发出报警信号；条件二，摔倒检测模块如在设定时间内检测到患者肢体动作停止且与标准动作相差较大，则判断为患者摔倒，并将摔倒事件发送至处理器；第二声光报警模块发出报警后，处理器通过第一信息传输模块将报警信息发送至信息分析处理中心，第一声光报警模块发出报警，于此同时信息分析处理中心通过第二信息传输模块向康复医师发送通知信息；在康复医师或其他医师未到达信息分析处理中心前，智能问答模块根据数据库中标准流程对患者进行智能安抚和远程救助指导，直至康复医师或者其他医师的到来；康复医师到达后远程开启语音交流模块，通过人工操作模块对患者情况进行询问并给予及时救助。
19.由于本发明采用了上述技术方案，本发明具有以下优点：1.本发明通过信息分析处理中心和远程康复子系统的配合，不仅有效保证了各位远程患者在康复训练过程中的科学高效性，而且保证了患者在摔倒时救助的及时高效性，有效避免了二次伤害。
20.2.本发明的远程康复子系统通过处理器、图像收集模块、人机交互模块、虚拟现实模块的配合，有效解决了康复训练过程中需要穿戴感知输入设备的问题，在提高患者康复
训练便利性的同时大大降低了使用成本。
21.3.本发明的远程康复子系统通过姿势识别评价模块实现了对患者训练过程中标准动作轨迹的引导，并对患者完成的每一步合格的动作进行积分，然后根据患者的积分情况对游戏动作难度进行实时调整，大大增加提高了康复训练的效率和效果。
22.4.本发明的信息分析处理中心设置智能问答模块和人机交互显示屏，有效解决了患者在康复过程中的咨询问题，大大提高了沟通效率；除此之外，康复医师通过人机交互显示屏输入康复训练方案，有效保证了患者的科学康复训练。
23.5.本发明的远程康复子系统通过设置摔倒检测模块及安全防护装置，不仅能够准确判断患者是否摔倒，而且保证了患者摔倒时的防护，并通过摔倒检测模块和安全防护装置二者触发其一即可发出报警的方式大大保证了患者摔倒后的及时救助，有效避免了二次伤害。
24.6.本发明通过在信息分析处理中心设置第一声光报警模块和远程康复子系统设置第二声光报警模块，保证了患者摔倒后报警的及时性；并通过在信息分析处理中心设置智能问答模块、人工操作模块以及在远程康复子系统设置语音交流模块，大大提高了患者摔倒后的救助效率和救助质量。
附图说明
25.图1为本发明系统的整体示意图。
26.图2为本发明的信息分析处理中心结构组成示意图。
27.图3为本发明的集中端结构组成示意图。
28.图4为本发明的姿势识别评价模块的工作流程图。
29.图5为本发明的智能问答模块的工作流程图。
30.图6为本发明在患者身体失衡时的工作流程图。
31.附图标号：1-信息分析处理中心；2-集中端；101-信息分析处理器；102-人工操作模块；103-第一储存模块；104-人机交互显示屏；105-第一电源模块；106-第二信息传输模块；107-第一声光报警模块；108-智能问答模块；201-处理器；202-图像收集模块；203-人机交互模块；204-虚拟现实模块；205-姿势识别评价模块；206-语音交流模块；207-摔倒检测模块；208-摔倒检测模块；209-第二存储模块；210-第二电源模块；211-第一信息传输模块；212-第二电源模块；213-安全防护装置。
具体实施方式
32.下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.实施例：请结合附图1-3所示，一种基于虚拟现实和人机交互的远程康复系统，包括：信息分析处理中心1和远程康复子系统2；远程康复子系统2包括处理器201、图像收集模块202、人机交互模块203、虚拟现实模块204、姿势识别评价模块205、语音交流模块206、摔倒检测
模块207、定位模块208、第二存储模块209、第二电源模块210、第一信息传输模块211、第二声光报警模块212和安全防护装置213；图像收集模块202用于实时收集患者的图像信息并发至处理器201，本实施例中图像收集模块202采用单目摄像头；人机交互模块203根据患者的图像信息进行平面骨骼点信息提取并发至处理器201和第二存储模块209；第一信息传输模块211用于信息分析处理中心1和远程康复子系统2之间的信息交互，包括：信息分析处理中心1端的康复医师根据患者康复训练数据制定康复训练方案并发送至远程康复子系统2、患者通过远程康复子系统2与信息分析处理中心1的问答以及信息分析处理中心1对各个远程康复子系统2所使用患者的应急救援处理；处理器201根据接收的康复训练方案以及平面骨骼点信息建立平面骨骼点模型，进一步建立虚拟场景游戏并发送至虚拟现实模块204；处理器201为计算机，所述计算机上装有键盘、鼠标、显示器和音箱；虚拟现实模块204用于显示虚拟场景游戏，使患者根据游戏场景进行训练；姿势识别评价模块205用于通过分析病患者的局部时空特征，识别不同肢体部位的运动轨迹，并与提前存入的标准动作数据库中的数据通过算法进行比对，所得的误差比对将作为智能推荐训练动作、动态调整游戏难度算法的数据依据，再次返回处理器201；除此之外，姿势识别评价模块205还包括积分模块，用于对患者的各步动作进行积分；当用户进行康复训练时，通过将收集的图像信息与标准训练集数据进行去噪，以及通过dtw算法进行运动流匹配，对应关键帧数，以此达到更好的匹配效果；系统采用在运动识别数据集上具有在当参考图像的梯度场不稳定时，仍能对图像运动信息提取具有鲁棒性的梯度和光流信息作为动作识别局部特征描述算子，提取出局部特征以后，系统采用分类算法更加精确的识别用户特定动作并进行分类；最后，将病患者的动作进行更高层次的比对分析，在关键动作处，将病患者姿势与标准姿势使用非定长稠密轨迹算法进行表征，然后计算分析动作与标准动作之间的切比雪夫距离衡量他们的相似度，最后运用评分模型对病患者的姿势动作进行评分，得到评价数据，用于实现乒乓球游戏的动态难度调整。
34.语音交流模块206用于患者与信息分析处理中心1进行语音交互；摔倒检测模块207用于根据姿势识别评价模块205对患者肢体动作与标准动作的识别对比检测判断病患者是否发生摔倒，并在判断摔倒后将摔倒事件发送至处理器201；定位模块208用于定位患者的训练位置；第二声光报警模块212用于患者摔倒时发出声光报警安全防护装置213佩戴在患者身上，用于在患者意外摔倒时进行保护，并将摔倒事件发送至处理器201；第二电源模块210用于为远程康复子系统2各模块提供电压大小合适且稳定的电源；信息分析处理中心1设置于医院或康复中心，用于分析处理各个远程康复子系统2运行过程中产生的问题，包括：信息分析处理器101、人工操作模块102、第一存储模块103、人机交互显示屏104、第一电源模块105、第二信息传输模块106、第一声光报警模块107和智能问答模块108；
信息分析处理器101用于针对所述远程康复子系统2发来的信息进行分析并发出处理指令；人工操作模块102用于康复医师与患者进行人工沟通；人机交互显示屏104用于康复医师针对患者训练情况制定康复训练计划以及对患者问题的解答，并将患者训练数据、康复训练计划发送至第一存储模块103，同时将患者问题解答发送至智能问答模块108进行储存；第一电源模块105用于为信息分析处理中心1各模块提供电压大小合适且稳定的电源；第二信息传输模块106用于在患者出现意外时向康复医师发送通知信息；第一声光报警模块107应用于在患者意外摔倒时发出声光报警；智能问答模块108用于对各个患者提出的、且智能问答模块108数据库中已保存并有答案的问题进行快速回答，以及在患者出现意外摔倒时进行智能安抚和远程救助指导。
35.作为本实施例的一种具体实施方式，远程康复子系统2还包括人脸识别模块，用于识别患者以快速进入康复训练。
36.作为本实施例的一种具体实施方式，安全防护装置213包括加速度传感器、气囊模块和报警模块，速度传感器在检测到患者身体失衡时，触发气囊模块中的气囊自动弹出，并同时触发报警模块向处理器201发出报警信号。
37.作为本实施例的一种具体实施方式，报警模块与处理器201通过蓝牙传输模块连接。
38.一种基于虚拟现实和人机交互的远程康复系统运行方法，本实施例以远程乒乓球虚拟场景游戏为例，请结合附图4-6所示，包括以下步骤：（一）患者首先穿戴好安全防护装置213，穿戴完毕后进入活动区域；（二）患者通过人脸识别进入远程康复子系统2，并通过处理器201选择乒乓球虚拟场景游戏，此时虚拟现实模块204显示的虚拟场景为乒乓球室，包括乒乓球桌、乒乓球拍、地板、墙壁和一些装饰，患者开始根据游戏场景进行训练；（三）图像收集模块202在患者训练过程中实时收集患者肢体动作图像信息，并将图像信息发送至处理器201；人机交互模块203根据患者打乒乓球的图像信息进行平面骨骼点信息提取并发至处理器201和第二存储模块209；处理器201根据接收的平面骨骼点信息建立平面骨骼点模型，并发送至虚拟现实模块204；在这个过程中，姿势识别评价模块205通过分析病患者的局部时空特征，识别不同肢体部位的运动轨迹，并与提前存入的标准动作数据库中的数据通过算法进行比对，所得的误差比对将作为智能推荐训练动作、动态调整游戏难度算法的数据依据，再次返回处理器201，具体表现为虚拟现实模块204中实时出现患者训练当下标准动作轨迹的引导，并对患者完成的每一步合格的动作进行积分，并根据患者的积分情况对游戏动作难度进行实时调整；当游戏结束后，处理器201通过第一信息传输模块211将训练数据发送至信息分析处理中心1，信息分析处理中心1端的康复医师根据患者康复训练数据制定康复训练方案并发送至远程康复子系统2，患者在下次进行康复训练时，处理器201根据接收的康复训练方案建立虚拟场景游戏，往复循环，直至患者彻底康复；（四）在康复训练过程中，当患者对自身动作产生疑惑需要解答时，患者通过唤醒
语音交流模块206与信息分析处理中心1进行咨询，如智能问答模块108中数据库中已储存该问题及答案，则采用智能语音回答的方式与患者交流，如智能问答模块108中数据库中没有储存患者咨询的问题，则告知患者“该问题已保存，稍后为您解答，请继续参与游戏中下一动作”，随后在康复医师通过人机交互显示屏104后第一时间将答案通过第一信息传输模块211发送至处理器201，并在处理器201的显示器上显示以及通过音箱播放；（五）在康复训练过程中，当患者身体失衡作出即将摔倒动作时，满足下列条件之一则第二声光报警模块212发出报警：条件一：安全防护装置213中的加速度传感器向气囊模块发送信号，气囊模块中的气囊瞬间打开，报警装置向处理器201发出报警信号；条件二，摔倒检测模块207如在设定时间内检测到患者肢体动作停止且与标准动作相差较大，则判断为患者摔倒，并将摔倒事件发送至处理器201；第二声光报警模块212发出报警后，处理器201通过第一信息传输模块211将报警信息发送至信息分析处理中心1，第一声光报警模块107发出报警，于此同时信息分析处理中心1通过第二信息传输模块106向康复医师发送通知信息；在康复医师或其他医师未到达信息分析处理中心1前，智能问答模块108根据数据库中标准流程对患者进行智能安抚和远程救助指导，直至康复医师或者其他医师的到来；康复医师到达后远程开启语音交流模块206，通过人工操作模块102对患者情况进行询问并给予及时救助。