一种基于VR视听觉引导的失语症康复训练系统及训练方法与流程

一种基于vr视听觉引导的失语症康复训练系统及训练方法
技术领域
1.本发明涉及一种基于vr视听觉引导的失语症康复训练系统及训练方法。


背景技术：

2.因脑血管意外或脑外伤等原因，导致我国失语症人群不断增加。人民生活水平的不断提高，使得患者及家属对失语症康复给予了高度的重视和需求。然而在我国，
①
康复治疗师数量远低于临床需求；
②
在临床治疗中，大多采取一对一的传统治疗形式，需消耗大量的人力，尤其在语音引导部分需要治疗师进行大量的对物品、场景的线索提示描述，这个治疗师带来了沉重的工作负担；
③
临床实际工作中，训练素材大多以二维图片和语音形式给予患者刺激，这与schuell刺激疗法所提倡的多途径刺激治疗存在一定的差距，可能导致康复治疗效果受到一定程度的影响，延长失语症康复进程。
3.中国专利cn 107967844公开了“一种汉语失语症心理语言训练方法及训练系统“，该专利提供了一套针对失语症患者的训练流程以及计算正确率的方法。但是该方法仅描述了传统的使用二维图片的形式对患者进行训练的过程，而图片形式的引导并不能替代三维立体虚拟物品对患者的诱发效果。另一方面，单纯的计算机语音引导往往因为真实性不足而影响患者对引导的理解以及参与对话的意愿。因此一种在虚拟现实环境下的vr视听觉引导对于患者更沉浸的投入康复训练至关重要。
4.脑卒中后病人失语的情况很常见，对于不同的损伤程度在系统的评分之后会选择不同的治疗方法，而schuell刺激法是其中应用较广的一种方法。schuell刺激法是应用强的、控制下的听觉刺激，最大程度的促进失语症患者对损害的言语符号系统的再建和恢复。schuell刺激法首先应对患者的职业、教育经历、生活经历、兴趣爱好等方面有较为清楚地认识，再根据其失语程度和类型，反复使用患者容易接受的话题，通过听、视、触、嗅给患者相应的刺激，刺激的标准、方式、强度、教材应循序渐进，不可过度冒进。当患者无法做出正确反应时，应给患者相应的提示，如打手势、复述、读音、说话、写字等，对伴有构音障碍的患者应示范发音的口型、舌位、传授正确的发音技巧。在制定治疗计划时，要选择丰富多彩、生动有趣的内容来提高患者接受刺激训练的兴趣，善于抓紧患者心理，根据其心理变化和当天的精神状态适时调整治疗方案，培养患者主动交流的习惯，挖掘其言语交流的潜能克服自卑抑郁的心理。schuell刺激疗法应用广泛，效果显著，尤其在脑卒中恢复的早期，通过刺激——反应——反馈回路，激活了言语中枢功能低下的神经细胞，增加了神经纤维的数量，加强了脑功能代偿作用，对失语症患者恢复交流能力有着卓越的疗效。
5.因此，亟需一种基于vr视听觉引导的失语症康复训练系统，以及实现schuell刺激疗法的训练方法。


技术实现要素：

6.为解决现有技术存在的缺陷，本发明提供一种基于vr视听觉引导的失语症康复训练系统及训练方法。
7.为了解决上述技术问题，本发明提供了如下的技术方案：本发明提供一种基于vr视听觉引导的失语症康复训练系统，包括传感交互设备、vr设备、外部显示设备和控制平台，所述传感交互设备用于采集患者的语音和动作信息并传送给vr设备，所述vr设备用于根据控制平台发布的训练任务引导患者完成训练任务、以及根据患者的语音和动作信息给予反馈，所述外部显示设备用于显示患者的训练情况，所述控制平台用于控制vr设备和外部显示设备。
8.作为本发明的一种优选技术方案，所述vr设备包括任务内容模块、提示线索模块、正反馈模块，所述任务内容模块用于根据控制平台的信息触发任务，所述提示线索模块用于当患者对任务内容无反应或错误反应时给出提示线索，所述正反馈模块用于当患者对任务内容正确反应时给出正反馈。
9.作为本发明的一种优选技术方案，所述vr设备还包括预处理模块，所述预处理模块用于提供动作演示，所述控制平台根据预处理模块运行时传感交互设备采集到的患者的语音和动作信息生成任务偏好用于由医生直接触发任务内容或根据任务偏好触发任务内容。
10.作为本发明的一种优选技术方案，还包括患者信息采集模块，所述患者信息采集模块用于采集患者个人身份信息和患者病情信息并传送给控制平台，所述控制平台用于根据患者个人身份信息建立账户、以及根据患者病情信息给出相应的任务等级。
11.作为本发明的一种优选技术方案，本发明提供一种基于vr视听觉引导的失语症康复训练系统的训练方法，包括以下步骤中的至少一个：s1、训练命名能力：vr设备展示目标物的类别、使用场景或地点信息并提供3d镜头语音描述，以激发命名反应，若提示后命名正确，则vr给予正反馈；若无反应或错误反应，则进入命名提示步骤；s2、训练听理解能力： vr设备根据听理解任务展示虚拟场景，虚拟人物语音引导患者指出或挑选出目标物、或做出目标动作，若回答正确，则给予正反馈；若无反应或回答错误，则进入听理解提示步骤；其中，听理解提示步骤为vr设备通过语音引导完成任务，若正确，则给予正反馈；若错误，则给出语音提示；s3、训练文字理解能力：将听理解模式的语音刺激转变为文字刺激，语音引导任务完成在vr虚拟场景指出或挑选出目标物、或做出目标动作的文字理解任务；. 正确则给予正反馈；错误则语音提示患者“再想想”；s4、多人互动训练：vr设备展示虚拟场景，多人自主选择角色或自动分配角色，多人共同完成任务。
12.作为本发明的一种优选技术方案，所述步骤s1中命名提示步骤具体包括以下内容：s11、vr设备呈现目标物名称的偏旁部首提示或文字提示，激发命名反应，若提示后命名正确，vr给予正反馈；若无反应或错误反应，则进入下一提示步骤；s12、vr虚拟人物给予目标相关的语句完型提示，激发命名反应，若提示后命名正确，vr给予正反馈；若无反应或错误反应，则进入下一步骤；s13、vr虚拟人物给予目标首字发音口型提示、首字或首音提示，引导命名反应，若口型提示后命名正确，vr给予正反馈；若口型提示无反应或错误反应，给首字或起始音提
示，命名正确给予正反馈；若无反应或错误反应，则进入下一步骤；s14、vr虚拟人物直接给予目标正确命名，并语音提示患者重复2
‑
3次；然后切换到下一训练目标。
13.本发明相较于现有技术，具有以下有益效果：第一，患者在vr环境中通过系统中虚拟人物形象配合语音、文字引导的形式替代了传统失语症康复训练时需要治疗师人工进行语音引导的部分，极大的减轻了治疗师的工作负担，从而提升了康复效率。
14.第二，患者佩戴虚拟设备，必要时佩戴手套或手柄等传感设备进行康复训练，所提供的训练素材形式丰富，如3d、文字、虚拟人物形象、语音等，将传统的局限于二维图片刺激的训练内容进行了极大的拓展，从而实现了多途径、多通道的刺激，进一步促进训练效果。
15.第三，训练内容设置紧贴schuell刺激疗法，并纳入cueing hierarchy for anomia（命名线索提示层级）命名提示层级、sfa（语义特征分析法），一方面使训练过程更加系统、规范和专业，另一方面将传统的schuell刺激训练方法进行了自动化的改造进而提升训练效率。
16.第四，训练素材同时包含听理解、表达和文字理解训练，可全面实现三种语言能力的提高和交互促进，增强语言的多方面、全方位进步。
附图说明
17.图1是本发明一种基于vr视听觉引导的失语症康复训练系统的结构框图。
18.图2是本发明中vr设备的结构框图。
19.图3是本发明中命名任务流程图。
20.图4是本发明中听理解训练任务流程图。
21.图5是本发明中生活虚拟场景训练流程图。
22.图6是本发明中多人互动训练虚拟场景流程图。
具体实施方式
23.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
24.实施例1为了达到本发明的目的，如图1至图2，本实施例提供一种基于vr视听觉引导的失语症康复训练系统，包括传感交互设备、vr设备、外部显示设备和控制平台，所述传感交互设备用于采集患者的语音和动作信息并传送给vr设备，所述vr设备用于根据控制平台发布的训练任务引导患者完成训练任务、以及根据患者的语音和动作信息给予反馈，所述外部显示设备用于显示患者的训练情况，所述控制平台用于控制vr设备和外部显示设备。
25.具体的，所述vr设备包括任务内容模块、提示线索模块、正反馈模块，所述任务内容模块用于根据控制平台的信息触发任务，所述提示线索模块用于当患者对任务内容无反应或错误反应时给出提示线索，所述正反馈模块用于当患者对任务内容正确反应时给出正反馈。
26.实施例2
为了进一步地优化本发明的实施效果，其余与实施例1相同，不同之处在于，本实施例中vr设备还包括预处理模块，所述预处理模块用于提供动作演示，所述控制平台根据预处理模块运行时传感交互设备采集到的患者的语音和动作信息生成任务偏好用于由医生直接触发任务内容或根据任务偏好触发任务内容。
27.实施例3为了进一步地优化本发明的实施效果，其余与实施例1相同，不同之处在于，本实施例还包括患者信息采集模块，所述患者信息采集模块用于采集患者个人身份信息和患者病情信息并传送给控制平台，所述控制平台用于根据患者个人身份信息建立账户、以及根据患者病情信息给出相应的任务等级。
28.实施例4本发明提供一种基于vr视听觉引导的失语症康复训练系统的训练方法，包括以下步骤：s1、训练命名能力：vr设备展示目标物的类别、使用场景或地点信息并提供3d镜头语音描述，以激发命名反应，若提示后命名正确，则vr给予正反馈；若无反应或错误反应，则进入命名提示步骤；s2、训练听理解能力： vr设备根据听理解任务展示虚拟场景，虚拟人物语音引导患者指出或挑选出目标物、或做出目标动作，若回答正确，则给予正反馈；若无反应或回答错误，则进入听理解提示步骤；其中，听理解提示步骤为vr设备通过语音引导完成任务，若正确，则给予正反馈；若错误，则给出语音提示；s3、训练文字理解能力：将听理解模式的语音刺激转变为文字刺激，语音引导任务完成在vr虚拟场景指出或挑选出目标物、或做出目标动作的文字理解任务；. 正确则给予正反馈；错误则语音提示患者“再想想”；s4、多人互动训练：vr设备展示虚拟场景，多人自主选择角色或自动分配角色，多人共同完成任务。
29.其中，命名提示步骤具体包括以下内容：s11、vr设备呈现目标物名称的偏旁部首提示或文字提示，激发命名反应，若提示后命名正确，vr给予正反馈；若无反应或错误反应，则进入下一提示步骤；s12、vr虚拟人物给予目标相关的语句完型提示，激发命名反应，若提示后命名正确，vr给予正反馈；若无反应或错误反应，则进入下一步骤；s13、vr虚拟人物给予目标首字发音口型提示、首字或首音提示，引导命名反应，若口型提示后命名正确，vr给予正反馈；若口型提示无反应或错误反应，给首字或起始音提示，命名正确给予正反馈；若无反应或错误反应，则进入下一步骤；s14、vr虚拟人物直接给予目标正确命名，并语音提示患者重复2
‑
3次；然后切换到下一训练目标。
30.实施例5 vr设备展示目标物的类别、使用场景或地点信息并提供3d镜头语音描述，以激发命名反应。此步骤结合了以扩散激活模型为理论基础的sfa语义特征分析法促进命名反应。
31.如图3所示命名训练流程图，设置不同范畴训练任务，收集一定数量高频词，如名词（水果、动物、蔬菜、厨具、家具、交通工具、服饰、场所、职业等）、动词等。命名训练提示步
骤设置为可自由选择，训练开始前，由治疗师为患者勾选针对性训练提示层级，以灵活适用于多种命名障碍患者。训练结束vr设备反馈本次训练结果和正确率，给予鼓励提高训练信心和积极性。系统设置训练结果记录表，以便治疗师查看，及时调整训练方案和难易程度。
32.3d展示水果摊（它是一种水果）、展示苹果树（长在树上）、吃苹果动作（可以吃的）；若提示后命名正确，vr给予正反馈，如答对啦，你真棒！（可显示竖大拇指或对勾）；若无反应或错误反应，系统进入下一提示步骤。呈现目标物名称的偏旁部首提示或文字提示，激发命名；此步骤提供文字形式刺激，增强词汇语义通路激活，提高命名反应。呈现米字格文字：苹；无反应增加提示：苹果；若提示后命名正确，vr给予正反馈，如答对啦，你真棒！（可显示竖大拇指或对勾）；若无反应或错误反应，系统进入下一提示阶段。虚拟人物给予目标相关的语句完型提示（即语音暗示），激发命名反应。虚拟人物提示：它是闻起来很香，吃起来很甜的一颗；若提示后命名正确，vr给予正反馈，如答对啦，你真棒！（可显示竖大拇指或对勾）；若无反应或错误反应，系统进入下一步骤。虚拟人物给予目标首字发音口型提示、首字或首音提示，引导命名反应。虚拟人物显示“苹“的发音口型；若口型提示后命名正确，vr给予正反馈，如答对啦，你真棒！（可显示竖大拇指或对勾）；若口型提示无反应或错误反应，给首字（或起始音）提示，命名正确给予正反馈；虚拟人物发出ping 的首字发音；若无反应或错误反应，系统进入下一步骤。虚拟人物直接给予目标正确命名，并语音提示患者重复2
‑
3次；切换到下一训练目标。
33.实施例7如图4所示听理解训练任务流程图，设置不同范畴听理解任务（名词词汇听理解、动词听理解、语句指令听理解）。听理解背景为vr虚拟家庭居住环境（如厨房、卫生间、卧室、客厅、餐厅）。
34.训练厨房物品词汇听理解：虚拟场景为厨房间，展示3种厨房物品包含目标物（如：碗、筷子、菜刀），佩戴设备手套或手柄；虚拟人物语音引导患者指出或挑选出目标物（如：请指出或挑选出“碗”）；若回答正确，给予正反馈，如答对了，你真棒！若无反应或回答错误，给予提示（如：圆的，用来盛饭和吃饭用的）并激发反应。若回答正确，给予正反馈,进入下一题；若错误，强调正确答案（可单独展示正确目标）后，进入下一题；训练结束，vr语音及文字展示正确率，鼓励患者继续加油！训练动词听理解： vr设备同时展示三种动作选项（如：切菜、洗脸、刷牙），佩戴设备手套或手柄； vr虚拟人物语音引导患者指出目标动作（如：请指出“刷牙“）；若回答正确，给予正反馈，如答对了，你真棒！若无反应或回答错误，给予提示（如：早上起床清洁牙齿）并激发反应；若回答正确，给予正反馈,进入下一题；若错误，强调正确答案（可单独展示正确目标）后，进入下一题；训练结束，vr语音及文字展示正确率，鼓励患者继续加油！训练语句听理解：vr设备同时展示三种物品选项（如：外套、衣柜、洗衣机），佩戴设备手套或手柄；虚拟人物语音引导患者做出目标语句动作（如：请将外套放入衣柜）；若回答正确，给予正反馈，如答对了，你真棒！若无反应或回答错误，给予提示（如：将干净衣服整理放好）并激发反应；若回答正确，给予正反馈,进入下一题；若错误，强调正确答案（可单独展示正确目标）后，进入下一题；训练结束，vr语音及文字展示正确率，鼓励患者继续加油！训练文字理解能力：设置不同范畴文字理解任务（名词词汇理解、动词词汇理解、语句理解）；将听理解模式的语音刺激转变为文字刺激，vr语音引导任务完成,如设置购物
清单或备忘清单，在vr虚拟场景完成购买目标物或挑选目标物的文字理解任务；正确可给予正反馈；错误需语音提示患者“再想想”。
35.实施例8如图5所示生活虚拟场景训练流程图，构建一个 3d 超市购物的虚拟场景，模拟日常生活中的真实超市。该技术让患者佩戴vr眼镜，同时在需要手上佩戴传感器（手套）。在虚拟现实设备中显示需要患者训练的任务。传感器接收患者手上实际运动的信号，虚拟现实提供的不同生活场景给患者营造很强的沉浸感的环境，进行沉浸式任务训练。传感器形成实时的运动反馈，帮助患者有效完成训练场景中设定的目标任务。
36.虚拟场景中的言语训练任务将包含一系列不同难度等级的对话任务，适用于不同言语障碍程度患者的需要, 这些任务的设置由易到难，计算机将从视、听、触多个感觉通道为用户提供多途径的刺激。
37.治疗师在虚拟场景中可以扮演以为虚拟角色，例如超时收营员、导购员。虚拟角色为逼真的3d人物，当治疗师进行语音引导和对话时虚拟角色会同时进行唇形的模仿来增强角色代入感。
38.以超市这个生活场景为例，进入虚拟超市的界面， 超市含有蔬菜、水果、肉类、日用品、厨房用品几类分区， 每一类都有醒目的文字提示。当患者处于该场景中时，虚拟导购员说“请问有什么可以帮到你的吗”， 并同时显示相应的文字任务，如今天晚上招待客人，要准备4道菜，西红柿炒鸡蛋，土豆丝，辣椒炒肉，水果蔬菜沙拉，请购买相应的食材。当患者在错误的分区留时间超过 8s时，系统反馈提示音“不对， 再想想”，同时界面显示红色图形叉提示错误； 当患者到达正确的分区前停留时间超过 8 s，时系统反馈“对啦，真棒
”ꢀ
， 同时显示绿色图形对勾提示正确。
39.患者可以对治疗师扮演的虚拟导购员进行提问，提问的对话素材有：1）位置/路线询问：a.请问蔬菜区/水果区/肉类区/生活用品区在哪个位置虚拟导购员语音回答同时治疗师操控虚拟界面转到相应的位置；b.称重区在什么位置虚拟导购员语音回答同时治疗师操控虚拟界面转到相应的位置；c.收银台在什么位置虚拟导购员语音回答同时治疗师操控虚拟界面转到相应的位置。
40.2）具体内容询问：a.水果蔬菜沙拉需要哪些食材虚拟导购员语音回答并同时显示相应的文字；b. 今天哪种鸡蛋的价格有优惠虚拟导购员语音回答。
41.3）提出需求：a. 你好！我需要一个大的购物袋/需要一个推车；b. 你好！我的手机没电了，请问哪里可以借到充电宝c. 你好！请问哪里有洗手间难度等级增加，可以设定一些特定的任务。例如，电话任务：购物时患者接听到一
个朋友打来的电话，要求帮朋友买需要的东西。比如电话内容为朋友的钟表停了，需要3节5号电池；还需要两支红颜色的圆珠笔和1个笔记本。电话结束后患者开始购买东西，患者可以提问的对话素材跟上面的类似。同时也锻炼患者的认知理解能力和记忆能力。训练结束时系统会记录患者完成任务的次数、消耗时间、任务的难度。从而治疗师可以根据每次的训练成绩调整下一次的任务难度。
42.本实施例使用虚拟现实显示设备使患者沉浸在逼真的环境里，更真实的模拟日常对话沟通交流，从而更快的适应融入实际的沟通交流；对比传统治疗方法，这种vr设计训练更好的提高失语症患者的言语认知理解能力和表达能力,从而避免社交尴尬；任务导向式以及游戏化的训练形式可以缓解训练的枯燥感，增加患者主动参与的意愿、提高患者依从性。带上vr眼镜可以去到不同的生活场景，如家庭环境，超市，餐厅，医院，银行等等，让患者更多的参与日常生活，这样的设计应用于成人失语症患者，对脑卒中后抑郁，脑外伤后情绪情感的治疗也会有帮助，从而增强他们的自尊心和自信心，减轻心理上的压力。
43.实施例9如图6所示多人互动训练虚拟场景流程图，构建一个 3d 虚拟场景，模拟日常生活中的真实超市。该技术让患者佩戴vr眼镜，同时在需要手上佩戴传感器（手套）。在虚拟现实设备中显示需要患者训练的任务。传感器接收患者手上实际运动的信号。虚拟现实提供的不同生活场景给患者营造很强的沉浸感的环境，进行沉浸式任务训练。传感器形成实时的运动反馈，帮助患者有效完成训练场景中设定的目标任务。
44.在vr多人小组训练的失语症康复系统的训练中，根据患者水平，治疗师需进行活动前的患者匹配和话题准备工作。患者可根据自身意愿选择话题或根据等级难度提示（难度等级五星等级）进行选择，任务适配中治疗师与患者双向选择为最优选择。
45.一：主题话题任务：以花店场景下“鲜花”主题为例，小组成员与治疗师或其他辅助人员（医生、家属、朋友）进入虚拟花店，花店中包含了不同种类的鲜花及相关陈设。小组成员进入场景后可先参观花店。再由治疗师引导患者开展主题。参考流程如下：1.欢迎小组成员参加本次主题
‑“
花店聚会”。
46.2.进行简单自我介绍。
47.3.确定角色：客人（活动参与者）、店主（主持人），可以小组成员自己推选也可以是治疗师。4.主题相关问题
‑
你喜欢什么花5.分享自己和主题
‑“
鲜花”有关的经历。
48.6. 场景、陈设相关讨论
‑
这家花店怎么样，你想在这里买那些花。
49.7.结束。
50.8.系统
‑
自我评价反馈。小组成员4
‑
6人，训练时长1
‑
1.5小时。
51.二：主题任务小组训练中，户外烧烤主题为例。
52.1.治疗师同小组成员在虚拟“会议室”中汇合。并进行任务通知。文字海报、音频提示如下：小组人员设置为四人。小组人员每人配置一部虚拟手机。烧烤活动经费设置为500元，花销包含交通费用、食材、炊具等。虚拟活动时间3小时。不超过经费情况下，3小时内完成烧烤20串牛肉串、8串鸡翅、8串考蔬菜卷（每串包含三种蔬菜）算顺利通关。2.“会议室”行程讨论。治疗师辅助下讨论：明确烧烤地点
‑
四个地点选项（包含交通、收费信息等）；明确超市信息
‑
两个超市位置交通信息；明确出行的交通方式
‑
路线；明确购物清单；认领每个人的
任务（明确团队共同执行任务、个人单独执行任务、角色职责分工：例如明确财务如何分配及保管）。3.交通出行：会议室到超市（每种出行方式对应虚拟用时和费用）；地铁站；公交站：同司机进行沟通（设置司机对答）；出租车：同司机进行沟通；共享单车。4.超市购物
‑
寻找食材：（结合场景训练中超市购物主题）根据购买清单进行任务执行；分别于蔬菜区、肉类、零食、饮料、餐具、燃料、调料、半成品速冻串等，进行食材及工具选择。5.超市购物
‑
超市结算：（结合场景训练）小组人员汇合、电话沟通、场景切换、工作人员咨询。6.从超市到烧烤地点：（每种出行方式对应虚拟用时和费用）地铁站；公交站：同司机进行沟通；出租车：同司机进行沟通（堵车）；共享单车。7.准备烧烤；分配任务
‑
工具、食材调料/半成品（不同食材烧烤时间不同，控制火候）。8.完成任务/任务失败。9.系统
‑
自我评价反馈。
53.本实施例通过虚拟的场景、道具降低传统多人训练需要准备实物环境和道具的门槛、降低治疗师工作量和准备成本。使用虚拟现实显示设备，患者可沉浸在逼真的环境里。患者通过多人小组互动模式来模拟真实场景及人物关系，降低沟通压力减轻社交尴尬。从而更好的过渡到实际的沟通交流中，并重建或改善社会家庭关系。设备电脑端口登录模式，有利于远程康复及家庭康复。多人任务导向式训练，提升康复体验，提高训练趣味性、增加患者依从性。可以提高家属参与性。
54.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。