一种基于AR技术的多场景CPR护理教学实验系统

一种基于ar技术的多场景cpr护理教学实验系统
技术领域
1.本发明属于护理教学领域，涉及一种基于ar技术的多场景cpr护理教学实验系统。


背景技术：

2.美国心脏协会指南表示，心脏骤停患者生命结局的最重要决定因素之一是为医学生提供教育干预措施，医院及医学院校应该定期开展心肺复苏(cardiopulmonary resuscitation,cpr)教学或活动，防止医务人员及医学生心肺复苏相关知识与技能遗忘。世界各大护理院校将心肺复苏作为护理教学的重要内容。以往心肺复苏教学大多采用传统多媒体理论授课及高仿真模拟人技能教学模式，但其对学生的思维决策能力、自信心提高，知识和技能获得与保留等方面的教学效果有限。
3.北京大学公布的一种基于ar技术的心肺复苏自主培训考核系统，申请号为202110539208.0，申请公布号为cn113223389a，但该系统场景单一，并且不包含专业救护所必需的气道开放、人工呼吸等教学内容，不适用于作为护理专业学生的cpr教学及考核工具。中国人民解放军第三〇五医院公布的申请号为202110955787.7，申请公布号为cn113781857a的一种基于3d虚拟现实交互的急救培训考核系统，将救护者的动作采集，生成虚拟动画，同样无法以虚实结合的方式对cpr的人工呼吸和按压部分操作进行培训与考核。南昌彤坤科技有限公司公布的申请号为201910884709.5，申请公布号为cn1107518090a的一种基于虚拟现实技术的心肺复苏培训和考核系统，以虚拟现实技术增强操作沉浸感，但存在操作者无法看到自己的真实操作动作、后期无真实的操作视频记录可追溯等缺点。本发明克服了以往发明的弊端，根据护理专业学生的课程特点，实现cpr教学的信息化、无纸化。通过ar技术实现护理操作的虚实结合，在具有多场景沉浸感的同时实施专业的、标准的操作流程，更有利于护生对cpr技能的掌握。


技术实现要素：

4.本发明针对现有发明的不足，提供了一种实现信息化教学方式的cpr护理教学实验系统，支持学生在不同场景中体验cpr的情境并进行操作、学习、考核，教师通过存档信息一键调取所有学生的成绩和操作数据。可增加各高校护理专业cpr教学的效率并提高护生学习的趣味性。
5.一种基于ar技术的多场景cpr护理教学实验系统，包括传感模拟人、ar眼镜、无线网关和数据处理系统。传感模拟人用于采集护生的操作数据；ar眼镜用于向护生播放急救场景的背景声、教学影像、录制护生的操作时的声音和视频。数据处理系统中设置有相互独立的学生端口和教师端口；护生通过登录学生端口自行查看成绩；教师通过登录教师端口调取所有护生的操作数据；无线网关用于实现ar眼镜与数据处理系统之间、传感模拟人与数据处理系统之间数据的传输。
6.所述的传感模型人包括人型主体，以及安装在人型主体上，用于检测操作数据的压力传感器、气流传感器、角度传感器和位移传感器。气流传感器记录呼气的次数、时长，计
算气体量；角度传感器记录气道开放的角度；压力传感器记录按压的频率；位移传感器记录按压深度和回弹幅度。
7.数据处理系统内置有练习模式、学习模式和考核模式。
8.该基于ar技术的多场景cpr护理教学实验系统在练习模式中的工作过程为：登录至学生端口选择练习模式。传感模型人中的压力传感器、气流传感器、角度传感器、位移传感器在护生对人型主体进行cpr操作过程中自动采集数据，所得数据传送至数据处理系统储存并实时反馈至ar眼镜。ar眼镜播放急救场景的背景声，并显示指导操作的全息影像和传感模型人采集的参数；操作完成后，能够在学生端口查看练习数据和操作录像。
9.该基于ar技术的多场景cpr护理教学实验系统在学习模式下的工作过程为：登录至学生端口选择学习模式。ar眼镜显示操作演示视频；操作演示视频能够重复播放。
10.该基于ar技术的多场景cpr护理教学实验系统在考核模式下的工作过程为：登录至学生端口并选择考核模式。传感模型人中的压力传感器、气流传感器、角度传感器、位移传感器在操作过程中自动采集数据，所得数据通过无线传输的方式传送至数据处理系统储存；数据处理系统根据接收到的数据与标准数据库中数据的对比情况进行打分。ar眼镜不显示指导影像，录制视频和音频并上传至数据处理系统。
11.作为优选，在练习模式、学习模式和考核模式下，登录至教师端口均能够查询学生端口中获得的操作数据、视频和音频。
12.作为优选，在练习模式中，在护生完成每一个关键步骤后，ar眼睛向护生显示该关键步骤对应的题目的影像，学生答题结束后方能进行下一步操作。
13.作为优选，所述的ar眼镜包括麦克风、扬声器、摄像头和镜片。麦克风用于在护生操作过程中采集声音；扬声器用于播放不同急救场景的背景声；摄像头用于录制护生视野中的操作视频；镜片用于向护生显示指导操作的全息影像和教师编制的题目。
14.作为优选，所述无线网关采用wifi、4g、5g、蓝牙技术中的一种或数种进行通信，将传感模型人测得的检测操作参数和ar眼镜录制的护生视野操作视频实时上传至数据处理系统。
15.作为优选，所述的急救场景包括火灾场景、溺水场景、车祸场景和心梗场景。
16.作为优选，所述数据处理系统包括题库模块、cpr学习模块、cpr练习模块、cpr考核模块、多场景模块、影音处理模块、数据记录模块和身份认证模块。所述题库模块包含了cpr教学的理论知识。所述cpr学习模块用于实现学习模式，控制ar眼睛播放cpr规范操作视频。所述cpr练习模块用于实现练习模式，通过指导操作的全息影像辅助操作。所述cpr考核模块用于实现cpr考核模式，记录操作数据、视频和音频并进行评分。所述影音处理模块用于存储和读取操作视频和音频。所述数据记录模块接收来自传感模拟人操作数据，并统计单次或累计学习时长及考核得分。所述身份认证模块用于实现包括账号密码、证件扫描、人脸识别、虹膜识别、指纹识别在内的身份认证方式登录学生端口和教师端口。
17.作为优选，数据处理系统内置的数据库中存储有标准操作数据为：呼气时长大于1秒且不漏气；连续呼气2次；按压频率：100～120次/分；按压深度4～5厘米；按压后胸廓完全回弹；连续按压30次，频率相等；按压与呼吸频率之比为30:2；气道开放，头向后仰90度；胸外按压30次，并进行人工呼吸2次为一个完整循环。
18.本发明的有益效果为：
19.1.本发明通过在cpr学习、练习和考核中引入ar技术，使得护生能够通过全息影像学习cpr操作的细节，并在练习中实时观看操作要点，在练习的每个关键步骤结束后进行答题；还能够自动获取护生操作过程中的视频、音频以及具体操作数据，实现了护生cpr操作的自动评分，大大提高了护生的学习效率，并简化了教师的工作。
20.2.本发明通过设置带有压力传感器、气流传感器、角度传感器、位移传感器的传感模型人，实现了呼气的次数、时长、气道开放的角度、按压的频率、按压深度、回弹幅度等多个操作数据的实时采集，为护生改进操作提供了依据。
附图说明
21.图1为本发明的系统框图
22.图2为本发明中数据处理系统的结构示意图
23.图3为本发明中ar眼镜的结构示意图
24.图4为本发明在练习模式下的工作流程图；
25.图5为本发明在学习模式下的工作流程图；
26.图6为本发明在考核模式下的工作流程图。
具体实施方式
27.如图1所示，一种基于ar技术的多场景cpr护理教学实验系统，用于实现cpr教学的数字化、标准化，具有重复性、趣味性，有利于护生掌握cpr操作技能，其包括传感模拟人、ar眼镜、数据处理系统和无线网关。
28.如图2所示，数据处理系统包括计算机、服务器、运行维护系统和后台支撑系统。数据处理系统设置有两个端口，分别为学生端和教师端。数据处理系统搭载有八大模块，分别为题库模块、cpr学习模块、cpr练习模块、cpr考核模块、多场景模块、影音处理模块、数据记录模块和身份认证模块。
29.题库模块中包含了cpr教学的理论知识考核，由教师参与编制，有利于护生掌握cpr操作的重点难点。
30.cpr学习模块支持学生通过学生端口登录cpr学习模式，学习第三人称视角cpr规范操作视频辅助理解记忆。
31.cpr练习模块支持学生通过学生端口登录cpr练习模式，根据指导全息影像进行一步步操作练习。练习模式下可供四种不同场景选择，包括火灾场景、溺水场景、车祸场景、心梗场景。
32.cpr考核模块支持学生通过学生端口登录cpr考核模式，在不提供指导影像的情况下进行操作考核，计算机通过教师拟定的评分标准与数据库进行比对，评定考生的最后得分。
33.影音处理模块支持对护生操作影像的存储和读取，以及对护生操作过程中语言表述和对话进行识别、存储、调取，实现考核评分的可追溯。
34.数据记录模块接收来自传感模拟人的按压数据、呼气数据、气道开放数据，包括呼气的次数、时长、气体量，气道开放的角度，按压的频率、深度、回弹幅度，并统计单次或累计学习时长及考核得分。
35.身份认证模块支持学生或教师通过账号密码、证件扫描、人脸识别、虹膜识别、指纹识别等身份认证方式登录系统。
36.ar眼镜包括ar透明镜片、麦克风、扬声器和摄像头。麦克风用于护生操作过程中对语言表述和对话的声音进行采集，扬声器可实现不同情境下背景声的播报；高清摄像头用于录制护生视野的操作视频、捕捉动作信息；ar透明镜片用于显示指导护生操作的全息影像和教师编制的题目。在数据处理系统的控制下，ar眼镜提供三种模式，分别为考核模式、练习模式和学习模式。考核模式下，ar眼镜能够向护生展示不同的急救场景，让操作者体验更沉浸的急救场景。ar眼镜能够进行多种场景的切换；急救场景包括火灾场景、溺水场景、车祸场景、心梗场景，由教师参与各场景内不同情境声音与画面的编制，提升操作练习的沉浸感。练习模式下，ar眼镜在每一步重要操作后向护生显示教师编制的题库，以便于护生对知识点进行巩固回顾。
37.传感模型人包括人型主体，以及安装在人型主体的压力传感器、气流传感器、角度传感器和位移传感器。气流传感器记录呼气的次数、时长，计算气体量；角度传感器记录气道开放的角度；压力传感器记录按压的频率；位移传感器记录按压深度、回弹幅度。护生操作过程中，传感模型人上的各个传感器自动采集数据，并将数据通过无线网关实时传送至数据处理系统，再由ar眼镜反馈给护生，数据处理系统根据数据库标准判断考核得分。
38.所述无线网关包括wifi、4g、5g、蓝牙技术中的一种或数种，将按压、呼气和气道开放的数据和所录制的护生视野操作视频实时上传至数据处理系统，可供教师端调取查看，也可实时反馈于练习模式下的ar镜片。
39.数据处理系统内置的数据库中存储有标准操作数据为：(1)呼气时长大于1秒且不漏气；(2)连续呼气2次；(3)按压频率：100～120次/分；(4)按压深度4～5厘米；(5)按压后胸廓完全回弹；(6)连续按压30次，频率相等；(7)按压与呼吸频率之比为30:2；(8)气道开放，头向后仰90度；(9)胸外按压30次，并进行人工呼吸2次为一个完整循环。
40.如图4所示，基于ar技术的多场景cpr护理教学实验系统在练习模式下的工作过程如下：
41.步骤一、护生使用账号密码登录系统，穿戴ar眼镜选择练习模式实施操作练习。
42.步骤二、传感模型人中的压力传感器、气流传感器、角度传感器、位移传感器在操作过程中自动采集数据，所得数据通过无线传输的方式传送至数据处理系统储存并实时反馈至ar眼镜。ar眼镜通过扬声器播报护生选择的练习模式急救场景的背景声；ar眼镜的镜片显示指导操作的全息影像和护生本人的操作数值，当到达正确的标准阈值时出现语音提示声；在每一个关键步骤后，ar眼睛向护生显示该关键步骤对应的题目的影像，学生答题结束后方能进行下一步操作，麦克风和摄像头全程录制护生的操作视频。关键步骤完成的节点通过预先设定发方式确定。
43.步骤三、护生操作完成后通过账号密码登录到数据处理系统的学生端口，自行查看练习数据、操作录像。
44.如图5所示，基于ar技术的多场景cpr护理教学实验系统在学习模式下的工作过程如下：
45.护生使用账号密码登录数据处理系统的学生端口，穿戴ar眼镜选择学习模式，对操作演示视频进行学习；操作演示视频能够重复多次播放；教师登录数据处理系统的学生
端口，查看每位学生的学习视频观看情况。
46.如图6所示，基于ar技术的多场景cpr护理教学实验系统在考核模式下的工作过程如下：
47.护生使用账号密码登录数据处理系统的学生端口，穿戴ar眼镜选择考核模式进行考核。传感模型人的压力传感器、气流传感器、角度传感器、位移传感器在操作过程中自动采集数据，所得数据通过无线传输的方式传送至数据处理系统储存，系统将数据与标准数据库进行比对给予打分。ar眼镜内嵌入的麦克风和摄像头全程录制操作视频，且不再显示指导影像。操作完成后通过账号密码登录数据处理系统学生端口自行查看练习数据、操作录像、考核分数。教师通过账号密码登录数据处理系统的教师端口调取所有学生的数据与录像。