一种基于混合现实的院前急救辅助系统

1.本发明涉及医疗辅助技术领域，特别涉及一种基于混合现实的院前急救辅助系统。


背景技术：

2.院前急救是指在院外对急危重症病人的急救，广义的院前急救是指在患者发病时由医护人员或目击者在现场进行的紧急抢救，而狭义的院前急救是指具有通讯器材、运输工具和医疗基本要素所构成的专业急救机构，在病人到达医院前所实施的现场抢救和途中监护的医疗活动。
3.院前急救存在随机性大、流动性强、急救环境条件差、病种多样且复杂等问题。院前急救有时在野外、路边、变形车内及运送途中，光线、噪音、震动会给听诊、测量生理体征等操作带来困难。因病种多样且复杂，呼救病人的疾病涉及临床各科，在短时间内需进行初步诊断和紧急处理，所以要求救护人员必须掌握各种常见的急危病证的症状、急救和护理。
4.近年来，随着计算机视觉、数字仿真和混合现实技术的发展及设备的小型化，混合现实技术（mixed reality, mr）在医学培训和医学可视化取得了很大的进展。此外，计算机辅助及诊断技术（computer-aided detection/diagnosis, cad）作为医学影像学和相关领域的热门研究，为医生提供了有效的辅助诊断及决策支持。现有技术中，基于混合现实技术和计算机辅助诊断相结合的应用研究较少。


技术实现要素：

5.为了解决上述背景技术中提出的问题，本发明提供一种基于混合现实的院前急救辅助系统。
6.本发明提供的一种基于混合现实的院前急救辅助系统，采用如下的技术方案：一种基于混合现实的院前急救辅助系统，包括混合现实显示设备、病人信息感知模块、生理体征监测模块、辅助诊断模块和远程会诊模块；所述混合现实显示设备为mr头戴显示设备，佩戴于院前急救医护人员的头部，所述mr头戴显示设备包括摄像机、显示窗口、深度传感器和深度相机；所述病人信息感知模块用于身份信息识别和病情信息录入，所述身份信息识别通过mr头戴显示设备的深度相机对病人进行人脸识别，获取病人人脸信息，并将所述人脸信息传输至医院系统，所述医院系统确定院前急救病人的身份信息和历史电子病历信息，并将所述身份信息和所述历史电子病历信息发送至mr头戴显示设备以显示，所述病情信息录入由院前急救医护人员将病人生理参数通过语音录入病人电子病历中；所述生理体征监测模块通过蓝牙连接救护车监护仪，用于获取院前急救病人的生理参数，所述生理体征监测模块将所述生理参数发送至mr头戴显示设备以显示，所述生理体征监测模块预设有阈值，监测病人生理参数；所述辅助诊断模块采用决策级的多模态融合算法，基于病人病情文本信息、生理
体征数据信息和病人面部图像信息，对病人常见急危重症病症进行预测，所述辅助诊断模块根据预测的病症信息进行急救流程实时提示，所述急救流程在所述mr头戴显示设备的显示窗口上显示，并跟随院前急救救护人员位置及视角移动；所述远程会诊模块将院前急救医护人员的mr头戴显示设备的摄像机的音视频内容以直播流形式推送至医院内专家，对急救现场同步进行远程指导，同时生成抢救记录。
7.通过采用上述技术方案，可以彻底解放医护人员双手，使得医护人员可以进行更多的护理及救护操作；对急救病人的生理体征参数在混合现实显示设备中作实时监测与控制，使得医护人员对病人生命信息及状态有实时直接的获悉；同时，急救辅助诊断算法针对院前急救病种多样且复杂的问题，能够对病人病症进行初步诊断，对医护人员进行病症急救流程提示，使得急救过程更高效且规范，使病人在到达医院时具备更好的治疗条件；基于混合现实的远程会诊，实现上车即入院的急救方式，使得诊断治疗前移，提高院前急救患者抢救率。
8.优选的，所述深度传感器和深度相机用于语音手势交互、3d成像和3d人脸识别，所述显示窗口用于显示院前急救人员的身份信息、历史电子病历信息、急救流程和生理参数，并跟随院前急救救护人员位置及视角移动。
9.优选的，所述医院系统包括医院私有云、医院云服务器、医疗机构统一信息平台和中控平台，所述医院私有云、医院云服务器、医疗机构统一信息平台和中控平台之间通信连接，所述医院私有云与mr头戴显示设备通信连接，所述mr头戴显示设备的深度相机对病人进行人脸识别，获取病人人脸信息后，将所述人脸信息传输至医院私有云，经由医院云服务器进行人脸识别获得病人身份信息，在医疗机构统一信息平台中检索获取病人历史电子病历信息，并将所述病人身份信息及历史电子病历信息通过医院云服务器和医院私有云返回至院前急救医护人员mr头戴显示设备中，所述历史电子病历信息在显示窗口显示，医院云服务器生成入院信息传送至中控平台。
10.优选的，所述生理体征监测模块将病人生理参数实时显示在所述mr头戴显示设备的显示窗口上，所述显示窗口跟随院前急救医护人员的位置和视角移动，所述生理参数包括心电、呼吸次数、血压、血氧饱和度、脉搏和体温。
11.优选的，所述生理体征监测模块将监测的病人生理参数与预设阈值进行比较，超出预设阈值时，通过所述mr头戴显示设备进行视觉及语音的实时警报。
12.优选的，所述病人面部图像信息由mr头戴显示设备的摄像机获得，所述病情文本信息由院前急救医护人员语音录入的病历信息获得，所述生理体征数据信息由mr头戴显示设备通过蓝牙连接至救护车监护仪实时获取数据信息。
13.优选的，所述多模态融合算法包括三个子网络，分别为处理病情文本信息的lstm网络，处理病人面部图像信息的cnn网络，处理生理体征数据信息的bp神经网络，所述三个子网络输出特征拼接后，经由全连接层，应用softmax预测病症输出，采集住院部病人病情文本信息，监护仪生理体征数字信息，病人面部图像，并进行病症标注，制作辅助诊断数据集，利用辅助诊断数据集对所述多模态病症分类预测网络进行训练，基于辅助诊断数据集对所述多模态融合算法进行训练评估。
14.优选的，所述训练评估为将辅助诊断数据集按7:2:1划分为训练数据、评估数据、测试数据，其中训练数据集用于对多模态融合算法进行训练，评估数据用于在训练过程中
根据模型准确率与模型损失评估模型的训练效果，测试数据集用于对最终模型训练效果进行测试。
15.综上所述，本发明具有如下的有益技术效果：本发明基于混合现实的院前急救辅助系统，一方面可以彻底解放医护人员双手，使得医护人员可以进行更多的护理及救护操作；另一方面，对急救病人的生理体征参数在混合现实显示设备中作实时监测与控制，使得医护人员对病人生命信息及状态有实时直接的获悉；同时，本发明提出的急救辅助诊断算法针对院前急救病种多样且复杂的问题，能够对病人病症进行初步诊断，对医护人员进行病症急救流程提示，使得急救过程更高效且规范，使病人在到达医院时具备更好的治疗条件；此外，本发明提出的基于混合现实的远程会诊，实现上车即入院的急救方式，使得诊断治疗前移，提高院前急救患者抢救率。
附图说明
16.图1是本发明一种基于混合现实的院前急救辅助系统的整体结构框图；图2是本发明基于多模态融合的常见病症辅助诊断算法框图；图3是本发明院前急救病人身份信息识别流程。
具体实施方式
17.以下结合附图对本发明作进一步详细说明。
18.本发明实施例公开一种基于混合现实的院前急救辅助系统。
19.如图1和图3所示，一种基于混合现实的院前急救辅助系统，包括混合现实显示设备、病人信息感知模块、生理体征监测模块、辅助诊断模块和远程会诊模块。
20.所述混合现实显示设备为mr头戴显示设备，佩戴于院前急救医护人员的头部。所述mr头戴显示设备包括摄像机、显示窗口、深度传感器和深度相机。所述深度传感器和深度相机用于语音手势交互、3d成像和3d人脸识别，所述显示窗口设置在所述mr头戴显示设备，并跟随院前急救医护人员位置及视角移动。
21.所述病人信息感知模块用于身份信息识别和病情信息录入，所述身份信息识别通过mr头戴显示设备的深度相机对病人进行人脸识别，获取病人人脸信息，并将所述人脸信息传输至医院私有云，经由医院云服务器进行人脸识别获得病人身份信息，在医院数据库中检索获取病人历史电子病历信息，确定院前急救病人的身份信息和历史电子病历信息，并将所述身份信息和所述历史电子病历信息发送至mr头戴显示设备在显示窗口显示，医院云服务器生成入院信息传送至中控平台。所述病情信息录入由院前急救医护人员将病人生理参数通过语音录入病人电子病历中。
22.所述生理体征监测模块通过蓝牙连接救护车监护仪，所述生理体征监测模块预设有阈值，监测病人生理参数。所述生理体征监测模块将病人生理参数实时显示在所述mr头戴显示设备的显示窗口上，并跟随院前急救医护人员的位置和视角移动，所述生理参数包括心电、呼吸次数、血压、血氧饱和度、脉搏和体温。所述生理体征监测模块将监测的病人生理参数与预设阈值进行比较，超出预设阈值时，通过所述mr头戴显示设备进行视觉及语音的实时警报。
23.所述辅助诊断模块采用决策级的多模态融合算法，基于病人病情文本信息、生理
体征数据信息和病人面部图像信息，所述病人面部图像信息由mr头戴显示设备的摄像机获得，所述病情文本信息由院前急救医护人员语音录入的病历信息获得，所述生理体征数据信息由mr头戴显示设备通过蓝牙连接至救护车监护仪实时获取数据信息。对病人常见急危重症病症进行预测，所述辅助诊断模块根据预测的病症信息进行急救流程实时提示，所述急救流程在所述mr头戴显示设备的显示窗口上显示，并跟随院前急救救护人员位置及视角移动。
24.所述远程会诊模块将院前急救医护人员的mr头戴显示设备的摄像机的音视频内容以直播流形式推送至医院内专家，对急救现场同步进行远程指导，同时进行抢救记录生成。
25.如图2所示，所述多模态融合算法包括三个子网络，分别为处理病情文本信息的lstm网络，处理病人面部图像信息的cnn网络，处理生理体征数据信息的bp神经网络，所述三个子网络输出特征拼接后，经由全连接层，应用softmax预测病症输出，采集住院部病人病情文本信息，监护仪生理体征数字信息，病人面部图像，并进行病症标注，制作辅助诊断数据集，利用辅助诊断数据集对所述多模态病症分类预测网络进行训练，基于辅助诊断数据集对所述多模态融合算法进行训练评估。所述训练评估为将辅助诊断数据集按7:2:1划分为训练数据、评估数据、测试数据，其中训练数据集用于对多模态融合算法进行训练，评估数据用于在训练过程中根据模型准确率与模型损失评估模型的训练效果，测试数据集用于对最终模型训练效果进行测试。
26.综上所述，该基于混合现实的院前急救辅助系统，在使用时，将mr头戴显示设备佩戴于院前急救医护人员的头部，与救护车监护仪蓝牙连接，与医院系统的医院私有云通过5g网络进行双向通信，医院私有云和医院云服务器双向通信连接，医院云服务器与医疗机构统一信息平台双向通信连接，医院云服务器与中控平台通信连接。通过院前急救医护人员mr头戴显示设备实现对院前急救中病人信息识别、生理体征监测、病症辅助诊断，通过mr头戴显示设备作混合现实呈现，mr头戴显示设备将音视频实时传输至院内专家进行远程会诊。mr头戴显示设备通过对院前急救病人人脸进行定位，获取病人人脸照片，并传输至医院私有云，经由医院云服务器进行人脸识别获得病人身份信息，在医院数据库中进行检索获取病人历史电子病历信息。之后，将病人身份信息及历史电子病历信息通过云服务器实时返回至医护人员mr头戴显示设备中，由显示窗口显示，显示窗口跟随院前急救救护人员位置及视角移动，可以彻底解放医护人员双手，使得医护人员可以进行更多的护理及救护操作。
27.同时，mr头戴显示设备通过蓝牙连接至救护车监护仪，读取监护仪中的病人生理体征参数，包括心电图、呼吸次数、血压、血氧饱和度、脉搏和体温。将生理体征参数实时显示在mr头戴显示设备的显示窗口上，显示窗口跟随医护人员位置及视角移动。生理体征监测模块为病人生理参数高于医学正常范围或低于正常范围的预设阈值。实时监测病人生理参数，与预设阈值进行比较，如果出现超出预设阈值，mr头戴显示设备的显示窗口会出现弹窗以及进行语音提醒特效，进行视觉及语音的实时警报。生理体征监测模块对急救病人的生理体征参数在混合现实显示设备中作实时监测与控制，使得医护人员对病人生命信息及状态有实时直接的获悉。
28.辅助诊断模块采用决策级的多模态融合算法，基于mr头戴显示设备采集的病人病
情文本信息、监护仪生理体征数字信息和病人面部图像，进行病症标注，制作辅助诊断数据集，基于辅助诊断数据集对多模态融合算法进行训练评估。训练评估为将辅助诊断数据集按7:2:1划分为训练数据、评估数据、测试数据。其中训练数据集对多模态融合算法进行训练，评估数据用于在训练过程中根据模型准确率与模型损失评估模型的训练效果，测试数据集用于对最终模型训练效果进行测试。其中，病人面部图像信息由mr设备前置摄像机获得，病情文本信息由救助医生语音录入的病历信息获得，生理体征数据信息由mr头戴显示设备通过蓝牙连接至监护仪实时获取数据信息。多模态融合算法包含三个子网络，lstm网络用于处理病情文本信息，cnn网络用于处理病人面部图像，bp神经网络用于处理生命体征数据信息。三个子网络输出特征拼接后，经由fc全连接层，然后应用softmax预测病症输出。通过辅助诊断模块对院前急救病人病症进行辅助预判，通过mr头戴显示设备对医护人员进行预测病症推送，并根据预判病症进行急救流程实时提示，通过mr头戴显示设备语音交互对医护人员每一步急救过程进行提示，并将急救流程显示在mr头戴显示设备的显示窗口上，显示窗口跟随院前急救医护护人员位置及视角移动。针对院前急救病种多样且复杂的问题采用急救辅助诊断算法，能够对病人病症进行初步诊断，对医护人员进行病症急救流程提示，使得急救过程更高效且规范，使病人在到达医院时具备更好的治疗条件。
29.远程会诊模块将mr头戴显示设备前置摄像机音视频内容，及病人信息、辅助诊断信息、生命体征数据mr呈现内容，以直播流形式推送至院内专家，实时无延迟地进行远程会诊。同时，远程专家向现场医生推送相关消息，同步进行操作指导。mr头戴显示设备中抢救记录自动生成，为院内治疗提供现场数据，回避医患纠纷。基于混合现实的远程会诊，实现上车即入院的急救方式，使得诊断治疗前移，提高院前急救患者抢救率。
30.以上均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。