基于即时检测的ICU患者行为与安全监测系统及方法与流程

本发明涉及医疗监护，具体为基于即时检测的icu患者行为与安全监测系统及方法。

背景技术：

1、icu患者病情危重，常伴有意识障碍、躁动、谵妄等状态。目前icu监护主要依赖生命体征监测设备（心电、血氧、血压等），但对患者行为状态的监测严重缺失。临床痛点包括：

2、1.意外拔管监测缺失：气管插管、深静脉置管、胃管、尿管等生命管道被患者自行拔除的事件时有发生，每次拔管都可能危及生命，但目前全靠护士定期巡视发现，无法实时预警。

3、2.坠床与跌倒风险：躁动患者可能越过床栏坠床，约束带使用不当也可能导致二次伤害，缺乏自动识别与告警机制。

4、3.疼痛与痛苦表情识别缺失：icu患者常因插管无法语言表达，疼痛、窒息等痛苦状态只能靠医护经验判断，主观性强、响应滞后。

5、4.人力巡视负担重：icu夜间值班护士需同时监护多名危重患者，难以做到对每位患者持续关注。

6、现有固定式监控摄像头仅提供被动录像，不具备智能分析能力。

技术实现思路

1、为了解决上述问题，本发明提供基于即时检测的icu患者行为与安全监测系统，包括多模态视觉采集模块、姿态评估与行为识别模块、面部表情检测与疼痛评估模块、管道位置监测模块、风险评估与告警模块、运动及环境感知模块；

2、所述多模态视觉采集模块用于采集患者当前状态信息，并对采集到的数据进行预处理；其中，所述患者当前状态信息具体包括：患者当前三维姿态影像数据、患者面部表情、患者当前体表温度；

3、所述姿态评估与行为识别模块用于基于预处理后的数据对患者的骨骼关键点进行分析判断，并进行行为状态分析；

4、所述面部表情检测与疼痛评估模块用于基于预处理后的数据对患者面部情况进行特征提取并分析，结合临床疼痛评估量表生成疼痛评分；

5、所述管道位置监测模块用于基于患者当前三维姿态影像数据实时监测患者当前插管位置状态；

6、所述风险评估与告警模块用于基于姿态评估与行为识别模块、面部表情检测与疼痛评估模块以及管道位置监测模块的分析结果进行安全风险等级评估，并进行告警；

7、所述运动与环境感知模块用于控制poct运动至待监测患者病床前，并通过激光雷达对poct当前行进轨迹周围的环境情况进行感知识别。

8、进一步地，所述多模态视觉采集模块具体通过采用rgb-d深度相机及红外热成像相机对患者当前状态信息进行采集。

9、进一步地，所述姿态评估与行为识别模块中具体采用轻量化movenet模型对患者的骨骼关键点进行识别提取；

10、所述进行行为状态分析中患者的行为状态具体包括：平躺、侧躺、坐起、翻越床栏、拔管手势。

11、进一步地，所述风险评估与告警模块中安全风险等级具体包括：

12、红：当监测到患者当前行为状态为拔管手势或翻越床栏，或当监测当患者当前疼痛评分≥5时，发出红色预警；

13、黄：当监测到患者当前存在插管且行为状态由平躺、侧躺或坐起转变为翻越床栏趋势，或当监测到患者当前疼痛评分≥3且＜5时，发出黄色预警；

14、绿：当监测到患者当前状态平稳时，判定为绿色，不进行告警。

15、进一步地，所述运动与环境感知模块中具体通过采用激光雷达对poct当前行进轨迹周围的环境进行感知识别。

16、基于即时检测的icu患者行为与安全监测方法，包括以下步骤：

17、s1.通过采用运动与环境感知模块驱动poct移动至待监测患者病床前，并通过激光雷达对行进轨迹周围环境进行感知识别；

18、s2.对患者当前的状态情况进行采集并进行预处理；

19、s3.基于预处理后的数据对患者影像数据进行特征提取，并进行分析：

20、s31.提取患者的骨骼关键点，并基于患者骨骼关键点的位置坐标对患者进行行为状态分析；

21、s32.提取患者面部表情关键点，并基于患者面部表情关键点进行疼痛评分；

22、s33.基于患者当前三维姿态影像数据获取患者当前插管位置情况，并基于历史插管位置数据进行移位判断；

23、s4.基于分析结果对患者情况进行风险等级评估，并进行告警。

24、进一步地，所述步骤s31具体包括以下子步骤：

25、s31-1.将患者当前三维姿态影像数据修剪为192×192并进行归一化；

26、s31-2.利用movenet中的lightning对影像数据中人体骨骼关键点进行识别提取；

27、s31-3.将提取后的人体骨骼关键点坐标乘以原始图像的宽和高还原；

28、s31-4.计算各个关键点之间的相对距离，设置判定阈值并基于判定阈值分析识别患者当前的行为状态；

29、所述人体骨骼关键点具体包括：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、颈部、左肘、右肘、左手腕、右手腕、左髋部、右髋部、左膝盖、右膝盖、左脚踝、右脚踝；

30、所述患者当前的行为状态具体包括：平躺、侧躺、坐起、翻越床栏、拔管手势；其中，当监测到手腕关键点与气管插管区域的距离小于阈值、且手掌朝向面部方向时，判断为拔管手势。

31、进一步地，所述颈部关键点的坐标取左肩坐标与右肩坐标的中值。

32、进一步地，所述步骤s32中具体通过采用双流网络架构对患者的面部表情关键点进行提取，所述双流网络架构具体包括：

33、空间流：用于提取面部动作单元，包括眉头降低、眼睑收紧、鼻翼上提；

34、时间流：用于分析在一段时间内的患者表情变化情况。

35、进一步地，所述步骤s32中具体采用cpot进行疼痛评分。

36、本发明提供了基于即时检测的icu患者行为与安全监测系统及方法，具有以下有益效果：

37、本发明通过设置运动及环境感知模块控制移动poct机器人主动巡床，并对患者情况进行自主识别、分析，并将分析结果及告警信息推送至护士站，可在患者状态异常时进行及时预警。

1.基于即时检测的icu患者行为与安全监测系统，其特征在于，包括多模态视觉采集模块、姿态评估与行为识别模块、面部表情检测与疼痛评估模块、管道位置监测模块、风险评估与告警模块、运动及环境感知模块；

2.根据权利要求1所述的基于即时检测的icu患者行为与安全监测系统，其特征在于，所述多模态视觉采集模块具体通过采用rgb-d深度相机及红外热成像相机对患者当前状态信息进行采集。

3.根据权利要求1所述的基于即时检测的icu患者行为与安全监测系统，其特征在于，所述姿态评估与行为识别模块中具体采用轻量化movenet模型对患者的骨骼关键点进行识别提取；

4.根据权利要求3所述的基于即时检测的icu患者行为与安全监测系统，其特征在于，所述风险评估与告警模块中安全风险等级具体包括：

5.根据权利要求1所述的基于即时检测的icu患者行为与安全监测系统，其特征在于，所述运动与环境感知模块中具体通过采用激光雷达对poct当前行进轨迹周围的环境进行感知识别。

6.基于即时检测的icu患者行为与安全监测方法，基于权利要求1~5任一项所述的基于即时检测的icu患者行为与安全监测系统，其特征在于，包括以下步骤：

7.根据权利要求6所述的基于即时检测的icu患者行为与安全监测方法，其特征在于，所述步骤s31具体包括以下子步骤：

8.根据权利要求7所述的基于即时检测的icu患者行为与安全监测方法，其特征在于，所述颈部关键点的坐标取左肩坐标与右肩坐标的中值。

9.根据权利要求6所述的基于即时检测的icu患者行为与安全监测方法，其特征在于，所述步骤s32中具体通过采用双流网络架构对患者的面部表情关键点进行提取，所述双流网络架构具体包括：

10.根据权利要求9所述的基于即时检测的icu患者行为与安全监测方法，其特征在于，所述步骤s32中具体采用cpot进行疼痛评分。