一种异常行为预警方法、装置、设备及介质

本发明涉及人工智能，特别涉及一种异常行为预警方法、装置、设备及介质。

背景技术：

1、医疗护理机构（包括医院病房、icu（intensive care unit，重症监护室）、养老院、康复中心等）中，患者跌倒、坠床、拔管、意识丧失、躁动伤人等异常行为事件频繁发生，对患者生命安全构成严重威胁。随着护理人员短缺问题的持续加剧，基于视频监控的智能预警技术成为重要的辅助手段。

2、目前主流的异常行为检测方案主要面临以下问题：

3、问题一：检测精度不足，且只能事后报警：

4、现有方案多以标准cnn（convolutional neural network，卷积神经网络）对单帧或短时帧序列进行特征提取，对正常护理操作与异常行为的区分能力有限。在复杂护理动作场景下，误报率居高不下，护士对预警系统的信任度和使用意愿受到严重影响。更关键的是，这些方案都是在异常行为已经发生之后才触发告警，属于被动响应——从异常发生到护士赶到往往有数分钟的空白，错过了最佳干预时机。

5、问题二：实时性不足，依赖云端部署：

6、不少方案的骨干网络参数量在千万级以上，只能部署在云端，推理延迟难以满足床旁实时预警的要求。而且云端部署还带来带宽瓶颈和数据隐私方面的隐患。

7、问题三：环境适应性差：

8、一旦遇到光照变化、摄像头被遮挡或床帘拉起等常见情况，仅靠视觉的方案检测精度就会明显下降。现有方案大多不具备融合多种传感器数据的能力，很难适应多变的护理环境。

9、问题四：数据安全缺乏自主可控保障：

10、现有方案普遍依赖国外操作系统和芯片，加密组件也多采用国际算法，核心部件受制于人。患者的敏感数据在传输和存储环节缺少自主可控的安全手段。

11、总的来看，现有技术在检测精度、实时性、环境适应性等方面各有短板，尤其缺乏事前预判能力。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种异常行为预警方法、装置、设备及介质，能够精准检测异常行为，在异常事件发生前触发预警，实现了在边缘设备上实时、高精度、可解释且自主可控的医护异常行为超前预警。其具体方案如下：

2、第一方面，本技术公开了一种异常行为预警方法，包括：

3、通过目标传感器采集患者对应的目标数据；所述目标传感器包括视频采集传感器、毫米波雷达以及压力传感床垫；所述目标数据包括患者床旁的视频帧、毫米波雷达数据以及压力传感床垫数据；

4、通过深度可分离卷积和预设坐标注意力模块基于所述视频帧确定空间特征向量，确定所述视频帧对应的光流特征序列，基于所述光流特征序列和一维空洞卷积网络确定时间特征向量；

5、基于所述空间特征向量和所述时间特征向量确定融合特征向量，将所述融合特征向量、所述毫米波雷达数据对应的雷达特征向量和压力传感床垫数据对应的压力特征向量进行多模态融合，得到多模态融合特征；

6、将所述多模态融合特征输入训练好的隐马尔可夫模型，以得到未来目标时间段内患者行为异常的概率数值，基于所述概率数值与预设阈值之间的大小关系确定相应的预警操作。

7、可选的，所述毫米波雷达数据包括患者与雷达之间的距离、患者运动速度以及患者方位角变化；所述压力传感床垫数据包括压力分布数据；

8、相应的，所述通过目标传感器采集患者对应的目标数据之后，还包括：

9、将所述视频帧对应的时间确定为时间基准，基于所述时间基准对所述毫米波雷达数据以及压力传感床垫数据进行时间戳插值对齐操作，以完成目标数据的时间同步。

10、可选的，所述确定所述视频帧对应的光流特征序列，包括：

11、提取所述视频帧中的感兴趣区域，基于卢卡斯-卡纳德方法计算所述感兴趣区域的光流特征序列。

12、可选的，所述基于所述空间特征向量和所述时间特征向量确定融合特征向量，包括：

13、将所述空间特征向量和所述时间特征向量进行拼接，得到拼接后特征向量；

14、将所述拼接后特征向量进行加权融合，以得到所述融合特征向量。

15、可选的，所述将所述多模态融合特征输入训练好的隐马尔可夫模型之前，还包括：

16、获取历史目标数据，标注预设时间段内的所述历史目标数据是否存在异常行为，根据相应的标注后数据对隐马尔可夫模型进行训练，以得到训练好的隐马尔可夫模型。

17、可选的，所述基于所述概率数值与预设阈值之间的大小关系确定相应的预警操作，包括：

18、若所述概率数值小于第一预设阈值，则判定患者行为正常，进行一级预警；所述一级预警为屏显预警；

19、若所述概率数值大于或等于所述第一预设阈值，小于第二预设阈值，则判定患者会出现异常行为，进行二级预警；所述二级预警为向工作人员推送预警信息，并进行声光预警；

20、若所述概率数值大于或等于所述第二预设阈值，则判定患者存在异常行为，进行三级预警；所述三级预警为进行声光报警，并电话通知所述工作人员，向所述工作人员推送现场视频。

21、可选的，所述方法，还包括：

22、若判定患者会出现异常行为或患者存在异常行为，则将当前视频帧图像、预警等级、概率数值、空间特征向量、时间特征向量、毫米波雷达数据以及压力传感床垫数据输入目标大语言模型，以得到相应的自然语言预警报告；

23、将所述自然语言预警报告反馈至所述工作人员。

24、第二方面，本技术公开了一种异常行为预警装置，包括：

25、数据采集模块，用于通过目标传感器采集患者对应的目标数据；所述目标传感器包括视频采集传感器、毫米波雷达以及压力传感床垫；所述目标数据包括患者床旁的视频帧、毫米波雷达数据以及压力传感床垫数据；

26、特征向量确定模块，用于通过深度可分离卷积和预设坐标注意力模块基于所述视频帧确定空间特征向量，确定所述视频帧对应的光流特征序列，基于所述光流特征序列和一维空洞卷积网络确定时间特征向量；

27、多模态融合模块，用于基于所述空间特征向量和所述时间特征向量确定融合特征向量，将所述融合特征向量、所述毫米波雷达数据对应的雷达特征向量和压力传感床垫数据对应的压力特征向量进行多模态融合，得到多模态融合特征；

28、预警操作确定模块，用于将所述多模态融合特征输入训练好的隐马尔可夫模型，以得到未来目标时间段内患者行为异常的概率数值，基于所述概率数值与预设阈值之间的大小关系确定相应的预警操作。

29、第三方面，本技术公开了一种电子设备，包括：

30、存储器，用于存储计算机程序；

31、处理器，用于执行计算机程序以实现如前述的异常行为预警方法。

32、第四方面，本技术公开了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如前述的异常行为预警方法。

33、本技术首先通过目标传感器采集患者对应的目标数据；所述目标传感器包括视频采集传感器、毫米波雷达以及压力传感床垫；所述目标数据包括患者床旁的视频帧、毫米波雷达数据以及压力传感床垫数据；通过深度可分离卷积和预设坐标注意力模块基于所述视频帧确定空间特征向量，确定所述视频帧对应的光流特征序列，基于所述光流特征序列和一维空洞卷积网络确定时间特征向量；基于所述空间特征向量和所述时间特征向量确定融合特征向量，将所述融合特征向量、所述毫米波雷达数据对应的雷达特征向量和压力传感床垫数据对应的压力特征向量进行多模态融合，得到多模态融合特征；将所述多模态融合特征输入训练好的隐马尔可夫模型，以得到未来目标时间段内患者行为异常的概率数值，基于所述概率数值与预设阈值之间的大小关系确定相应的预警操作。可见，本技术利用视频、毫米波雷达与压力床垫的多源异步融合，结合深度可分离卷积、坐标注意力与一维空洞时序卷积网络提取的时空特征，在参数量受限条件下仍能获得高判别性的行为表征；进而通过隐马尔可夫模型动态估计未来风险概率，根据预设阈值分级触发预警响应，从而在坠床、拔管等异常事件实际发生前即提供有效干预窗口。整体方案兼顾了实时性、准确性与部署经济性，相较于传统事后报警或单模态系统，显著提升了医护场景下异常行为预警的提前量、召回率与实用性。通过多模态传感器协同与轻量化深度学习模型的系统化设计，实现了在边缘计算环境下对患者异常行为的低成本、高精度与可提前预警的实时监测。