基于纵深异常感知与运动学规则校验的跌倒检测方法、装置、电子设备及存储介质

本发明涉及图像处理 ，尤其涉及一种基于纵深异常感知与运动学规则校验的跌倒检测方法、装置、电子设备及存储介质。

背景技术：

1、随着社会老龄化程度不断加深，老年人跌倒事件的自动识别与及时预 警逐渐成为智能看护领域的重要研究方向。在居家养老、医疗护理、养老机构 和公共安全管理等场景中，若人体跌倒事件不能被及时发现，可能导致伤情延误、二次伤害甚至危及生命。现有跌倒检测技术主要包括基于穿戴式传感器、基于环境传感器和基于计算机视觉三大类。基于穿戴式传感器（如加速度计、陀螺仪、气压计等）的方法通过采集人体运动数据中的加速度峰值、角速度变化或姿态变化来判断跌倒，虽对光照和遮挡不敏感，但其使用效果高度依赖用户持续佩戴设备，老年人常存在忘记佩戴、抗拒佩戴、充电不便以及洗浴或睡眠场景不便佩戴等问题，实际连续监测能力受限。基于环境传感器（如毫米波雷达、红外传感器、超声波传感器、压电地板等）的方法无需用户佩戴设备，但容易受家具遮挡、宠物活动、多径反射、安装位置及地面结构改造等因素影响，且压电地板等方案改造成本较高，难以在普通家庭和现有病房环境中大规模推广。基于计算机视觉的基于纵深异常感知与运动学规则校验的跌倒检测方法利用摄像头采集人体图像，通过人体目标检测、关键点提取、姿态估计和动作识别模型判断是否跌倒，具有非接触、部署灵活、适合连续监测等优点，是目前较具应用潜力的技术路线。可见，现有跌倒检测技术仍然存在跌倒漏检率高的问题。

技术实现思路

1、本发明提供一种基于纵深异常感知与运动学规则校验的跌倒检测方法、装置、电子设备及存储介质，用以解决现有跌倒检测技术仍然存在跌倒漏检率高的技术问题。

2、本发明提供一种基于纵深异常感知与运动学规则校验的跌倒检测方法，包括如下步骤：

3、获取待检测的目标视频流；

4、对所述目标视频流中的人体目标进行检测，得到人体基础特征信息；

5、基于所述人体基础特征信息，确定纵深异常变化特征，并根据所述纵深异常变化特征构建多维融合特征；

6、基于所述多维融合特征，对所述人体目标进行跌倒检测，得到初步跌倒检测结果；

7、对所述初步跌倒检测结果进行校验，并根据校验结果生成目标跌倒检测结果，以基于所述目标跌倒检测结果触发预警机制。

8、根据本发明提供的一种基于纵深异常感知与运动学规则校验的跌倒检测方法，所述人体基础特征信息至少包括边界框时序信息以及关键点时序信息；

9、所述基于所述人体基础特征信息，确定纵深异常变化特征，并根据所述纵深异常变化特征构建多维融合特征，包括：

10、基于所述边界框时序信息，确定边界框面积变化率特征以及边界框长宽比特征；

11、基于所述边界框面积变化率特征确定纵深异常变化特征；

12、获取所述关键点时序信息中的关键点轨迹特征；

13、基于所述边界框面积变化率特征、所述边界框长宽比特征、所述纵深异常变化特征及所述关键点轨迹特征进行融合，构建多维融合特征。

14、根据本发明提供的一种基于纵深异常感知与运动学规则校验的跌倒检测方法，所述基于所述边界框时序信息，确定边界框面积变化率特征，包括：

15、基于所述边界框时序信息，计算所述人体目标在当前帧的边界框面积，并获取所述当前帧之前预设历史窗口长度内的历史边界框面积；

16、基于所述历史边界框面积，计算历史平均面积；

17、基于所述边界框面积以及所述历史平均面积，计算边界框面积变化率；

18、基于所述边界框面积变化率，确定纵深异常变化特征。

19、根据本发明提供的一种基于纵深异常感知与运动学规则校验的跌倒检测方法，所述基于所述边界框面积变化率，确定纵深异常变化特征，包括：

20、获取预设面积收缩阈值以及预设面积膨胀阈值；

21、若所述边界框面积变化率小于所述预设面积收缩阈值或大于所述预设面积膨胀阈值，则将所述纵深异常变化特征设置为检测到异常；

22、若所述边界框面积变化率大于等于所述预设面积收缩阈值且小于等于所述预设面积膨胀阈值，则将所述纵深异常变化特征设置为未检测到异常。

23、根据本发明提供的一种基于纵深异常感知与运动学规则校验的跌倒检测方法，所述基于所述多维融合特征，对所述人体目标进行跌倒检测，得到初步跌倒检测结果，包括：

24、获取预设概率阈值；

25、将所述多维融合特征输入预训练的时空动作识别模型，得到预测跌倒概率；

26、基于所述预设概率阈值以及所述预测跌倒概率，确定初始跌倒检测结果。

27、根据本发明提供的一种基于纵深异常感知与运动学规则校验的跌倒检测方法，所述对所述初步跌倒检测结果进行校验，并根据校验结果生成目标跌倒检测结果，包括：

28、当所述初步跌倒检测结果指示所述人体目标存在跌倒风险时，判断是否满足危险特征豁免条件；

29、当满足危险特征豁免条件时，将所述初步跌倒检测结果作为目标检测结果；

30、当不满足危险特征豁免条件，且满足底盘稳固否决条件或下肢悬空否决条件中的至少一个时，将所述目标跌倒检测结果置为未跌倒；

31、当不满足危险特征豁免条件，且同时不满足所述底盘稳固否决条件和所述下肢悬空否决条件时，将所述初步跌倒检测结果作为目标跌倒检测结果。

32、根据本发明提供的一种基于纵深异常感知与运动学规则校验的跌倒检测方法，所述危险特征豁免条件为：所述人体目标的边界框长宽比特征大于或等于预设长宽比阈值，或所述纵深异常变化特征为检测到异常；所述底盘稳固否决条件为：所述人体目标的臀部关键点纵向位移小于预设纵向位移阈值；所述下肢悬空否决条件为：所述人体目标的下肢关键点与臀部关键点的相对高度比例大于预设悬空比例阈值。

33、本发明还提供一种基于纵深异常感知与运动学规则校验的跌倒检测装置，包括如下模块：

34、获取模块，用于获取待检测的目标视频流；

35、检测模块，用于对所述目标视频流中的人体目标进行检测，得到人体基础特征信息；

36、构建模块，用于基于所述人体基础特征信息，确定纵深异常变化特征，并根据所述纵深异常变化特征构建多维融合特征；

37、所述检测模块，还用于基于所述多维融合特征，对所述人体目标进行跌倒检测，得到初步跌倒检测结果；

38、校验模块，用于对所述初步跌倒检测结果进行校验，并根据校验结果生成目标跌倒检测结果，以基于所述目标跌倒检测结果触发预警机制。

39、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述基于纵深异常感知与运动学规则校验的跌倒检测方法。

40、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于纵深异常感知与运动学规则校验的跌倒检测方法。

41、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于纵深异常感知与运动学规则校验的跌倒检测方法。

42、本发明提供的基于纵深异常感知与运动学规则校验的跌倒检测方法、装置、电子设备及存储介质，获取待检测的目标视频流；对所述目标视频流中的人体目标进行检测，得到人体基础特征信息；基于所述人体基础特征信息，确定纵深异常变化特征，并根据所述纵深异常变化特征构建多维融合特征；基于所述多维融合特征，对所述人体目标进行跌倒检测，得到初步跌倒检测结果；对所述初步跌倒检测结果进行校验，并根据校验结果生成目标跌倒检测结果，以基于所述目标跌倒检测结果触发预警机制。解决了现有跌倒检测技术仍然存在跌倒漏检率高的技术问题 ，相较于现有技术，本发明通过提取纵深异常变化特征，能够在无需额外深度传感器的情况下感知人体沿摄像头光轴方向的异常运动，有效降低前扑、后仰等纵深跌倒的漏检率；同时，基于该特征构建多维融合特征进行初步检测，并结合校验机制对初步结果进行二次确认，在保证真实跌倒事件被及时检出的前提下，减少了类跌倒动作引发的误报，从而在单目视觉低成本部署场景中实现了更可靠、更均衡的跌倒检测性能。