基于机器视觉的跌倒检测方法及系统与流程

本发明涉及机器视觉监测，尤其涉及一种基于机器视觉的跌倒检测方法及系统。

背景技术：

1、跌倒检测广泛应用于养老机构、居家监护及公共场所安全监测。现有跌倒检测方式主要包括穿戴式检测和视频图像检测。穿戴式检测需要被监测人员持续佩戴传感设备，容易受到佩戴状态和使用习惯影响；视频图像检测可以根据连续图像中的人体外接框、姿态关键点及人体位置变化判断人体是否跌倒，不需要被监测人员额外佩戴装置，适合在固定监测区域内持续运行。

2、视频图像中的姿态关键点容易受到人体遮挡、运动模糊、拍摄角度及多人交叠的影响。同一人体目标在连续图像中可能出现部分关键点置信度降低或者短时缺失。若仍使用对应图像帧计算人体质心位置、人体主轴倾角及下肢位置，容易使质心位移、运动速度和触地距离发生偏差；若直接删除整幅图像，则又可能中断人体目标的跨帧跟踪，使同一人体目标的身份及所属监测区域发生跳变。经过关键点筛选后，实际用于人体运动计算的图像帧可能不再连续，若仍按照固定帧间隔计算人体运动速度或者仅根据图像帧数量确认倒地持续时间，容易造成速度计算值和实际持续时间不一致。

3、在多人监测场景中，还需要将人体目标与实际监测区域内的监测子区域对应。人体处于区域边界、发生局部遮挡或者短时未被检测到时，人体目标的区域归属容易发生波动，进而使跌倒检测结果与错误区域的环境监测数据对应。因此，需要在保持人体目标跟踪及区域归属连续性的同时，区分不同图像帧在目标跟踪和人体运动计算中的用途，并根据参与计算图像帧的实际采集时刻确定人体运动速度和倒地持续时间，以减少关键点短时失真及图像帧间隔变化造成的跌倒误判。

技术实现思路

1、本发明的目的在于提供一种基于机器视觉的跌倒检测方法及系统，以解决姿态关键点因遮挡、运动模糊或者人体交叠而短时失效时，直接使用相应图像帧容易造成人体目标质心位置、人体主轴倾角及下肢位置计算偏差，而删除相应图像帧又容易中断人体目标跟踪和区域确定，以及筛选后的图像帧间隔发生变化时，采用固定帧间隔计算人体运动速度和倒地持续时间容易产生误判的问题。

2、第一方面，本发明提供一种基于机器视觉的跌倒检测方法，包括：

3、连续检测到人体存在达到预设驻留时间后，触发视频采集并同步获取分区环境监测数据；

4、对视频图像中的人体目标进行检测和跨帧跟踪，提取人体目标的姿态关键点，将人体目标投影至监测平面，并根据当前投影位置、上一图像帧中人体目标所属监测子区域及跟踪轨迹，确定人体目标所属监测子区域；

5、根据质心、人体主轴及下肢位置所需姿态关键点的置信度，以及人体目标投影区域与所属监测子区域的重叠比例，分别确定各图像帧是否用于质心与人体主轴计算或下肢位置计算；不满足相应条件的图像帧仅用于更新人体目标的跟踪位置及确定所属监测子区域，不用于更新相应计算结果，也不计入相应确认帧数；

6、根据相邻两个参与人体质心计算的图像帧中的质心垂向坐标及原始采集时间差，计算人体质心垂向位移和人体质心垂向速度；

7、根据人体质心垂向位移、人体质心垂向速度、人体主轴倾角、人体目标外接框形态及下肢关键点位置，依次确认人体目标是否发生快速下落、触地冲击及倒地保持；

8、当满足倒地保持条件的图像帧数量达到预设数量，首个与末个满足倒地保持条件的图像帧之间的实际时间差达到预设保持时长，且恢复窗口内人体目标外接框高度恢复量、人体主轴向站立方向的回转量和人体质心向上的反向位移量均未达到对应恢复阈值时，确定跌倒检测结果成立；

9、根据确认触地冲击时人体目标所属监测子区域及对应图像帧的原始采集时间，提取对应监测子区域和对应时间范围内的环境监测数据，并输出告警信息。

10、进一步地，根据监测平面内标定点的平面坐标及其在视频图像中的图像坐标建立标定映射关系，将人体目标外接框的底边中点、双踝关键点中点或者可见下肢关键点中的最低点确定为下部投影点；将下部投影点及人体目标外接框底部边界的两个端点转换为监测平面坐标，以下部投影点为中心，以转换后的两个端点之间的距离和预设投影深度分别确定横向尺寸和纵向尺寸，构建矩形的人体目标投影区域。

11、进一步地，当人体目标投影区域同时与多个监测子区域重叠时，若上一图像帧中人体目标所属监测子区域仍与当前人体目标投影区域重叠且跟踪轨迹连续，则维持人体目标所属监测子区域不变；否则，根据人体目标投影区域与各监测子区域的重叠比例确定人体目标所属监测子区域。人体目标发生短时检测中断时，根据检测中断前的人体目标位置和运动方向预测人体目标位置，并根据预测位置维持或者终止对应跟踪轨迹。

12、进一步地，肩部关键点和髋部关键点的置信度达到对应阈值，且人体目标投影区域与所属监测子区域的重叠比例达到预设重叠阈值时，使用当前图像帧计算人体目标质心位置、人体主轴倾角和人体目标外接框形态；下肢关键点的置信度达到对应阈值，且所述重叠比例达到预设重叠阈值时，使用当前图像帧计算下肢关键点与地面参考线之间的距离。不满足质心和人体主轴计算条件的图像帧不用于更新人体目标质心位置、人体主轴倾角及对应确认帧数；不满足下肢位置计算条件的图像帧不用于更新下肢关键点与地面参考线之间的距离及对应确认帧数；上述图像帧仍用于更新人体目标的跟踪位置和所属监测子区域。

13、进一步地，根据相邻两个参与人体质心计算的图像帧的原始采集时间戳确定实际采集时间差，并利用人体质心垂向位移与实际采集时间差计算人体质心垂向速度；实际采集时间差超过预设最大间隔时，不使用对应图像帧计算人体质心垂向速度，并重新开始快速下落确认。

14、进一步地，在确认人体目标发生快速下落后，根据下肢关键点与地面参考线之间的距离、人体质心垂向速度的衰减以及人体目标外接框相对于地面参考线的位置确认触地冲击；根据人体目标质心位移幅值、人体主轴倾角波动幅值、姿态关键点平均位移幅值、确认帧数量及实际保持时长确认倒地保持；根据人体目标外接框高度恢复量、人体主轴向站立方向的回转量及人体质心向上的反向位移量确定跌倒检测结果是否成立。

15、进一步地，各监测子区域的环境监测数据附有监测子区域标识和采样时间戳；以确认触地冲击时人体目标下部投影点所在的监测子区域作为跌倒位置，以对应图像帧的原始采集时间作为跌倒检测时间，从环境监测数据中提取监测子区域标识与所述跌倒位置对应，且采样时间位于跌倒检测时间前后预设时间范围内的数据，并将跌倒位置、跌倒检测时间、监测图像和提取的环境监测数据写入告警信息。

16、第二方面，本发明提供一种基于机器视觉的跌倒检测系统，包括采集触发模块、人体目标处理模块、图像帧筛选模块、运动量计算模块、跌倒检测模块、环境数据提取模块和告警输出模块。

17、采集触发模块用于触发视频采集并获取分区环境监测数据；人体目标处理模块用于检测和跟踪人体目标，提取姿态关键点，将人体目标投影至监测平面，确定人体目标所属监测子区域，并输出关键点置信度和人体目标投影区域与所属监测子区域的重叠比例；图像帧筛选模块用于根据所述关键点置信度和重叠比例分别确定质心与人体主轴计算帧和下肢位置计算帧；人体目标处理模块还用于利用不满足相应计算条件的图像帧更新人体目标的跟踪位置和所属监测子区域；运动量计算模块用于根据相邻质心计算帧中的质心垂向坐标和原始采集时间差计算质心垂向位移和质心垂向速度；跌倒检测模块用于依次确认快速下落、触地冲击和倒地保持，并根据确认帧数量、实际保持时长及恢复窗口内的人体目标外接框高度恢复量、人体主轴向站立方向的回转量和人体质心向上的反向位移量确定跌倒检测结果；环境数据提取模块用于根据确认触地冲击时人体目标所属监测子区域及对应图像帧的原始采集时间提取环境监测数据；告警输出模块用于输出跌倒检测结果及对应环境监测数据。

18、进一步地，所述系统包括第一处理单元和第二处理单元。第一处理单元用于接收人体存在检测信号和分区环境监测数据，并在人体持续存在达到预设驻留时间时生成视频采集触发信号；第二处理单元用于响应视频采集触发信号，执行人体目标检测、姿态关键点提取、跨帧跟踪、监测子区域确定、图像帧筛选、质心垂向位移和质心垂向速度计算及跌倒检测，并根据确认触地冲击时的人体目标所属监测子区域和原始采集时间，从第一处理单元获取对应环境监测数据后输出告警信息。

19、与现有技术相比，本发明具有以下有益效果：

20、第一、本发明将姿态关键点不满足对应置信度要求的图像帧用于人体目标跟踪和监测子区域确定，而不用于更新人体目标质心位置、人体主轴倾角、人体目标外接框形态或者下肢关键点与地面参考线之间的距离，使人体目标的跟踪及区域归属保持连续，同时减少低可靠姿态关键点对上述计算结果的影响。

21、第二、本发明根据参与人体质心计算的图像帧的实际采集时间差计算人体质心垂向速度，并在实际采集时间差超过预设最大间隔时重新开始快速下落确认；同时采用确认帧数量和实际保持时长确认倒地保持，能够减少图像帧筛选后帧间隔变化造成的速度计算偏差和倒地持续时间误判。

22、第三、本发明根据快速下落、触地冲击、倒地保持及恢复变化连续确定跌倒检测结果，并以确认触地冲击时的人体目标所属监测子区域和原始采集时间提取环境监测数据，能够减少人体普通姿态变化造成的告警误触发，以及跌倒检测结果与错误区域或者错误时间的环境监测数据相对应。