一种基于视觉的户外健身跑场景下跌倒行为识别和报警方法

1.本发明涉及户外运动安全监控技术领域，具体为一种基于视觉的户外健身跑场景下跌倒行为识别和报警方法。


背景技术：

2.基于视觉的跌倒检测技术，因其识别率高，对于光照、温度等外部因素的干扰受到的影响低，同时具有录像功能方便事后查证，日益成为跌倒检测的主流技术。例如，在养老社区中，利用基于视觉的跌倒检测报警系统代替人工巡逻，十分适合实时监测各类突发事件，并且能够及时发现老年人的跌倒行为，确保老年人生命安全，且监测成功率较基于穿戴式设备的系统高。
3.申请(专利)号：cn 112115827 a。专利描述：一种基于人体姿态动态特征的跌倒行为识别方法，其特征在于：对单目摄像头采集的人体rgb图像信息进行处理，得到人体姿态关键点，构建代表人体主躯干及腿部的姿态向量：计算人体主躯干及腿部的偏移角及身长比例，将其作为表征人体倾斜姿态的关键动态量，将多个人体关键动态量整合为人体倾向姿态特征符及人体稳定姿态特征符，描述人体状态变化：以参考模板向量对比、下肢稳定性能量值及状态分值构成特征向量，应用svm完成跌倒识别二分类，联合人体下降姿态动态特征阈值判断提高人体跌倒行为识别准确率与精确度。
4.申请(专利)号：cn 112489368 a。专利描述：一种智能跌倒识别与检测报警方法及系统，方法包括：建立跌倒数据集，搭建跌倒识别模型，并基于跌倒数据集对跌倒识别模型进行训练；将采集的监控区域中人员的动作图像信息输入跌倒识别模型，对采集的动作图像信息进行分析，并判断是否有人员出现跌倒姿态；对具有跌倒姿态的目标人员进行标记和跟踪，并根据倒地分析和跟踪检测结果判断是否进行报警。申请(专利)号：cn 112669568 a。专利描述：一种多模式的人体跌倒检测方法，包括：采集检测对象的加速度数据；根据加速度数据判断检测对象的状态；在判断出检测对象处于跌倒状态时采集检测对象的表面肌电信号；从表面肌电信号中提取出肌电信号特征；通过支持向量机识别肌电信号特征；在支持向量机识别出检测对象处于跌倒状态时触发报警系统。申请(专利)号：cn 112435440 a。专利描述：一种基于物联网平台的非接触式室内人员跌倒识别方法，通过nb-iot窄带无线通信模块，将捕捉的包括室内人员热信息红外热图像实时传输至云服务器，同时，将人员跌倒的报警信息返回室内监测区域安装的监测装置，实现双向无线连接，无本地网关、无中心网络，具有工业级系统可靠性，这样，无需连接家庭宽带网络，实现广覆盖的非接触式室内人员跌倒识别。申请(专利)号：cn 112346050 a。专利描述：一种基于wi-fi设备的跌倒检测方法，所述基于wi-fi设备的跌倒检测方法包括：基于在目标区域获取到的无线信号的信道状态信息，确定人体速度特征；将人体速度特征输入到跌倒检测模型，获得跌倒检测模型输出的人体跌倒识别结果；跌倒检测模型为基于跌倒/非跌倒样本数据集训练得到；跌倒/非跌倒样本数据集中的非跌倒样本来自于真实采集的人员日常活动的样本，跌倒/非跌倒样本数据集中的跌倒样本为基于数据扩容模型对输入的真实跌倒样本进行预处理得到。
5.以上识别人体跌倒的技术主要基于如下两种方法：第一种是基于可穿戴设备或加速度传感器进行识别。这种识别方法需要令具有跌倒风险的人主动佩戴传感器相关设备，才可能对跌倒事件进行识别。若未佩戴则无法进行识别。而且在人体在处于运动过程中，传感器相关设备会在一定程度上阻碍运动者的运动。第二种是基于计算机视觉的方法。这种识别方法主要通过单目、双目或多目摄像头捕捉人体运动画面，将其动作图像信息输入跌倒识别模型，对采集的动作图像信息进行分析。这种方法一方面依赖于人体姿态点的检测精度，另一方面采集到的人体运动图像很容易受到摄像头角度的影响，使动作图像信息不准确，识别精确度不高，同时，目前识别跌倒的人群聚焦于老年人，而且多半为室内跌倒识别。这种单一人群的识别方法设计不能满足更多室外环境。目前识别跌倒方法或技术的局限面大，应用场景较少。
6.为此，我们提出一种新型的基于视觉的户外健身跑场景下跌倒行为识别和报警方法解决上述问题。


技术实现要素：

7.本部分的目的在于概述本发明的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
8.鉴于现有基于视觉的户外健身跑场景下跌倒行为识别和报警方法中存在的问题，提出了本发明。
9.因此，本发明的目的是提供一种基于视觉的户外健身跑场景下跌倒行为识别和报警方法，能够实现以户外健身跑道为应用场景，基于单目摄影头，建立跌倒模型数据库单目摄像头的视觉图像识别跑步者意外跌倒或意外倒地，并实施系统报警。
10.为解决上述技术问题，根据本发明的一个方面，本发明提供了如下技术方案：
11.一种基于视觉的户外健身跑场景下跌倒行为识别和报警方法，其包括如下步骤：
12.步骤1：通过布设在户外公共健身步道上的单目摄像头采集人体rgb图像信息；
13.步骤2：对图片进行人体检测，获取图片中每个人的检测框x,y,w,h，其中(x,y)表示检测框左上角点，w表示检测框的宽，h表示检测框的高；
14.步骤3：对每个检测框进行人体姿态估计，获取每个人的24个骨骼关键点{x1,y1,
…
,x
24
,y
24
}；
15.步骤4：将每个人的24个骨骼关键点通过运动姿态编码模型进行姿态编码，形成128维浮点归一化特征向量；
16.步骤5：选取各种倒地的姿态n，将这些姿态通过步骤1-3提取特征，并制作为倒地特征库ff＝(f
f1
,
…
,f
fn
)。选取各种躺坐等与倒地比较相似的姿态m，将这些姿态通过步骤1-3提取特征，并制作为非倒地特征库fn＝(f
n1
,
…
,f
nm
)；
17.步骤6：从普通监控摄像头获取视频流，从视频流提取出每一帧图片。对每帧图片通过步骤1-3提取特征f，将该特征分别与倒地特征库、非倒地特征库中的特征进行比对。如果特征f与倒地特征库中特征比对分数最大值超过阈值τf,同时特征f与非倒地特征库中特征比对分数最大值低于阈值τn，则认为是倒地状态；
18.步骤7：如果倒地状态维持了一段时间t，可设置t为5秒，则可判断有人倒地，可以向外报警。
19.作为本发明所述的一种基于视觉的户外健身跑场景下跌倒行为识别和报警方法的一种优选方案，其中：以户外健身跑道为应用场景。
20.作为本发明所述的一种基于视觉的户外健身跑场景下跌倒行为识别和报警方法的一种优选方案，其中：从普通监控摄像头获取视频流，从视频流提取出每一帧图片，对每帧图片通过上述步骤2-4提取特征。
21.作为本发明所述的一种基于视觉的户外健身跑场景下跌倒行为识别和报警方法的一种优选方案，其中：系统报警防止包括监控终端提醒，移动终端通讯报警和120紧急呼救。
22.作为本发明所述的一种基于视觉的户外健身跑场景下跌倒行为识别和报警方法的一种优选方案，其中：摄像头为全景摄像头，且具有人像自动追踪系统。
23.与现有技术相比，本发明的有益效果是：通过单目摄像头的视觉图像识别跑步者意外跌倒或意外倒地，并实施系统报警。本方法是一种基于视觉的户外健身跑场景下跌倒行为识别和报警方法通过户外健身步道的普通摄像头获取跑步者的视频流，从视频流提取出每一帧图片，从图片中提取评估人体姿态的骨骼关键点，形成运动姿态编码，与建立的倒地特征库和非倒地特征库进行对比，从而实现对跑步意外跌倒或倒地状态的识别。同时，利用特征库的数据完善，一可解决因摄像头角度而使获取到的人体姿态几何图变形问题；二可实现跑步者前倒、侧倒、坐地、系鞋带等姿态识别；三可实现多人视觉图像交叠在一起的识别，从而大大提高了户外健身跑场景下跌倒事件的识别率。
附图说明
24.为了更清楚地说明本发明实施方式的技术方案，下面将结合附图和详细实施方式对本发明进行详细说明，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
25.图1为本发明步骤流程结构示意图。
具体实施方式
26.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
27.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施方式的限制。
28.其次，本发明结合示意图进行详细描述，在详述本发明实施方式时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
29.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
30.实施例1
31.一种基于视觉的户外健身跑场景下跌倒行为识别和报警方法，其包括如下步骤：
32.步骤1：通过布设在户外公共健身步道上的单目摄像头采集人体rgb图像信息；
33.步骤2：对图片进行人体检测，获取图片中每个人的检测框x,y,w,h，其中(x,y)表示检测框左上角点，w表示检测框的宽，h表示检测框的高；
34.步骤3：对每个检测框进行人体姿态估计，获取每个人的24个骨骼关键点{x1,y1,
…
,x
24
,y
24
}；
35.步骤4：将每个人的24个骨骼关键点通过运动姿态编码模型进行姿态编码，形成128维浮点归一化特征向量；
36.步骤5：选取各种倒地的姿态n，将这些姿态通过步骤1-3提取特征，并制作为倒地特征库ff＝(f
f1
,
…
,f
fn
)。选取各种躺坐等与倒地比较相似的姿态m，将这些姿态通过步骤1-3提取特征，并制作为非倒地特征库fn＝(fn1,
…
,f
nm
)；
37.步骤6：从普通监控摄像头获取视频流，从视频流提取出每一帧图片。对每帧图片通过步骤1-3提取特征f，将该特征分别与倒地特征库、非倒地特征库中的特征进行比对。如果特征f与倒地特征库中特征比对分数最大值超过阈值τf,同时特征f与非倒地特征库中特征比对分数最大值低于阈值τn，则认为是倒地状态；
38.步骤7：如果倒地状态维持了一段时间t，可设置t为5秒，则可判断有人倒地，可以向外报警。
39.具体的，以户外健身跑道为应用场景。
40.具体的，从普通监控摄像头获取视频流，从视频流提取出每一帧图片，对每帧图片通过上述步骤2-4提取特征。
41.具体的，系统报警防止包括监控终端提醒，移动终端通讯报警和120紧急呼救。
42.具体的，摄像头为全景摄像头，且具有人像自动追踪系统。
43.工作原理：在本发明使用的过程中，通过单目摄像头的视觉图像识别跑步者意外跌倒或意外倒地，并实施系统报警。本方法是一种基于视觉的户外健身跑场景下跌倒行为识别和报警方法通过户外健身步道的普通摄像头获取跑步者的视频流，从视频流提取出每一帧图片，从图片中提取评估人体姿态的骨骼关键点，形成运动姿态编码，与建立的倒地特征库和非倒地特征库进行对比，从而实现对跑步意外跌倒或倒地状态的识别。同时，利用特征库的数据完善，一可解决因摄像头角度而使获取到的人体姿态几何图变形问题；二可实现跑步者前倒、侧倒、坐地、系鞋带等姿态识别；三可实现多人视觉图像交叠在一起的识别，从而大大提高了户外健身跑场景下跌倒事件的识别率。
44.虽然在上文中已经参考实施方式对本发明进行了描述，然而在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本发明所披露的实施方式中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本发明并不局限于文中公开的特定实施方式，而是包括落入权利要求的范围内的所有技术方案。