基于计算机视觉的跌倒检测方法、装置及存储介质与流程

1.本发明涉及图像识别技术，尤其涉及一种基于计算机视觉的跌倒检测方法、装置及存储介质。


背景技术：

2.随着社会老龄化的快速到来，社区养老在我们的日常生活中变得越来越重要。
3.在居住率比较低的社区里，当子女不在家时，老人摔倒本身比较难发现，可能1个小时过去了仍然没有人发现有老人摔倒在地上了，老人本身的行动能力又比较有限，在跌倒后无法自救。
[0004][0005]
因此，如何可以在老年人跌倒的时候迅速通知到相关人员进行救助，并且有效保障救助人的权益便成了社区养老里一个非常重要的需求。当然首先要做的还是在社区里安装无死角监控摄像头，这样我们可以快速定位到需要救助的老年人，并形成完整的证据链保证救助人的法律权益。
[0006]
目前的跌倒检测系统，一类使用智能手环来实现，这种实现方式借助额外的硬件，利用其中添加的传感器来实现跌倒检测，这种方式无法和社区里已有的系统打通，只能将跌倒信息发送给亲友等，亲友再通知人进行救助，整体时间很长。另一种是使用特殊的深度摄像头做跌倒检测，这样的检测方式需要增加昂贵的深度摄像头，无法利用社区里已有的摄像头，需要增加大量额外的成本。


技术实现要素：

[0007]
本发明实施例提供一种基于计算机视觉的跌倒检测方法、装置及存储介质，能够对社区采集的视频流进行跌倒检测、分析，使得工作人员能够快速响应进行处理，在此过程中降低了社区内人员跌倒检测的成本。
[0008]
本发明实施例的第一方面，提供一种基于计算机视觉的跌倒检测方法，包括：
[0009]
对摄像头所采集的视频流进行处理，得到视频流中每一帧的视频图像，其中所述视频图像中具有时序信息；
[0010]
判断所述视频图像中存在行人后，对所述视频图像进行位置检测，获取视频图像中行人的地理位置信息；
[0011]
对视频图像中的行人姿态进行锁定后获取行人的姿态信息，基于所述姿态信息获取预设关键点的分布信息；
[0012]
将多个相邻时序视频图像的预设关键点的分布信息输入至预先训练的神经网络处理模型中进行检测得到行人状态信息；
[0013]
若行人状态信息为跌倒则将多个相邻时序视频图像、地理位置信息以及生成的报警信号发送至工作人员处。
[0014]
可选地，在第一方面的一种可能实现方式中，其中，所述预设关键点为鼻子、左眼
睛、右眼睛、左耳朵、右耳朵、左肩膀、右肩膀、左手肘、右手肘、左手腕、右手腕、左胯骨、右胯骨、左膝盖、右膝盖、左脚踝及右脚踝中的任意一种或多种。
[0015]
可选地，在第一方面的一种可能实现方式中，将多个相邻时序视频图像的预设关键点的分布信息输入至预先训练的神经网络处理模型中进行检测得到行人状态信息包括：
[0016]
预先设置样本集，其中样本集中包括若干训练图像，每个训练图像中具有多个预设关键点的分布信息以及行人状态信息；
[0017]
对训练图像中的预设关键点的分布信息进行高斯分布的方式采集关键点图，基于所述关键点图像生成特征图像；
[0018]
将样本集中的若干相邻时序视频图像中的特征图像和行人状态信息输入至神经网络处理模型中进行训练直至模型收敛。
[0019]
可选地，在第一方面的一种可能实现方式中，还包括：
[0020]
获取工作人员的反馈信息，所述反馈信息为工作人员对接收到的多个相邻时序视频图像标注为跌倒或不跌倒，所述跌倒和不跌倒属于行人状态信息；
[0021]
基于工作人员的反馈信息对所述神经网络处理模型再次进行训练以改变所述神经网络处理模型的参数梯度。
[0022]
可选地，在第一方面的一种可能实现方式中，判断所述视频图像中存在行人后，对所述视频图像进行位置检测，获取视频图像中行人的地理位置信息包括：
[0023]
通过单阶段无锚点检测方法对视频图像中的行人以及行人的地理位置信息进行检测。
[0024]
本发明实施例的第二方面，提供一种基于计算机视觉的跌倒检测装置，包括：
[0025]
处理模块，用于对摄像头所采集的视频流进行处理，得到视频流中每一帧的视频图像，其中所述视频图像中具有时序信息；
[0026]
检测模块，用于判断所述视频图像中存在行人后，对所述视频图像进行位置检测，获取视频图像中行人的地理位置信息；
[0027]
获取模块，用于对视频图像中的行人姿态进行锁定后获取行人的姿态信息，基于所述姿态信息获取预设关键点的分布信息；
[0028]
预测模块，用于将多个相邻时序视频图像的预设关键点的分布信息输入至预先训练的神经网络处理模型中进行检测得到行人状态信息；
[0029]
发送模块，用于若行人状态信息为跌倒则将多个相邻时序视频图像、地理位置信息以及生成的报警信号发送至工作人员处。
[0030]
可选地，在第二方面的一种可能实现方式中，其中，所述预设关键点为鼻子、左眼睛、右眼睛、左耳朵、右耳朵、左肩膀、右肩膀、左手肘、右手肘、左手腕、右手腕、左胯骨、右胯骨、左膝盖、右膝盖、左脚踝及右脚踝中的任意一种或多种。
[0031]
可选地，在第二方面的一种可能实现方式中，所述预测模块包括：
[0032]
设置单元，用于预先设置样本集，其中样本集中包括若干训练图像，每个训练图像中具有多个预设关键点的分布信息以及行人状态信息；
[0033]
采集单元，用于对训练图像中的预设关键点的分布信息进行高斯分布的方式采集关键点图，基于所述关键点图像生成特征图像；
[0034]
训练单元，用于将样本集中的若干相邻时序视频图像中的特征图像和行人状态信
息输入至神经网络处理模型中进行训练直至模型收敛。
[0035]
可选地，在第二方面的一种可能实现方式中，还包括：
[0036]
反馈单元，用于获取工作人员的反馈信息，所述反馈信息为工作人员对接收到的多个相邻时序视频图像标注为跌倒或不跌倒，所述跌倒和不跌倒属于行人状态信息；
[0037]
二次训练单元，用于基于工作人员的反馈信息对所述神经网络处理模型再次进行训练以改变所述神经网络处理模型的参数梯度。
[0038]
本发明实施例的第三方面，提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能设计的所述方法。
[0039]
本发明提供的一种基于计算机视觉的跌倒检测方法、装置及存储介质，能够对小区内摄像头采集的视频流进行人员的跌倒检测，本发明不会再借助于其他的外接设备，使得跌倒检测的成本较低、即时性较好，工作人员相应迅速。
[0040]
本发明通过社区内设置的摄像头获得的视频图像，经过计算机视觉算法，可以快速定位到老年人跌倒的位置、状态，然后上传到报警平台，由工作人员进行专业救助，有效的保障了救助人与被救助人的权益。
[0041]
本发明会预先训练神经网络处理模型，通过神经网络处理模型对不同时序的视频图像中的17个关键点进行分析、处理，预测行人状态是否为跌倒，本发明采集的关键点数量较多、且根据不同时序的视频图像进行跌倒判断，使得跌倒判断更加的准确。
附图说明
[0042]
图1为基于计算机视觉的跌倒检测方法的第一种实施方式的流程图；
[0043]
图2为基于计算机视觉的跌倒检测方法的第一种实施方式的结构图。
具体实施方式
[0044]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0045]
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
[0046]
应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0047]
应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0048]
应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含a、b和c”、“包含a、 b、c”是指a、b、c三者都包含，“包含a、b或c”是指包含a、b、c三者之一，“包含a、b和/或c”是指包含a、b、c三者中任1个或任2个或3 个。
[0049]
应当理解，在本发明中，“与a对应的b”、“与a相对应的b”、“a 与b相对应”或者“b与a相对应”，表示b与a相关联，根据a可以确定b。根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其他信息确定b。a与b的匹配，是a与b的相似度大于或等于预设的阈值。
[0050]
取决于语境，如在此所使用的“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。
[0051]
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
[0052]
本发明提供一种基于计算机视觉的跌倒检测方法，如图1所示其流程图，包括：
[0053]
步骤s110、对摄像头所采集的视频流进行处理，得到视频流中每一帧的视频图像，其中所述视频图像中具有时序信息。本发明中所说的摄像头可以是安装于社区内各个位置处的摄像头，通过摄像头能够对社区内各个位置处进行图像、视频的采集。
[0054]
本发明中对人体状态信息、人体、人脸识别依赖于摄像头对关键位置区域的图像采集。可以在小区的各出入门口、车库区域、小区内各道路岔口、小区内角落、单元门口、各楼层内、电梯内以及楼梯内安装监控的摄像头用来跟踪和识别行人。
[0055]
并且，在主要的出入口、单元门口和电梯内可以部署高清摄像头用于识别出人脸特征。建立数据库将采集小区所有业主、住户以及小区工作人员的人脸信息，用来识别和区分小区业主/租户、工作人员、快递外卖等服务人员以及陌生人员。
[0056]
步骤s120、判断所述视频图像中存在行人后，对所述视频图像进行位置检测，获取视频图像中行人的地理位置信息。本发明在获得视频图像的地理位置信息时存在两种方式，第一种方式是基于计算机视觉对摄像头所采集的图像进行分析，确定视频图像中的固定物体所处的位置，进而推断摄像头所处的位置。第二种方式是基于映射、数据存储的方式，将每一个摄像头预先安装的地理位置信息存储于服务器中，当任意一个摄像头所获取的视频流中存在跌倒的人时，获取该摄像头预先映射、存储的对应的地理位置信息。本发明通过以上两种方式，都可以确定视频图像中行人的地理位置信息。
[0057]
本发明针对所有摄像头所采集到的实时视频流都会进行行人检测。行人检测采用单阶段无锚点检测方法，此方法不需要预设锚点，直接回归行人的位置，使得本发明提供的技术方案具有速度快、部署简单、可以实时进行行人的检测等优势。
[0058]
步骤s130、对视频图像中的行人姿态进行锁定后获取行人的姿态信息，基于所述姿态信息获取预设关键点的分布信息。其中，本发明中的预设关键点为鼻子、左眼睛、右眼睛、左耳朵、右耳朵、左肩膀、右肩膀、左手肘、右手肘、左手腕、右手腕、左胯骨、右胯骨、左膝盖、右膝盖、左脚踝以及右脚踝中的任意一种或多种。预设关键点最多为17个。
[0059]
本发明在检测到行人后进行行人姿态的检测，本发明采用17个关键点，定义行人姿态，根据17个关键点的不同分布方式确定行人姿态的变化。在训练的时候对17个关键点使用高斯分布产生一个关键点图，然后通过神经网络提取特征，获得最后的特征图像，最后
根据特征图像分数的大小获得预测的 17个关键点。
[0060]
本发明中，会对每个视频图像中行人的预设关键点进行采集、获取，得到预设关键点的分布信息。
[0061]
步骤s140、将多个相邻时序视频图像的预设关键点的分布信息输入至预先训练的神经网络处理模型中进行检测得到行人状态信息。一张视频图像中预设关键点的分布信息能够大致反应行人当前的姿态，但是可能并不准确，所以本发明会结合相邻时序的视频图像来确定、预测行人状态信息，判断行人状态信息是否处于跌倒的状态。
[0062]
获得行人姿态的预设关键点后，需要确认这个姿态是站立的还是跌倒状态下的行人，但是单帧的视频图像中的姿态无法判断动作变化，因此，本发明采用时序上的行人姿态进行动作判断，由于时序上的姿态属于结构化数据，因此本发明使用图神经网络对姿态进行判断。
[0063]
步骤s150、若行人状态信息为跌倒则将多个相邻时序视频图像、地理位置信息以及生成的报警信号发送至工作人员处。当判断行人为跌倒的状态时，本发明会将相应的相邻时序视频图像，获取的地理位置信息以及生成的报警信号发送至工作人员处，对工作人员进行提醒，使工作人员及时相应作出动作。
[0064]
在一个可能的实施方式中，步骤s140包括：
[0065]
预先设置样本集，其中样本集中包括若干训练图像，每个训练图像中具有多个预设关键点的分布信息以及行人状态信息。本发明
[0066]
对训练图像中的预设关键点的分布信息进行高斯分布的方式采集关键点图，基于所述关键点图像生成特征图像；
[0067]
将样本集中的若干相邻时序视频图像中的特征图像和行人状态信息输入至神经网络处理模型中进行训练直至模型收敛。
[0068]
在一个可能的实施方式中，还包括：
[0069]
获取工作人员的反馈信息，所述反馈信息为工作人员对接收到的多个相邻时序视频图像标注为跌倒或不跌倒，所述跌倒和不跌倒属于行人状态信息。当工作人员在接收到多个相邻时序视频图像后，工作人员可以对相邻时序视频图像进行观看并主观判断多个相邻时序视频图像中的内容是否存在人员跌倒的情况，如果多个相邻时序视频图像中存在人员跌倒的情况，则本发明的预测正确，如果多个相邻时序视频图像中不存在人员跌倒的情况，则本发明的预测错误，工作人员会根据预测结果的正确或错误进行反馈，输入反馈信息。
[0070]
基于工作人员的反馈信息对所述神经网络处理模型再次进行训练以改变所述神经网络处理模型的参数梯度。本发明会根据输出的结果对神经网络处理模型再次进行训练，对神经网络处理模型的参数梯度进行更新，持续提高神经网络处理模型的准确性、精度。
[0071]
在一个可能的实施方式中，判断所述视频图像中存在行人后，对所述视频图像进行位置检测，获取视频图像中行人的地理位置信息包括：
[0072]
通过单阶段无锚点检测方法对视频图像中的行人以及行人的地理位置信息进行检测。
[0073]
本发明提供一种基于计算机视觉的跌倒检测装置，如图2所示其结构图，包括：
integrated circuit，简称： asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
[0090]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。