一种基于人体关键点的图卷积网络跌倒检测方法

1.本发明属于计算机视觉技术领域，涉及一种基于人体关键点的图卷积网络跌倒检测方法。


背景技术：

2.随着社会的进步和科技的发展，人们的生活环境和社会医疗保障有了很大的改善，使人类的寿命普遍得到了延长，人类寿命延长带来的一个问题就是人口老龄化。伴随着老年人口的增加，老年人的健康监护问题也随之凸显，引起了社会上的广泛关注。
3.世界卫生组织统计表明，跌倒是世界各地意外或非故意伤害死亡的主要原因之一，在老年人群体中意外伤害导致死亡的有23％到40％是因为跌倒的原因。如果能够及时的发现人员的跌倒情况并发出预警，就能对受伤人员进行及时的救治，挽救生命。因此，研究实时的跌倒检测方法具有重要的实际意义和市场价值。
4.目前已有一些相应的跌倒检测技术，主要分为基于穿戴式设备的、基于环境式的以及基于视觉的三种方式。可穿戴设备使用陀螺仪、加速器等传感器，它需要侵入人体，无法保证全天候的检测。基于环境式的跌倒检测方法需要在人员活动场所布置多组传感器，通过设备获取环境内的数据变化进行跌倒检测，其迁移能力差，成本高昂。而基于视觉的检测方案是结合计算机视觉，图像处理等技术进行检测，它使用摄像头进行图像采集，可以方便的嵌入到监控系统中，其成本低廉，迁移能力强，能保证全天候的检测，因此基于视觉的方案具有更广泛的经济意义。然而当前基于视觉的跌倒检测方案主要考虑人体的轮廓变化、人体的运动变化等信息，缺乏对人体骨架和姿态信息的充分挖掘。


技术实现要素：

5.为了解决跌倒检测问题，本发明充分挖掘了人体骨架姿态信息，提出了一种基于人体关键点图卷积网络的跌倒检测方法，其整体流程框图如图1所示。
6.本发明的技术方案为：
7.一种基于人体关键点的图卷积网络跌倒检测方法，包括以下步骤：
8.s1、人体关键点提取
9.基于姿态估计算法对监控图像中的人体进行关键点提取，构建姿态关键点数据集。
10.s2、姿态特征提取分类
11.设计一个双流图卷积网络对人体关键点进行姿态特征提取。所述的双流图卷积网络由图卷积网络和全连接网络组成；其中，图卷积网络提取人体关键点的几何结构信息，全连接网络提取关键点中更为全局的信息。将图卷积网络和全连接网络提取到的姿态特征进行拼接融合，送入分类器完成姿态分类，得到当前行人的姿态状态。
12.s3、跌倒判决
13.设置姿态分类结果队列，结合时序信息和分类结果设置风险系数，对当前行人是
否发生跌倒进行判断。
14.进一步的，所述步骤s1中，采用姿态估计算法来提取人体的关键点信息，并对各类姿态进行数据采集，获取不同姿态图像所对应的关键点信息，并将其构建成姿态关键点数据集；具体过程如下：
15.s11、将姿态划分为站立、弯腰、坐和躺四类姿态，采集四类姿态的图像数据；
16.s12、基于姿态估计算法获取每类姿态图像所对应的关键点信息，构建姿态关键点数据集。
17.进一步的，所述步骤s12中，姿态估计算法所获取的是人体17个关键点的坐标信息，以鼻子关键点为例，其坐标信息为p
nose
＝[x1,y1]，将所有关键点的坐标信息级联排列，得到姿态向量p＝[p
nose
,p
neck
,
…
,p
left ankle
＝[x1,y1,
…
,x
17
,y
17
]，以此构建姿态关键点数据集。
[0018]
进一步的，所述步骤s2中：将步骤s1提取到的姿态向量p＝[p
nose
,p
neck
,
…
,p
left_ankle
]输入双流图卷积网络中，从不同维度提取姿态的几何结构特征和全局特征，并将得到的几何结构特征和全局特征拼接融合，输入到分类器进行最后的姿态分类；具体过程如下：
[0019]
s21、将姿态向量送入图卷积网络时需要先将姿态向量构建为骨架图，再将非结构化的骨架图表征成结构化的数据形式。具体过程如下：
[0020]
首先，将姿态向量p连接构建成一张无向图，连接方式如下：鼻子-左眼，鼻子-右眼，左眼-右眼，左眼-左耳，右眼-右耳，左耳-左肩，右眼-右肩，左肩-左手肘，右肩-右手肘，左肩-右肩，左手肘-左手腕，右手肘-右手腕，左肩-左胯，右肩-右跨，左胯-左膝，右胯-右膝，左膝-左脚踝，右膝-右脚踝；按此方式连接得到人体骨架图g，g有17个节点(node)和19条边(edge)。
[0021]
其次，对骨架图g进行结构化的数据表征。对于骨架图g中的第i个节点，其节点特征用其坐标向量pi＝[xi,yi]表示；对于未检测到的缺省节点，其节点特征填充0向量，将17个关键点的特征向量p1,
…
,p
17
按行排列，得到关于骨架图g的特征矩阵h。对于节点的连接关系采用邻接矩阵a表示，邻接矩阵a的第i行第j列存储了骨架图第个i节点与第个j节点的连接信息，表示为
[0022]
至此，特征矩阵h和邻接矩阵a对人体骨架图g进行了结构化的数据表征。
[0023]
s22、搭建图卷积网络对骨架图进行特征提取，图卷积中对每个节点进行特征更新时都会依据节点的连接信息，对相连的节点进行特征聚合再更新，然后将更新后的特征输入到非线性激活函数中以增强网络的非线性能力。同时，经过多层堆叠后深层的网络具有更深的感受野，每个节点能够感知其更多的邻居节点的特征信息，并将此信息传递到下一层中，通过堆叠多层图卷积层可以充分挖掘人体姿态的几何结构信息。定义第l层图卷积函数如下：
[0024][0025]
其中w
(l)
是卷积网络第l层的权重矩阵，h
(l)
是第l层的输入特征矩阵，a是邻接矩
阵，relu是非线性激活函数，d是骨架图节点度的对角阵。
[0026]
骨架图g的特征矩阵h经过多层图卷积的更新后，输出特征矩阵h
final
，将h
final
的所有行向量进行平均池化，得到姿态特征向量
[0027]
s23、依据提取到的人体的鼻子关键点p
nose
＝[x1,y1]和脚踝关键点p
ankle
＝[x
17
,y
17
]，估计人体的近似身高h＝max(|x
1-x
17
|,|y
1-y
17
|)，对步骤s1提取的姿态向量进行身高归一化得到归一化后的姿态向量p
norm
。
[0028]
s24、堆叠两层全连接层构建全连接网络，对归一化的姿态向量p
norm
进行特征提取，得到姿态特征向量
[0029]
s25、将步骤s24中全连接网络提取的姿态特征向量和步骤s22中图卷积网络提取的姿态特征向量进行级联拼接，得到融合后的特征向量f，进行级联拼接，得到融合后的特征向量f，表示按通道进行特征拼接；最后将该特征f输入到由两个全连接层组成的分类器，最后经过softmax函数归一化，输出预测的姿态类别。
[0030]
进一步地，所述步骤s3中，依据前序检测结果进行跌倒判决，其判决过程如下：设置一个长度为t帧的结果队列，用于存放t帧的姿态分类结果，依据视频流的每一帧对当前队列做循环更新。设置阈值系数α，t帧长度的结果队列里
‘
躺’姿的帧数和为t
lie
，当t
lie
＞αt时则做出跌倒判断。
[0031]
本发明的有益效果：
[0032]
1)设计了双流图卷积网络，以图的形式建模人体姿态，充分挖掘和利用了人体的姿态信息，提高了姿态特征的鲁棒性，有利于后续的姿态分类。
[0033]
2)利用了时序信息，结合前序帧和当前帧的检测结果做跌倒的联合判决，增强跌倒检测算法的泛化能力。
[0034]
3)该跌倒检测方法具有计算复杂度低、识别准确率高、易部署和迁移的特点。
附图说明
[0035]
图1为本发明的流程框图。
[0036]
图2为人体骨架连接方式示意图。
[0037]
图3为双流图卷积网络的框架图。
具体实施方式
[0038]
以下结合实施例和附图进一步解释本发明的具体实施方式，但不用于限定本发明。
[0039]
图1为基于人体关键点的图卷积网络跌倒检测方法的整体流程框图，包括如下步骤：
[0040]
s1、人体关键点提取
[0041]
基于姿态估计算法对监控图像中的人体进行关键点提取，构建姿态关键点数据集。
[0042]
s2、姿态特征提取分类
[0043]
设计一个双流图卷积网络对人体关键点进行姿态特征提取。所述的双流图卷积网络由图卷积网络和全连接网络组成；其中，图卷积网络对提取的人体关键点进行特征提取，得到图结构特征，与全连接网络提取的姿态特征拼接送入分类器进行姿态分类，得到当前行人的姿态状态。
[0044]
s3、跌倒判决
[0045]
设置姿态分类结果队列，结合时序信息和分类结果设置风险系数，对当前行人是否发生跌倒进行判断。
[0046]
其中，s1基于姿态估计算法对图像中的行人进行关键点提取，具体如下：首先，对人体的日常活动姿态进行了四类划分，分别为站立、弯腰、坐以及躺。然后，采用树莓派摄像头在实验模拟环境和真实室内环境下进行四类姿态的数据采集，得到四类姿态的图像数据；同时针对每一类姿态的图像数据，使用姿态估计算法对图像中的行人进行关键点提取，得到人体姿态关键点数据集。人体关键点为左耳、右耳、左眼、右眼、鼻子、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左臀、右臀、左膝盖、右膝盖、左脚踝和右脚踝总计17个关键点，姿态估计算法提取的是各个关键点在图像中的坐标信息。具体的，以鼻子关键点为例，其坐标信息为p
nose
＝[x1,y1]；将未检测到的关键点进行补0操作，然后将所有关键点的坐标信息级联排列成姿态向量p＝[p
nose
,p
neck
,
…
,p
left_ankle
]＝[x1,y1,...,x
17
,y
17
]。
[0047]
其中，s2对s1提取到的人体姿态信息进行姿态分类，图3展示了本发明所设计的图卷积姿态分类网络，该网络是一个双流图卷积网络，包含图卷积网络和全连接网络，充分利用图卷积的结构表征能力和全连接的全局特征提取能力对人体的关键点进行几何空间关系的建模。
[0048]
对于图卷积网络，其输入的是图结构数据，首先需要将人体的姿态向量p构建成一张无向图的数据结构。具体如下：将人体的姿态向量p按图2的方式进行连接，组成人体骨架图g，g有17个节点(node)和19条边(edge)。对于骨架图g中的第i个节点，其节点特征用其坐标向量pi＝[xi,yi]表示；对于未检测到的缺省节点，其节点特征填充0向量，骨架图中边的特征置空，得到关于骨架图g的维度为17
×
2的特征矩阵h。对于节点的连接关系采用邻接矩阵a进行表示至此，特征矩阵h和邻接矩阵a完成了对人体骨架图的结构化的数据表征。
[0049]
图卷积具有信息传递聚合的特点，图卷积网络中当前节点特征的更新来自于与该节点连接的其它节点的特征聚合，对于每一个节点都求取与之相邻的所有节点的特征的平均池化后再乘以权重矩阵w
(l)
进行该节点的特征更新，然后将更新后的特征输入到非线性激活函数中以增强网络的非线性能力；定义第l层图卷积函数为
[0050][0051]
其中w
(l)
是卷积网络第l层的权重矩阵，h
(l)
是第l层的输入特征矩阵，relu是非线性激活函数，d是节点度的对角阵。
[0052]
在做矩阵乘法时，邻接矩阵a会改变特征向量的尺度范围，因此需要对其进行归一化，完成对邻接矩阵a的归一化。在初始状态时，图中节点的特征维度较小，只有x，
y坐标两个维度，因此在后续堆叠图卷积层时需要将其映射到更高维的空间去学习更为鲁棒的特征。具体的，堆叠了4层图卷积层，每层图卷积节点的特征维度为64、128、256、256维。特征矩阵h经过4层图卷积网络后其维度为17
×
256。同时，经过多层堆叠后深层的网络具有更深的感受野，每个节点能够感知其更多的邻居节点的特征信息，并将此信息传递到下一层中。
[0053]
为了得到关于整张图结构的特征表达，对图中的每个节点特征做全局平均池化后得到姿态特征向量其维度为1
×
256。
[0054]
对于全连接网络，其输入的是姿态向量p。由于人体的大小差异，以及人体离拍摄设备的远近，会造成关键点信息的尺度不一致，需要对其进行归一化处理。归一化处理方式如下：依据提取到的人体的鼻子关键点p
nose
＝[x1,y1]和脚踝关键点p
ankle
＝[x
17
,y
17
]，估计人体的近似身高h＝max(|x
1-x
17
|,|y
1-y
17
|)，对步骤s1提取的姿态向量进行身高归一化再将归一化的姿态向量p
norm
经过两层全连接层和非线性激活函数映射到256维空间中得到新的姿态特征向量再将与图卷积网络提取的姿态特征向量进行级联拼接，得到关于该行人的姿态特征表达f，接，得到关于该行人的姿态特征表达f，表示对特征按通道进行拼接；最后将该特征f输入到由两个全连接层组成的分类器，所述两个全连接层依次有256个节点和4个节点，再经过softmax归一化，输出预测的姿态类别。
[0055]
其中，s3中，上述步骤得到的是单帧的姿态检测结果，为了判断是否发生跌倒需要利用前序的检测结果结合当前帧做联合判决。判决过程如下：首先设置一个长度为t帧的结果队列，用于存放t帧的姿态分类结果，依据视频流的每一帧对当前队列做循环更新。设置阈值系数α，t帧长度的结果队列里
‘
躺’姿的帧数为t
lie
，当t
lie
＞αt时则做出跌倒判断。