一种基于人体关键点的图卷积网络跌倒检测方法

技术特征：
1.一种基于人体关键点的图卷积网络跌倒检测方法，其特征在于，该方法包括以下步骤：s1、人体关键点提取基于姿态估计算法对监控图像中的人体进行关键点提取，构建姿态关键点数据集；s2、姿态特征提取分类设计一个双流图卷积网络对人体关键点进行姿态特征提取；所述的双流图卷积网络由图卷积网络和全连接网络组成；其中，图卷积网络提取人体关键点的几何结构信息，全连接网络提取关键点的全局信息；将图卷积网络和全连接网络提取到的姿态特征进行拼接融合，送入分类器完成姿态分类，得到当前行人的姿态状态；s3、跌倒判决设置姿态分类结果队列，结合时序信息和分类结果设置风险系数，对当前行人是否发生跌倒进行判断。2.根据权利要求1所述的一种基于人体关键点的图卷积网络跌倒检测方法，其特征在于，所述步骤s1的具体过程如下：s11、将姿态划分为站立、弯腰、坐和躺四类姿态，采集四类姿态的图像数据；s12、基于姿态估计算法获取每类姿态图像所对应的关键点信息，构建姿态关键点数据集；具体地，姿态估计算法所获取的是人体17个关键点的坐标信息，以鼻子关键点为例，其坐标信息为p
nose
＝[x1,y1]，将所有关键点的坐标信息级联排列，得到姿态向量p＝[p
nose
,p
neck
,
…
,p
left_ankle
]＝[x1,y1,...,x
17
,y
17
]，以此构建姿态关键点数据集。3.根据权利要求1或2所述的一种基于人体关键点的图卷积网络跌倒检测方法，其特征在于，所述步骤s2的具体过程如下：s21、将姿态向量送入图卷积网络时先将姿态向量构建为骨架图，再将非结构化的骨架图表征成结构化的数据形式；具体过程如下：首先，将姿态向量p连接构建成一张无向图，连接方式如下：鼻子-左眼，鼻子-右眼，左眼-右眼，左眼-左耳，右眼-右耳，左耳-左肩，右眼-右肩，左肩-左手肘，右肩-右手肘，左肩-右肩，左手肘-左手腕，右手肘-右手腕，左肩-左胯，右肩-右跨，左胯-左膝，右胯-右膝，左膝-左脚踝，右膝-右脚踝；按此方式连接得到人体骨架图g，g有17个节点和19条边；其次，对骨架图g进行结构化的数据表征：对于骨架图g中的第i个节点，其节点特征用其坐标向量p
i
＝[x
i
,y
i
]表示；对于未检测到的缺省节点，其节点特征填充0向量，将17个关键点的特征向量p1,
…
,p
17
按行排列，得到关于骨架图g的特征矩阵h；对于节点的连接关系采用邻接矩阵a表示，邻接矩阵a的第i行第j列存储了骨架图第个i节点与第个j节点的连接信息，表示为至此，特征矩阵h和邻接矩阵a对人体骨架图g进行了结构化的数据表征；s22、搭建图卷积网络对骨架图进行特征提取，图卷积中对每个节点进行特征更新时都会依据节点的连接信息，对相连的节点进行特征聚合再更新，然后将更新后的特征输入到非线性激活函数中以增强网络的非线性能力；同时，经过多层堆叠后深层的网络具有更深的感受野，每个节点能够感知其更多的邻居节点的特征信息，并将此信息传递到下一层中，
通过堆叠多层图卷积层可以充分挖掘人体姿态的几何结构信息；定义第l层图卷积函数如下：其中，w
(l)
是卷积网络第l层的权重矩阵，h
(l)
是第l层的输入特征矩阵，a是邻接矩阵，relu是非线性激活函数，d是骨架图节点度的对角阵；骨架图g的特征矩阵h经过多层图卷积的更新后，输出特征矩阵h
final
，将h
final
的所有行向量进行平均池化，得到姿态特征向量s23、依据提取到的人体的鼻子关键点p
nose
＝[x1,y1]和脚踝关键点p
ankle
＝[x
17
,y
17
]，估计人体的近似身高h＝max(|x
1-x
17
|,|y
1-y
17
|)，对步骤s1提取的姿态向量进行身高归一化得到归一化后的姿态向量p
norm
；s24、堆叠两层全连接层构建全连接网络，对归一化的姿态向量p
norm
进行特征提取，得到姿态特征向量s25、将步骤s24中全连接网络提取的姿态特征向量和步骤s22中图卷积网络提取的姿态特征向量进行级联拼接，得到融合后的特征向量f，进行级联拼接，得到融合后的特征向量f，表示按通道进行特征拼接；最后将该特征f输入到由两个全连接层组成的分类器，最后经过softmax函数归一化，输出预测的姿态类别。4.根据权利要求1或2所述的一种基于人体关键点的图卷积网络跌倒检测方法，其特征在于，所述步骤s3中，依据前序检测结果进行跌倒判决，其判决过程如下：设置一个长度为t帧的结果队列，用于存放t帧的姿态分类结果，依据视频流的每一帧对当前队列做循环更新；设置阈值系数α，t帧长度的结果队列里
‘
躺’姿的帧数和为t
lie
，当t
lie
＞αt时则做出跌倒判断。5.根据权利要求3所述的一种基于人体关键点的图卷积网络跌倒检测方法，其特征在于，所述步骤s3中，依据前序检测结果进行跌倒判决，其判决过程如下：设置一个长度为t帧的结果队列，用于存放t帧的姿态分类结果，依据视频流的每一帧对当前队列做循环更新；设置阈值系数α，t帧长度的结果队列里
‘
躺’姿的帧数和为t
lie
，当t
lie
＞αt时则做出跌倒判断。

技术总结
本发明提供了一种基于人体关键点的图卷积网络跌倒检测方法，属于计算机视觉技术领域。本发明设计了双流图卷积网络，以图的形式建模人体姿态，充分挖掘和利用了人体的姿态信息，提高了姿态特征的鲁棒性，有利于后续的姿态分类；同时利用了时序信息，结合前序帧和当前帧的检测结果做跌倒的联合判决，增强跌倒检测算法的泛化能力；本发明所述的跌倒检测方法具有计算复杂度低、识别准确率高、易部署和迁移的特点。移的特点。移的特点。


技术研发人员：刘潇 李培华 谢江涛 张雪飞 吴永秋 吕莎莎
受保护的技术使用者：大连理工大学
技术研发日：2021.12.28
技术公布日：2022/4/22