一种基于自适应时空图卷积的跌倒事件检测方法

1.本发明涉及机器视觉的技术领域，特别涉及一种基于自适应时空图卷积的跌倒事件检测方法。


背景技术：

2.近年来，我国人口增速放缓，人口老龄化程度日益严重。由于老年人身体机能下降，行动不便，视听方面的能力也逐渐降低，极易在行走途中跌倒，造成自身受伤、甚至死亡的严重后果，这也已经成为了当今时代的一个严重医疗问题和社会问题，对老年人跌倒行为进行检测能够减少跌倒事故的发生。
3.目前针对跌倒行为检测的方法主要有两种，分别为传感器方法和机器视觉方法，传感器方法主要采用多个传感器进行检测，具有检测精度高、成本低及设备小等优点，但佩戴传感器会让人感到不适，且容易忘记佩戴，导致无法检测数据；在应用机器视觉的方法时，使用常规摄像机来进行视频录制，然后对视频帧采集关节点和骨骼动作数据，再利用神经网络来对关节点进行跌倒预测，但基于骨骼的动作识别一般结合一些手工特征，并将其送入神经网络中训练，数据预处理复杂，另外，骨骼数据自然地以图形的形式嵌入，而不是矢量序列或二维网格的形式，因此采用时空图卷积网络(spatial temporal-graph convolutional network,st-gcn)将人体关节的自然连接构造空间图，将骨架数据直接建模为图结构，实现了从图像推广到图，在许多应用中得到了成功的应用。
4.现有技术中公开了一种跌倒检测方法，从视频中提取人体骨架点，然后通过滑动窗口采集样本数据，最后经过池化层和lstm层送入分类网络进行跌倒检测，一方面，该方法提取的骨架数据并未建立人体骨架间的空间关联关系和时间运动关系，而是仅通过网络得出每个骨架点的权重，因此，前期分类网络模型的准备数据不够充分，致分类网络模型的检测性能差，另一方面，在lstm层对样本数据进行处理，计算复杂度高。


技术实现要素：

5.为解决当前跌倒检测方法检测性能差和计算复杂度高的问题，本发明提出一种基于自适应时空图卷积的跌倒事件检测方法，能有效提高检测性能，降低计算复杂度。
6.为了达到上述技术效果，本发明的技术方案如下：
7.一种基于自适应时空图卷积的跌倒事件检测方法，包括以下步骤：
8.s1.采集待检测人体的视频数据，所述视频数据由多帧包含待检测人体的图像数据组成；
9.s2.基于每一帧图像数据，提取待检测人体的骨架数据；
10.s3.对骨架数据进行预处理；
11.s4.构建跌倒事件检测模型并将其预训练好，构建的跌倒事件检测模型包括依次连接的若干个时空图卷积网络模块及分类模块，每一个时空图卷积网络模块包括依次连接的用于提取骨架空间关联特征的空间自适应图卷积模块、用于提取骨架运动信息的时间自
适应图卷积模块；
12.s5.将预处理完的骨架数据输入跌倒事件检测模型，得到待检测人体的跌倒检测结果。
13.在本技术方案中，首先采集待检测人体的视频数据，然后从视频数据中的每一帧图像获取待检测人体的骨架数据，骨架数据提供了紧凑高效的信息，避免了识别过程中身体部位相互遮挡和身体体积影响的弊端，然后构建包括若干个时空图卷积网络模块及分类模块的跌倒事件检测模型，再利用每一个时空图卷积网络模型中的空间自适应图卷积模块提取骨架空间关联特征，并利用时间自适应图卷积模块提取骨架运动信息，建立了人体骨架间的空间关联关系和时间运动关系，提升了跌倒事件检测模型提取高维空间特征信息和时间特征信息的能力，同时减少跌倒事件检测模型的计算过程，最后将预处理完的骨架数据输入跌倒事件检测模型进行检测，得到待检测人体的跌倒检测结果，有效提高检测性能，降低计算复杂度。
14.优选地，在步骤s1中，所述视频数据利用摄像头或运动捕捉设备采集。
15.优选地，在步骤s2中，利用人体姿态估计方法提取待检测人体的骨架数据，所述骨架数据包括人体的骨架点的坐标信息。
16.优选地，步骤s3中，预处理的方式为：将骨架数据按四维张量的形式进行排列，得到四维张量[n,c,t,v]，其中，n表示视频数量，c表示骨架点的维度，t表示采集视频的帧数，v是每一帧图像中人体的骨架点数。
[0017]
优选地，在步骤s4中，所述时空图卷积网络模块设有m个，第i个时空图卷积网络模块中的空间自适应图卷积模块的输出端连接该模块中的时间自适应图卷积模块输入端，第i个时空图卷积网络模块中的时间自适应图卷积模块输出端连接第i 1个时空图卷积网络模块中的空间自适应图卷积模块的输入端，其中i＝1，2，3
……
m，第m个时空图卷积网络模块中的时间自适应图卷积模块的输出端连接分类模块的输入端，分类网络模块输出待检测人体的跌倒检测结果。
[0018]
在此，首先骨架数据输入第i个时空图卷积网络模块中的空间自适应图卷积模块，该空间自适应图卷积模块对骨架数据进行提取骨架之间的空间关联特征，并将其输入至第i个时空图卷积网络模块中的时间自适应图卷积模块，第i个时空图卷积网络模块中的时间自适应图卷积模块对输入的空间关联特征提取骨架时间运动信息，并将其输入至第i 1个时空图卷积网络模块中的空间自适应图卷积模块，该空间自适应图卷积模块对输入的空间特征进行提取比第i个时空图卷积网络模块中的空间自适应图卷积模块提取的空间关联特征维度高的空间关联特征，并将其输入至第i 1个时空图卷积网络模块的时间自适应图卷积模块，该时间自适应图卷积模块提取比第i个时空图卷积网络模块中的时间自适应图卷积模块提取的时间特征维度高的时间特征信息，其中i＝1，2，3
……
m，第m个时空图卷积网络模块提取到更高维的空间关联特征和时间特征信息，最后将输出的空间关联特征和时间特征的结果输入至分类模块，由分类模块输出最终的待检测人体的跌倒检测结果，使用空间自适应图卷积模块能够更好的提取空间关联特征，进一步，使用时间自适应图卷积模块能够提取更丰富的时间特征，并不会增加计算成本，具有高准确率，高适应性的特点。
[0019]
优选地，所述每一个时空图卷积网络模块中的空间自适应图卷积模块均利用归一化嵌入函数提取骨架之间的空间关联特征，其计算表达式为：
[0020][0021]
其中，f
in
表示空间自适应图卷积模块的输入，w
θ
和w
φ
分别表示嵌入函数θ和φ的权重矩阵；再通过图卷积提取空间特征，其计算表达式为：
[0022]fout
＝f
in
s w
ω
res(f
in
)
[0023]wω
表示加权函数，res(f
in
)表示残差连接，f
out
表示空间自适应图卷积模块的最终输出。
[0024]
在此，使用归一化嵌入函数可以根据不同数据集的骨架点数自适应的建立关联关系，并不需要人工预设置骨架点的空间关联关系。
[0025]
优选地，所述每一个时空图卷积网络模块中的时间自适应图卷积模块均利用多个不同大小的感受野进行提取骨架的时间运动信息，具体计算表达式为：
[0026]fout
＝concat(t1,t2,t3,t4) res(f
in
)
[0027]
其中，t1、t2、t3和t4分别表示4个分支的结果；
[0028]
t1的计算表达式为：
[0029]
t1＝conv
2d(9
×
1,1)
[conv
2d(1
×
1,1)
(f
in
)]
[0030]
其中2d(k
×
1,d)中的2d表示二维卷积，k
×
1表示核尺寸，d表示扩张系数；
[0031]
t2的计算表达式为：
[0032]
t2＝conv
2d(9
×
1,2)
[conv
2d(1
×
1,1)
(f
in
)]
[0033]
t3的计算表达式为：
[0034]
t3＝maxpool
2d(3
×
1,1)
[conv
2d(1
×
1,1)
(f
in
)]
[0035]
t4的计算表达式为：
[0036]
t4＝conv
2d(1
×
1,1)
(f
in
)。
[0037]
优选地，所述每一个时空图卷积网络模块中的空间自适应图卷积模块均由数据批处理层、conv2d层、矩阵乘法操作层、softmax层、矩阵加法操作层及包含relu函数的激活层组成，在提取骨架之间的空间关联特征时，每一个时空图卷积网络模块中的空间自适应图卷积模块中的conv2d层均设置不同的参数的数值，所述参数包括输入通道数、输出通道数和卷积步幅数。
[0038]
优选地，所述每一个时空图卷积网络模块中的时间自适应图卷积模块均由包括数据批处理层、conv2d层、dilated conv2d层、矩阵拼接操作层、矩阵加法操作层及包含relu函数的激活层组成，每一个时空图卷积网络模块中的时间自适应图卷积模块中的conv2d和dilated conv2d层均设置不同的参数的数值，所述参数包括输入通道数、输出通道数和卷积步幅数。
[0039]
优选地，所述分类模块由依次连接的全局平局池化层和全连接层组成，首先使用全局平局池化层对第m个时空图卷积网络模块输出的高维空间关联特征和骨架时间运动信息进行池化操作，再将池化操作的结果送入全连接层得到待检测人体的跌倒检测结果。
[0040]
与现有技术相比，本发明技术方案的有益效果是：
[0041]
本发明提出基于自适应时空图卷积的跌倒事件检测方法，首先采集待检测人体的视频数据，然后从视频数据中的每一帧图像获取待检测人体的骨架数据，骨架数据提供了紧凑高效的信息，避免了识别过程中身体部位相互遮挡和身体体积影响的弊端，再利用跌倒事件检测模型中每一个时空图卷积网络模型的空间自适应图卷积模块提取骨架空间关
联特征，并利用时间自适应图卷积模块提取骨架运动信息，建立了人体骨架间的空间关联关系和时间运动关系，提升了跌倒事件检测模型提取高维空间特征信息和时间特征信息的能力，同时减少跌倒事件检测模型的计算过程，最后将预处理完的骨架数据输入跌倒事件检测模型进行检测，得到待检测人体的跌倒检测结果，有效提高检测性能，降低计算复杂度。
附图说明
[0042]
图1表示本发明实施例中提出的一种基于自适应时空图卷积的跌倒事件检测方法的流程示意图；
[0043]
图2表示本发明实施例中提出的17个骨骼点的位置图；
[0044]
图3表示本发明实施例中提出的时空图卷积网络模型的结构图。
具体实施方式
[0045]
附图仅用于示例性说明，不能理解为对本专利的限制；
[0046]
为了更好地说明本实施例，附图某些部位会有省略、放大或缩小，并不代表实际尺寸，“上”“下”等部位方向的描述非对本专利的限制；
[0047]
对于本领域技术人员来说，附图中某些公知内容说明可能省略是可以理解的；
[0048]
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
[0049]
下面结合附图和实施例对本发明的技术方案做进一步的说明。
[0050]
实施例1
[0051]
如图1所示，一种基于自适应时空图卷积的跌倒事件检测方法，包括以下步骤：
[0052]
s1.采集待检测人体的视频数据，所述视频数据由多帧包含待检测人体的图像数据组成；
[0053]
在步骤s1中，所述视频数据利用摄像头或运动捕捉设备采集，摄像头选择普通视频采集设备，运动捕捉设备选择微软kinect v2设备。
[0054]
s2.基于每一帧图像数据，提取待检测人体的骨架数据；
[0055]
在步骤s2中，利用人体姿态估计方法提取待检测人体的骨架数据或直接使用微软kinect v2设备采集待检测人体的骨架数据，所述骨架数据包括人体的17个骨架点的坐标(x，y)信息，参见图2，17个骨架点分别为鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左手腕、右手腕、左髋关节、右髋关节、左膝、右膝、左脚踝及右脚踝。
[0056]
s3.对骨架数据进行预处理；
[0057]
在步骤s3中，预处理的方式为：将骨架数据按四维张量的形式进行排列，得到四维张量[n,c,t,v]，其中，n表示视频数量，c表示骨架点的维度，t表示采集视频的帧数，v是每一帧图像中人体的骨架点数。
[0058]
s4.构建跌倒事件检测模型并将其训练好，构建的跌倒事件检测模型包括依次连接的若干个时空图卷积网络模块及分类模块，每一个时空图卷积网络模块包括依次连接的用于提取骨架空间关联特征的空间自适应图卷积模块、用于提取骨架运动信息的时间自适应图卷积模块；
[0059]
在步骤s4中，采用梯度下降的方法对构建的跌倒事件检测模型进行训练，参见图
3，跌倒事件检测模型包括依次连接的3个时空图卷积网络模块及分类模块。
[0060]
s5.将预处理完的骨架数据输入跌倒事件检测模型，得到待检测人体的跌倒检测结果。
[0061]
在本实施例中，首先采集待检测人体的视频数据，然后从视频数据中的每一帧图像获取待检测人体的骨架数据，骨架数据提供了紧凑高效的信息，避免了识别过程中身体部位相互遮挡和身体体积影响的弊端，然后构建包括若干个时空图卷积网络模块及分类模块的跌倒事件检测模型，再利用每一个时空图卷积网络模型中的空间自适应图卷积模块提取骨架空间关联特征，并利用时间自适应图卷积模块提取骨架运动信息，建立了人体骨架间的空间关联关系和时间运动关系，提升了跌倒事件检测模型提取高维空间特征信息和时间特征信息的能力，同时减少跌倒事件检测模型的计算过程，最后将预处理完的骨架数据输入跌倒事件检测模型进行检测，得到待检测人体的跌倒检测结果，有效提高检测性能，降低计算复杂度。
[0062]
实施例2
[0063]
参见图1及图3，在步骤s4中，所述时空图卷积网络模块设有3个，所述时空图卷积网络模块设有3个，分别为依次连接的第1个时空图卷积网络模块、第2个时空图卷积网络模块及第3个时空图卷积网络模块，所述第1个时空图卷积网络模块中的空间自适应图卷积模块的输出端连接该模块中的时间自适应图卷积模块输入端，第1个时空图卷积网络模块中的时间自适应图卷积模块输出端连接第2个时空图卷积网络模块中的空间自适应图卷积模块的输入端，第2个时空图卷积网络模块中的空间自适应图卷积模块的输入端连接该模块中的时间自适应图卷积模块的输入端，第2个时空图卷积网络模块中的时间自适应图卷积模块的输出端连接第3个时空图卷积网络模块中的空间自适应图卷积模块的输入端，第3个时空图卷积网络模块中空间自适应图卷积模块的输出端连接该模块中的时间自适应图卷积模块的输入端，第3个时空图卷积网络模块中的时间自适应图卷积模块的输出端连接分类模块的输入端，分类网络模块输出待检测人体的跌倒检测结果。
[0064]
首先骨架数据输入第1个时空图卷积网络模块中的空间自适应图卷积模块，该空间自适应图卷积模块对骨架数据进行提取骨架之间的空间关联特征，并将其输入至第1个时空图卷积网络模块中的时间自适应图卷积模块，第1个时空图卷积网络模块中的时间自适应图卷积模块对输入的空间关联特征提取骨架时间运动信息，并将其输入至第2个时空图卷积网络模块的空间自适应图卷积模块，该空间自适应图卷积模块对输入的空间特征进行提取比第1个时空图卷积网络模块中的空间自适应图卷积模块提取的空间关联特征维度高的空间关联特征，并将其输入至第2个时空图卷积网络模块的时间自适应图卷积模块，该时间自适应图卷积模块提取比第1个时空图卷积网络模块中的时间自适应图卷积模块提取的时间特征维度高的时间特征信息，并将其输入至第3个时空图卷积网络模块中的空间自适应图卷积模块，该空间自适应图卷积模块提取到更高维的空间关联特征，并将其输入至第3个时空图卷积网络模块中的时间自适应图卷积模块，第3个时空图卷积网络模块中的时间自适应图卷积模块提取到更高维的时间特征信息，最后将输出的空间关联特征和时间特征的结果输入至分类模块，由分类模块输出最终的待检测人体的跌倒检测结果，使用空间自适应图卷积模块能够更好的提取空间关联特征，进一步，使用时间自适应图卷积模块能够提取更丰富的时间特征，并不会增加计算成本，具有高准确率，高适应性的特点。
[0065]
实施例3
[0066]
每一个时空图卷积网络模块中的空间自适应图卷积模块均利用归一化嵌入函数提取骨架之间的空间关联特征，其计算表达式为：
[0067][0068]
其中，f
in
表示空间自适应图卷积模块的输入，w
θ
和w
φ
分别表示嵌入函数θ和φ的权重矩阵；再通过图卷积提取空间特征，其计算表达式为：
[0069]fout
＝f
in
s w
ω
res(f
in
)
[0070]wω
表示加权函数，res(f
in
)表示残差连接，f
out
表示空间自适应图卷积模块的最终输出，使用归一化嵌入函数可以根据不同数据集的骨架点数自适应的建立关联关系，并不需要人工预设置骨架点的空间关联关系，且无需利用先验知识预先定义人体拓扑图，增加了算法的适用性及灵活性。
[0071]
每一个时空图卷积网络模块中的时间自适应图卷积模块均利用多个不同大小的感受野进行提取骨架的时间运动信息，具体计算表达式为：
[0072]fout
＝concat(t1,t2,t3,t4) res(f
in
)
[0073]
其中，t1、t2、t3和t4分别表示4个分支的结果；
[0074]
t1的计算表达式为：
[0075]
t1＝conv
2d(9
×
1,1)
[conv
2d(1
×
1,1)
(f
in
)]
[0076]
其中2d(k
×
1,d)中的2d表示二维卷积，k
×
1表示核尺寸，d表示扩张系数；
[0077]
t2的计算表达式为：
[0078]
t2＝conv
2d(9
×
1,2)
[conv
2d(1
×
1,1)
(f
in
)]
[0079]
t3的计算表达式为：
[0080]
t3＝maxpool
2d(3
×
1,1)
[conv
2d(1
×
1,1)
(f
in
)]
[0081]
t4的计算表达式为：
[0082]
t4＝conv
2d(1
×
1,1)
(f
in
)。
[0083]
时间自适应图卷积模块的计算过程相比其他图卷积计算过程，参数量减少，减低了时间自适应图卷积模块的计算复杂度。
[0084]
实施例4
[0085]
每一个时空图卷积网络模块中的空间自适应图卷积模块均由数据批处理层、conv2d层、矩阵乘法操作层、softmax层、矩阵加法操作层及包含relu函数的激活层组成，在提取骨架之间的空间关联特征时，参见图3，第1个时空图卷积网络模块至第3个时空图卷积网络模块中的空间自适应图卷积模块的conv2d层均设置不同的参数数值，所述参数包括输入通道数、输出通道数和卷积步幅数。其中，第1个时空图卷积网络模块中空间自适应图卷积模块的conv2d层的参数数值为：输入通道数为2，输出通道数为64为和卷积步幅数为1；第2个时空图卷积网络模块中空间自适应图卷积模块的conv2d层的参数数值为：输入通道数为64，输出通道数为128为和卷积步幅数为2；第3个时空图卷积网络模块中的空间自适应图卷积模块的conv2d层的参数数值为：输入通道数为128，输出通道数为256为和卷积步幅数为2。
[0086]
每一个时空图卷积网络模块中的时间自适应图卷积模块均由包括数据批处理层、conv2d层、dilated conv2d层、矩阵拼接操作层、矩阵加法操作层及包含relu函数的激活层
组成，参见图3，第1个时空图卷积网络模块至第3个时空图卷积网络模块中的时间自适应图卷积模块中的conv2d和dilated conv2d层均设置不同的参数数值，所述参数包括输入通道数、输出通道数和卷积步幅数，其中，第1个时空图卷积网络模块中的时间自适应图卷积模块的conv2d层的参数数值为：输入通道数为2，输出通道数为64为和卷积步幅数为1；第2个时空图卷积网络模块中时间自适应图卷积模块的conv2d层的参数数值为：输入通道数为64，输出通道数为128为和卷积步幅数为2；第3个时空图卷积网络模块中的时间自适应图卷积模块的conv2d层的参数数值为：输入通道数为128，输出通道数为256为和卷积步幅数为2。
[0087]
参见图3，所述分类模块由依次连接的全局平局池化层和全连接层组成，首先使用全局平局池化层对第3个时空卷积模块输出的高维空间关联特征和骨架的时间运动信息进行池化操作，具体使用avg_pool2d，核尺寸为(300,17)，再将池化操作的结果送入全连接层得到待检测人体的跌倒检测结果。
[0088]
显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。