一种基于融合注意力机制的人体行为识别方法

1.本发明涉及一种人体行为识别技术，尤其是涉及一种基于融合注意力机制的人体行为识别方法。


背景技术：

2.在人体行为识别技术中，多关注人体日常执行频率最高、表征人体基本运动单元的动作，如行走、站立、静止、跑步、上下楼梯等，然而，行为的多样性和复杂性对人体行为的细粒度区分有了更高的要求。现有研究多用加速度计传感器采集用户数据，但单一传感器的研究难以很好地区分主体差异性及类间相似性带来的行为模式差异。其中主体差异性，即个体用户间因为生理特征产生的差异如年龄、性别等；类间相似性，即相似行为类别仅存在细微差异行为模式。例如，在看电视时，不同人具有极为不同的差异化行为模式；在跑步和走路时，不同人的传感器数据均表现出相似性。由于以上两大差异性的影响，人体行为细粒度的区分受加速度计、陀螺仪、磁力计等传感器影响程度不一。
3.已有的研究主要从以下方式对如何获取传感器模态间关系展开：(1)早期融合：初始融合所有数据作为模型输入，进行特征工程后得到识别结果；(2)传感器融合：单独考虑每个模态，融合不同的模态进行分类；或分别处理每个传感器轴信号。(3) 轴融合：为每个特征的每个单变量时间序列设计特定神经网络，整合所有通道的特征表示输入到最终的分类网络，消除不同传感器的轴间干扰。(4)共享参数融合：在轴融合的基础上不同任务的神经网络可以使用共享的参数提取通用特征，再针对不同任务的特点训练独有参数，允许了灵活的复杂性分布，以处理不同复杂程度的人类行为。
4.传统模态融合方式均容易丢失各模态内的细节相关性，为单个传感器轴信号分别设计模型又会忽视各传感器间作用，同时具有高研究成本，人类行为识别的准确性和可解释性有待进一步提高。传统模态融合方法在分类过程中会混入非主要行为特征的其他传感器噪声并产生误差。


技术实现要素：

5.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于融合注意力机制的人体行为识别方法，准确率高、可解释强、拓展性好等优点。
6.本发明的目的可以通过以下技术方案来实现：
7.一种基于融合注意力机制的人体行为识别方法，包括：
8.采集穿戴式设备上的多源异构传感器获取的人体姿态数据，构成数据集，并进行预处理；
9.将数据集输入训练好的深度行为识别模型，获得人体行为分类结果；
10.其中，所述的深度行为识别模型包括：
11.传感器通道注意力模块，用于提取多个传感器通道间的作用关系特征；
12.卷积网络模块，用于根据传感器通道间的作用关系特征，获取同一时刻下每个传
感器特征通道的模态特征；
13.循环神经网络模块，用于根据模态特征的时间序列提取时间特征；
14.时序注意力模块，用于根据时间特征获取同一时间片内不同时刻的注意力权重，并根据注意力权重对时间特征进行加权，获得注意力特征；
15.全连接层行为判断模块，用于根据注意力特征，通过全连接层获取人体行为概率分布，并将概率最大的人体行为作为时间片内的人体行为分类结果。
16.进一步地，所述的预处理的具体过程包括：
17.对数据集进行滤波处理；
18.采用合成少数过采样技术对数据集中的不平衡类数据进行处理；
19.采用定长滑窗法对数据集进行信号分割。
20.进一步地，所述的合成少数过采样技术的计算公式为：
21.c＝a rand(0,1)*|a-b|
22.其中，a为原始样本点数据，b为欧式距离下与a最近邻的另一个样本数据，c为合成采样得到的样本数据，rand(0,1)表示0到1之间的随机数。
23.进一步地，所述的滤波处理的具体过程包括：
24.通过中值滤波和三阶巴特沃斯低通滤波器对数据集进行去噪。
25.进一步地，所述的定长滑窗法中滑动窗口的重叠度为50％。
26.进一步地，所述的传感器通道注意力模块为senet中的se通道注意力模块。
27.进一步地，所述的卷积网络模块为cnn、resnet或深度可分离卷积。
28.进一步地，所述的循环神经网络模块为lstm或gru。
29.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器调用所述程序指令能够执行所述的人体行为识别方法。
30.一种计算机可读存储介质，包括计算机程序，所述计算机程序能够被处理器执行以实现所述的人体行为识别方法。
31.与现有技术相比，本发明具有以如下有益效果：
32.(1)本发明利用卷积网络模块学习多源异构传感器信号内部的空间特征，融合各传感器特征向量，通过传感器通道注意力模块学习传感器数据间相关性，卷积网络模块的输出输入到循环神经网络模块中学得时序间关系，采用自注意力机制捕获输入序列中关键部分，决定每部分的输入权重，使用注意力门过滤噪声部分，保留注意力分数较高的部分，最终形成整个时间序列的特征向量，得到行为分类结果，本发明通过引入注意力机制以分离不同人类行为下的传感器内关系、传感器间关系以及行为时序关系，表现在数据上则为传感器特征的通道、时间注意力分离，提高了对于人类行动的分类准确率；
33.(2)本发明深度行为识别模型针对传感器的多通道特征使用两次注意力模块以获取各个传感器通道的注意力和时间序列上的注意力，将传感器特征的通道和空间变化进行了分离，具有可解释性，针对穿戴式传感器数据的行为识别可以减少对传感器数量的限制，配合可解释性方法，如shap、lime或梯度方法等解释性方法，借助于传感器间的通道和时间注意力，更好地可视化说明模型视角下分类的成因，可以更好的让人理解模型的分类的原因，节省部署时间成本，也可以研究误分类样本的原因；
34.(3)本发明在仅利用穿戴式传感器设备下便可以对行为进行识别，无需复杂的全
套追踪设备，自主性好；
35.(4)本发明可以在仅修改输入特征数的情况下被应用于多源异构传感器数据，无需重新设计网络结构，拓展性好；
36.(5)本发明深度行为识别模型中的各个模型结构的组成均可以替换，如卷积模块可以是传统cnn、resnet、深度可分离卷积等，循环模块可以是lstm或是 gru，发展性强。
附图说明
37.图1为传感器通道注意力模块的结构示意图；
38.图2为循环神经网络基本结构示意图；
39.图3为双向时间序列循环神经网络的结构示意图；
40.图4为本发明的方法流程示意图。
具体实施方式
41.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
42.实施例1
43.一种基于融合注意力机制的人体行为识别方法，如图4，包括以下步骤：
44.s1、采集穿戴式设备上的多源异构传感器获取的人体姿态数据，构成数据集；
45.s2、对数据集进行预处理；
46.s3、将预处理好的数据集输入训练好的用于检测人体行为的深度行为识别模型，获得人体行为分类结果。
47.步骤s1中，多源异构传感器内置在穿戴式设备内部，放置于左右口袋，使用内置加速度计和内置陀螺仪进行数据样本采集，采样频率为50hz，每秒50个样本数据，原始数据一共6个数据通道，分别为x轴加速度，y轴加速度，z轴加速度，x轴陀螺仪，y轴陀螺仪，z轴陀螺仪。
48.步骤s2包括以下子步骤：
49.s201、对数据集进行滤波处理；
50.s202、采用合成少数过采样技术对数据集中的不平衡类数据进行处理；
51.s203、采用定长滑窗法对数据集进行信号分割。
52.子步骤s201的具体过程包括：
53.对原始数据进行中值滤波处理，平滑6个数据通道在时间上的突变信号，对中值滤波后数据使用三阶巴特沃斯低通滤波器过滤原始信号中的高频部分，滤波器的截至频率为20hz，使用的三阶巴特沃斯低通滤波器的振幅的平方对频率的公式如下：
[0054][0055]
其中，n＝3，表明使用3阶巴特沃斯滤波器，ωc是截至频率为20hz，|h(ω)|2^2 为通频带边缘的数值，使用另一个3阶低通巴特沃斯滤波器，频率为0.3hz，将 xyz轴加速度计
信号分离为xyz轴身体加速度和xyz轴重力加速度。
[0056]
子步骤s202的具体过程包括：
[0057]
对数据集采用合成过采样技术，数据集中不同移动行为数据量存在差异，导致模型结果偏向样本拥有更多数据的类，因此需要对不平衡类进行处理，取所考虑的样本与其最近邻之间的差来生成合成样本，该差值乘以0和1之间的随机数，然后与所考虑的样本相加，合成少数过采样技术的计算公式为：
[0058]
c＝a rand(0,1)*|a-b|
[0059]
其中，a为原始样本点数据，b为欧式距离下与a最近邻的另一个样本数据，c为合成采样得到的样本数据，rand(0,1)表示0到1之间的随机数。
[0060]
子步骤s203的具体过程包括：
[0061]
采用定长滑窗法对数据集进行信号分割，移动行为持续时间存在差异，采用重叠度为50％的滑动窗口，获取更为全面的信息表示；首先，对步骤s201处理后的数据集进行分割，以2.56秒(128个数据点)为一片，50％为数据重叠固定宽度构造滑动窗口(128个数据每窗口，每一次移动64个数据)，每一片包括128个数据点，每一个数据点9个通道的数据，分别为xyz轴身体加速度、xyz轴重力加速度和xyz轴陀螺仪；其次，对于步骤s202中的采样生成数据，根据其时间顺序进行分割，分割使用的参数与原始数据的分割参数一致，若采样生成数据不足一个数据片，则将此部分数据舍弃，若数据序列不足以分出128个数据点，则将此部分数据舍弃。
[0062]
步骤s3中，深度行为识别(at-hcg learning)模型包括传感器通道注意力模块、卷积网络模块、循环神经网络模块、时序注意力模块和全连接层行为判断模块。
[0063]
传感器通道注意力模块：如图1，传感器通道注意力模块采用senet中的se 通道注意力模块，输入数据为9通道，128*1尺寸的特征输入，使用线性层(liner) 对9通道数据进行线性升维，一般维度升至8或16的整数倍，以帮助更好的获取通道间的作用关系，全局池化层(global pooling)使用平均池化，将整个时间片单通道特征编码为一个全局特征。fc-1起到降维作用，将升维后的特征降维，fc-2 起到升维作用，将降维后的特征升维到线性层生成特征数，sigmoid作为将fc-2 层的激活值转为0～1区间，与线性层通道特征值相乘从而使得模型对于各个通道特征具有辨别能力。
[0064]
卷积网络模块：对传感器通道注意力模块输出的128个k维度特征进行1*1 卷积，此处k维度为上述4.1特征注意力机制的特征输出数目，对于每一层卷积层，1*1卷积为逐点卷积，卷积核尺寸为1*1*k，对于多个卷积层之间的结构而言，卷积层与层之间以cnn的方式连接。
[0065]
循环神经网络模块：对卷积网络模块生成的128个m维特征，此处m维度为上述4.2特征卷积模块的特征输出数目，根据其时间顺序通过循环神经网络模块提取其时间特征。如图2和图3所示，循环神经网络模块采用双向时间序列构造的循环神经网络(rnn)，循环神经网络模块可通过lstm、gru等rnn网络实现，初始传递权重全为0，t时刻网络的输出特征和传递权重，即行为类别概率由t时刻的输入特征以及t-1时刻rnn的传递权重得到。对卷积层生成的128个m维特征，根据时间序列生成128个具有时间顺序的输出特征。
[0066]
时序注意力模块：计算循环神经网络模块输出的128*6维人类行为数据，并判断其时序注意力，使用一个全连接层和一个softmax层获取同一时间片内不同时刻的注意力权
重，将其注意力权重与128*6维传感器数据相乘，获得具有注意力的 128*6维特征；
[0067]
全连接层行为判断模块：根据对时序注意力模块输出的具有注意力的128*6 维特征，通过多层全连接层得到最终的6维分类概率，使用softmax将6维分类概率处理为和为1的行为概率分布，将概率分布中行为概率最大的行为作为此时间片的行为结果。
[0068]
实施例2
[0069]
本实施例中，对于卷积网络模块中的每一层卷积层，1*1卷积为分组卷积，卷积核尺寸为1*1*(k1 k2
……
kn)，其他与实施例1相同。
[0070]
实施例3
[0071]
本实施例中，对于卷积网络模块中的多个卷积层之间的结构而言，层与层之间以类resnet的残差形式连接，其他与实施例1相同。
[0072]
实施例4
[0073]
一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器调用所述程序指令能够执行实施例1所述的人体行为识别方法。
[0074]
实施例5
[0075]
一种计算机可读存储介质，包括计算机程序，所述计算机程序能够被处理器执行以实现实施例1所述的人体行为识别方法。
[0076]
实施例1、实施例2和实施例3提出了一种基于融合注意力机制的人体行为识别方法、电子设备及计算机介质，针对穿戴式传感器数据，在对传感器内关系、传感器间关系、时序关系下的模态间关系展开研究，挖掘原始样本数据的深层表示，提升细粒度人体行为的分类准确率，利用卷积网络模块学习不同传感器信号的空间特征，并融合各传感器特征向量表示学习传感器内部关系，加入通道注意力机制学习传感器数据轴相关性，该网络的输出输入到循环神经网络中学得时序间关系，采用自注意力机制捕获输入序列中关键部分，决定每部分的输入权重，使用注意力门过滤噪声部分，保留注意力分数较高的部分，最终形成整个时间序列的特征向量，得到人体行为的细粒度识别划分。
[0077]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。