基于多通道融合的CSI动作识别方法

基于多通道融合的csi动作识别方法
技术领域
1.本发明涉及一种基于多通道融合的csi动作识别方法，属于无线信号行为识别技术领域。


背景技术：

2.随着物联网系统的普及，被动式行为识别由于其在人机交互、智慧养老等领域的易用性进而被广泛研究，例如基于wifi信号的感知。利用泛在无线信号如wifi信号进行环境的人员感知成为一个研究热点。
3.但是，现有的基于wifi信号的行为识别方法，大多将多个天线的通道状态信息csi直接连接，然而数据在子载波维度、时间维度和天线维度包含的特征信息不同，利用简单的连接方法，等同看待各通道信息，会造成识别精度下降，导致识别精度较低。
4.例如，中国发明专利申请cn202110669373.8公开的一种基于csi信号利用densenet网络进行人体活动识别方法，同样存在识别精度低的问题。
5.上述问题是在基于多通道融合的csi动作识别过程中应当予以考虑并解决的问题。


技术实现要素：

6.本发明的目的是提供一种基于多通道融合的csi动作识别方法解决现有技术中存在的由于数据在子载波维度、时间维度和天线维度包含的特征信息不同，将多个天线的通道状态信息csi直接连接，等同看待各通道信息，感知识别精度低的问题。
7.本发明的技术解决方案是：一种基于多通道融合的csi动作识别方法，包括以下步骤，s1、在多组wifi信号收发对的感知区域内，由受试者完成设定动作，并采集无线信号的多视角的二维csi数据，分别记录对应的动作类别标签，获得csi数据集，将采集的csi数据集分为训练集和测试集；s2、构建基于注意力的多通道特征融合模型，将训练集中的训练样本即多视角的二维csi数据，经由构建的基于注意力的多通道特征融合模型，获得经过时间维度和子载波维度权重处理后的训练样本；s3、将步骤s2得到的时间维度和子载波维度权重处理后的训练样本输入到多层二维卷积神经网络中，得到每个训练样本的多视角特征向量；s4、构建基于注意力的多视角特征融合模型，将步骤s3得到的每个训练样本的多视角特征向量，经由构建的基于注意力的多视角特征融合模型，获得每个训练样本的最终特征表达；s5、利用训练集的训练样本，结合对应的动作类别标签，训练动作识别网络模型包括基于注意力的多通道特征融合模型、多层二维卷积神经网络和基于注意力的多视角特征融合模型后，将测试集的测试样本输入到训练后的动作识别网络模型中，获得动作识别结
果。
8.进一步地，步骤s1中，在多组wifi信号收发对的感知区域内，由受试者完成设定动作，并采集无线信号的多视角的二维csi数据，获得csi数据集，具体为，s11、在室内场景的多个位置分布式布置多组wifi信号收发对，每组wifi信号收发对分别作为数据采集视角，wifi信号收发对之间的区域形成感知区域；s12、在感知区域内，由受试者完成设定动作，并采集无线信号的多视角的二维csi数据，分别记录对应的动作类别标签，获得csi数据集，csi数据集的数据样本包括二维csi数据与对应的动作类别标签，其中，第i个天线对的二维csi数据表示为，其中，和分别表示为csi信道的子载波数和时间维度。
9.进一步地，步骤s11中，wifi信号收发对中，无线路由器作为wifi发射器，配有无线网卡intel 5300的pc机作为接收器。
10.进一步地，步骤s2中，构建基于注意力的多通道特征融合模型，将训练集中的训练样本即多视角的二维csi数据，经由构建的基于注意力的多通道特征融合模型，获得经过时间维度和子载波维度权重处理后的训练样本，具体为，s21、将训练集中的训练样本即多视角的二维csi数据，沿着时间维度压缩成子载波维度的一维向量，经由构建的多层全连接层网络，生成子载波维度的权重向量，将该子载波维度的权重向量与训练样本做点乘操作，获得经过子载波维度权重处理后的训练样本；s22、将训练集中的训练样本即多视角的二维csi数据，沿着子载波维度压缩成时间维度的一维向量，经由构建的多层全连接层网络，生成时间维度的权重向量，将该时间维度的权重向量与步骤s21得到的经过子载波维度权重处理后的训练样本做点乘操作，获得经过时间维度和子载波维度权重处理后的训练样本。
11.进一步地，步骤s21中，将训练集中的训练样本即多视角的二维csi数据，沿着时间维度压缩成子载波维度的一维向量，经由构建的多层全连接层网络，生成子载波维度的权重向量，将该子载波维度的权重向量与训练样本做点乘操作，获得经过子载波维度权重处理后的训练样本，具体为，s211、将第i个天线对的二维csi数据沿着时间维度做最大值池化操作，得到子载波维度的一维向量；s212、将步骤s211得到的子载波维度的一维向量，依次通过构建的多层全连接层网络，得到子载波维度的权重向量：其中，表示s行t列的矩阵，，是的第j列，且每一列的向量相同；max(
·
,2) 表示沿着时间轴做最大值池化，fc(
·
)表示全连接层，relu(
·
) 和 sigmoid(
·
) 分别表示非线性激活函数；s213、将得到的子载波维度的权重向量与输入的训练样本做点乘操作，获得经过子载波维度权重处理后的训练样本：
其中，为第i个天线对的二维csi数据。
12.进一步地，步骤s22中，将训练集中的训练样本即多视角的二维csi数据，沿着子载波维度压缩成时间维度的一维向量，经由构建的多层全连接层网络，生成时间维度的权重向量，将该时间维度的权重向量与步骤s21得到的经过子载波维度权重处理后的训练样本做点乘操作，获得经过时间维度和子载波维度权重处理后的训练样本，具体为，s221、将训练集中的训练样本即多视角的二维csi数据沿着子载波维度做最大值池化操作，得到时间维度的一维向量；s222、步骤s221得到的时间维度的一维向量，依次通过构建的多层全连接层网络，得到时间维度的权重向量：其中，表示s行t列的矩阵，，是的第i行，每一行的向量相同；为第i个天线对的二维csi数据，max(
·
, 1) 表示沿着子载波维度做最大值池化，fc(
·
)表示全连接层，relu(
·
) 和 sigmoid(
·
) 分别表示非线性激活函数；s223、将得到的时间维度的权重向量与步骤s213得到的经过子载波维度权重处理后的训练样本做点乘操作，得到经过时间维度和子载波维度权重处理后的训练样本：其中，为经过子载波维度权重处理后的训练样本。
13.进一步地，步骤s21、s22中，构建的多层全连接层网络包括输入层、全连接层一、修正线性单元即relu层、全连接层二、sigmoid层和输出层，输入层的输出数据经由全连接层一进行特征维度变换后由relu层进行线性修正，再由全连接层二进行特征维度变换后经由sigmoid层的sigmoid激活函数后，由输出层输出数据。
14.进一步地，步骤s4中，将步骤s3得到的每个训练样本的多视角特征向量，经由构建的基于注意力的多视角特征融合模型，获得每个训练样本的最终特征表达，具体为，s41、将多视角特征向量经由多层网络，投影到一维子空间得到一维特征；s42、计算每个视角的权重：其中，n表示每个训练样本对应的视角数；s43、求得每个训练样本的最终特征表达：其中，n表示每个训练样本对应的视角数，表示每个视角的权重，为多视角特征向量。
15.本发明的有益效果是：该种基于多通道融合的csi动作识别方法，根据无线wifi数
据的特点，构建动作识别网络模型，学习时间维度、子载波维度和天线维度的权重，创新性地构建一个端对端的基于多通道融合的无源感知框架，能够实现高精度的被动式行为识别任务。该方法通过多通道注意力机制，根据数据特点和感知能力计算权重，融合时间维、子载波维和天线维信息，能够实现动作识别，具有精度高的优点。
附图说明
16.图1是本发明实施例基于多通道融合的csi动作识别方法的流程构示意图；图2是实施例中多组wifi信号收发对的布置说明示意图；图3是实施例中动作识别网络模型的说明示意图；图4是实施例中多组wifi信号收发对中三个视角的二维csi数据的说明示意图，其中，（a）是视角1即view1的二维csi数据的说明示意图，（b）是视角2即view2的二维csi数据的说明示意图，（c）是视角3即view3的二维csi数据的说明示意图；图5是实施例中识别效果的混淆矩阵的说明示意图；图6是实施例基于多通道融合的csi动作识别方法与现有的统计学方法、c2d网络结构、视角池化方法的识别精度对比示意图。
具体实施方式
17.下面结合附图详细说明本发明的优选实施例。
18.实施例提供一种基于多通道融合的csi动作识别方法，如图1，包括以下步骤，s1、在多组wifi信号收发对的感知区域内，由受试者完成设定动作，并采集无线信号的多视角的二维csi数据，分别记录对应的动作类别标签，获得csi数据集，将采集的csi数据集分为训练集和测试集；步骤s1中，在多组wifi信号收发对的感知区域内，由受试者完成设定动作，并采集无线信号的多视角的二维csi数据，获得csi数据集，如图2，tx1、tx2、tx3分别为发射器1、发射器2、发射器3，rx1、rx2、rx3分别为接收器1、接收器2、接收器3，具体为，s11、在室内场景的多个位置分布式布置多组wifi信号收发对，每组wifi信号收发对分别作为数据采集视角，wifi信号收发对之间的区域形成感知区域；步骤s11中，wifi信号收发对中，无线路由器作为wifi发射器，配有无线网卡intel 5300的pc机作为接收器。
19.s12、在感知区域内，由受试者完成设定动作，并采集无线信号的多视角的二维csi数据，分别记录对应的动作类别标签，获得csi数据集，csi数据集的数据样本包括二维csi数据与对应的动作类别标签，其中，第i个天线对的二维csi数据表示为，其中，和分别表示为csi信道的子载波数和时间维度。
20.s2、构建基于注意力的多通道特征融合模型，将训练集中的训练样本即多视角的二维csi数据，经由构建的基于注意力的多通道特征融合模型，获得经过时间维度和子载波维度权重处理后的训练样本；s21、将训练集中的训练样本即多视角的二维csi数据，沿着时间维度压缩成子载波维度的一维向量，经由构建的多层全连接层网络，生成子载波维度的权重向量，将该子载波维度的权重向量与训练样本做点乘操作，获得经过子载波维度权重处理后的训练样本；
s211、将第i个天线对的二维csi数据沿着时间维度做最大值池化操作，得到子载波维度的一维向量；s212、将步骤s211得到的子载波维度的一维向量，依次通过构建的多层全连接层网络，得到子载波维度的权重向量：其中，表示s行t列的矩阵，，是的第j列，且每一列的向量相同；max(
·
,2) 表示沿着时间轴做最大值池化，fc(
·
)表示全连接层，relu(
·
) 和 sigmoid(
·
) 分别表示非线性激活函数；s213、将得到的子载波维度的权重向量与输入的训练样本做点乘操作，获得经过子载波维度权重处理后的训练样本：其中，为第i个天线对的二维csi数据。
21.s22、将训练集中的训练样本即多视角的二维csi数据，沿着子载波维度压缩成时间维度的一维向量，经由构建的多层全连接层网络，生成时间维度的权重向量，将该时间维度的权重向量与步骤s21得到的经过子载波维度权重处理后的训练样本做点乘操作，获得经过时间维度和子载波维度权重处理后的训练样本。
22.s221、将训练集中的训练样本即多视角的二维csi数据沿着子载波维度做最大值池化操作，得到时间维度的一维向量；s222、步骤s221得到的时间维度的一维向量，依次通过构建的多层全连接层网络，得到时间维度的权重向量：其中，表示s行t列的矩阵，，是的第i行，每一行的向量相同；为第i个天线对的二维csi数据，max(
·
, 1) 表示沿着子载波维度做最大值池化，fc(
·
)表示全连接层，relu(
·
) 和 sigmoid(
·
) 分别表示非线性激活函数；s223、将得到的时间维度的权重向量与步骤s213得到的经过子载波维度权重处理后的训练样本做点乘操作，得到经过时间维度和子载波维度权重处理后的训练样本：其中，为经过子载波维度权重处理后的训练样本。
23.步骤s21、s22中，构建的多层全连接层网络包括输入层、全连接层一、修正线性单元即relu层、全连接层二、sigmoid层和输出层，输入层的输出数据经由全连接层一进行特征维度变换后由relu层进行线性修正，再由全连接层二进行特征维度变换后经由sigmoid
层的sigmoid激活函数后，由输出层输出数据。
24.s3、将步骤s2得到的时间维度和子载波维度权重处理后的训练样本输入到多层二维卷积神经网络中，得到每个训练样本的多视角特征向量；s4、构建基于注意力的多视角特征融合模型，将步骤s3得到的每个训练样本的多视角特征向量，经由构建的基于注意力的多视角特征融合模型，获得每个训练样本的最终特征表达；s41、将多视角特征向量经由多层网络，投影到一维子空间得到一维特征；s42、计算每个视角的权重：其中，n表示每个训练样本对应的视角数；s43、求得每个训练样本的最终特征表达：其中，n表示每个训练样本对应的视角数，表示每个视角的权重，为多视角特征向量。
25.s5、利用训练集的训练样本，结合对应的动作类别标签，训练动作识别网络模型包括基于注意力的多通道特征融合模型、多层二维卷积神经网络和基于注意力的多视角特征融合模型后，将测试集的测试样本输入到训练后的动作识别网络模型中，获得动作识别结果。
26.该种基于多通道融合的csi动作识别方法，根据无线wifi数据的特点，构建动作识别网络模型，学习时间维度、子载波维度和天线维度的权重，创新性地构建一个端对端的基于多通道融合的无源感知框架，能够实现高精度的被动式行为识别任务。该方法通过多通道注意力机制，根据数据特点和感知能力计算权重，融合时间维、子载波维和天线维信息，能够实现动作识别，具有精度高的优点。
27.图3是实施例中动作识别网络模型的说明示意图。图3中，x1…
xn表示n个视角的训练样本即二维csi数据，
…
表示子载波维度的权重向量，表示时间维度的权重向量，表示经过时间维度和子载波维度权重处理后的训练样本，f
1,
…fn
表示各视角的训练样本对应的特征向量，a1…
a n
表示各视角对应的权重值，
⊙
、
×
、σ分别表示矩阵点乘、乘法、求和运算。
28.图4是实施例中多组wifi信号收发对中三个视角的二维csi数据的说明示意图。图4中，横坐标表示时间维度上的数据包数，纵坐标表示子载波幅值，每条曲线代表每个子载波。图4中（a）、（b）、（c）分别为视角1、视角2、视角3三个视角的二维csi数据，以该三个视角的csi数据为例，从图4可以看出，不同时间段、不同子载波以及不同视角的数据对感知的贡献度不相同，根据其对识别的重要性分配不同的权重，能够学习出更精确的特征表示，进而提高感知精度。
29.图5是实施例中采集数据的识别效果的混淆矩阵的说明示意图。图5中，样本包括jump、lift、throw、box、clap、wave、kick、squat八种动作，图5中的数值代表某类动作预测
为该类或者其他类的占比，对角线的数值越大，代表识别的精度越高。由图5可以看出，实施例方法能够实现对各类动作的高精度识别。
30.图6是实施例基于多通道融合的csi动作识别方法与现有的统计学方法、c2d网络结构、视角池化方法，进行识别结果的精度对比示意图。由图6可以看出，现有的统计学方法、c2d网络结构、视角池化方法，识别的准确度均低于实施例方法，且实施例方法具有高精度的优点，识别精度可达97%以上。
31.该种基于多通道融合的csi动作识别方法，通过采集csi数据，计算子载波维度的权重，计算时间维度的权重，计算多视角特征向量，计算多视角权重并生成样本的最终特征表示，进而训练动作识别网络模型并判断测试样本类别，能够实现高精度识别的目的。
32.该种基于多通道融合的csi动作识别方法，通过多通道注意力机制，根据动作样本时间维、子载波维以及多视角维对感知的重要性，设计专门的网络结构，学习对应权重，获得的识别模型，具有更高精度的辨识能力。
33.以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。