一种基于多模态融合与连续相似度对比学习的Wi-Fi身份及姿态识别方法

本发明涉及无线感知、人体活动识别和人工智能，尤其涉及一种基于多模态信道状态信息融合、天线通道注意力和连续相似度监督对比学习的wi-fi身份及姿态联合识别方法。

背景技术：

1、人体身份与姿态识别是智能家居、健康监测、人员管理、异常行为检测及人机交互等应用的基础。现有识别方案通常采用摄像头、可穿戴设备或专用雷达。摄像头容易受到光照、遮挡和视角影响，并存在隐私泄露风险；可穿戴设备要求用户持续佩戴；专用雷达则增加部署成本。wi-fi设备分布广泛，其信号在传播过程中会因人体运动产生反射、散射和衍射，人体的身份特征和姿态变化可通过信道状态信息（channel state information，csi）中的幅度、相位及多普勒变化进行表征，因此wi-fi无设备感知具有低成本、非接触和隐私友好等优势。

2、然而，原始csi容易受到载波频偏、采样时间偏移、硬件随机相位、环境多径及异常子载波的影响。不同收发天线对对人体运动的敏感程度也不相同，直接拼接全部天线链路会同时引入冗余信息和低质量链路噪声。单独使用幅度特征时，虽然信号相对稳定，但对速度和细粒度运动变化的刻画不足；单独使用相位或多普勒特征时，又容易受到硬件误差和环境变化影响。传统的特征直接拼接难以根据样本自适应地利用不同模态。

3、此外，现有wi-fi识别方法多将身份识别和姿态识别分别训练，或仅通过共享骨干网络进行多任务学习。身份和姿态信息在csi中相互耦合，有限规模的多标签数据容易导致过拟合。常规监督对比学习通常只区分正样本和负样本，无法描述“身份相同但姿态不同”或“身份不同但姿态相同”等部分相似关系；分别采用两个投影头又可能割裂两类标签的共享结构。因此，需要一种能够同时利用多天线、多模态及身份—姿态连续相似关系的联合识别方法。

技术实现思路

1、本发明要解决的技术问题是：针对wi-fi csi存在随机相位偏移、不同天线链路质量不一致、幅度与多普勒模态差异明显、身份与姿态语义耦合以及小样本条件下容易过拟合的问题，提供一种基于多模态融合与连续相似度对比学习的wi-fi身份及姿态识别方法。

2、为解决上述技术问题，本发明采用如下技术方案。

3、一种基于多模态融合与连续相似度对比学习的wi-fi身份及姿态识别方法，包括步骤如下：

4、步骤一、获取由wi-fi信道状态信息构建的幅度数据和多普勒频谱数据；

5、步骤二、执行天线通道注意力加权：分别将所述幅度数据和多普勒频谱数据中的各天线对或信道状态信息比值链路作为输入通道，通过全局压缩获得通道描述向量，根据所述通道描述向量生成各输入通道的注意力权重，并利用所述注意力权重对相应输入通道进行加权；

6、步骤三、执行双编码器特征提取与软注意力融合：将加权后的幅度数据和多普勒频谱数据分别输入参数互不共享的第一编码器和第二编码器，获得幅度特征和多普勒特征；根据所述幅度特征和多普勒特征生成归一化软注意力权重，并利用所述归一化软注意力权重对两种特征进行融合，得到融合特征；

7、步骤四、执行连续相似度监督对比学习：将所述融合特征输入单一共享投影头，并对投影结果进行归一化，从而将各样本映射至统一嵌入空间，根据训练批次内任意两个样本的身份标签和姿态标签的匹配关系设置分级连续相似度权重，并根据所述分级连续相似度权重约束样本在统一嵌入空间中的特征分布，并计算连续相似度监督对比损失；

8、根据连续相似度权重、样本嵌入之间的相似程度以及温度参数计算监督对比损失。对于不存在有效相似样本的锚样本，跳过其对比损失计算或将相应损失设置为零。采用单一共享投影头能够使不同标签关系在同一嵌入空间内形成连续结构，避免独立投影空间造成的语义割裂。

9、步骤五、执行多任务联合优化与预测；将所述融合特征分别输入身份分类头和姿态分类头，获得身份预测结果和姿态预测结果并计算身份分类损失、姿态分类损失；根据身份分类损失、姿态分类损失和连续相似度监督对比损失联合优化所述天线通道注意力、第一编码器、第二编码器、软注意力融合、单一共享投影头、身份分类头及姿态分类头。

10、进一步地，所述的步骤一中，采集数据的过程为：通过具有至少两个发射天线和至少两个接收天线的wi-fi收发设备，在人体执行待识别姿态或动作的过程中连续采集各收发天线对、各子载波及各时间采样点对应的wi-fi复数信道状态信息；每条信息标注身份标签和姿态标签；

11、对wi-fi复数信道状态信息预处理并构建幅度数据和多普勒频谱数据：对wi-fi复数信道状态信息提取幅度数据；通过具有共同发射天线或共同接收天线的csi链路进行复数比值运算，并在分母中加入用于避免数值不稳定的预设正数，由于参与比值运算的链路共享部分发射端或接收端硬件误差，所述比值能够至少部分抵消公共随机相位偏移；对比值相位沿时间维度进行进行解缠和时间差分，再根据采样频率相位变化得到多普勒频移序列，并通过短时傅里叶变换得到多普勒频谱；对幅度数据和多普勒数据进行异常值抑制、平滑、插值、归一化及滑动窗口分割。

12、进一步地，所述的步骤二中，所述天线通道注意力加权，具体如下：

13、针对幅度数据和多普勒频谱数据中的各天线对或信道状态信息比值链路作为输入通道，分别设置天线通道注意力模块；所述天线通道注意力模块对各输入通道沿非通道维度执行全局平均池化，获得表征各链路整体响应的通道描述向量；将所述通道描述向量依次输入降维全连接层、非线性激活层、升维全连接层和sigmoid激活层，获得各输入通道的注意力权重，并将所述注意力权重与对应输入通道逐通道相乘加权。

14、进一步地，所述的步骤二中，所述天线通道注意力模块的输入包括四条天线对或信道状态信息比值链路，所述降维全连接层的通道压缩率为四；幅度数据对应的天线通道注意力模块与多普勒频谱数据对应的天线通道注意力模块参数互相独立。

15、进一步地，所述的步骤三中，所述双编码器特征提取与软注意力融合，具体如下：

16、所述第一编码器和第二编码器采用结构相同但参数互不共享的卷积神经网络，分别提取幅度数据的空间—时间变化特征和多普勒频谱数据的时间—频率纹理特征；将提取的幅度特征和多普勒特征变换至相同维度，分别计算两种特征的注意力分数，通过softmax函数对所述注意力分数进行归一化，使两种模态的软注意力权重之和为一，并利用所述软注意力权重对两种特征进行加权求和或加权拼接，得到融合特征。

17、进一步地，所述的步骤三中，所述第一编码器和第二编码器均采用densenet121，所述densenet121包括密集连接块、过渡层和全局平均池化层；当采用加权拼接方式时，将加权后的幅度特征和多普勒特征进行拼接，并通过线性层或卷积层生成所述融合特征。

18、进一步地，所述的步骤四中，所述分级连续相似度权重按照样本间标签关系设置为四个等级：当两个样本的身份标签和姿态标签均相同时设置最高权重；当两个样本的身份标签不同而姿态标签相同时设置第一中间权重；当两个样本的身份标签相同而姿态标签不同时设置第二中间权重；当两个样本的身份标签和姿态标签均不同时设置最低权重；所述最高权重大于第一中间权重和第二中间权重，所述第一中间权重和第二中间权重均大于最低权重。

19、进一步地，所述的步骤四中，所述最高权重、第一中间权重、第二中间权重和最低权重依次为一点零、零点七、零点三和零；所述单一共享投影头将融合特征映射为一百二十八维投影特征，并对所述投影特征进行归一化；根据所述分级连续相似度权重、投影特征间的相似程度及温度参数计算连续相似度监督对比损失，所述温度参数为零点一。

20、进一步地，所述的步骤五中，所述多任务联合优化与预测，具体如下：

21、身份分类头和姿态分类头分别输出身份预测概率和姿态预测概率，并分别计算身份交叉熵损失和姿态交叉熵损失；将所述身份交叉熵损失、姿态交叉熵损失与连续相似度监督对比损失加权求和，形成总损失并进行端到端训练；训练完成后，将待测样本对应的融合特征分别输入身份分类头和姿态分类头，输出身份类别和姿态类别。

22、本发明的有益效果：

23、（1）通过csi比值、相位解缠和相位差分削弱硬件随机相位偏移，并将相位变化转换为多普勒频谱，提高运动特征的稳定性和可解释性。

24、（2）通过天线通道注意力自适应选择不同收发链路，减少直接拼接多天线数据引入的冗余信息和低质量链路噪声。

25、（3）通过相互独立的幅度编码器和多普勒编码器提取异构模态特征，再利用软注意力进行样本自适应融合，充分利用幅度稳定性与多普勒运动敏感性的互补优势。

26、（4）通过身份—姿态四级连续相似度目标，将完全相似、部分相似和不相似样本统一约束于同一嵌入空间，缓解传统二值监督对比学习对部分相似样本处理不当的问题。

27、（5）通过身份分类、姿态分类和对比学习联合优化，提高有限训练数据和复杂多径环境下的识别准确性、鲁棒性及泛化能力。