基于自监督统一表征的异构WiFi人体姿态估计系统及方法

摘要: 本发明涉及无线感知与计算机视觉交叉,尤其涉及一种基于自监督统一表征的异构wifi人体姿态估计系统及方法。背景技术:1、近年来,基于wifi信道状态信息的无源人体...
基于自监督统一表征的异构WiFi人体姿态估计系统及方法

本发明涉及无线感知与计算机视觉交叉,尤其涉及一种基于自监督统一表征的异构wifi人体姿态估计系统及方法。

背景技术:

1、近年来,基于wifi信道状态信息的无源人体感知技术快速发展,凭借无需穿戴设备、隐私保护性强、不受光照遮挡限制、部署成本低等优势,成为无线感知与计算机视觉交叉领域的研究热点。人体姿态估计作为无线感知的核心下游任务,旨在从信道信号中恢复人体关节点的二维或三维坐标,是动作识别、行为分析、智慧养老、无感人机交互等高层应用的核心基础。

2、掩码自编码器这类视觉领域自监督方案直接迁移到无线感知领域存在诸多适配问题:训练稳定性差、难以充分利用信道数据三维物理结构先验,也未融合各类物理先验,模型跨硬件、场景泛化能力不足;同时相关数据集采集工具缺乏标准化能力,公开数据集异构性强;现有姿态解码方案通用性弱。当前行业缺少从多模态标准化采集→异构数据统一预处理→自监督通用表征预训练→通用姿态解码→在线推理的全链路一体化解决方案,当前基于深度学习的wifi姿态估计模型高度依赖大规模标注数据监督训练,但信道状态信息数据标注需专业设备同步采集视觉真值,标注成本高、获取难度大、跨域泛化差、算力开销大、工程复用性低,严重制约wifi无源人体姿态估计技术商业化落地。

3、中国专利“cn115171154b一种基于performer-unet的wifi人体姿态估计方法”提供了一种基于wifi信道状态信息的人体姿态估计方法,该技术方案需要采集人体活动视频,并利用视觉姿态识别算法从视频帧中提取人体骨架点坐标作为真实姿态标注信息,再按照时间戳获取对应的csi数据包进行监督训练。由于该方法训练过程依赖视频数据与csi数据的同步采集和逐帧对应,因此在数据采集阶段需要额外布置摄像头并进行时间戳匹配,采集流程复杂;若视频帧与csi数据包之间存在时间偏差,则会导致姿态标签与无线信号不严格对应,从而影响模型训练效果。此外,该方法主要通过有监督方式训练performer-unet网络,需要大量带姿态标注的样本数据,当目标场景或采集设备发生变化时,仍需重新采集并标注数据,跨场景和跨设备迁移成本较高。该方法在网络结构上采用u形结构并在底层加入多层performer层,虽然能够增强特征提取能力,但网络对固定输入形式和特定训练数据依赖较强,难以直接适配链路数量、子载波数量、采样频率或关节定义不同的异构wifi数据。

4、中国专利“cn120929916a一种融合通道注意力与多分支学习的wifi人体姿态估计方法”提供了一种利用通道注意力机制和多分支编解码结构进行wifi人体姿态估计的方法,该技术方案先将wifi信道状态信息处理为固定的n×s×t1×t2张量格式,再通过卷积、反卷积、单分支编码器、辅助解码器和最终解码器进行姿态预测。由于该方法的输入张量格式与序列数、载波数、发射天线数和接收天线数相关,当不同wifi设备或不同数据集具有不同的链路数量、天线配置或子载波数量时,需要重新进行数据格式适配,通用性较弱。该方法通过反卷积将信道状态信息扩展为特征图形式,但这种维度扩展主要是网络结构上的变换,并不能从根本上解决wifi信号与人体姿态之间的跨模态差异。该方法采用辅助解码器和最终解码器两个分支,并在分支之间引入通道注意力进行特征融合,因此网络结构相对复杂,训练阶段还需要多个分支共同参与损失计算,增加了模型训练和调参成本。同时,通道注意力主要对通道维度特征进行加权,难以充分表达wifi信号中时间维度、子载波维度和链路维度之间的物理关联,因此在复杂场景或跨设备应用中仍可能存在姿态估计精度下降的问题。

5、中国专利“cn118131223a一种基于毫米波和wifi分时检测的人体姿态估计方法”提供了一种结合毫米波点云数据和wifi信道状态信息的人体姿态估计方法,该技术方案通过判断毫米波点云数据是否可信,在毫米波姿态估计分支和wifi姿态估计分支之间进行切换。该方法需要同时配置毫米波设备和wifi采集设备,硬件系统组成较复杂,部署成本和设备标定成本较高。其毫米波数据可信度主要依据当前时刻点云数量与前一时间段平均点云数量进行判断,但点云数量只能反映检测点的多少,不能完全代表点云是否真实对应人体有效姿态;在存在环境反射、遮挡、边缘区域或多人干扰时,可能出现点云数量较多但姿态信息不可靠,或者点云数量较少但仍包含有效人体信息的情况,从而导致分支选择不准确。该方法采用分时切换策略,当毫米波可信时使用毫米波分支,不可信时切换到wifi分支,两个分支之间并未进行深层特征融合,因此不能充分利用毫米波和wifi两类信号的互补信息。并且,在切换至wifi分支时,该方法仍主要通过常规csi预处理、插值和卷积神经网络完成姿态估计,wifi信号本身粒度较低且容易受环境变化影响,因而在复杂室内环境或跨场景应用时,姿态估计稳定性仍存在不足。

技术实现思路

1、本发明要解决的技术问题是针对上述现有技术的不足,提供一种基于自监督统一表征的异构wifi人体姿态估计系统及方法,构建一套覆盖数据采集、统一预处理、自监督预训练、通用姿态解码、实时推理的完整全链路系统,降低工程落地与标注成本。

2、为解决上述技术问题,本发明所采取的技术方案是:

3、一方面,本发明提供一种基于自监督统一表征的异构wifi人体姿态估计系统,整体为数据采集-表征预训练-姿态解码三级架构,包括多模态数据采集硬件子系统、异构数据统一预处理模块、结构化安全掩码自监督预训练主干网络、跨数据集通用姿态解码网络、在线推理部署模块;

4、所述多模态数据采集硬件子系统,包括wifi信道采集终端、视觉采集摄像头、上位机,各设备接入同一路由器构建的局域网环境;上位机集成同步采集、时序索引生成、标准化数据集批量剪辑单元,用于实现纳秒级同步采集wifi-csi信号与人体视觉骨骼真值标签;上位机通过udp协议向wifi信道采集终端下发同步采集触发指令,终端记录设备编号、csi序号、各链路与各子载波的复数csi信道响应及rssi,并封装udp数据包回传;同一局域网内视觉采集摄像头同步采集视频流,上位机实时提取视频帧人体骨骼关键点;全部csi数据、视频帧、骨骼标注统一标记纳秒级时间戳;采集过程中系统同步保存csi原始文件、视频文件、时间戳、骨骼标注与触发日志;采集完成后基于时间戳自动匹配csi与视觉真值,生成同步索引文件;内置的标准化数据集批量剪辑单元基于时间轴批量裁剪多模态同步片段,重新编号并保留原始来源追溯信息,输出标准化自建数据集,并兼容mm-fi、wipose、piw3d公开异构数据集联合训练;

5、所述异构数据统一预处理模块,用于将不同硬件、链路、子载波、采样频率、关节标注规则的异构wifi-csi数据统一转换为固定维度五维csi伪图像张量,生成区分有效信号/填充区域的全局有效掩码,并提取天线位置坐标、子载波频率、硬件标识、数据集标识四类物理特征向量;

6、所述结构化安全掩码自监督预训练主干网络,用于执行自监督预训练得到通用信道表征权重,包括结构化安全掩码生成模块、局部时频卷积、物理感知嵌入、三维轴向transformer、残差向量量化、潜变量聚合、u型重建解码器;所述结构化安全掩码生成模块通过四层硬约束修正随机块掩码,规避短序列csi数据全遮挡导致的训练崩溃;局部时频卷积采用二维残差卷积网络,仅沿子载波维度分级下采样,时间维度全程保持原始分辨率以保留时序动态特征;所述物理感知嵌入融合四类物理特征生成嵌入张量,残差叠加至卷积特征中,引入wifi物理结构先验;所述三维轴向transformer将特征沿时间、子载波、链路三个维度执行一维注意力,将全局注意力计算复杂度由平方级降至线性级;所述残差向量量化用于对连续特征进行离散化,通过多层残差拟合提升表征能力;所述潜变量聚合通过交叉注意力将变长局部离散令牌聚合为固定长度全局潜变量;所述u型重建解码器带有跳跃连接,用于重建csi伪图像;

7、所述跨数据集通用姿态解码网络,加载预训练主干网络全冻结/部分解冻/全参微调,包括局部令牌自适应采样单元、全局-局部双分支交叉注意力融合单元、骨骼图卷积约束单元、关节transformer增强单元、根关节相对坐标回归单元;所述局部令牌自适应采样单元对变长局部离散令牌进行自适应采样,按有效掩码剔除填充无效位,超长序列均匀采样至最大长度512,短序列保留全部有效令牌,统一解码器输入维度;所述全局-局部双分支交叉注意力融合单元初始化与人体关节数量一一对应的可学习关节提示向量,分别与主干网络输出的全局潜变量、局部离散令牌执行交叉注意力,得到全局分支特征、局部分支特征,通过自适应门控sigmoid网络生成动态融合权重,平衡全局信道语义与时频局部细节特征;所述骨骼图卷积约束单元基于人体关节拓扑构建无向邻接矩阵引入骨骼生理先验;所述根关节相对坐标回归单元将人体全局位置与肢体局部姿态解耦,动态输出2d/3d人体关节坐标;

8、所述在线推理部署模块,实时采集wifi-csi数据流,依次经预处理、主干网络特征提取、姿态解码网络输出人体姿态关键点,实现无源人体姿态估计。

9、进一步地,所述异构数据统一预处理模块的统一标准化处理步骤包括:

10、对输入异构csi数据执行维度归一化,批次维度b、wifi链路数l统一补零至9,特征通道数c固定为2,分别对应csi幅度与相位差,子载波数s统一对齐至114,时间窗口t统一切分为24帧,形成五维张量b×l×c×s×t;

11、融合空间有效掩码、时间有效掩码生成全维度有效像素掩码,如下式:

12、;

13、其中,为哈达玛积,中掩码元素为1代表真实有效信号区域、0代表填充无效区域;中的“:”表示对应维度取全部索引,表示在该位置插入长度为1的新维度,用于通过广播机制将空间有效掩码与时间有效掩码扩展到同一维度后逐元素相乘;

14、基于掩码执行均值归一化、损失统计运算,用于规避填充无效区域干扰模型训练;

15、将天线三维坐标、子载波频率、硬件标识、数据集标识映射为可嵌入物理特征向量,用于后续物理感知嵌入计算。

16、进一步地,所述结构化安全掩码生成模块的四层硬约束包括:

17、第一层为全局最大遮挡比例约束,用于限制整体掩码遮挡上限,如下式:

18、;

19、其中,表示经四层硬约束修正后的结构化安全遮挡掩码,其中元素1表示对应真实有效位置被遮挡,元素0表示对应位置保持可见;分别表示批次、wifi链路、子载波和时间维度的索引;表示单个样本允许的最大遮挡比例上限;

20、第二层为单链路最小可见约束,保证每条wifi链路均存在有效可视区域,如下式:

21、;

22、其中,表示单条有效wifi链路在掩码修正后必须保留的最小可见比例;

23、第三层为单时间片保底约束,保证任意时间窗口存在至少1个有效采样点,如下式:

24、;

25、第四层为全局最小可见约束,控制全局最低可视比例,如下式:

26、;

27、其中,表示单个样本在全部真实有效位置上的全局最小可见比例;

28、四层约束修正后执行任务有效性校验,若样本无任何掩码区域则随机生成1个掩码点,保证自监督重建任务有效。

29、进一步地,所述三维轴向transformer,沿链路维度、子载波维度、时间维度串行独立执行一维多头注意力,采用注意力掩码屏蔽预处理生成的填充无效区域;transformer层数为4层,注意力头数为4,前馈网络扩展倍率为4,单头注意力计算时仅对单维度序列建模,消除传统全局注意力平方级算力开销,单头注意力计算公式为:

30、;

31、其中,为注意力掩码,用于屏蔽无效填充区域;分别表示第h个注意力头的查询矩阵、键矩阵和值矩阵,表示单头查询/键向量的特征维度。

32、进一步地,所述跨数据集通用姿态解码网络中,预训练主干网络全冻结模式冻结全部编码器参数仅训练解码器,适配小样本场景;部分解冻模式仅解冻潜变量聚合层与最后2层轴向编码器,兼顾泛化性与任务适配性;全参微调模式联合优化编码器与解码器,适配数据充足场景。

33、进一步地,所述骨骼图卷积约束单元,根据目标数据集关节拓扑构建无向邻接矩阵,j为人体关节总数,并引入单位矩阵增加节点自连接,经度矩阵归一化后堆叠3层图卷积,强制模型输出符合人体骨骼生理结构,抑制关节错位、肢体畸形;经度矩阵归一化得到:

34、;

35、单层图卷积前向计算为:

36、;

37、其中,为节点度矩阵,为单位矩阵,为gelu激活函数;表示单层图卷积输出的关节特征;表示该层可学习权重矩阵;,为全局分支特征,为局部分支特征,,为sigmoid激活函数,表示与人体关节一一对应的可学习关节提示向量矩阵,即查询向量矩阵。

38、进一步地,所述根关节相对坐标回归单元,以骨盆为根关节;通过全局潜变量平均池化预测根关节全局绝对坐标,如下式:

39、;

40、其中,为根关节全局绝对坐标;表示全局潜变量的数量;表示潜变量聚合模块输出的全局潜变量矩阵;表示第k个潜变量在全部特征维度上的向量;

41、基于关节transformer增强特征预测各关节相对于根关节的坐标偏移,如下式:

42、;

43、其中,表示j个关节相对于根关节的坐标偏移矩阵;依次表示关节transformer输出的增强关节特征、坐标偏移回归头的可学习权重矩阵和偏置向量,输出坐标维度根据任务设为2或3;

44、根关节坐标叠加关节偏移得到全部人体关节绝对坐标,如下式:

45、;

46、其中,表示在第j个关节位置选取全部坐标维度,即第j个关节的二维或三维坐标向量;

47、姿态回归总损失由2类损失加权构成,充分融入人体骨骼生理先验:

48、;

49、其中,表示姿态回归总损失;表示mpjpe损失的权重,表示平均每关节位置误差(mean per joint position error)损失;表示逐坐标l1损失的权重,表示逐坐标平均绝对误差损失。

50、另一方面,本发明还提供一种基于自监督统一表征的异构wifi人体姿态估计方法,基于上述系统执行,包含五步完整流程:

51、s1、硬件组网与多模态标准化数据采集:搭建wifi终端、摄像头、上位机局域网,纳秒级同步采集csi信号与视觉骨骼真值,生成标准化自建数据集;

52、s2、异构数据集统一预处理:将多源异构csi统一为固定五维伪图像张量,生成全局有效掩码,提取多类物理特征向量;

53、s3、结构化安全掩码自监督预训练:构建四层约束安全掩码,经局部时频卷积、物理感知嵌入、三维轴向transformer、残差向量量化、潜变量聚合后,通过u型解码器执行csi信号重建,采用复合重建损失优化模型,保存通用预训练权重;

54、s4、跨数据集姿态解码器训练:加载预训练主干权重,根据场景选择全冻结/部分解冻/全参微调策略,通过双分支特征融合、骨骼图卷积、关节transformer、根关节相对坐标回归训练姿态解码网络;

55、s5、在线无源姿态推理:实时采集待测场景csi数据流,经预处理、预训练主干特征提取、姿态解码网络计算,输出2d/3d人体关节关键点坐标,完成无穿戴、无光照依赖的无源人体姿态估计。

56、进一步地,所述步骤s3中,自监督预训练总复合重建损失由六类子损失加权求和构成,如下式:

57、;

58、其中,、、、、、依次表示掩码监督区域的l1重建损失、均方误差重建损失、结构相似性损失、相邻时间帧差分一致性损失、子载波/时间方向梯度一致性损失和残差向量量化承诺损失;各λ为对应损失项的加权系数;

59、步骤s4姿态回归总损失包含坐标回归损失与骨骼拓扑约束损失两类加权损失,联合约束姿态输出精度与生理合理性,如下式:

60、;

61、其中,表示姿态回归总损失;表示mpjpe损失的权重,表示平均每关节位置误差(mean per joint position error)损失;表示逐坐标l1损失的权重,表示逐坐标平均绝对误差损失。

62、采用上述技术方案所产生的有益效果在于:本发明提供的基于自监督统一表征的异构wifi人体姿态估计系统及方法,构建异构wifi数据统一表征空间,结合物理感知嵌入实现多数据集联合自监督预训练,显著提升跨数据集姿态估计的泛化能力,降低目标场景的标注依赖。四层结构化安全掩码完全消除了短序列csi数据的训练崩溃问题,训练收敛稳定性显著优于传统随机掩码方案;四类数据集联合预训练有效提升了跨域泛化能力,跨数据集姿态误差明显降低;骨骼多约束损失有效抑制关节错位与肢体畸形,姿态结构合理性与mpjpe指标均优于单损失方案;三维轴向注意力将计算复杂度降至线性级,长序列场景推理速度显著提升。同时一体化采集系统实现毫秒级多模态同步。

63、本发明存在多种变型实施方式:硬件层面,凡支持udp通信的wifi采集终端、主流摄像头均可替换接入,核心架构保持不变;模型层面,可根据实际场景调整网络层数、注意力头数、损失权重等超参数,核心的结构化掩码、轴向编码、双分支融合、骨骼约束与根关节相对回归架构保持不变;应用层面,除人体姿态估计外,可拓展至动作识别、区域入侵检测等其他 wifi 无源感知任务。全链路支持多硬件、多数据集动态适配,有效降低工程落地成本。