一种基于对抗式元学习的跨场景人体动作识别方法与流程

技术特征：
1.一种基于对抗式元学习的跨场景人体动作识别方法，其特征是按如下步骤进行：步骤1、选定两个室内环境布局不同的房间记为场景1和场景2，并分别部署一对wifi收发设备：所述wifi收发设备中的wifi信号的发送设备为带有a根天线的路由器，记为ap，wifi信号的接收设备为带有b根天线的无线网卡，记为rp，且路由器ap和无线网卡rp间隔距离为l，从而在场景1和场景2中分别构成a
×
b个天线对用于发送和接收无线电信号，且每个天线对有z个可用的子载波；步骤2、数据采集和预处理；步骤2.1、原始数据采集：在场景1中，利用wifi收发设备按照采样时间t和采样速率p采集人体动作csi信号，并将第w次采集的第c种类别且维度为(a
×
b,z,p
×
t)的三维人体动作csi信号记为csi
c,w
，其中，w∈[1,w]，w表示采集的总次数，c∈[1,c]，c表示人体动作的种类；步骤2.2、数据预处理：使用离散小波滤波方法对所述人体动作csi信号csi
c,w
进行降噪处理，再基于阈值分割方法对降噪处理后的人体动作csi信号进行尺寸转换，得到预处理后的人体动作csi信号并记为x
c,w
，并记第c种类别的人体动作csi信号x
c,w
所对应的标签标注为y
c
，从而一共得到c
×
w个带标签的csi样本(x
c,w
,y
c
)；步骤2.3、构建元学习训练任务集d
train
＝{t
i
|i＝1,2,
…
,i}，i表示学习任务的总个数：从所述人体动作csi样本中随机选择n个动作类别的k个人体动作csi样本构成第i个元学习任务t
i
，并将第i个元学习任务t
i
划分为支持集t
is
和查询集t
iq
，分别记为其中，表示第i个元学习任务支持集t
is
中第n个动作类别的第k1个人体动作csi样本；表示第i个元学习任务查询集t
iq
中第n个动作类别的第k2个人体动作csi样本，k1表示第i个元学习任务支持集t
is
中每种类别的人体动作csi样本数量，k2表示第i个元学习任务查询集t
iq
中每种类别的人体动作csi样本数量，k1 k2＝k；步骤3、构建对抗式元学习神经网络模型，包含：特征提取器模块、生成器模块、鉴别器模块和人体动作识别模块；步骤3.1、所述特征提取器模块使用r1个卷积单元，且每个卷积单元依次包含一层convolution卷积层、一层batchnorm批归一化层和一层leaky
‑
relu激活函数层；且每个卷积单元的输出均连接一层dropout层；所述第i个元学习任务支持集t
is
经过特征提取器模块的处理后，输出第i组人体动作csi样本的特征向量csi样本的特征向量表示得到的第i个元学习任务支持集t
is
中第n个动作类别的第k1个人体动作csi样本的特征向量；步骤3.2、所述生成器模块依次使用r2个反卷积单元和r3个卷积单元，每个反卷积单元依次包含一层convolutiont反卷积层、一层batchnorm批归一化层、一层leaky
‑
relu激活函数层和tanh层；将第i组人体动作csi特征向量f
is
输入到所述生成器模块中依次进行处理，最后从tanh
层中输出虚拟元学习任务支持集层中输出虚拟元学习任务支持集表示第i个元学习任务支持集t
is
中第n个动作类别的第k1个虚拟人体动作csi样本；步骤3.3、所述鉴别器模块使用r4个卷积单元和r5个全连接层，并将所述第i个元学习任务支持集t
is
和虚拟支持集t
i
′
s
作为一个整体输入到所述鉴别器模块中，用于训练所述特征提取器模块、生成器模块、鉴别器模块的权值：利用式(1)来计算损失函数l
gan
，再使用随机梯度下降sgd优化方法以余弦退火学习率分别动态更新相应模块的权值，并在损失函数l
gan
的值趋于稳定时完成训练，得到训练好的提取器模块、生成器模块、鉴别器模块；式(1)中，和分别表示取自真实支持集t
is
和虚拟支持集t
i
′
s
的样本；λ表示超参数：惩罚因子，用于平衡均方误差损失项和对抗损失项，t
im
表示取自真实支持集t
is
和虚拟支持集t
i
′
s
的样本混合数据集：用于约束生成器模块和鉴别器模块，加速收敛过程，p
d
表示鉴别器判别函数，判断样本属于哪一类动作类别；步骤3.5、所述人体动作识别模块依次使用r6个卷积单元和r7个全连接层；将第i个元学习任务支持集t
is
输入训练好的生成器模块中，并生成新的虚拟支持集t
i
″
s
后，得到增强支持集再输入所述人体动作识别模块中，用于训练所述人体动作识别模块的权值，并将第i个元学习任务查询集t
iq
输入到所述人体动作识别模块中，得到样本的识别结果，并使用softmax函数将所述识别结果转换为概率输出；利用式(2)构建交叉熵损失l
r
，再使用随机梯度下降sgd优化方法以余弦退火学习率来动态更新所述人体动作识别模块的权值，并在交叉熵损失l
r
的值趋于稳定时完成训练，从而得到训练好的人体动作识别模型f
base
；式(2)中，p
r
表示人体动作识别模型的分类器函数，用于判断样本属于哪一类动作类别；步骤4：按步骤2的过程在场景2中采集人体动作csi信号并进行数据预处理，且每个动作类别仅需采集1次，从而得到元学习优化任务数据集d
test
＝{u
j
|j＝1,2,
…
,j}，且第j个元学习优化任务u
j
仅包含优化任务支持集u
js
＝{(x1,y1),(x2,y2),
…
,(x
n
,y
n
),
…
(x
n
,y
n
)}，其中，(x
n
,y
n
)表示第j个元学习优化任务数据集中的支持集中第n个动作类别的人体动作csi样本；将优化任务支持集输入到所述训练好的人体动作识别模型f
base
，并利用二次梯度下降法来优化所述人体动作识别模型f
base
的参数，从而得到跨场景人体动作识别模型f
optimized
，用于识别场景2中的动作。

技术总结
本发明公开了一种基于对抗式元学习的跨场景人体动作识别方法，是首先使用无线收发信号设备采集人体动作CSI信号，然后采用离散小波滤波技术处理原始信号并使用阈值分割方法获得CSI样本，构建元学习任务集；再使用上述任务集来依次训练特征提取器模块、生成器模块、鉴别器模块和人体动作识别模块，得到一个基本对抗式元模型；最后在新场景中采集少量数据来微调模型参数，使其可以更好地适应于识别新的动作种类。本发明能以较低的成本在场景、用户等发生变化时获得较高的新动作类别的识别准确率。确率。确率。


技术研发人员：王昱洁 姚路 王英
受保护的技术使用者：合肥工业大学
技术研发日：2021.08.12
技术公布日：2021/11/14