一种基于联邦学习的毫米波手势识别方法及系统

技术特征：
1.一种基于联邦学习的毫米波手势识别方法，其特征在于，包括以下步骤：s1：云服务器向手势识别客户端c
k
分发初始全局手势分类模型w
t
和当前训练轮次t；其中，w
t
＝{w
t,1
，w
t,2
，
…
，w
t,l
}，k＝1，2，
…
，k；k代表第k个客户端，k代表客户端总数；s2：c
k
通过毫米波手势识别模块采集手势信息，得到手势特征图，建立本地手势数据集ω
k
，得到手势分类结果；其中，毫米波手势识别模块位于c
k
内部，毫米波手势识别模块分布有发射天线和接收天线；s3：c
k
使用ω
k
训练得到本地手势分类模型并将训练好的上传至云服务器；其中，中，包括浅层网络和深层网络，浅层网络为深层网络为1<ls<l，w代表模型的各层网络，l代表第l层网络，ls代表浅层网络的最后一层的层数，l代表整个模型最后一层网络的层数；s4：云服务器对c
k
上传的的浅层网络进行聚合得到更新后的全局手势分类模型w
t 1
，对c
k
上传的的深层网络的深层网络进行交换深层网络操作得到交换深层网络后的本地手势分类模型将w
t 1
或更新后的t值分发给c
k
，其中，ks＝1,2，
…
，k，得到手势识别结果并输出。2.根据权利要求1所述一种基于联邦学习的毫米波手势识别方法，其特征在于，步骤s2包括以下步骤：s201：毫米波手势识别模块进入低功耗定时模式；s202：毫米波手势识别模块进行手势目标粗检测，判断是否探测到手势目标存在，若探测到手势目标存在，则执行s203，若没有探测到手部手势目标存在，返回执行s201；s203：毫米波手势识别模块进入正常工作模式；s204：c
k
处理中频信号adc采样数据s(n)，得到手势距离-速度-角度-时间四维点云数据；其中，角度包括方位角和俯仰角；其中，毫米波雷达发射天线发射连续波，碰到手或者其他介质的东西连续波就会原路返回到毫米波雷达的接收天线，接收天线收到的信号为回波信号，毫米波手势识别模块对回波信号和之前发出去连续波信号混频就得到中频信号，对中频信号进行模数转换后得到中频信号adc采样数据；s205：c
k
将四维点云数据分别降维投影至距离-时间域、速度-时间域、角度-时间域，得到四类手势特征图，建立本地手势数据集ω
k
；其中，四类手势特征图分别为：距离-时间图rtm、速度-时间图vtm、方位角-时间图atm、俯仰角-时间图etm，四类手势特征图构成上一轮训练后的本地手势分类模型w
kt-1
的输入其中其中用来代表w
kt-1
输入特征图的符号；s206：c
k
对探测到的目标的手势进行分类，得到手势分类结果对探测到的目标的手势进行分类，得到手势分类结果3.根据权利要求2所述一种基于联邦学习的毫米波手势识别方法，其特征在于，本地手势数据集ω
k
由多个构成。4.根据权利要求2所述一种基于联邦学习的毫米波手势识别方法，其特征在于，s204包
括以下步骤：s2041：取m帧的中频信号adc采样数据s(n)；s2042：在单帧周期内，沿快时间维度对采样数据s(n)进行第一次时频变换f1(s(n))，得到手势距离信息；判断单帧周期是否结束，若结束，则执行s2043，若没有结束，继续执行s2042；s2043：单帧周期结束后，沿慢时间维度对采样数据s(n)进行第二次时频变换f2(s(n))，得到手势速度信息；s2044：分别沿毫米波手势识别模块接收天线的水平维度和垂直维度对采样数据s(n)进行第三次时频变换f3(s(n))，得到手势角度信息，手势角度信息为手势水平角信息和手势俯仰角信息；手势距离信息、手势速度信息、手势角度信息构成手势三维点云；s2045：循环执行步骤s2042-s2044，判断是否遍历完m帧的中频信号adc采样数据s(n)，若遍历完，则执行s2046，若没有遍历完，返回执行s2041；s2046：累积m帧的手势距离-速度-角度三维点云数据，得到手势距离-速度-角度-时间四维点云。5.根据权利要求1所述一种基于联邦学习的毫米波手势识别方法，其特征在于，s3包括以下步骤：s301：c
k
接收云服务器发送的手势分类模型w
t
或当前训练轮次t；其中，云服务器交换各客户端上传的深层网络后得到交换深层网络后的本地手势分类模型将分发给各客户端进行下一次训练，云服务器分发两种手势分类模型，一种是w
t
，另一种是s302：c
k
使用本地手势数据集ω
k
训练w
t
或更新w
t
或网络参数后得到训练好的本地手势分类模型s303：判断当前训练轮次t是否小于规定浅层聚合轮次数n1；若当前训练轮次t小于规定浅层聚合轮次数n1，则执行s304；若当前训练轮次t不小于规定浅层聚合轮次数n1，判断t是否超过当前规定训练轮次数n2，若t未超过当前规定训练轮次数n2，则执行s304，若t超过当前规定训练轮次数n2，执行s301，c
k
等待云服务器分发下一次的w
t
或当前训练轮次t；s304：c
k
向云服务器上传训练好的本地手势分类模型的浅层网络的浅层网络s305：c
k
向云服务器上传训练好的本地手势分类模型6.根据权利要求1所述一种基于联邦学习的毫米波手势识别方法，其特征在于，s4包括以下步骤：s401：云服务器向c
k
分发全局手势分类模型w
t
和当前训练轮次t；s402：云服务器等待所有c
k
上传本地手势分类模型判断是否t＝n1或t＝n2，若t＝n1或t＝n2，则执行s405，若t≠n1且t≠n2，执行s403；s403：云服务器聚合浅层网络，所述浅层网络为经各客户端训练后的本地手势分类模型的浅层网络判断t是否小于n1，若t小于n1，则执行t＝t 1和
s401，否则，执行s404；s404：云服务器交换深层网络，所述深层网络为经各客户端训练后的本地手势分类模型的深层网络得到新的交换深层网络后的本地手势分类模型分发和当前训练轮次t，将分别分发至c
k
，然后执行t＝t 1和s402；s405：云服务器全局聚合各c
k
上传的本地手势分类模型得到w
t 1
，得到手势分类结果并输出；判断t＝n1或t＝n2，若t＝n1，则执行t＝t 1和s401；若t＝n2，云服务器进入等待状态，等待再次被唤醒，将当前训练轮次t值设为1；当有目标进行手势识别时，手势识别客户端的毫米波手势识别模块对手势目标进行检测，判断是否有手势目标存在，若探测到手势目标存在，则毫米波手势识别模块进入正常工作模式，若没有探测到手部手势目标存在，则等待手势目标，当检测到手势目标时，毫米波手势识别模块进入正常工作模式，手势识别客户端处理得到手势特征图，本地手势数据集；手势识别客户端利用浅层网络进行聚合得到更新后的全局手势分类模型w
t 1
和交换深层网络操作得到新的交换深层网络后的本地手势分类模型处理由手势特征图构成的本地手势数据集，得到手势识别结果并输出。7.根据权利要求6所述一种基于联邦学习的毫米波手势识别方法，其特征在于，在所述s403中，所述聚合浅层网络的计算公式为：8.根据权利要求6所述一种基于联邦学习的毫米波手势识别方法，其特征在于，在所述s404中，所述云服务器交换深层网络的计算公式为：9.根据权利要求6所述一种基于联邦学习的毫米波手势识别方法，其特征在于，s405所述全局聚合各c
k
上传的本地手势分类模型公式为：10.一种基于联邦学习的毫米波手势识别系统，其特征在于，包括云服务器、手势识别客户端、毫米波手势识别模块、本地手势分类模型训练模块和数据处理更新模块；其中：所述云服务器向手势识别客户端分发初始全局手势分类模型w
t
和当前训练轮次t；手势识别客户端通过毫米波手势识别模块采集手势信息，得到手势特征图，建立本地手势数据集，得到手势分类结果；手势识别客户端通过本地手势分类模型训练模块，根据本地手势数据集训练得到本地
手势分类模型并将训练好的上传至云服务器；云服务器通过数据处理更新模块对手势识别客户端上传的的浅层网络进行聚合得到更新后的全局手势分类模型w
t 1
，对手势识别客户端上传的的深层网络进行交换深层网络操作得到新的交换深层网络后的本地手势分类模型网络操作得到新的交换深层网络后的本地手势分类模型将w
t 1
或更新后的t值分发给手势识别客户端，当有目标进行手势识别时，手势识别客户端的毫米波手势识别模块对手势目标进行检测，判断是否有手势目标存在，若探测到手势目标存在，则毫米波手势识别模块进入正常工作模式，若没有探测到手部手势目标存在，则等待手势目标，当检测到手势目标时，毫米波手势识别模块进入正常工作模式，手势识别客户端处理得到手势特征图，本地手势数据集；手势识别客户端利用浅层网络进行聚合得到更新后的全局手势分类模型w
t 1
和交换深层网络操作得到新的交换深层网络后的本地手势分类模型处理由手势特征图构成的本地手势数据集，得到手势识别结果并输出。

技术总结
本发明公开了一种基于联邦学习的毫米波手势识别方法，包括以下步骤：S1：云服务器向手势识别客户端分发初始全局手势分类模型和当前训练轮次；S2：手势识别客户端采集手势信息，得到手势特征图，建立本地手势数据集，得到手势分类结果；S3：训练得到本地手势分类模型；S4：本地手势分类模型进行聚合浅层网络或交换深层网络，得到手势识别结果并输出。本发明还公开了一种基于联邦学习的毫米波手势识别系统，在保证各手势识别客户端本地数据不被泄露的同时增大用于训练手势分类模型的样本数量，提高手势分类模型的泛化能力和手势分类的准确率，拓展描述手势动作的信息维度提高对于特定手势的识别准确率，降低手势识别客户端与云服务器间的通信流量。服务器间的通信流量。服务器间的通信流量。


技术研发人员：刘震宇 马崇润 甘炼强 何徽鸿 刘昊明 梁进杰
受保护的技术使用者：广东工业大学
技术研发日：2022.02.23
技术公布日：2022/7/12