一种基于联邦学习的毫米波手势识别方法及系统

1.本发明涉及人机交互技术领域，尤其涉及一种基于联邦学习的毫米波手势识别方法及系统。


背景技术：

2.随着智慧时代的来临，人机交互技术得到快速的发展，人们不断追求更加自然、高效且接近用户现实行为的人机交互方式。手势识别作为一种非接触式的自然人机交互方式，通过使计算机得到并理解人的手势信息，进而做出响应，这可以打破接触式人机交互的诸多限制，拓宽交互场景，手势识别技术在车联网、物联网和智能家居等场景下具有广泛应用。
3.现有的手势识别技术大多通过视觉传感器或可穿戴设备得到手势信息，在特定的环境下，这两类方法能达到较高的准确率，但它们都存在一定的局限性。彩色摄像头和深度摄像头等视觉传感器对周围环境中的光线变化比较敏感，且要求手部和传感器之间不能有任何遮挡，在暗光或烟雾遮挡等恶劣环境下，手势识别准确率会大幅下降，此外该方法还存在用户隐私泄露的问题。基于可穿戴设备的手势识别方法要求用户在执行手势的过程中一直佩戴传感器设备，用户体验较差。
4.近年来，由于毫米波雷达技术的不断发展，基于毫米波雷达的手势识别技术逐渐得到关注。与视觉传感器、可穿戴设备等手势识别方案对比，基于毫米波雷达的手势识别方案有诸多优势。首先，毫米波雷达不受环境变化的影响，在暗光和充满烟雾的恶劣环境中依然可以正常工作，和微波相比，毫米波元器件的尺寸要小得多，因此毫米波系统更容易小型化。此外，用户不需要佩戴额外的辅助设备，这大大提升了用户体验。
5.基于毫米波雷达的手势识别方案主要是采集手势雷达回波信息，通过信号处理手段得到各种手势特征，结合深度学习的方法训练性能良好的手势分类模型，对输入手势进行分类，从而实现手势的识别。
6.现有技术公开了一种基于毫米波雷达的手势识别方法，通过构建卷积神经网络模型，获取多种手势的轨迹图作为训练集f，基于训练集f对卷积神经网络模型训练，得到优化识别模型；手势轨迹图为最大峰值对应的动目标在距离-多普勒坐标系下的移动轨迹；将识别手势的轨迹图输入优化识别模型，以识别出识别手势的手势类型。该发明主要以手势距离和多普勒维度的特征构建本地手势数据集，并未考虑手势动作的空间信息和时间信息，导致无法区分特定的手势。因此，本地手势数据集的特征维度有待进一步提高。
7.现有的基于毫米波雷达的手势识别方案，需要收集大量的手势数据用于训练手势分类模型，但每个手势识别客户端拥有的数据量存在一定的局限性，各手势识别客户端无法靠本地数据集独自训练出准确性高的手势分类模型。此外，由于隐私安全和行业竞争等问题，各手势识别客户端的手势数据难以整合和共享，各手势识别客户端之间存在严重的数据壁垒。因此，解决训练手势分类模型过程中存在的数据孤岛问题成为了研究重点。


技术实现要素：

8.本发明为解决现有手势识别技术存在的训练手势分类模型过程中存在的数据孤岛问题，提出了一种基于联邦学习的毫米波手势识别方法。
9.为解决上述技术问题，本发明的技术方案如下：
10.一种基于联邦学习的毫米波手势识别方法，包括以下步骤：
11.s1：云服务器向手势识别客户端ck分发初始全局手势分类模型w
t
和当前训练轮次t；其中，w
t
＝{w
t,1
，w
t,2
，
…
，w
t,l
}，k＝1,2，
…
，k，k代表第k个客户端，k代表客户端总数；
12.s2：ck通过毫米波手势识别模块采集手势信息，得到手势特征图，建立本地手势数据集ωk，得到手势分类结果；其中，毫米波手势识别模块位于ck内部，毫米波手势识别模块分布有发射天线和接收天线；
13.s3：ck使用ωk训练得到本地手势分类模型并将训练好的上传至云服务器；其中，其中，包括浅层网络和深层网络，浅层网络为深层网络为w代表模型的各层网络，l代表第l层网络，ls代表浅层网络的最后一层的层数，l代表整个模型最后一层网络的层数，即网络总层数；
14.s4：云服务器对ck上传的的浅层网络进行聚合得到更新后的全局手势分类模型w
t 1
，对ck上传的的深层网络的深层网络进行交换深层网络操作得到交换深层网络后的本地手势分类模型将w
t 1
或更新后的t值分发给ck，其中，ks＝1，2，
…
，k，得到手势识别结果并输出。
15.优选地，步骤s2包括以下步骤：
16.s201：毫米波手势识别模块进入低功耗定时模式；
17.s202：毫米波手势识别模块进行手势目标粗检测，判断是否探测到手势目标存在，若探测到手势目标存在，则执行s203，若没有探测到手部手势目标存在，返回执行s201；
18.s203：毫米波手势识别模块进入正常工作模式；
19.s204：ck处理中频信号adc采样数据s(n)，得到手势距离-速度-角度-时间四维点云数据；其中，角度包括方位角和俯仰角；
20.s205：ck将四维点云数据分别降维投影至距离-时间域、速度-时间域、角度-时间域，得到四类手势特征图，建立本地手势数据集ωk；
21.其中，四类手势特征图分别为：距离-时间图rtm、速度-时间图vtm、方位角-时间图atm、俯仰角-时间图etm，四类手势特征图构成上一轮训练后的本地手势分类模型w
kt-1
的输入其中其中用来代表w
kt-1
输入特征图的符号；
22.多个构成本地手势数据集ωk，i是手势个数的索引，每一个手势输入对应一个将输入上一轮训练后的本地手势分类模型w
kt-1
得到输出结果，由构成的本地手势数据集ωk也用于训练当前训练轮次的本地手势分类模型
23.s206：ck对探测到的目标的手势进行分类，得到手势分类结果对探测到的目标的手势进行分类，得到手势分类结果
24.优选地，步骤s204包括以下步骤：
25.s2041：取m帧的中频信号adc的采样数据s(n)，以进行时频变换；其中，毫米波雷达发射天线发射连续波，碰到手或者其他介质的东西连续波就会原路返回到毫米波雷达的接收天线，接收天线收到的信号为回波信号，毫米波手势识别模块对回波信号和之前发出去连续波信号混频就得到中频信号，对中频信号进行模数转换后得到中频信号adc采样数据；
26.s2042：在单帧周期内，沿快时间维度对采样数据s(n)进行第一次时频变换f1(s(n))，得到手势距离信息；判断单帧周期是否结束，若结束，则执行s2043，若没有结束，继续执行s2042；
27.s2043：单帧周期结束后，沿慢时间维度对采样数据s(n)进行第二次时频变换f2(s(n))，得到手势速度信息；
28.s2044：分别沿毫米波手势识别模块接收天线的水平维度和垂直维度对采样数据s(n)进行第三次时频变换f3(s(n))，得到手势角度信息，手势角度信息为手势水平角信息和手势俯仰角信息；手势距离信息、手势速度信息、手势角度信息构成手势三维点云；
29.s2045：循环执行步骤s2042-s2044，判断是否遍历完m帧的中频信号adc采样数据s(n)，若遍历完，则执行s2046，若没有遍历完，返回执行s2041；
30.s2046：累积m帧的手势距离-速度-角度三维点云数据，得到手势距离-速度-角度-时间四维点云。
31.本发明基于手势距离和时间、速度和时间、方位角和时间、俯仰角和时间信息构造多维手势特征图，拓展描述手势动作的信息维度，更高维的手势特征图提高了特定手势的识别准确率。
32.优选地，步骤s3包括以下步骤：
33.s301：ck接收云服务器发送的手势分类模型w
t
或当前训练轮次t；其中，云服务器交换各客户端上传的深层网络后得到交换深层网络后的本地手势分类模型将分发给各客户端进行下一次训练，云服务器分发两种手势分类模型，一种是w
t
，另一种是
34.s302：ck使用本地手势数据集ωk训练w
t
或更新w
t
或网络参数后得到训练好的本地手势分类模型
35.s303：判断当前训练轮次t是否小于规定浅层聚合轮次数n1；
36.若当前训练轮次t小于规定浅层聚合轮次数n1，则执行s304；
37.若当前训练轮次t不小于规定浅层聚合轮次数n1，判断t是否超过当前规定训练轮次数n2，若t未超过当前规定训练轮次数n2，则执行s304，若t超过当前规定训练轮次数n2，执行s301，ck等待云服务器分发下一次的w
t
或当前训练轮次t；
38.s304：ck向云服务器上传训练好的本地手势分类模型的浅层网络的浅层网络
39.s305：ck向云服务器上传训练好的本地手势分类模型
40.优选地，步骤s4中包括以下步骤：
41.s401：云服务器向ck分发全局手势分类模型w
t
和当前训练轮次t；
42.s402：云服务器等待所有ck上传本地手势分类模型判断是否t＝n1或t＝n2，若t＝n1或t＝n2，则执行s405，若t≠n1且t≠n2，执行s403；
43.s403：云服务器聚合浅层网络，所述浅层网络为经各客户端训练后的本地手势分类模型的浅层网络判断t是否小于n1，若t小于n1，则执行t＝t 1和s401，否则，执行s404；
44.s404：云服务器交换深层网络，所述深层网络为经各客户端训练后的本地手势分类模型的深层网络得到新的交换深层网络后的本地手势分类模型分发和当前训练轮次t，将分别分发至ck，然后执行t＝t 1和s402；
45.s405：云服务器全局聚合各ck上传的本地手势分类模型得到更新后的全局手势分类模型w
t 1
，得到手势分类结果并输出；判断t＝n1或t＝n2，若t＝n1，则执行t＝t 1和s401；若t＝n2，云服务器进入等待状态，等待再次被唤醒，将当前训练轮次t值设为1；
46.当有目标进行手势识别时，手势识别客户端的毫米波手势识别模块对手势目标进行检测，判断是否有手势目标存在，若探测到手势目标存在，则毫米波手势识别模块进入正常工作模式，若没有探测到手部手势目标存在，则等待手势目标，当检测到手势目标时，毫米波手势识别模块进入正常工作模式，手势识别客户端处理得到手势特征图，本地手势数据集；手势识别客户端利用浅层网络进行聚合得到更新后的全局手势分类模型w
t 1
和交换深层网络操作得到新的交换深层网络后的本地手势分类模型处理由手势特征图构成的本地手势数据集，得到手势识别结果并输出。
47.优选地，步骤s403所述云服务器聚合浅层网络公式为：
[0048][0049]
优选地，步骤s404所述云服务器交换深层网络公式为：
[0050][0051]
优选地，步骤s405所述云服务器全局聚合各ck上传的本地手势分类模型公式为：
[0052][0053]
本发明还提供了一种基于联邦学习的毫米波手势识别系统，用于实现一种基于联邦学习的毫米波手势识别方法，包括云服务器、手势识别客户端、毫米波手势识别模块、本地手势分类模型训练模块和数据处理更新模块；其中：
[0054]
所述云服务器向手势识别客户端分发初始全局手势分类模型w
t
和当前训练轮次
t；
[0055]
手势识别客户端通过毫米波手势识别模块采集手势信息，得到手势特征图，建立本地手势数据集，得到手势分类结果；
[0056]
手势识别客户端通过本地手势分类模型训练模块，根据本地手势数据集训练得到本地手势分类模型并将训练好的上传至云服务器；
[0057]
云服务器通过数据处理更新模块对手势识别客户端上传的的浅层网络进行聚合得到更新后的全局手势分类模型w
t 1
，对手势识别客户端上传的的深层网络进行交换深层网络操作得到新的交换深层网络后的本地手势分类模型深层网络操作得到新的交换深层网络后的本地手势分类模型将w
t 1
或更新后的t值分发给手势识别客户端。当有目标进行手势识别时，手势识别客户端的毫米波手势识别模块对手势目标进行检测，判断是否有手势目标存在，若探测到手势目标存在，则毫米波手势识别模块进入正常工作模式，若没有探测到手部手势目标存在，则等待手势目标。当检测到手势目标时，毫米波手势识别模块进入正常工作模式，手势识别客户端处理得到手势特征图，本地手势数据集；手势识别客户端利用浅层网络进行聚合得到更新后的全局手势分类模型w
t 1
和交换深层网络操作得到新的交换深层网络后的本地手势分类模型处理由手势特征图构成的本地手势数据集，得到手势识别结果并输出。
[0058]
与现有技术相比，本发明的技术方案具有如下有益效果：
[0059]
1、本发明联合多个手势识别客户端共同训练手势分类模型，总体增大用于训练手势分类模型的样本数量，在解决传统手势识别方案存在的数据孤岛问题的同时，保证各个手势识别客户端本地数据不被泄露；
[0060]
2、本发明降低手势分类模型深层网络的聚合频率，以此减少手势识别客户端传输的手势分类模型参数，在保证手势分类模型性能的同时又降低手势识别客户端与云服务器间的通信流量；
[0061]
3、本发明提出交换深层网络分层训练的方法，通过云服务器使各手势识别客户端交换训练深层网络，使得手势识别客户端本地手势分类模型能够适应其他手势识别客户端的手势数据分布，提高手势分类模型的泛化能力和手势分类的准确率。
附图说明
[0062]
附图仅用于示例性说明，不能理解为对本发明的限制；
[0063]
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
[0064]
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0065]
图1为本实施例所述总体流程图；
[0066]
图2为本实施例所述得到手势特征图的流程图；
[0067]
图3为本实施例所述得到距离-速度-角度-时间四维点云的流程图；
[0068]
图4为本实施例所述手势识别客户端训练本地手势分类模型的流程图；
[0069]
图5为本实施例所述手势分类模型聚合浅层网络和交换深层网络的流程图；
[0070]
图6为本实施例所述手势分类模型全局聚合的示意图。
具体实施方式
[0071]
附图仅用于示例性说明，不能理解为对本发明的限制；
[0072]
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
[0073]
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0074]
下面结合附图和实施例对本发明的技术方案做进一步的说明。
[0075]
实施例1
[0076]
如图1所示，一种基于联邦学习的毫米波手势识别方法，包括如下步骤：
[0077]
s1：云服务器向手势识别客户端ck分发初始全局手势分类模型w
t
和当前训练轮次t；其中，w
t
＝{w
t,1
，w
t,2
，
…
，w
t,l
}，k＝1,2，
…
，k，k代表第k个客户端，k代表客户端总数；
[0078]
s2：ck通过毫米波手势识别模块采集手势信息，得到手势特征图，建立本地手势数据集ωk，得到手势分类结果；其中，毫米波手势识别模块位于ck内部，毫米波手势识别模块分布有发射天线和接收天线；
[0079]
s3：ck使用ωk训练得到本地手势分类模型并将训练好的上传至云服务器；其中，其中，包括浅层网络和深层网络，浅层网络为深层网络为w代表模型的各层网络，l代表第l层网络，ls代表浅层网络的最后一层的层数，l代表整个模型最后一层网络的层数，即网络总层数；
[0080]
例如，选取由5个卷积层和3个全连接层组成的alexnet作为本地手势分类模型，则5个卷积层为本地手势分类模型的浅层网络，用于从手势特征图中提取具有代表性的特征，而3个全连接层图中提取具有代表性的特征，而3个全连接层位于深层网络，根据卷积层提取的特征进行分类判断；
[0081]
s4：云服务器对ck上传的的浅层网络进行聚合得到更新后的全局手势分类模型w
t 1
，对ck上传的的深层网络的深层网络进行交换深层网络操作得到交换深层网络后的本地手势分类模型将w
t 1
或更新后的t值分发给ck，其中，ks＝1,2，
…
，k，得到手势识别结果并输出。
[0082]
本实施例联合多个手势识别客户端共同训练手势分类模型，总体增大用于训练手势分类模型的样本数量，在解决传统手势识别方案存在的数据孤岛问题的同时，保证各个手势识别客户端本地数据不被泄露。
[0083]
实施例2
[0084]
本实施例提供的一种基于联邦学习的毫米波手势识别方法与实施例1一致，仅对各个步骤进行进一步的限定。
[0085]
s1：云服务器向手势识别客户端ck分发初始全局手势分类模型w
t
和当前训练轮次t；其中，w
t
＝{w
t,1
，w
t,2
，
…
，w
t,l
}，k＝1,2，
…
，k，k代表第k个客户端，k代表客户端总数；
[0086]
s2：ck通过毫米波手势识别模块采集手势信息，得到手势特征图，建立本地手势数据集ωk，得到手势分类结果；其中，毫米波手势识别模块位于ck内部，毫米波手势识别模块
分布有发射天线和接收天线；
[0087]
s3：ck使用ωk训练得到本地手势分类模型并将训练好的或浅层网络上传至云服务器；其中，上传至云服务器；其中，包括浅层网络和深层网络，浅层网络为深层网络为深层网络为l代表第l层网络，ls是浅层网络的最后一层的层数，l代表整个模型最后一层网络的层数，即网络总层数；
[0088]
s4：云服务器对ck上传的的浅层网络进行聚合得到更新后的全局手势分类模型w
t 1
，对ck上传的的深层网络的深层网络进行交换深层网络操作得到交换深层网络后的本地手势分类模型将w
t 1
或更新后的t值分发给ck，其中，ks＝1,2，
…
，k；得到手势识别结果并输出。
[0089]
具体地，步骤s2中，如图2所示，包括以下具体步骤：
[0090]
步骤s201：毫米波手势识别模块进入低功耗定时模式。例如，降低毫米波手势识别模块脉冲波形的发射频率；
[0091]
步骤s202：毫米波手势识别模块进行手势目标粗检测，判断是否探测到手势目标存在，若探测到手势目标存在，则执行s203，若没有探测到手部手势目标存在，返回执行s201。例如，对单帧中频信号采样数据进行二维傅里叶变换得到距离-多普勒图像，对距离-多普勒图像每点的能量值进行加权平均得到平均能量值ea，将ea与预先设定的阈值e进行比较，若ea》e，则表明有手部运动，则执行s203，否则，返回执行s201；
[0092]
步骤s203：毫米波手势识别模块进入正常工作模式；
[0093]
步骤s204：ck处理中频信号adc采样数据s(n)，得到手势距离-速度-角度-时间四维点云数据；其中，角度包括方位角和俯仰角；
[0094]
其中，毫米波雷达发射天线发射连续波，碰到手或者其他介质的东西连续波就会原路返回到毫米波雷达的接收天线，接收天线收到的信号为回波信号，毫米波手势识别模块对回波信号和之前发出去连续波信号混频就得到中频信号，对中频信号进行模数转换后得到中频信号adc采样数据；
[0095]
步骤s205：ck将四维点云数据分别降维投影至距离-时间域、速度-时间域、角度-时间域，得到如下四类手势特征图：距离-时间图rtm、速度-时间图vtm、方位角-时间图atm、俯仰角-时间图etm，四类手势特征图构成上一轮训练后的本地手势分类模型w
kt-1
的输入其中其中用来代表w
kt-1
输入特征图的符号；
[0096]
多个构成本地手势数据集ωk，i是手势个数的索引，每一个手势输入对应一个将输入上一轮训练后的本地手势分类模型w
kt-1
得到输出结果，由构成的本地手势数据集ωk也用于训练当前训练轮次的本地手势分类模型
[0097]
步骤s206：ck对探测到的手势目标的手势进行分类，得到手势分类结果对探测到的手势目标的手势进行分类，得到手势分类结果例如，代表c3的第二个输入手势的分类结果。
[0098]
具体地，如图3所示，在所述步骤s204中，包括以下具体步骤：
[0099]
步骤s2041：取m帧的中频信号adc的采样数据s(n)，以进行时频变换；其中，毫米波
雷达发射天线发射连续波，碰到手或者其他介质的东西连续波就会原路返回到毫米波雷达的接收天线，接收天线收到的信号为回波信号，毫米波手势识别模块对回波信号和之前发出去连续波信号混频就得到中频信号，对中频信号进行模数转换后得到中频信号adc采样数据。例如，m＝32时表示共取32帧中频信号采样数据，以进行时频变换；
[0100]
步骤s2042：在单帧周期内，沿快时间维度对采样数据s(n)进行第一次时频变换f1(s(n))，得到手势距离信息；判断单帧周期是否结束，若结束，则执行s2043，若没有结束，继续执行s2042。例如，单帧周期内共有64个脉冲信号，对每个脉冲信号进行256点距离维傅里叶变换，每个频率点对应于一个距离门，由此获得手势于当前脉冲时间内的距离信息；
[0101]
步骤s2043：单帧周期结束后，沿慢时间维度对采样数据s(n)进行第二次时频变换f2(s(n))，得到手势速度信息。例如，对单帧周期内所有脉冲信号进行第一次时频变换f1(s(n))后，在单个距离门内进行64点多普勒维傅里叶变换，每个多普勒频率点对应于一个速度值，由此获得手势于当前帧内的速度信息；
[0102]
步骤s2044：分别沿毫米波手势识别模块接收天线的水平维度和垂直维度对采样数据s(n)进行第三次时频变换f3(s(n))，得到手势角度信息，手势角度信息为手势水平角信息和手势俯仰角信息；手势距离信息、手势速度信息、手势角度信息构成手势三维点云；判断是否遍历完m帧的中频信号adc采样数据s(n)，若遍历完，则执行s2045，若没有遍历完，返回执行s2041。例如，发射天线数量为2，水平和垂直放置的接收天线数量分别为2和3，则天线的水平维度长度和垂直维度长度分别为4和6；
[0103]
步骤s2045：循环执行步骤s2042-s2044，判断是否遍历完m帧的中频信号adc采样数据s(n)，若遍历完，则执行s2046，若没有遍历完，返回执行s2041；
[0104]
s2046：累积m帧的手势距离-速度-角度三维点云数据，得到手势距离-速度-角度-时间四维点云。
[0105]
具体地，在所述步骤s3中，如图4所示，包括以下具体步骤：
[0106]
步骤s301：ck接收云服务器发送的手势分类模型w
t
或当前训练轮次t；其中，云服务器交换各客户端上传的深层网络后得到交换深层网络后的本地手势分类模型将分发给各客户端进行下一次训练，云服务器分发两种手势分类模型，一种是w
t
，另一种是
[0107]
步骤s302：ck使用本地手势数据集ωk训练w
t
或更新w
t
或网络参数后得到训练好的本地手势分类模型
[0108]
例如，表示在第二次训练中，c3使用ω3训练w2，更新w
t
或网络参数后得到训练好的本地手势分类模型
[0109]
步骤s303：判断当前训练轮次t是否小于规定浅层聚合轮次数n1；
[0110]
若当前训练轮次t小于规定浅层聚合轮次数n1，则执行s304；
[0111]
若当前训练轮次t不小于规定浅层聚合轮次数n1，判断t是否超过当前规定训练轮次数n2，若t未超过当前规定训练轮次数n2，则执行s304，若t超过当前规定训练轮次数n2，执行s301，ck等待云服务器分发下一次的w
t
或当前训练轮次t；
[0112]
步骤s304：ck向云服务器上传训练好的本地手势分类模型的浅层网络
例如，当n1＝4时，在第二次训练中，ck向云服务器上传浅层网络在第五次训练中，判断t＝5是否超过n2；
[0113]
步骤s305：ck向云服务器上传训练好的本地手势分类模型向云服务器上传训练好的本地手势分类模型例如，当n1＝4，n2＝8时，在第五次训练中，ck向云服务器上传
[0114]
具体地，所述步骤s4中，如图5、图6所示，包括以下具体步骤：
[0115]
步骤s401：云服务器向ck分发全局手势分类模型w
t
和当前训练轮次t；
[0116]
步骤s402：云服务器等待所有ck上传本地手势分类模型判断是否t＝n1或t＝n2，若t＝n1或t＝n2，则执行s405，若t≠n1且t≠n2，执行s403；
[0117]
步骤s403：云服务器聚合浅层网络，所述浅层网络为经各客户端训练后的本地手势分类模型的浅层网络判断t是否小于n1，若t小于n1，则执行t＝t 1和s401，否则，执行s404；
[0118]
其中，所述聚合浅层网络公式为：
[0119][0120]
例如，当k＝3，ls＝5，l＝10，n1＝4，n2＝8时，在第二次训练中，云服务器直接聚合和和
[0121]
步骤s404：云服务器交换深层网络，所述深层网络为经各客户端训练后的本地手势分类模型的深层网络得到新的交换深层网络后的本地手势分类模型分发和当前训练轮次t，将分别分发至ck，然后执行t＝t 1和s402；
[0122]
其中，云服务器交换深层网络公式为：
[0123][0124]
例如，当k＝3，ls＝5，l＝10，n1＝4，n2＝8时，在第五次训练中，云服务器交换得到
[0125][0126]
步骤s405：云服务器全局聚合各ck上传的本地手势分类模型得到更新后的全局手势分类模型w
t 1
，得到手势识别结果并输出；判断t＝n1或t＝n2，若t＝n1，则执行t＝t 1和s401；若t＝n2，云服务器进入等待状态，等待再次被唤醒，将当前训练轮次t值设为1；当有目标进行手势识别时，手势识别客户端的毫米波手势识别模块对手势目标进行检测，判断是否有手势目标存在，若探测到手势目标存在，则毫米波手势识别模块进入正常工作模式，若没有探测到手部手势目标存在，则等待手势目标，当检测到手势目标时，毫米波手势识别模块进入正常工作模式，手势识别客户端处理得到手势特征图，本地手势数据集；手势识别客户端利用浅层网络进行聚合得到更新后的全局手势分类模型w
t 1
和交换深层网络操作得到新的交换深层网络后的本地手势分类模型处理由手势特征图构成的本地手势数据集，得到手势识别结果并输出。
[0127]
其中，全局聚合各ck上传的本地手势分类模型公式为：
[0128][0129]
例如，当k＝3，ls＝5，l＝10，n1＝4，n2＝8时，在第四次和第八次训练中，云服务器分别聚合和且第八次训练结束后，云服务器进入等待状态，等待再次被唤醒并将当前训练轮次t值设为1：
[0130][0131][0132]
本发明通过降低手势分类模型深层网络的聚合频率，减少手势识别客户端传输的手势分类模型参数，在保证手势分类模型性能的同时又降低手势识别客户端与云服务器间的通信流量，从而降低云服务器聚合的计算成本。基于手势距离和时间、速度和时间、方位角和时间、俯仰角和时间信息构造多维手势特征图，以此来拓展描述手势动作的信息维度，更高维的手势特征图提高了手势识别客户端对特定手势的识别准确率。
[0133]
实施例3
[0134]
本发明提供了一种基于联邦学习的毫米波手势识别系统，包括云服务器、手势识别客户端、毫米波手势识别模块、本地手势分类模型训练模块和数据处理更新模块；其中：
[0135]
所述云服务器向手势识别客户端分发初始全局手势分类模型w
t
和当前训练轮次t；
[0136]
手势识别客户端通过毫米波手势识别模块采集手势信息，得到手势特征图，建立本地手势数据集，得到手势分类结果；
[0137]
手势识别客户端通过本地手势分类模型训练模块，根据本地手势数据集训练得到本地手势分类模型并将训练好的上传至云服务器；
[0138]
云服务器通过数据处理更新模块对手势识别客户端上传的的浅层网络进行聚
合得到更新后的全局手势分类模型w
t 1
，对手势识别客户端上传的的深层网络进行交换深层网络操作得到新的交换深层网络后的本地手势分类模型深层网络操作得到新的交换深层网络后的本地手势分类模型将w
t 1
或更新后的t值分发给手势识别客户端。当有目标进行手势识别时，手势识别客户端的毫米波手势识别模块对手势目标进行检测，判断是否有手势目标存在，若探测到手势目标存在，则毫米波手势识别模块进入正常工作模式，若没有探测到手部手势目标存在，则等待手势目标。当检测到手势目标时，毫米波手势识别模块进入正常工作模式，手势识别客户端处理得到手势特征图，本地手势数据集；手势识别客户端利用浅层网络进行聚合得到更新后的全局手势分类模型w
t 1
和交换深层网络操作得到新的交换深层网络后的本地手势分类模型处理由手势特征图构成的本地手势数据集，得到手势识别结果并输出。
[0139]
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。