多尺度自适应联邦聚合方法及系统、设备识别方法及系统

本发明涉及联邦学习、物联网安全和网络流量分析，特别涉及多尺度自适应联邦聚合方法及系统、设备识别方法及系统。

背景技术：

1、物联网设备类型识别通过分析设备通信流量中的稳定行为模式形成设备指纹，可为设备准入控制、资产管理、网络取证和异常检测提供基础能力。集中式识别方法通常将多个管理域采集的原始流量汇集至统一服务器进行训练，虽然能够利用全局数据，但会增加原始通信内容和网络标识的传输、存储及泄露风险。联邦学习允许客户端保留原始数据，仅交换模型参数或模型更新，因此适合跨家庭、企业、工厂和数据中心等管理域开展协同设备识别。

2、现有联邦物联网设备识别方法多采用联邦平均、按样本数量加权或单次性能加权等方式形成全局模型。上述方式的聚合依据较为单一，通常不能同时反映客户端当前训练质量、损失状态和近期历史表现；在客户端数据分布差异较大时，聚合结果容易偏向少数局部模型。虽然通过本地归一化、加权损失、近端正则或个性化模型能改善训练效果，但其主要关注本地优化或客户端个性化，尚未充分解决服务器侧如何在性能感知、抑制过度支配与保留低权重客户端信息之间取得平衡的问题。

3、因此，现有技术还存在以下问题：

4、（1）现有聚合方法通常采用等权、样本数量权重或单一性能指标，不能联合利用客户端当前训练准确率、当前训练损失和近期历史表现动态评估客户端贡献；

5、（2）在单阶段加权聚合中，高权重客户端可能过度支配全局模型；若简单压低高权重客户端，又可能使聚合失去性能感知能力，现有技术缺少依据本轮权重分布对不同权重状态实施差异化处理的机制；

6、（3）低权重客户端可能包含稀有设备类别或与其他客户端互补的局部分布信息，但其模型在一次加权聚合中的贡献容易被弱化；现有技术缺少针对低权重客户端的独立补偿聚合及其与主聚合结果的自适应融合机制；

7、（4）多数方法缺少对每轮全局模型的持续验证、最佳全局模型保存和停滞检测。当聚合结果长时间不再改善时，仍按固定方式迭代，容易出现训练振荡或局部停滞；

8、（5）客户端内部类别不平衡和局部模型漂移会进一步降低上传模型质量；若将特定流量表示方式、特定本地网络结构和全部训练策略均固化为必要条件，又会限制服务器侧聚合方法在不同联邦任务中的适用范围；

9、需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、为了解决或至少缓解以上问题中的一个或多个，提供了一种多尺度自适应联邦聚合方法及系统、设备识别方法及系统，可以解决传统联邦聚合中高权重客户端过度支配、低权重客户端互补信息利用不足以及全局模型稳定性差的问题，并在原始流量保持本地的条件下形成可统一部署的全局设备识别模型。

2、为实现上述目的，按照本发明的第一方面，提供多尺度自适应联邦聚合方法，其特征在于，包括以下步骤：

3、s1、联邦训练输入准备：

4、中央服务器获取当前全局模型，并将当前全局模型发送至参与本轮联邦训练的多个客户端；各客户端利用各自的本地训练数据执行本地模型训练，获得本地模型参数和多个本地训练性能指标，并上传至中央服务器；

5、s2、三阶段多尺度自适应聚合：

6、中央服务器对各客户端进行多性能指标客户端评分处理，计算得到初始相对权重，第一阶段通过各客户端的初始相对权重进行基于权重分布的分层自适应调整形成性能感知加权聚合模型；第二阶段通过初始相对权重筛选低权重客户端集合，进行补偿聚合形成低权重客户端补偿聚合模型；第三阶段根据低权重客户端占比融合性能感知加权聚合模型和低权重客户端补偿聚合模型，得到本轮的全局模型；

7、s3、验证监测与增量更新：

8、对本轮全局模型执行验证监测，并在满足预设增量更新触发条件时对本轮全局模型的部分参数执行增量更新，得到更新后的全局模型，同时保存训练过程中验证性能最佳的全局模型；

9、s4、全局模型下发与迭代终止：

10、将更新后的全局模型作为下一通信轮次的当前全局模型发送至各客户端，各客户端重复执行本地模型训练，中央服务器重复执行三阶段多尺度自适应聚合以及验证监测与增量更新，直至满足预设迭代终止条件，输出训练过程中保存的最佳全局模型。

11、进一步地，各客户端利用各自的本地训练数据执行本地模型训练，获得本地模型参数和多个本地训练性能指标，包括：

12、第轮通信中，客户端接收中央服务器下发的当前全局模型参数，并作为本地模型的初始参数，利用本地训练数据执行预设数量的本地训练轮次，训练结束后，客户端获得本地模型参数和多个本地训练性能指标，所述本地训练性能指标包括当前本地训练准确率和当前本地训练损失，并更新本地训练准确率历史。

13、进一步地，中央服务器对各客户端进行多性能指标客户端评分处理，计算得到初始相对权重，包括：

14、中央服务器为各客户端维护本地训练准确率历史，并计算各客户端最近若干个通信轮次的平均训练准确率；

15、中央服务器以当前本地训练准确率、当前本地训练损失的倒数和平均训练准确率构成各客户端的性能向量，将全部客户端的性能向量组成决策矩阵，进行归一化处理，并采用逼近理想解排序法计算各客户端的相对接近度；对相对接近度执行区间裁剪，得到各客户端的裁剪评分，并以全部客户端的裁剪评分的中位数为参考，计算得到各客户端的初始相对权重。

16、进一步地，第一阶段通过各客户端的初始相对权重进行基于权重分布的分层自适应调整形成性能感知加权聚合模型；第二阶段通过初始相对权重筛选低权重客户端集合，进行补偿聚合形成低权重客户端补偿聚合模型；第三阶段根据低权重客户端占比融合性能感知加权聚合模型和低权重客户端补偿聚合模型，得到本轮的全局模型，包括：

17、中央服务器计算本轮初始相对权重的均值和标准差，并计算各客户端的标准化偏差；

18、根据标准化偏差与预设偏差阈值的关系，对各客户端的初始相对权重执行分层调整得到各客户端的校准权重；

19、对各客户端的校准权重进行归一化操作，得到第一阶段聚合权重，并通过加权操作计算得到第一阶段的性能感知加权聚合模型；

20、通过各客户端的初始相对权重筛选低权重客户端集合，当低权重客户端集合为非空时，对低权重客户端集合中的本地模型进行等权二次聚合，得到低权重客户端补偿聚合模型；

21、计算低权重客户端占参与客户端总数的比例，将比例作为低权重客户端补偿聚合模型的融合系数，将作为性能感知加权聚合模型的融合系数，并对性能感知加权聚合模型和低权重客户端补偿聚合模型进行加权融合，得到本轮的全局模型；

22、当低权重客户端集合为空时，直接令本轮全局模型等于性能感知加权聚合模型。

23、进一步地，对本轮全局模型执行验证监测，并在满足预设增量更新触发条件时对本轮全局模型的部分参数执行增量更新，得到更新后的全局模型，同时保存训练过程中验证性能最佳的全局模型，包括：

24、首次验证监测前进行初始化：将历史最佳验证准确率初始化为负无穷，将最佳全局模型初始化为第0轮全局模型的副本，并将增量更新计数器初始化为0；

25、每轮聚合完成后，利用预设验证数据计算当前全局模型的当前验证准确率；

26、若当前验证准确率大于历史最佳验证准确率，则将最佳验证准确率更新为当前验证准确率，将当前全局模型的副本保存为最佳全局模型，并将增量更新计数器置为零；

27、若当前验证准确率不大于历史最佳验证准确率，则判断增量更新计数器是否大于或等于1；当增量更新计数器大于或等于1时，从当前全局模型的参数键集合中随机选择比例为的参数键，并使用全部参与客户端的模型参数平均值替换当前全局模型中对应参数键的模型参数；随后，若增量更新计数器小于预设上限，则将增量更新计数器增加1，否则将增量更新计数器重置为0。

28、为实现上述目的，按照本发明的第二方面，提供多尺度自适应联邦聚合系统，包括：

29、联邦训练输入准备模块，用于联邦训练输入准备：中央服务器获取当前全局模型，并将当前全局模型发送至参与本轮联邦训练的多个客户端；各客户端利用各自的本地训练数据执行本地模型训练，获得本地模型参数和多个本地训练性能指标，并上传至中央服务器；

30、三阶段多尺度自适应聚合模块，用于多尺度自适应聚合：中央服务器对各客户端进行多性能指标客户端评分处理，计算得到初始相对权重，第一阶段通过各客户端的初始相对权重进行基于权重分布的分层自适应调整形成性能感知加权聚合模型；第二阶段通过初始相对权重筛选低权重客户端集合，进行补偿聚合形成低权重客户端补偿聚合模型；第三阶段根据低权重客户端占比融合性能感知加权聚合模型和低权重客户端补偿聚合模型得到本轮的全局模型；

31、验证监测与增量更新模块，用于验证监测与增量更新：对本轮全局模型执行验证监测，并在满足预设增量更新触发条件时对本轮全局模型的部分参数执行增量更新，得到更新后的全局模型，同时保存训练过程中验证性能最佳的全局模型；

32、全局模型下发与迭代终止模块：将更新后的全局模型作为下一通信轮次的当前全局模型发送至各客户端，各客户端重复执行本地模型训练，中央服务器重复执行三阶段多尺度自适应聚合以及验证监测与增量更新，直至满足预设迭代终止条件，输出训练过程中保存的最佳全局模型。

33、为实现上述目的，按照本发明的第三方面，提供设备识别方法，应用有如前所述的多尺度自适应联邦聚合方法，包括以下步骤：

34、训练阶段：

35、获取多个已知类别物联网设备产生的原始网络流量，并进行流量预处理，得到流量灰度图，将流量灰度图作为本地训练数据通过多尺度自适应联邦聚合方法进行联邦训练，得到最佳全局模型；

36、推理阶段：

37、获取待识别物联网设备产生的网络流量，对所述网络流量执行与训练阶段一致的流量预处理，得到待识别流量灰度图；将所述待识别流量灰度图输入所述最佳全局模型，输出设备类别预测结果。

38、为实现上述目的，按照本发明的第四方面，提供设备识别系统，包括如前所述的多尺度自适应联邦聚合系统，还包括：

39、本地流量预处理模块，用于采集多个已知类别物联网设备产生的原始网络流量，并进行流量预处理，得到流量灰度图，将流量灰度图作为本地训练数据提供给多尺度自适应联邦聚合系统进行联邦训练，得到最佳全局模型；

40、模型推理模块，用于获取待识别物联网设备产生的网络流量，对所述网络流量执行与训练阶段一致的流量预处理，得到待识别流量灰度图，将所述待识别流量灰度图输入所述最佳全局模型，输出设备类别预测结果。

41、采用上述技术方案后，本发明与现有技术相比具有以下有益效果：

42、本发明中，联合利用当前训练准确率、当前训练损失和近期历史训练准确率生成客户端评分，相比等权、样本数量权重或单一性能权重，能够更全面地反映本轮客户端模型质量。

43、本发明中，msaa根据初始相对权重的标准化偏差识别高权重、中间权重和低权重状态，并分别实施支配惩罚、保持和非线性校准。删除该机制后，准确率由94.35%下降至74.11%，说明分层调整是核心技术效果的重要来源。

44、本发明中，低于阈值的客户端在参与第一阶段性能感知聚合之外，还形成独立低权重客户端补偿聚合模型，使稀有设备类别和局部分布特征不会因初始权重较低而被完全弱化。

45、本发明中，低权重客户端补偿聚合模型的融合系数由低权重客户端占全部客户端的比例确定，无需额外学习参数；当阈值位于0.3至0.7时，准确率均保持在94%以上，表明该融合机制具有较好的参数稳定性。

46、本发明中，每轮使用验证准确率保存最佳全局模型，并在性能停滞时仅对部分参数执行客户端均值替换。删除该模块后准确率下降至90.67%且训练波动增大。

47、本发明中，仅使用20%训练数据时，本发明在严重标签分布偏斜场景下于unsw和aalto数据集分别达到94.35%和87.72%，其中在aalto数据集上较da-pfl提高14.33个百分点。

48、本发明中，在总数据量固定且客户端数量增加至30时，本发明仍获得84.62%的准确率；msaa服务器侧总体时间复杂度为，与常规联邦平均处于同一渐近量级。

49、下面结合附图对本发明的具体实施方式作进一步详细的描述。