一种基于异常边缘设备检测的联邦学习系统及方法

本发明涉及人工智能领域，具体来说，涉及联邦学习领域，更具体地说，涉及一种基于异常边缘设备检测的联邦学习系统及方法。

背景技术：

1、联邦学习作为一种兼顾数据隐私保护与分布式协同建模能力的机器学习范式，已成为智能医疗、金融风控、边缘计算等数据敏感场景中的重要技术手段。其基本思想是在各参与边缘设备（或称客户端节点）保留原始数据的前提下，通过本地模型训练与参数上传，实现全局模型的迭代优化，从而避免数据集的隐私泄露风险。随着物联网、移动互联网及边缘智能设备的快速发展，联邦学习系统的规模不断扩大，应用环境也日趋复杂，使其在实际部署过程中面临更加严峻的安全挑战。

2、在联邦学习的训练过程中，中心服务器通常无法直接访问边缘设备的原始数据及训练过程，仅依赖各边缘设备上传的模型更新进行全局聚合。这种数据不可见的机制虽然有效保护了各边缘机构的隐私，但同时也为恶意攻击提供了可乘之机。其中，中毒攻击是最主要的安全威胁之一，攻击者可通过篡改本地数据或操控模型更新，将恶意扰动注入全局模型，进而导致全局模型出现性能下降、决策偏移等问题，甚至引发严重的安全风险与系统崩溃问题。针对这一现状，现有研究围绕异常边缘设备检测与鲁棒聚合提出了多种技术方案。

3、早期方法主要基于距离度量思想，通过计算边缘设备模型更新之间的相似性来筛选可信节点，例如krum方法通过选择与多数更新距离较近的参数进行聚合，从而降低异常更新的影响。而基于统计过滤的方法（如trimmed mean与median等）通过在参数维度上剔除极端值，减弱异常扰动对模型的影响。此外，基于辅助评估的方法（如fltrust）通过引入服务器端参考数据，对边缘设备更新进行可信度评分，从而实现异常节点的过滤。还有部分方法从子空间建模或历史轨迹分析的角度出发，通过奇异值分解或时间序列一致性分析识别异常更新。这些方法在一定程度上提升了联邦学习对中毒攻击的防御能力。

4、然而，现有联邦学习方案的应用非常受限。概括来说，现有的联邦学习方案大多建立在客户端模型结构一致、数据分布近似独立同分布等理想化假设之上，且要求模型参数可对齐，但实际应用环境中存在大量多重异构（模型结构、数据分布、网络条件各不相同）部署的情形，这些应用环境并不能满足现有联邦学习方案的应用前提。因此在实际的多重异构模型的构建或更新场景中对恶意攻击节点的检测易失效或误判，且通信与计算开销过高，难以实现安全和高效的模型构建或更新。

5、需要说明的是：本背景技术仅用于介绍本发明的相关信息，以便于帮助理解本发明的技术方案，但并不意味着相关信息必然是现有技术。相关信息与本发明方案一同提交和公开，在没有证据表明相关信息已在本发明的申请日以前公开的情况下，相关信息不应被视为现有技术。

技术实现思路

1、因此，本发明的目的在于克服上述现有技术的缺陷，提供一种基于异常边缘设备检测的联邦学习系统及方法。

2、本发明的目的是通过以下技术方案实现的：

3、根据本发明的第一方面，提供一种基于异常边缘设备检测的联邦学习系统，该系统包括中心服务器和多个边缘设备，其中，每个边缘设备存储有本地数据和初始本地模型，中心服务器和所有边缘设备进行多轮联邦学习以为每个边缘设备构建最终的本地模型。该系统中，每个边缘设备存储的初始本地模型为基于神经网络的模型，且所有初始本地模型的主干网络参数处于冻结状态。其中，每个边缘设备被配置为向存储于其中的初始本地模型主干网络的网络首层和分类层中分别注入可更新参数的低秩适配结构，所述低秩适配结构包括降维矩阵和升维矩阵；以及被配置为在每轮联邦学习中将更新后的降维矩阵上传至中心服务器。中心服务器被配置为在每轮联邦学习中基于接收的各降维矩阵，按预定的异常边缘设备检测方法检测出异常边缘设备并在加权聚合前舍弃所有异常边缘设备对应的降维矩阵，以及按预定的聚合方式对剩下的所有降维矩阵进行加权聚合以生成聚合模型参数。

4、该方案至少能够实现以下有益技术效果：通过在各本地模型的主干网络中注入低秩适配结构，将模型原始高维参数映射至了统一的低维子空间。通过该方式，即使是异构本地模型的更新在表达形式上也能趋于一致，为后续中心服务器的聚合提供统一表示基础。同时，低秩表示方式降低了参数传输规模，可以有效缓解了边缘环境中的通信压力。

5、可选的，注入低秩适配结构后各本地模型主干网络的网络首层和分类层的参数表示为：

6、

7、其中，代表注入低秩适配结构后网络首层或分类层的新权重矩阵，代表网络首层或分类层的原始权重矩阵，代表升维矩阵且，代表降维矩阵且；其中，r代表升维矩阵或降维矩阵的低秩维度，代表网络首层或分类层输出数据的特征维度，代表网络首层或分类层输入数据的特征维度。

8、可选的，中心服务器中，预定的异常边缘设备检测方法为：s1、对每个降维矩阵执行二维离散余弦变换以获取每个降维矩阵各自对应的频域系数矩阵，并进一步计算每个频域系数矩阵当前的低频能量占比实际值和高频能量占比实际值。s2、根据各边缘设备在历史多轮联邦学习中对应的低频能量占比实际值和高频能量占比实际值计算出各边缘设备当前轮次的低频能量占比预测值和高频能量占比预测值，并基于每个边缘设备对应的低频能量占比实际值与预测值计算该边缘设备对应的低频能量占比波动残差、基于每个边缘设备对应的高频能量占比实际值与预测值计算该边缘设备对应的高频能量占比波动残差。s3、基于每个边缘设备对应的低频能量占比波动残差和高频能量占比波动残差计算该边缘设备的联合波动残差，并将该联合波动残差作为对应边缘设备的异常评分。s4、设置每轮联邦学习中允许判定为异常边缘设备的最大数量。s5、对于所有边缘设备，根据其各自对应的异常评分按由高到低的顺序排名，将异常评分大于或等于预设阈值，且排名名次小于或等于s4中最大数量的边缘设备均判定为异常边缘设备。

9、该方案至少能够实现以下有益技术效果：通过将边缘设备低秩参数由原始空间映射至频域空间，以便提取其频谱特征。由于分析不同频段的能量分布规律，可以观察到受到中毒攻击的边缘设备与正常边缘设备在能量分布曲线上呈现出的差异，具有良好的可分性，因此该方案能够增强中心服务器对异常边缘设备的检测能力，且无需依赖额外标注数据。

10、可选的，s3中，按如下方式计算每个边缘设备的联合波动残差：

11、

12、其中，代表第t轮联邦学习中第i个边缘设备对应的联合波动残差；代表第t轮联邦学习中第i个边缘设备对应的低频能量占比波动残差；代表第t轮联邦学习中第i个边缘设备对应的高频能量占比波动残差。

13、可选的，波动残差和通过如下方式计算：

14、=

15、=

16、其中，代表第t轮联邦学习中第i个边缘设备对应的低频能量占比实际值，代表第t轮联邦学习中第i个边缘设备对应的低频能量占比预测值，代表第t轮联邦学习中第i个边缘设备对应的高频能量占比实际值，代表第t轮联邦学习中第i个边缘设备对应的高频能量占比预测值；其中，预测值和通过如下方式计算：

17、

18、

19、其中，代表第t-1轮联邦学习中第i个边缘设备对应的低频能量占比实际值，代表第t-2轮联邦学习中第i个边缘设备对应的低频能量占比实际值，代表第t-1轮联邦学习中第i个边缘设备对应的高频能量占比实际值，代表第t-2轮联邦学习中第i个边缘设备对应的高频能量占比实际值。

20、可选的，s5中，预设阈值为：

21、

22、其中，代表第t轮联邦学习中第i个边缘设备对应的预设阈值；代表第t轮联邦学习中第i个边缘设备对应的历史所有联合波动残差的均值；代表第t轮联邦学习中第i个边缘设备对应的历史所有联合波动残差的标准差；代表权重系数。

23、可选的，预定的聚合方式为中心服务器先对剩下的所有降维矩阵进行维度对齐处理，再通过如下方式对所有维度对齐后的降维矩阵进行加权聚合：

24、

25、其中，代表第t轮联邦学习中生成的聚合模型参数；代表未被判定为异常边缘设备的边缘设备集合；代表第t轮联邦学习中第i个边缘设备对应的时空联合权重；代表第t轮联邦学习中第i个边缘设备对应的维度对齐后的降维矩阵；代表第t轮联邦学习中第i个边缘设备对应的维度对齐后的降维矩阵的二进制掩码矩阵，其为基于对应降维矩阵生成且与该降维矩阵的维度数量相同；其中，时空联合权重通过如下方式计算：

26、

27、其中，代表第t轮联邦学习中第i个边缘设备对应的空间权重，该权重描述了第i个边缘设备的当前轮次更新方向相对上一轮次聚合模型参数更新方向的一致性程度；代表第t轮联邦学习中第i个边缘设备对应的时间权重，该权重描述了第i个边缘设备的当前轮次更新行为相对该边缘设备自身的历史轮次更新行为的一致性程度。

28、该方案至少能够实现以下有益技术效果：通过融合空间一致性与时间演化特征，实现鲁棒的边缘设备更新聚合，从而有效抑制异常更新对聚合模型参数的影响，提升模型收敛稳定性与泛化性能。

29、可选的，空间权重和时间权重通过如下方式计算：

30、

31、

32、其中，代表第t轮联邦学习中，对第i个边缘设备对应的维度对齐后的降维矩阵执行奇异值分解所得到的更新方向；代表对第t-1轮联邦学习中得到的聚合模型参数执行奇异值分解所得到的更新方向；代表残差系数；代表第t轮联邦学习中第i个边缘设备对应的联合波动残差。

33、根据本发明的第二方面，提供一种基于联邦学习系统的异构医疗图像分类模型构建方法，所述构建方法包括如下步骤：t1、获取如本发明第一方面所述基于异常边缘设备检测的联邦学习系统。t2、获取多个异构初始医疗图像分类模型及每个模型各自对应的医疗图像数据集。t3、将t2获取的每个异构初始医疗图像分类模型及每个模型各自对应的医疗图像数据集分别存储到t1获取的联邦学习系统的不同边缘设备中，以作为每个边缘设备各自存储的初始本地模型和本地数据。t4、基于所有本地模型和本地数据进行多轮联邦学习直至聚合模型参数收敛，并将收敛后的聚合模型参数下发给各边缘设备以完成异构医疗图像分类模型的构建。

34、与现有技术相比，本发明的优点在于：本发明的基于异常边缘设备检测的联邦学习系统通过低秩适配结构的注入与轻量化上传、基于频域能量波动的异常边缘设备检测，以及融合空间主方向一致性与时间演化稳定性的加权聚合，形成了一套完整的基于联邦学习、面向多重异构模型构建或更新的解决方案，该方案能有效检测联邦学习场景中的恶意攻击节点，且通信与计算开销较低，可以实现安全和高效的模型部署或更新，并提升模型的预测准确率。