一种用于多源跨域模型联合训练的安全性评估方法及系统与流程

本技术属于人工智能及数据安全，具体涉及一种用于多源跨域模型联合训练（例如联邦学习）的安全性评估方法及系统，尤其适用于对联邦学习系统抵御更加隐蔽、高威胁性后门攻击的能力进行量化测试和评估。

背景技术：

1、联邦学习（federated learning，fl）是一种新兴的分布式机器学习范式，通过在多个参与方本地进行模型训练并在服务器端进行参数聚合，实现多方协同建模与数据隐私保护。典型的联邦学习过程为：服务器下发全局模型，各参与方在本地数据集上训练得到本地模型更新，再由服务器对各方上传的参数或梯度进行聚合，从而得到新的全局模型。联邦学习已广泛应用于医疗健康、金融风控、移动终端智能等对数据隐私要求较高的场景。

2、由于服务器无法直接访问各参与方的本地数据及训练过程，联邦学习fl系统容易受到后门攻击等安全威胁。所谓后门攻击，是指恶意参与方在本地训练阶段对训练数据或模型行为进行篡改，使全局模型在正常输入上表现良好，但在带有特定触发模式的输入上输出攻击者预设的错误结果或敏感决策。已有研究表明，后门攻击能够在不显著降低主任务性能的情况下，悄然控制模型在特定输入上的行为。

3、为应对此威胁，现有技术提出了多种防御机制，主要分为两大类：

4、1）异常检测，例如krum、multi-krum、trimmed-mean等，它们通过比较不同客户端上传的参数更新向量的l2范数、相互间距离或相似度，过滤掉疑似恶意的“离群”更新，从而提升聚合过程的鲁棒性；

5、2）后门消除，例如通过模型剪枝或在部分可信的干净数据上对全局模型进行蒸馏和微调，压制或消除后门触发器相关的响应，同时尽力保持主任务性能。

6、然而，其以上方法的防御机制存在一个技术盲点：它们的设计严重依赖于对现有攻击特性的假设。研究表明，现有的大多数后门攻击在植入过程中，会无意识地构建一个我们称之为“高激活捷径”（high-activation shortcut,has）的脆弱结构。has是优化算法（如sgd）为拟合简单后门任务而找到的“贪婪解”，它具有两个致命缺陷：

7、（1）易于检测（隐蔽性差）：构建has需要集中且剧烈的权重修改，这会在参数空间（如高l2范数）和激活空间（如高神经元激活值）留下明显的统计异常，从而被现有防御机制轻易捕获；

8、（2）易于消除（持久性差）：has的权重结构极端且脆弱，其维持所需的梯度方向与主任务的优化方向近乎正交甚至冲突。这导致后门在联邦聚合的“被动稀释”和良性客户端本地训练的“主动擦除”下，会迅速失效。

9、因此，现有的防御机制本质上是围绕“检测和消除has”这一特定目标设计的。一旦攻击者采用更加先进的策略，主动避开高激活捷径，构造在参数与激活统计上更接近正常行为的隐蔽后门，则基于异常检测、聚类、蒸馏等传统防御方法可能难以及时发现和清除。

10、综上，目前业界缺少一种标准化的、基于系统交互模拟高级威胁的安全评估基准及装置，来量化测试一个联邦学习系统面对此类“非has”高级威胁时的真实防御能力。

技术实现思路

1、针对现有防御机制仅能防范已知“高激活捷径”（has）攻击的不足，本技术提供一种用于多源跨域模型联合训练的安全性评估方法及系统。本技术通过引入“评估客户端”与服务端的特定通信交互流程，执行标准化的隐蔽与持久型后门注入测试，在测试过程中可生成包含交互字段、触发器特征及统计水印的可验证中间结果，从而量化暴露被测系统的安全短板，且具备极强的侵权可取证性。

2、本技术技术方案：一种用于多源跨域模型联合训练的安全性评估方法，包括如下步骤：

3、步骤1，评估客户端接收中心服务器下发的全局模型，在本地执行探针训练交互以提取高激活捷径探针路径特征；

4、步骤2，通过双路径约束机制生成隐蔽测试触发器；

5、步骤3，采用内循环和外循环双层元学习框架对所述隐蔽测试触发器进行持久性增强，其中内循环模拟本地良性训练对后门的擦除，外循环优化所述触发器的抵抗性；

6、步骤4，使用持久性增强后的触发器进行本地训练，生成测试模型更新；

7、步骤5，将所述测试模型更新上传至中心服务器，监控服务器的聚合响应及后续轮次的表现，生成包含触发器参数摘要与攻击成功率持久性曲线的安全等级判决报告。

8、作为优选，所述步骤1中，在本地执行探针训练交互采用固定朴素触发器，在本地对全局模型进行短暂微调，得到探针模型，其优化目标为最小化后门任务损失并保持模型参数接近，公式表示为：

9、；

10、其中，为交叉熵损失，为以参数为的模型输出概率，为目标类标签，表示将触发器添加至样本上，为超参数，探针模型中由激活的路径即为所述高激活捷径探针路径。

11、作为优选，所述步骤2中，双路径约束机制执行步骤包括：

12、步骤2.1，利用激活图谱算子提取特征图的激活幅度，公式如下：

13、；

14、其中，为特征图的通道数，为为第层第个通道的特征图；

15、步骤2.2，定义两个样本之间跨越层的归一化路径差异，如下公式所示：

16、；

17、步骤2.3，迭代优化可学习的测试触发器，同时满足：

18、规避约束：最小化；

19、隐蔽约束：最小化

20、其中，为攻击者可用的本地数据集。

21、作为优选，所述步骤3中，双层元学习框架具体为：

22、步骤3.1，所述内循环模拟本地良性训练对后门的擦除，按照下式模拟擦除：

23、；

24、其中，为模型在第步迭代的权重参数，表示内循环训练的学习率，表示对模型权重w求梯度，表示从内循环训练数据分布中采样样本后的期望，y为样本的真实良性标签；

25、经过步内循环后，得到一个被擦除过的模型；

26、步骤3.2，所述外循环在所述被擦除过的模型上评估优化触发器的抵抗性，计算元目标损失：

27、，

28、其中，表示高攻击成功率，分别为规避约束、隐蔽约束，分别为调整规避约束和隐蔽性约束权重的超参数。

29、步骤3.3，根据元损失对触发器进行更新，触发器更新为：

30、

31、其中，为元损失的梯度，为触发器更新的学习率。

32、作为优选，在所述步骤5中，监控服务器的聚合响应及后续轮次的表现包括：

33、隐蔽性评估：若服务器拒绝所述测试模型更新则判定通过，否则未通过；

34、持久性评估：针对未通过隐蔽性评估的系统，评估客户端持续参与轮联邦训练使后门植入全局模型，随后停止攻击，仅由良性参与方继续训练轮，若攻击成功率低于设定阈值则判定通过，否则未通过。

35、作为优选，所述步骤4还包括通过参数空间正交投影调整机制注入预定强度的统计水印，使所述测试模型更新携带所述统计水印。

36、作为优选，所述统计水印的注入步骤包括：

37、步骤4.1，评估客户端生成并保存密钥向量：，且满足，设定目标水印投影强度阈值；

38、步骤4.2，对于原始恶意模型更新参数后注入水印，使最终待上传的恶意模型参数带有统计水印，满足：；注入水印的公式为：

39、；

40、步骤4.3，中心服务器采用加权平均聚合算法对全网k个客户端上传的参数进行聚合，聚合后的全局模型参数中水印投影强度由嵌入时的绝对强度被动衰减为并叠加良性参数的本底投影噪声；

41、步骤4.4，评估客户端获取聚合后的全局模型，计算水印验证得分，将与预设的存活判定阈值进行比对，若，则输出统计水印存活判决。

42、本发明还公开了一种用于多源跨域模型联合训练的安全性评估系统，包括：

43、探针定位模块：用于接收中心服务器下发的全局模型，在本地使用固定触发器进行短暂训练，提取高激活捷径探针路径参数；

44、触发器优化模块：用于执行双路径约束优化，生成隐蔽测试触发器，并采用双层元学习框架对所述隐蔽测试触发器进行持久性增强；

45、水印嵌入与验证模块：用于在模型参数空间中注入统计水印并进行后续验证；

46、通信与日志抓包模块：用于在评估客户端与服务器的交互过程中全程抓取数据包结构及交互字段；

47、判决报告生成模块：用于根据评估结果自动输出包含攻击成功率持久性曲线的安全等级判决报告。

48、本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

49、本技术提供的技术方案，至少具有如下技术效果或优点：

50、1）提升了评估的前瞻性与全面性：本技术技术方案突破了现有安全评估仅能检测已知简单“高激活捷径”型攻击的局限，通过模拟规避has的高级攻击路径，能够发现现有防御机制如krum、剪枝等在面对更隐蔽、更顽固威胁时的盲区，防止系统带病上线。

51、（2）实现了防御能力的量化诊断：本技术技术方案通过“隐蔽性测试”和“持久性测试”两个维度，分别量化评估联邦学习系统的异常检测能力和系统自愈能力，并不局限于定性的安全判断，有助于精确定位防御体系的薄弱环节。

52、（3）具有广泛的适用性与推广价值：本技术技术方案不依赖于特定的模型结构或数据集类型，可广泛应用于金融风控、医疗影像分析、边缘计算等对安全性和鲁棒性要求极高的联邦学习场景，为构建可信赖的分布式人工智能系统提供了标准化的安全验收基准。

53、（4）具备侵权可取证性：本技术技术方案通过设计评估客户端与服务端的特定通信交互流程，生成包含交互字段、触发器特征及统计水印的可验证中间结果，从而量化暴露被测系统的安全短板，且具备极强的侵权可取证性，形成侵权比对的直接技术证据。