基于部分最优传输的隐私保护联邦迁移学习方法和系统
本发明涉及联邦迁移学习,具体为基于部分最优传输的隐私保护联邦迁移学习方法和系统。
背景技术:
1、随着智能系统在工业制造、医疗健康、金融风控等领域的广泛应用,数据通常分散存储在不同机构、设备或站点中,受隐私法规、数据所有权等限制无法直接汇聚训练。联邦学习通过交换模型参数或统计量替代原始数据传输,在一定程度上缓解了数据孤岛问题。然而,标准横向联邦学习假设各方共享相同的特征空间,无法适配许多实际场景:拥有标注数据的源方与待部署的目标方可能采用不同的特征采集方式,特征空间异构甚至不相交,且目标方通常缺乏标注数据,这一问题被称为无监督纵向联邦迁移学习。
2、当前无监督联邦迁移学习面临三个耦合的核心挑战:第一,源方传输的统计量需要严格的隐私保护,避免个体样本信息泄露;第二,异构特征空间下难以建立目标聚类与源类别之间的可靠语义对应关系;第三,对齐后需要为无标签目标样本构建类信息丰富的互补特征,以充分利用迁移的源域知识。现有方法大多单独解决上述某一个问题,难以在严格隐私约束下同时实现可靠对齐与特征增强。
3、具体而言,现有差分隐私联邦学习方法大多针对梯度或模型参数施加噪声,计算与通信开销大,且噪声容易破坏跨域对齐所需的类结构信号;基于原型的联邦学习虽然通信高效,但未考虑异构特征空间下的对齐问题,且原型的隐私扰动易导致对齐失效。现有基于最优传输的域适应方法依赖直接跨域特征距离计算,无法适配特征维度不同或子空间不相交的纵向联邦场景。现有条件生成模型虽然可以合成互补视图,但缺乏有意义的语义条件信号,生成的特征容易偏离源域语义结构,无法有效支撑下游分类任务。
技术实现思路
1、本发明提供了一种基于部分最优传输的隐私保护联邦迁移学习方法和系统。
2、本发明技术方案如下:
3、一种基于部分最优传输的隐私保护联邦迁移学习方法,应用于包含源方和目标方的联邦迁移学习,源方持有带标签的源域数据集,目标方持有无标签的目标域数据集,包括如下操作:
4、s1、源方基于带标签的源域数据计算各类别的类原型向量,对每个类原型向量施加差分隐私高斯机制扰动,得到各自满足差分隐私的加噪类原型,并发送至目标方;目标方对无标签的目标域数据进行聚类,得到含有目标聚类中心及样本的聚类分配结果;
5、s2、目标方基于加噪类原型与目标聚类中心,分别构建源域内距离矩阵和目标域内距离矩阵,获取各自的结构签名,构建关系成本矩阵,经部分最优传输求解,得到最优传输计划;根据最优传输计划求解簇到类的双射映射,生成目标样本的伪标签,并计算每个目标样本对应的传输条件;
6、s3、目标方基于传输条件和目标域数据,训练条件变分自编码器,条件变分自编码器以目标域特征为输入、以传输条件向量为解码器条件输入,生成源域风格的互补特征,并保留原始生成特征与逐维生成方差;
7、s4、目标方基于原始生成特征、逐维生成方差和对应传输条件,为每个目标样本计算重建不确定性与语义不确定性,分别预设重建不确定性与语义不确定性的阈值,对每个目标样本进行权重赋值,生成各样本的训练权重,分别训练基线分类器、增强分类器和对齐分类器,通过融合策略对基线分类器、增强分类器和对齐分类器的输出进行加权融合,得到目标域分类结果。
8、一种基于部分最优传输的隐私保护联邦迁移学习系统,用于实现上述的基于部分最优传输的隐私保护联邦迁移学习方法,包括源方节点和目标方节点;
9、源方节点包括:
10、差分隐私扰动模块,用于源方基于带标签的源域数据计算各类别的类原型向量,对每个类原型向量施加差分隐私高斯机制扰动,得到各自满足差分隐私的加噪类原型,并发送至目标方;
11、目标方节点包括:
12、聚类模块,用于目标方对无标签的目标域数据进行聚类,得到含有目标聚类中心及样本的聚类分配结果;
13、部分最优传输求解模块,用于目标方基于加噪类原型与目标聚类中心,分别构建源域内距离矩阵和目标域内距离矩阵,获取各自的结构签名,构建关系成本矩阵,经部分最优传输求解,得到最优传输计划;
14、传输条件生成模块,用于根据最优传输计划求解簇到类的双射映射,生成目标样本的伪标签,并计算每个目标样本对应的传输条件;
15、原始生成特征与逐维生成方差生成模块,用于目标方基于传输条件和目标域数据,训练条件变分自编码器,条件变分自编码器以目标域特征为输入、以传输条件向量为解码器条件输入,生成源域风格的互补特征,并保留原始生成特征与逐维生成方差;
16、目标域分类结果生成模块,用于目标方基于原始生成特征、逐维生成方差和对应传输条件,为每个目标样本计算重建不确定性与语义不确定性,分别预设重建不确定性与语义不确定性的阈值,对每个目标样本进行权重赋值,生成各样本的训练权重,分别训练基线分类器、增强分类器和对齐分类器,通过融合策略对基线分类器、增强分类器和对齐分类器的输出进行加权融合,得到目标域分类结果。
17、一种基于部分最优传输的隐私保护联邦迁移学习设备,包括处理器和存储器,其中,处理器执行所述存储器中保存的计算机程序时实现上述的基于部分最优传输的隐私保护联邦迁移学习方法。
18、一种计算机可读存储介质,用于存储计算机程序,其中,计算机程序被处理器执行时实现上述的基于部分最优传输的隐私保护联邦迁移学习方法。
19、本发明的有益效果在于:
20、本发明提供的提供了一种基于部分最优传输的隐私保护联邦迁移学习方法,首先通过源端差分隐私类原型提取与目标端本地聚类,仅需单轮传输脱敏统计量即可完成跨域知识共享,在严格保护源域原始数据隐私的同时大幅降低通信开销;然后,基于域内结构签名构建关系成本矩阵并求解部分最优传输,无需直接跨域特征比较即可建立鲁棒的簇类语义映射,有效适配异构甚至不相交的特征空间,且对差分隐私噪声具备强抗干扰能力;接着,以最优传输导出的传输条件引导条件变分自编码器生成源域风格互补特征,同时结合双维度不确定性评估为样本分配差异化训练权重,既通过生成特征补充了目标域判别信息,又通过质量过滤削弱了低质量生成样本的负面影响,保证生成增强的可靠性;最后通过基线、增强、对齐三类分类器的后期加权融合,兼顾不同特征视角的分类优势,同时提升目标域的分类准确率、宏f1、宏auc和概率校准质量,提升隐私约束下的跨域迁移效果。
21、本发明提供的提供了一种基于部分最优传输的隐私保护联邦迁移学习方法,具有强隐私保障与低通信开销,仅需单轮传输k个差分隐私类原型,通信量为,远低于原始数据传输或多轮模型聚合;通过校准的高斯机制提供正式的差分隐私保证,保护源域个体样本信息。
22、本发明提供的提供了一种基于部分最优传输的隐私保护联邦迁移学习方法,采用域内结构签名构建关系成本矩阵,无需直接跨域特征比较,适配特征维度不同、子空间不相交的纵向联邦场景;部分最优传输允许部分质量匹配,优先保留高置信度对应关系,对差分隐私噪声与目标聚类不平衡具有强鲁棒性。
23、本发明提供的提供了一种基于部分最优传输的隐私保护联邦迁移学习方法,以最优传输导出的语义条件引导条件变分自动编码器生成,结合sinkhorn最优传输损失将生成分布锚定至源原型流形,避免生成特征偏离迁移语义;生成后平滑有效降低随机生成的方差,提升特征稳定性与概率校准质量。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com