联邦分层学习方法、装置、设备及介质与流程
本发明涉及人工智能技术、数据处理,可应用于金融和医疗领域,尤其涉及一种联邦分层学习方法、装置、设备及介质。
背景技术:
1、随着人工智能技术的广泛应用与数据防护保护法规的日益严格,联邦学习作为一种数据不动模型动的分布式机器学习范式,已成为实现跨机构、跨设备协作训练的主流技术。其核心理念在于各参与方在本地数据不出域的前提下,共同训练一个全局模型,从而在理论上实现了对原始数据的防护保护。然而,近年来大量研究表明,标准联邦学习框架仍存在严重的防护泄露风险。恶意服务器或参与方可通过分析客户端上传的模型梯度或更新参数,发起攻击推断手段,高精度地重构出客户端的原始训练数据。更进一步,主动攻击以篡改全局模型或操纵训练流程,几乎能完全恢复客户端的批量训练样本。这些攻击严重威胁了联邦学习在医疗影像、金融风控、个人终端等敏感场景中的可信部署,使得单纯依赖模型聚合的数据安全性较低。
2、为应对上述威胁,工业界与学术界利用加密算法的隐私防护手段构建防护体系,但现有联邦学习防护保护与效率提升技术存在以下核心不足:隐私防护手段缺乏灵活控制,且防护策略多为静态配置,无法根据训练动态与资源状态进行自适应切换,同时不能联合考虑防护、精度等多维目标,从而导致数据安全性和训练效率较低。
技术实现思路
1、本发明实施例提供了一种联邦分层学习方法、装置、设备及介质,旨在解决现有的训练技术中隐私防护手段缺乏灵活控制,且防护策略多为静态配置,无法根据训练动态与资源状态进行自适应切换,同时不能联合考虑防护、精度等多维目标,从而导致数据安全性和训练效率较低的问题。
2、为了解决上述问题,第一方面,本发明实施例提供了一种联邦分层学习方法,所述联邦分层学习方法包括:
3、根据精度筛选策略对初始模型中每个功能层进行精度筛选处理得到目标分割层;
4、利用所述目标分割层对所述初始模型进行分割处理得到第一子模型、第二子模型和第三子模型;
5、利用预训练的生成模型对原始数据进行合成处理得到合成数据;
6、基于目标防护动态比例、所述原始数据和所述合成数据对所述第一子模型、所述第二子模型和所述第三子模型进行循环训练处理得到目标模型。
7、第二方面,本申请实施例提供了一种联邦分层学习装置,所述联邦分层学习装置包括:
8、精度筛选单元,用于根据精度筛选策略对初始模型中每个功能层进行精度筛选处理得到目标分割层;
9、分割单元,用于利用所述目标分割层对所述初始模型进行分割处理得到第一子模型、第二子模型和第三子模型;
10、合成单元,用于利用预训练的生成模型对原始数据进行合成处理得到合成数据;
11、训练单元,用于基于目标防护动态比例、所述原始数据和所述合成数据对所述第一子模型、所述第二子模型和所述第三子模型进行循环训练处理得到目标模型。
12、第三方面,本申请实施例提供了一种计算机设备,所述计算机设备包括存储器,以及与所述存储器相连的处理器;所述存储器用于存储计算机程序,所述处理器用于运行所述存储器中存储的计算机程序,以执行上述第一方面所述的方法。
13、第四方面,本申请实施例提供了一种存储介质,所述存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,实现上述第一方面所述的方法。
14、本发明实施例提供了一种联邦分层学习方法、装置、设备及介质,所述方法包括根据精度筛选策略对初始模型中每个功能层进行精度筛选处理得到目标分割层;利用所述目标分割层对所述初始模型进行分割处理得到第一子模型、第二子模型和第三子模型;利用预训练的生成模型对原始数据进行合成处理得到合成数据;基于目标防护动态比例、所述原始数据和所述合成数据对所述第一子模型、所述第二子模型和所述第三子模型进行循环训练处理得到目标模型。可知,本发明可应用于金融和医疗领域的机器学习场景,本发明实施例根据精度筛选策略对初始模型中每个功能层进行精度筛选处理得到目标分割层,以利用精度筛选最大限度地压缩训练时延;利用所述目标分割层对所述初始模型进行分割处理得到第一子模型、第二子模型和第三子模型,以利用分层架构显著降低计算压力;利用预训练的生成模型对原始数据进行合成处理得到合成数据,以保证数据的安全性;基于目标防护动态比例、所述原始数据和所述合成数据对所述第一子模型、所述第二子模型和所述第三子模型进行循环训练处理得到目标模型,以利用动态交替的隐私防护比例减少因单一防护机制导致的系统性资源消耗。因此,通过本发明实施例能够利用精度筛选最大限度地压缩训练时延,利用分层架构显著降低弱计算压力,利用合成数据保证数据安全性,同时动态交替的隐私防护比例减少因单一防护机制导致的系统性资源消耗,从而提高数据安全性和训练效率。
1.一种联邦分层学习方法,其特征在于,所述联邦分层学习方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据精度筛选策略对初始模型中每个功能层进行精度筛选处理得到目标分割层,包括:
3.根据权利要求2所述的方法,其特征在于,所述对于所述初始分割层集合中的每个初始分割层,利用预设计算算法对所述初始分割层进行计算和排列处理得到所述目标分割层,包括:
4.根据权利要求1所述的方法,其特征在于,所述基于目标防护动态比例、所述原始数据和所述合成数据对所述第一子模型、所述第二子模型和所述第三子模型进行循环训练处理得到目标模型之前,还包括:
5.根据权利要求4所述的方法,其特征在于,所述基于目标防护动态比例、所述原始数据和所述合成数据对所述第一子模型、所述第二子模型和所述第三子模型进行循环训练处理得到目标模型,包括:
6.根据权利要求3所述的方法,其特征在于,所述利用所述预设计算算法对所述第一分割层和所述第二分割层进行时延计算与比较处理得到所述时延序列,包括:
7.根据权利要求1所述的方法,其特征在于,所述利用预训练的生成模型对原始数据进行合成处理得到合成数据,包括:
8.一种联邦分层学习装置,其特征在于,所述联邦分层学习装置包括:
9.一种计算机设备,其特征在于,所述计算机设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。
10.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时可实现如权利要求1-7中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com