一种基于双阶段协同优化的联邦学习软件缺陷预测方法、系统、计算机设备和存储介质与流程
本技术涉及人工智能,特别是涉及一种基于双阶段协同优化的联邦学习软件缺陷预测方法、系统、计算机设备和存储介质。
背景技术:
1、随着软件工程与人工智能技术的飞速发展,软件缺陷预测在质量保障、测试资源分配、交付风险管控等环节的应用日益广泛。机器学习作为软件缺陷预测的核心手段,已从单点集中式训练扩展到联邦学习驱动的分布式协同建模,使得多个开发组织能在保护数据隐私的前提下联合训练高质量预测模型。然而,在实际应用中,联邦学习面临客户端本地数据分布差异大、模型参数在聚合时发生剧烈偏移等问题,尤其在数据量有限或非独立同分布的场景下,传统联邦聚合方法难以保障模型的稳定性与泛化能力。
2、相关技术中,联邦学习依赖固定的全局聚合策略对客户端上传的当前参数直接进行平均,这种方式缺乏对参数变化幅度的约束以及对历史训练知识的保留,一旦客户端本地数据量少或分布异常,本地模型在更新时即可能过度偏向局部特征、遗忘旧知识,致使全局模型在迭代过程中出现剧烈震荡、预测稳定性不足;同时,传统方法通常采用固定尺寸的全量模型在所有轮次间传输,缺乏对模型复杂度和通信数据量的适应性调控,致使联邦训练在低带宽或资源受限环境下出现通信瓶颈,系统整体效率受限。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种基于双阶段协同优化的联邦学习软件缺陷预测方法、系统、计算机设备和存储介质。
2、第一方面,本技术提供了一种基于双阶段协同优化的联邦学习软件缺陷预测方法,包括:
3、构建联邦学习环境,设置多个客户端与中央服务器,各所述客户端分别持有本地软件缺陷数据,并根据所述本地软件缺陷数据初始化全局模型;
4、获取各所述客户端基于所述全局模型进行本地训练得到的当前模型参数,以及各所述客户端上一轮本地训练得到的历史模型参数,根据各所述客户端的所述当前模型参数和所述历史模型参数进行联合优化,得到各所述客户端对应的优化模型参数;
5、将各所述客户端对应的所述优化模型参数发送至所述中央服务器,以使所述中央服务器根据各所述优化模型参数和预设权重进行加权聚合,得到更新后的全局模型;
6、获取所述更新后的全局模型和当前训练轮次,根据所述当前训练轮次对所述更新后的全局模型进行复杂度调整,得到目标复杂度模型,对所述目标复杂度模型中的模型参数进行量化处理,得到量化后的模型参数;
7、将所述量化后的模型参数发送至各所述客户端,以使各所述客户端根据所述量化后的模型参数进行下一轮本地训练,在模型收敛时得到最终的软件缺陷预测模型。
8、在其中一个实施例中,根据各所述客户端的所述当前模型参数和所述历史模型参数进行联合优化,得到各所述客户端对应的优化模型参数,包括:
9、获取各所述客户端的所述当前模型参数与所述历史模型参数之间的差异值;
10、根据所述差异值确定正则约束项,并将所述正则约束项加入各所述客户端的本地损失函数中;
11、根据加入所述正则约束项后的所述本地损失函数对所述当前模型参数进行优化,得到各所述客户端对应的所述优化模型参数。
12、在其中一个实施例中,获取各所述客户端基于所述全局模型进行本地训练得到的当前模型参数,以及各所述客户端上一轮本地训练得到的历史模型参数,包括:
13、获取各所述客户端的本地软件缺陷数据的数据规模;
14、根据各所述客户端的所述数据规模,确定各所述客户端的本地训练轮次;
15、若所述本地训练轮次为首轮训练,则将所述全局模型的模型参数作为所述历史模型参数,并将所述全局模型的模型参数作为所述当前模型参数的初始值;或者,
16、若所述本地训练轮次为非首轮训练,则将上一轮本地训练得到的模型参数作为所述历史模型参数,并将本轮本地训练得到的模型参数作为所述当前模型参数;
17、其中,在所述本地训练的过程中,各所述客户端根据所述历史模型参数对所述当前模型参数进行约束,使所述当前模型参数与所述历史模型参数之间的差异受到限制,所述历史模型参数来源于上一轮本地训练得到的结果。
18、在其中一个实施例中,根据所述当前训练轮次对所述更新后的全局模型进行复杂度调整,得到目标复杂度模型,包括:
19、获取所述当前训练轮次对应的复杂度等级,所述复杂度等级根据训练轮次的递增而逐步提升;
20、根据所述复杂度等级,确定所述更新后的全局模型中需要参与训练的目标参数;
21、根据所述目标参数对所述更新后的全局模型进行裁剪或扩展,得到所述目标复杂度模型。
22、在其中一个实施例中,对所述目标复杂度模型中的模型参数进行量化处理,得到量化后的模型参数,包括:
23、获取所述当前训练阶段对应的量化比特宽度,所述量化比特宽度根据训练阶段的推进而逐步增加;
24、根据所述量化比特宽度对所述目标复杂度模型中的模型参数进行压缩编码,得到中间量化参数;
25、根据所述当前训练阶段对所述中间量化参数进行精度校准,得到所述量化后的模型参数。
26、在其中一个实施例中,所述中央服务器根据各所述优化模型参数和预设权重进行加权聚合,得到更新后的全局模型,包括:
27、获取各所述客户端的本地软件缺陷数据的数据规模;
28、根据各所述客户端的所述数据规模确定各所述客户端对应的聚合权重;
29、根据各所述客户端对应的所述聚合权重和各所述客户端的所述优化模型参数进行加权平均,得到所述更新后的全局模型。
30、第二方面,本技术还提供了一种基于双阶段协同优化的联邦学习软件缺陷预测系统,包括:
31、环境构建模块,用于构建联邦学习环境,设置多个客户端与中央服务器,各所述客户端分别持有本地软件缺陷数据,并根据所述本地软件缺陷数据初始化全局模型;
32、联合优化模块,用于获取各所述客户端基于所述全局模型进行本地训练得到的当前模型参数,以及各所述客户端上一轮本地训练得到的历史模型参数,根据各所述客户端的所述当前模型参数和所述历史模型参数进行联合优化,得到各所述客户端对应的优化模型参数;
33、第一发送模块,用于将各所述客户端对应的所述优化模型参数发送至所述中央服务器,以使所述中央服务器根据各所述优化模型参数和预设权重进行加权聚合,得到更新后的全局模型;
34、模型调整模块,用于获取所述更新后的全局模型和当前训练轮次,根据所述当前训练轮次对所述更新后的全局模型进行复杂度调整,得到目标复杂度模型,对所述目标复杂度模型中的模型参数进行量化处理,得到量化后的模型参数;
35、第二发送模块,用于将所述量化后的模型参数发送至各所述客户端,以使各所述客户端根据所述量化后的模型参数进行下一轮本地训练,在模型收敛时得到最终的软件缺陷预测模型。
36、第三方面,本技术还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
37、构建联邦学习环境,设置多个客户端与中央服务器,各所述客户端分别持有本地软件缺陷数据,并根据所述本地软件缺陷数据初始化全局模型;
38、获取各所述客户端基于所述全局模型进行本地训练得到的当前模型参数,以及各所述客户端上一轮本地训练得到的历史模型参数,根据各所述客户端的所述当前模型参数和所述历史模型参数进行联合优化,得到各所述客户端对应的优化模型参数;
39、将各所述客户端对应的所述优化模型参数发送至所述中央服务器,以使所述中央服务器根据各所述优化模型参数和预设权重进行加权聚合,得到更新后的全局模型;
40、获取所述更新后的全局模型和当前训练轮次,根据所述当前训练轮次对所述更新后的全局模型进行复杂度调整,得到目标复杂度模型,对所述目标复杂度模型中的模型参数进行量化处理,得到量化后的模型参数;
41、将所述量化后的模型参数发送至各所述客户端,以使各所述客户端根据所述量化后的模型参数进行下一轮本地训练,在模型收敛时得到最终的软件缺陷预测模型。
42、第四方面,本技术还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
43、构建联邦学习环境,设置多个客户端与中央服务器,各所述客户端分别持有本地软件缺陷数据,并根据所述本地软件缺陷数据初始化全局模型;
44、获取各所述客户端基于所述全局模型进行本地训练得到的当前模型参数,以及各所述客户端上一轮本地训练得到的历史模型参数,根据各所述客户端的所述当前模型参数和所述历史模型参数进行联合优化,得到各所述客户端对应的优化模型参数;
45、将各所述客户端对应的所述优化模型参数发送至所述中央服务器,以使所述中央服务器根据各所述优化模型参数和预设权重进行加权聚合,得到更新后的全局模型;
46、获取所述更新后的全局模型和当前训练轮次,根据所述当前训练轮次对所述更新后的全局模型进行复杂度调整,得到目标复杂度模型,对所述目标复杂度模型中的模型参数进行量化处理,得到量化后的模型参数;
47、将所述量化后的模型参数发送至各所述客户端,以使各所述客户端根据所述量化后的模型参数进行下一轮本地训练,在模型收敛时得到最终的软件缺陷预测模型。
48、第五方面,本技术还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
49、构建联邦学习环境,设置多个客户端与中央服务器,各所述客户端分别持有本地软件缺陷数据,并根据所述本地软件缺陷数据初始化全局模型;
50、获取各所述客户端基于所述全局模型进行本地训练得到的当前模型参数,以及各所述客户端上一轮本地训练得到的历史模型参数,根据各所述客户端的所述当前模型参数和所述历史模型参数进行联合优化,得到各所述客户端对应的优化模型参数;
51、将各所述客户端对应的所述优化模型参数发送至所述中央服务器,以使所述中央服务器根据各所述优化模型参数和预设权重进行加权聚合,得到更新后的全局模型;
52、获取所述更新后的全局模型和当前训练轮次,根据所述当前训练轮次对所述更新后的全局模型进行复杂度调整,得到目标复杂度模型,对所述目标复杂度模型中的模型参数进行量化处理,得到量化后的模型参数;
53、将所述量化后的模型参数发送至各所述客户端,以使各所述客户端根据所述量化后的模型参数进行下一轮本地训练,在模型收敛时得到最终的软件缺陷预测模型。
54、上述一种基于双阶段协同优化的联邦学习软件缺陷预测方法、系统、计算机设备和存储介质,通过联合优化当前参数与历史参数并加入正则约束,限制参数剧烈变化,使各客户端在本地数据有限时仍能保持对旧知识的记忆,提升预测稳定性。随后,通过根据训练轮次动态调整模型复杂度,并对参数进行量化压缩,显著减少中央服务器与客户端之间传输的数据量,适应低带宽或资源受限的联邦场景。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com