保护隐私的可控轻量化联邦学习方法、系统和检测方法与流程

技术特征：
1.保护隐私的可控轻量化联邦学习方法，其特征在于，包括：各子网节点基于本地训练集以及全局节点预设的模型及参数训练本地模型；各子网节点利用设定的调节因子计算本地模型各层中需要剪枝的输出通道并生成本地模型的压缩快照；全局节点根据各子网节点的训练集中数据的数目确定最优子网节点，以最优子网节点的压缩快照为基准快照，根据基准快照、通道恢复阈值和除最优子网节点以外的其它子网节点的压缩快照确定全局快照；全局节点对各子网节点的模型进行加权聚合形成聚合后的全局模型；根据全局快照，对聚合后的全局模型的各层输出通道进行修剪形成全局压缩模型；各子网节点利用本地训练集对全局压缩模型进行训练，直至各对子网节点训练后的模型进行加权聚合后的模型收敛，获得最终的聚合后的模型。2.根据权利要求1所述的保护隐私的可控轻量化联邦学习方法，其特征在于，所述利用设定的调节因子计算本地模型各层中需要剪枝的输出通道，包括将同时满足以下公式的第i层的第c个输出通道确定为需要修剪的输出通道，其中表示模型第i层的第c个输出通道通过激活函数输出的平均特征映射值；表示模型第i层的所有输出通道通过激活函数输出的平均特征映射值的均值；，为调节因子且均大于0，表示模型第i层的第c个输出通道的平均零激活百分比，为模型第i层所有输出通道的平均零激活百分比的平均值。3.根据权利要求1所述的保护隐私的可控轻量化联邦学习方法，其特征在于，以最优子网节点的压缩快照为基准快照，根据基准快照、通道恢复阈值和除最优子网节点以外的其它子网节点的压缩快照确定全局快照，包括：在所述其它子网节点的压缩快照中对基准快照中所有需要被修剪的输出通道进行扫描，并统计被修剪的输出通道是否存在于其它子网节点的压缩快照中；当某个输出通道不存在于其它子网节点的压缩快照中，则记录相应的子网节点，当记录的子网节点数量大于设定的通道恢复阈值时，则将该输出通道在基准快照中进行删除；最后获得全局快照。4.根据权利要求3所述的保护隐私的可控轻量化联邦学习方法，其特征在于，所述压缩快照包括需要被修剪的输出通道是第几层神经网络，以及需要修剪的输出通道的id号。5.根据权利要求1所述的保护隐私的可控轻量化联邦学习方法，其特征在于，通过以下公式确定最优子网节点：
其中为第i个子网节点的数据不均衡度，为第i个子网节点的本地训练集的数据量占所有训练数据的比例，表示第i个节点训练数据的性能评估值。6.根据权利要求5所述的保护隐私的可控轻量化联邦学习方法，其特征在于，第i个子网节点的本地训练集的数据量占所有训练数据的比例与第i个子网节点的数据不均衡度的计算公式如下：的计算公式如下：其中，为第i个子网控制器训练数据数量；n为流量的种类数目；k为所有的子网控制器节点数目；为第i个子网控制器中第j种类别流量的数目；为第i个子网控制器中各类流量的平均数目。7.根据权利要求1所述的保护隐私的可控轻量化联邦学习方法，其特征在于，判断加权聚合后的模型是否收敛的方法包括：确定各子网节点训练的模型的损失函数和与损失函数标准差的平均值；各子网节点训练的模型的损失函数和与损失函数标准差的平均值都小于等于设定阈值，则确定对子网控制器训练后的模型进行加权聚合后的模型收敛。8.保护隐私的可控轻量化联邦学习系统，其特征在于，包括数据层，子网控制层和全局控制层；所述数据层，用于各子网进行数据转发通信；所述子网控制层设置多个子网控制器，所述全局控制层设置全局控制器；所述全局控制器用于向所有子网控制器传输预设的模型及参数与模型压缩所需的调节因子；所述子网控制器用于进行数据采集并进行特征提取形成本地训练集；接收全局控制器传输的模型、参数和所述调节因子；利用本地训练集、模型及参数训练本地模型，利用设定的调节因子计算本地模型各层中需要剪枝的输出通道并生成本地模型的压缩快照；各所述
子网控制器将本地训练集中数据的数目、模型和压缩快照传输至全局控制器；全局控制器根据各子网控制器获得的训练集中数据的数目确定最优子网控制器，以最优子网控制器的压缩快照为基准快照，根据基准快照、通道恢复阈值和除最优子网控制器以外的其它子网控制器生成的压缩快照确定全局快照；全局控制器对各子网控制器训练的模型进行加权聚合形成聚合后的全局模型；根据全局快照，对聚合后的全局模型的各层输出通道进行修剪形成全局压缩模型。9.根据权利要求8所述的保护隐私的可控轻量化联邦学习系统，其特征在于，所述子网控制器利用设定的调节因子计算本地模型各层中需要剪枝的输出通道，包括同时满足以下公式的第i层的第c输出通道确定为需要修剪的通道，其中表示模型第i层的第c个输出通道通过激活函数输出的平均特征映射值；表示模型第i层的所有输出通道通过激活函数输出的平均特征映射值的均值；，为调节因子且均大于0，表示模型第i层的第c个输出通道的平均零激活百分比，为模型第层所有输出通道的平均零激活百分比的平均值。10.保护隐私的可控轻量化联邦学习检测方法，其特征在于，采用如权利要求1~7任意一项权利要求所述的保护隐私的可控轻量化联邦学习方法获得模型；输入采集获取的网络流量数据，利用最终获得的模型进行流量检测。

技术总结
本发明公开了保护隐私的可控轻量化联邦学习方法、系统和检测方法，预先设定模型、参数与模型压缩所需的调节因子。子网利用本地数据对初始模型进行训练，并根据调节因子计算本地模型压缩快照。确定最优节点的压缩模型为基准根据快照与设定的通道恢复阈值进行首轮模型聚合与压缩形成全局压缩模型。子网再利用本地数据对全局压缩模型进行训练，对各子网训练的模型再直接聚合，依次迭代直至收敛。无需收集各子网训练集数据或存储训练集数据从而保证了本地数据的隐私性，并通过可控轻量化联邦学习减少网络通信负担与本地计算负载。习减少网络通信负担与本地计算负载。习减少网络通信负担与本地计算负载。


技术研发人员：孙知信 徐玉华 赵学健 孙哲 胡冰 宫婧 汪胡青
受保护的技术使用者：南京邮电大学
技术研发日：2022.01.19
技术公布日：2022/2/23