一种基于深度特征与梯度信息的数据重建方法及系统

技术特征：
1.一种基于深度特征与梯度信息的数据重建方法，其特征在于，所述基于深度特征与梯度信息的数据重建方法包括：中心服务器将初始化后的协同学习共享模型发送给各个本地参与设备，各个本地参与设备利用协同学习共享模型计算各自的本地训练数据对应的第一深度特征和反向传播的预测损失相对于模型参数的第一梯度信息，并上传给中心服务器；中心服务器通过协同学习共享模型提取辅助数据集的第二深度特征和对应的第一预测标签，将第二深度特征和第一预测标签拼接后输入特征编码器，特征编码器输出隐变量至生成器，生成器根据隐变量输出目标数据至生成对抗网络中的鉴别器和协同学习共享模型，以训练特征编码器；中心服务器将各个本地参与设备的本地训练数据的第一深度特征和对应的第二预测标签输入训练完成的特征编码器，获取初始化隐变量，并将初始化隐变量输入到生成器，生成器根据初始化隐变量输出初始化目标数据；中心服务器将初始化目标数据和对应的监督信息输入协同学习共享模型，计算初始化目标数据的第二梯度信息，最小化第一梯度信息和第二梯度信息之间的距离，优化初始化隐变量，获得重建目标数据。2.根据权利要求1所述的基于深度特征与梯度信息的数据重建方法，其特征在于，所述特征编码器的损失函数为：其中，x为训练特征编码器的训练样本，为生成器生成的样本，为将x输入协同学习共享模型预测的标签信息，表示交叉熵损失函数，f
vgg
是一个预训练的vgg网络，用于提取感知损失，λ
lpips
和λ
adv
是可调整的超参数，用于各个损失之间的权重分配，指取均值，表示鉴别器对的预测分数。3.根据权利要求2所述的基于深度特征与梯度信息的数据重建方法，其特征在于，所述鉴别器的损失函数为：其中，指取均值，表示鉴别器对的预测分数，d(x)表示鉴别器对x的预测分数，γ是一个超参数，表示d(x)对x求偏导，是一个稳定项，用于保证鉴别器训练时的稳定性。4.根据权利要求2所述的基于深度特征与梯度信息的数据重建方法，其特征在于，优化初始化隐变量的损失函数为：其中，c为向量余弦相似度计算函数，g为第一梯度信息，为第二梯度信息，z表示初始
化隐变量，g(z)表示优化初始化隐变量过程中生成器根据z生成的目标数据，s为输入鉴别器的输出分数，f
tv
(g(z))为计算全变分损失的函数，λ
dis
和λ
tv
为可调整的超参数。5.根据权利要求1所述的基于深度特征与梯度信息的数据重建方法，其特征在于，所述监督信息为与协作学习需要学习的任务相关的监督信息。6.根据权利要求1所述的基于深度特征与梯度信息的数据重建方法，其特征在于，所述隐变量和所述初始化隐变量为输入所述生成器的变量。7.根据权利要求1-6任一项所述的基于深度特征与梯度信息的数据重建方法，其特征在于，所述目标数据包括图片、语音和文本。8.一种基于深度特征与梯度信息的数据重建系统，其特征在于，所述基于深度特征与梯度信息的数据重建系统包括：特征信息收集模块，用于中心服务器将初始化后的协同学习共享模型发送给各个本地参与设备，各个本地参与设备利用协同学习共享模型计算各自的本地训练数据对应的第一深度特征和反向传播的预测损失相对于模型参数的第一梯度信息，并上传给中心服务器；特征编码器训练模块，用于中心服务器通过协同学习共享模型提取辅助数据集的第二深度特征和对应的第一预测标签，将第二深度特征和第一预测标签拼接后输入特征编码器，特征编码器输出隐变量至生成器，生成器根据隐变量输出目标数据至生成对抗网络中的鉴别器和协同学习共享模型，以训练特征编码器；第一数据重建模块，用于中心服务器将各个本地参与设备的本地训练数据的第一深度特征和对应的第二预测标签输入训练完成的特征编码器，获取初始化隐变量，并将初始化隐变量输入到生成器，生成器根据初始化隐变量输出初始化目标数据；第二数据重建模块，用于中心服务器将初始化目标数据和对应的监督信息输入协同学习共享模型，计算初始化目标数据的第二梯度信息，最小化第一梯度信息和第二梯度信息之间的距离，优化初始化隐变量，获得重建目标数据。9.一种中心服务器，其特征在于，所述中心服务器包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度特征与梯度信息的数据重建程序，所述基于深度特征与梯度信息的数据重建程序被所述处理器执行时实现如权利要求1-7任一项所述的基于深度特征与梯度信息的数据重建方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于深度特征与梯度信息的数据重建程序，所述基于深度特征与梯度信息的数据重建程序被处理器执行时实现如权利要求1-7任一项所述的基于深度特征与梯度信息的数据重建方法的步骤。

技术总结
本发明公开了一种基于深度特征与梯度信息的数据重建方法及系统，所述方法包括：根据本地训练数据计算对应的第一深度特征和第一梯度信息；提取辅助数据集的第二深度特征和第一预测标签，拼接后输入特征编码器，特征编码器输出隐变量至生成器以输出目标数据，训练特征编码器；根据第一深度特征获取初始化隐变量，生成器根据初始化隐变量输出初始化目标数据；计算初始化目标数据的第二梯度信息，最小化第一梯度信息和第二梯度信息之间的距离，优化初始化隐变量，获得重建目标数据。本发明通过利用协作学习训练过程中提取的深度特征以及相关损失梯度寻找训练数据的隐变量，然后利用隐变量以及生成器对训练数据进行重建，最终获得精确的重建数据。获得精确的重建数据。获得精确的重建数据。


技术研发人员：杨灏鑫 李斌 王艺
受保护的技术使用者：深圳大学
技术研发日：2021.12.14
技术公布日：2022/4/12