多模态生成模型客户级联邦遗忘方法、装置、设备及介质

本发明涉及联邦遗忘，尤其涉及一种多模态生成模型客户级联邦遗忘方法、装置、设备及介质。

背景技术：

1、视觉语言模型正逐渐成为智能交通系统的重要基础。在此类系统中，分布式客户端持续感知道路场景，并通过与文本指令进行交互实现环境理解与智能决策。例如，人工驾驶车辆、自动驾驶车辆和无人机可以利用视觉观测信息和文本指令实现导航引导。这些应用要求模型能够联合处理视觉输入和语言条件，因此，多模态生成模型成为交通场景中视觉语言生成任务的一种潜在解决方案。

2、在联邦学习过程中，各客户端利用本地私有数据训练本地模型，并将模型更新上传至服务器。服务器经过多轮聚合获得全局模型，因此，各客户端本地数据集对应的贡献会被整合到全局模型中。根据被遗忘权的要求，客户端后续可能请求消除其全部本地数据对模型产生的影响。该需求推动了客户端级联邦遗忘的发展，其目标是在保留其余客户端模型效用的同时，满足目标客户端的遗忘请求。

3、现有联邦遗忘方法主要包括重新训练方法、影响估计方法、直接模型修改方法等，但是现有联邦遗忘方法主要是面向判别模型和单模态场景，无法适用于多模态生成模型，在联邦学习过程中，多轮模型聚合使目标客户端的本地更新与其他客户端的本地更新相互耦合，进而在多模态生成模型中难以准确识别和定位目标客户端的贡献，无法有效消除目标客户端对全局模型产生的历史影响。

技术实现思路

1、本发明提供一种多模态生成模型客户级联邦遗忘方法、装置、设备及介质，用以解决现有技术中联邦遗忘方法主要是面向判别模型和单模态场景，无法适用于多模态生成模型，在联邦学习过程中，多轮模型聚合使目标客户端的本地更新与其他客户端的本地更新相互耦合，进而在多模态生成模型中难以准确识别和定位目标客户端的贡献，无法有效消除目标客户端对全局模型产生的历史影响的缺陷，实现利用目标客户端在联邦学习过程中的累计更新记录，从跨模态共享表示、模态特定表示和跨模态依赖关系三个方面表征目标客户端的贡献，并结合多模态生成模型的计算结构构建架构感知依赖图，以定位与目标客户端相关的表示区域及其在模型中的传播路径，准确识别和定位目标客户端的贡献，有效消除目标客户端对全局模型产生的历史影响。

2、本发明提供一种多模态生成模型客户级联邦遗忘方法，包括如下步骤：

3、基于联邦学习训练阶段服务器保存的初始多模态生成模型中目标客户端的累计更新记录、所述初始多模态生成模型中的跨模态共享参数集合、模态特定参数集合和跨模态依赖关系参数集合，确定所述目标客户端在初始多模态生成模型中的贡献表征；

4、基于所述初始多模态生成模型对应的架构感知依赖图和所述贡献表征，确定所述架构感知依赖图中与所述目标客户端相关的参数区域；所述架构感知依赖图用于表征所述初始多模态生成模型的前向计算结构；

5、对所述参数区域进行遗忘处理，得到遗忘后的多模态生成模型。

6、根据本发明提供的一种多模态生成模型客户级联邦遗忘方法，所述贡献表征包括跨模态共享贡献表征、模态特定贡献表征和跨模态依赖关系贡献表征，所述基于联邦学习训练阶段服务器保存的初始多模态生成模型中目标客户端的累计更新记录、所述初始多模态生成模型中的跨模态共享参数集合、模态特定参数集合和跨模态依赖关系参数集合，确定所述目标客户端在初始多模态生成模型中的贡献表征，包括：分别基于所述跨模态共享参数集合、所述模态特定参数集合和所述跨模态依赖关系参数集合，确定所述跨模态共享参数集合对应的跨模态共享掩码、所述模态特定参数集合对应的模态特定掩码和所述跨模态依赖关系参数集合对应的跨模态依赖关系掩码；基于所述累计更新记录和所述跨模态共享掩码，确定所述跨模态共享贡献表征；基于所述累计更新记录和所述模态特定掩码，确定所述模态特定贡献表征；基于所述累计更新记录和所述跨模态依赖关系掩码，确定所述跨模态依赖关系贡献表征。

7、根据本发明提供的一种多模态生成模型客户级联邦遗忘方法，所述基于所述初始多模态生成模型对应的架构感知依赖图和所述贡献表征，确定所述架构感知依赖图中与所述目标客户端相关的参数区域，包括：确定所述架构感知依赖图中各节点对应的二进制掩码和各边对应的二进制掩码；基于各所述节点对应的二进制掩码、各所述边对应的二进制掩码和所述贡献表征，确定所述参数区域。

8、根据本发明提供的一种多模态生成模型客户级联邦遗忘方法，所述基于各所述节点对应的二进制掩码、各所述边对应的二进制掩码和所述贡献表征，确定所述参数区域，包括：基于所述贡献表征中的跨模态共享贡献表征和所述贡献表征中的模态特定贡献表征，确定表示贡献分量；针对各所述节点，基于所述表示贡献分量与所述节点对应的二进制掩码，确定所述节点的第一相关性分数；针对各所述边，基于所述贡献表征中的跨模态依赖关系贡献表征和所述边对应的二进制掩码，确定所述边的第二相关性分数；基于各所述节点的第一相关性分数和各所述边的第二相关性分数，确定所述参数区域。

9、根据本发明提供的一种多模态生成模型客户级联邦遗忘方法，所述基于各所述节点的第一相关性分数和各所述边的第二相关性分数，确定所述参数区域，包括：将所述第一相关性分数大于或等于第一相关性阈值的节点确定为目标节点；将所述第二相关性分数大于或等于第二相关性阈值的边确定为目标边；将所述架构感知依赖图中所述目标节点和所述目标边所在的区域，确定为所述参数区域。

10、根据本发明提供的一种多模态生成模型客户级联邦遗忘方法，所述方法还包括：基于所述初始多模态生成模型的前向计算结构，确定数据流；基于所述数据流和所述初始多模态生成模型中的跨模态共享表示功能模块和模态特定表示功能模块，构建所述架构感知依赖图。

11、根据本发明提供的一种多模态生成模型客户级联邦遗忘方法，所述对所述参数区域进行遗忘处理，得到遗忘后的多模态生成模型，包括：  将所述参数区域转换成参数区域二进制掩码；基于所述参数区域二进制掩码、模型参数和所述累计更新记录，确定遗忘目标函数；通过最大化所述遗忘目标函数，对所述参数区域进行遗忘处理，得到所述遗忘后的多模态生成模型。

12、根据本发明提供的一种多模态生成模型客户级联邦遗忘方法，所述遗忘处理包括梯度上升更新和知识蒸馏恢复，所述通过最大化所述遗忘目标函数，对所述参数区域进行遗忘处理，得到所述遗忘后的多模态生成模型，包括：通过最大化所述遗忘目标函数，对所述参数区域进行所述梯度上升更新，得到中间多模态生成模型；将不包含所述目标客户端的特征信息的通用生成条件输入所述初始多模态生成模型，得到所述初始多模态生成模型输出的合成锚点；基于所述合成锚点、所述初始多模态生成模型和所述中间多模态生成模型，对所述中间多模态生成模型进行所述知识蒸馏恢复，得到所述遗忘后的多模态生成模型。

13、根据本发明提供的一种多模态生成模型客户级联邦遗忘方法，所述基于所述合成锚点、所述初始多模态生成模型和所述中间多模态生成模型，对所述中间多模态生成模型进行知识蒸馏恢复，得到所述遗忘后的多模态生成模型，包括：将所述合成锚点，输入所述初始多模态生成模型，得到所述多模态生成模型输出的第一软概率分布；将所述合成锚点，输入所述中间多模态生成模型，得到所述中间 多模态生成模型输出的第二软概率分布；基于所述第一软概率分布和所述第二软概率分布，确定知识蒸馏恢复损失；以最小化所述知识蒸馏恢复损失为目标，对所述中间多模态生成模型进行知识蒸馏恢复，得到所述遗忘后的多模态生成模型。

14、本发明还提供一种多模态生成模型客户级联邦遗忘装置，包括如下模块：

15、第一确定模块，用于基于联邦学习训练阶段服务器保存的初始多模态生成模型中目标客户端的累计更新记录、跨模态共享参数集合、模态特定参数集合和跨模态依赖关系参数集合，确定所述目标客户端在初始多模态生成模型中的贡献表征；

16、第二确定模块，用于基于所述初始多模态生成模型对应的架构感知依赖图和所述贡献表征，确定所述架构感知依赖图中与所述目标客户端相关的参数区域；所述架构感知依赖图用于表征所述初始多模态生成模型的前向计算结构；

17、遗忘模块，用于对所述参数区域进行遗忘处理，得到遗忘后的多模态生成模型。

18、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述多模态生成模型客户级联邦遗忘方法。

19、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多模态生成模型客户级联邦遗忘方法。

20、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述多模态生成模型客户级联邦遗忘方法。

21、本发明提供的一种多模态生成模型客户级联邦遗忘方法、装置、设备及介质，通过基于联邦学习训练阶段服务器保存的初始多模态生成模型中目标客户端的累计更新记录、所述初始多模态生成模型中的跨模态共享参数集合、模态特定参数集合和跨模态依赖关系参数集合，确定所述目标客户端在初始多模态生成模型中的贡献表征；基于所述初始多模态生成模型对应的架构感知依赖图和所述贡献表征，确定所述架构感知依赖图中与所述目标客户端相关的参数区域；所述架构感知依赖图用于表征所述初始多模态生成模型的前向计算结构；对所述参数区域进行遗忘处理，得到遗忘后的多模态生成模型。如此，利用目标客户端在联邦学习过程中的累计更新记录，从跨模态共享表示、模态特定表示和跨模态依赖关系三个方面表征目标客户端的贡献，并结合多模态生成模型的计算结构构建架构感知依赖图，以定位与目标客户端相关的表示区域及其在模型中的传播路径，准确识别和定位目标客户端的贡献，有效消除目标客户端对全局模型产生的历史影响。