一种知识遗忘与拒答学习解耦的多模态模型遗忘方法

本发明涉及人工智能，具体为一种知识遗忘与拒答学习解耦的多模态模型遗忘方法。

背景技术：

1、随着多模态大语言模型在各行各业的广泛应用，模型训练数据中存在的隐私信息、版权内容、违规事实等风险数据的后续处置需求日益迫切，机器遗忘技术成为解决模型数据安全与合规迭代的核心技术手段，现有多模态模型遗忘技术主要以原始模型、遗忘集、保留集为输入，通过局部参数更新实现目标知识删除，传统的基于概率抑制的方法通常没有规定目标答案被压低以后模型应当输出什么，模型可能输出语法退化文本，也可能生成看似合理但没有依据的替代人物、职业、地点或其他属性；传统的基于拒答控制的方法在测试提示禁止拒答并要求在多个候选项中选择时，模型仍可能稳定选择原目标答案，由此说明知识仍可被提取；传统的遗忘损失与通用效用保持项联合优化方法存在对任何输入均拒答、目标答案概率被反向压到最低而形成可逆的“反知识”或者模型整体能力发生退化的情况。

技术实现思路

1、本发明的目的在于克服现有技术中的缺陷，本发明所提供的一种知识遗忘与拒答学习解耦的多模态模型遗忘方法，在无需从头训练多模态模型、无需引入独立外部教师与奖励模型的前提下，实现模型内部目标知识可提取性与未知场景输出行为的独立可控优化，使二者协同生效且互不抵消，同时最大化保留模型非目标知识与通用生成能力。

2、为解决上述技术问题，本发明采用了以下技术方案：一种知识遗忘与拒答学习解耦的多模态模型遗忘方法，包括以下步骤：

3、s1，建立模型分支，从原始多模态模型复制或逻辑复用相同参数，形成可训练学生和冻结分支，为学生启用lora适配器，冻结分支禁用所述lora适配器；

4、s2，构造目标跨度与目标别名序列，获取遗忘集样本的结构化目标属性，提取规范目标值及所有别名，在遗忘集样本的标准回答中匹配目标字符区间，映射得到待抑制的令牌位置集合s，同时按照训练时的聊天模板、前置空格和分词规则将所有目标别名转换为与模型训练规则匹配的令牌序列；

5、s3，知识通道目标跨度抑制处理，基于遗忘集样本的图像、问题及标准回答前缀构建教师强制上下文，计算学生模型与无提示参考模型对目标令牌的对数概率比，通过有界参考锚定损失降低目标跨度概率，执行行为通道采样，学生在不含未知信息指令的原始图像—问题上下文上自行采样一个或多个回答，将每个学生生成前缀作为实际访问状态送入未知信息教师评分；

6、s4，执行前缀相关目标掩码，对学生生成的每个位置，根据所有目标别名及当前后缀是否匹配别名前缀，构造被阻断令牌集合，把未知信息教师分布中这些令牌的概率置零并对剩余词表重新归一化；

7、s5，执行在线行为蒸馏，计算掩码后教师分布到学生分布的前向kl散度，使学生在自己实际产生的正常、泄露或退化前缀上均学习与目标知识不可用相匹配的回答；

8、s6，执行保留通道处理，对保留样本，由学生在原始上下文上采样回答，答案知情教师在相同学生前缀上输出完整词表分布，不执行目标掩码，以该分布向学生实施前向kl蒸馏；

9、s7，联合更新，按预定权重对目标跨度损失、遗忘侧在线蒸馏损失和保留侧蒸馏损失加权求和，只更新学生参数，保持冻结分支不变；

10、s8，验收并输出，在开放式回答、禁止拒答的强制选择、候选项置换、目标答案排名、保留集效用和对抗诱导条件下检测模型，验收通过后输出学生参数完成多模态模型知识遗忘优化。

11、进一步地，在步骤s1中，所述冻结分支通过禁用学生模型的可更新参数模块lora适配器，所述冻结分支基于同一原始多模态模型通过不同条件上下文适配三种条件化角色，包括未知信息教师、无提示参考模型、答案知情教师，未知信息教师加载未知信息条件指令用于输出目标知识缺失后的合规分布，无提示参考模型无额外指令加载用于提供原始模型概率锚定基准，答案知情教师加载标准答案条件指令用于提供保留知识的监督分布。

12、进一步地，在步骤s2中，步骤s2中目标跨度构造具体包括：对目标值及别名进行unicode规范化与大小写规范化，通过词边界规则匹配标准回答中的目标字符区间，结合分词器字符偏移映射得到目标令牌位置集合s，采用与模型训练一致的聊天模板、前置空格规则对目标别名进行分词，生成统一格式的别名令牌序列，若标准回答未包含任一目标值，则目标令牌位置集合置空，该样本仅参与行为通道训练，知识通道损失置零。

13、进一步地，在步骤s3中，知识通道采用下式的有界目标跨度损失：

14、；

15、上式中，为学生模型与参考模型的目标令牌对数概率比，为sigmoid函数，为曲率控制参数，为遗忘集，edf为遗忘数据集的数学期望，单个目标位置损失对的导数为，其中1<<2。

16、进一步地，在步骤s4中，所有目标别名的首个令牌永久阻断，针对任一目标别名，若学生模型当前生成前缀精准匹配该别名前k个令牌，则阻断该别名的第k+1个续接令牌，多个别名激活的阻断令牌取并集，掩码处理时将阻断令牌的教师logit置为负无穷后执行softmax归一化，若归一化分母低于预设阈值，采用首令牌安全阻断策略，跳过当前时间步或提升数值精度恢复，禁止直接使用未掩码教师分布训练。

17、进一步地，在步骤s5中，行为蒸馏损失计算公式为：

18、；

19、上式中，为学生模型第t位生成前缀对应的上下文状态，为对学生模型在线采样得到的生成回答序列z取期望，序列z是由可训练学生模型自主采样生成，为生成序列z的令牌总长度，为掩码后未知信息教师的输出分布，为前向kl散度。

20、进一步地，在步骤s6中，保留通道蒸馏损失计算公式为：

21、；

22、上式中，为保留集，edr为保留集的数学期望，为答案知情教师的无掩码输出分布，训练过程中保留集样本数量多于遗忘集样本数量，抑制全局拒答偏移。

23、进一步地，在步骤s7中，步骤s7的联合损失计算公式为：

24、；

25、上式中，、、为非负权重参数，学生模型仅更新lora低秩适配器参数，冻结分支全程无梯度更新。

26、进一步地，在步骤s8中，对结果进行检测验收，其中开放式目标检测为检查目标回答的文本重合度、是否直接或间接泄露目标信息、是否产生无依据替代事实、是否上下文适当地承认未知，其中强制选择检测为提示模型必须在候选项中选择且不得拒答，比较目标候选项的准确率、对数概率边际和排名，其中反知识检测为统计目标在所有排名位置的分布，确认目标没有稳定落在最低排名，其中位置偏置检测为循环置换候选项，计算位置平衡后的准确率，其中保留效用检测为测量保留集和范围外数据的分类准确率、生成质量及错误拒答率，其中对抗诱导检测为使用随机前缀、问题改写、越狱提示和答案预填等输入，检查目标知识是否再次可提取。

27、有益效果：本发明公开的一种知识遗忘与拒答学习解耦的多模态模型遗忘方法，降低知识残留而非只隐藏输出，教师强制的目标跨度损失不依赖学生是否已经拒答，可持续降低目标令牌相对于参考模型的偏好，强制选择和排名检测进一步识别表面拒答下的知识残留，减少遗忘后的幻觉，未知信息教师为目标问题提供“不知道且不猜测”的完整分布监督，使模型在原答案被压低以后不会被迫用无依据事实填补输出空缺，防止蒸馏回灌，前缀相关目标掩码在目标首令牌和已激活别名的下一令牌上阻断教师概率，避免教师根据学生已泄露的前缀自动补全目标，同时不全局屏蔽别名中的所有子词，从而减少对无关词汇的误伤，覆盖真实推理状态，行为监督建立在当前学生自己的生成前缀上，能够处理离线教师回答未覆盖的部分泄露、错误猜测和退化续写，减少训练与推理的状态分布偏移，保持选择性，答案知情教师在保留样本的学生前缀上提供稠密分布约束，防止未知行为扩散为全局拒答，保持保留知识、范围外知识、格式和语言质量，三种角色由同一个冻结原始模型通过不同条件上下文实现；在lora实施方式下，冻结分支还可以通过临时禁用适配器获得，降低模型副本和训练管理成本，给出严格主实施方式的参数、数据流、完整实例和失败恢复，并以非限制性应用示例说明现实作用，降低反向可恢复风险，有界且参考锚定的跨度损失随目标概率下降而衰减，并配合排名和置换检测，避免简单把目标稳定编码为最低概率选项。