一种基于任务关键视觉证据约束的多模态大模型强化学习训练方法与流程

本技术涉及人工智能，具体的说是一种基于任务关键视觉证据约束的多模态大模型强化学习训练方法。

背景技术：

1、多模态大模型能够同时处理图像、文本以及由二者组合形成的问题输入，并输出自然语言推理过程或最终答案。该类模型已经应用于视觉问答、几何图形求解、图表理解、科学题解、文档问答、空间关系推断和视觉常识判断等任务。与纯文本推理相比，多模态推理的关键难点在于：模型不仅要完成语言层面的逻辑推导，还必须首先从图像中抽取与当前问题直接相关的视觉事实。

2、在现有训练流程中，多模态模型通常经历图文预训练、指令微调以及基于可验证结果的强化学习后训练。强化学习后训练常以最终答案是否正确作为奖励，例如分类选项是否一致、数值答案是否在容忍误差内、字符串是否匹配等。这种奖励易于自动化构造，但其粒度较粗；只要最终答案正确，模型即可能获得正向奖励，而其推理过程是否真正依据图像证据并未被充分检查。

3、在复杂多模态任务中，单纯答案奖励会引发三类问题。第一，模型可能依赖语言先验或训练数据偏差而偶然猜对，导致错误视觉理解被强化。第二，模型可能给出看似合理的通用图像描述，但该描述并非解决当前问题所需的关键证据。第三，模型可能准确读取了部分视觉事实，却在后续推理中发生运算或逻辑错误，现有二值答案奖励难以区分这种“感知正确但推理错误”的轨迹与完全无效轨迹。

4、已有方法尝试通过遮挡、裁剪、视觉扰动、额外图像描述监督或中间过程监督来缓解上述问题。然而，这些方法多针对通用视觉一致性或感知敏感性，通常没有为每个具体问题明确“哪些视觉证据是必须被读取、必须被引用、必须与推理过程对应”的任务条件化要求。因此，现有方法仍可能奖励视觉上真实但与问题求解无关的内容，或者无法对候选轨迹中的证据覆盖、证据错误、证据矛盾和答案正确性进行细粒度区分。

技术实现思路

1、本发明解决的是如何为每个图像-问题对生成可核验的视觉证据，并将证据覆盖程度、证据一致性、证据与答案的耦合关系纳入奖励计算，成为提高多模态推理模型对关键视觉事实的读取能力、证据驱动推理能力以及复杂场景下的可靠性的关键技术问题。

2、为解决上述问题，本发明提供一种基于任务关键视觉证据约束的多模态大模型强化学习训练方法、装置、电子设备及存储介质。

3、第一方面，本发明提供了一种基于任务关键视觉证据约束的多模态大模型强化学习训练方法，所述方法由计算设备执行，包括：

4、获取多模态推理训练样本，所述训练样本包括图像、与所述图像对应的文本问题以及标准答案；

5、针对所述图像和所述文本问题构造任务关键视觉证据评价准则，所述任务关键视觉证据评价准则包括正证据条目集合和负证据条目集合，每个证据条目包括证据内容、证据类型和重要度权重，其中，所述正证据条目集合用于表征回答所述文本问题所必需的视觉事实，所述负证据条目集合用于表征与所述视觉事实相冲突或候选推理轨迹中不应出现的错误内容；

6、将所述图像和所述文本问题输入当前策略模型，按照预设解码策略生成同一训练样本对应的多条候选推理轨迹，并对每条候选推理轨迹进行结构化解析，得到视觉证据片段、推理片段和最终答案片段；

7、基于所述任务关键视觉证据评价准则，对每条候选推理轨迹分别计算答案一致性奖励、正证据覆盖奖励和负证据冲突惩罚，并将所述答案一致性奖励、所述正证据覆盖奖励和所述负证据冲突惩罚融合得到所述候选推理轨迹的最终奖励；

8、针对同一训练样本对应的多条候选推理轨迹，根据各候选推理轨迹的最终奖励分布确定自适应分位数基线，并基于所述自适应分位数基线计算各候选推理轨迹的组内优势估计值；

9、根据当前策略模型与生成所述候选推理轨迹时的采样策略模型之间的概率比率以及所述组内优势估计值，构造裁剪式策略优化目标，并基于所述裁剪式策略优化目标更新所述当前策略模型的参数；

10、重复执行候选推理轨迹生成、奖励计算、组内优势估计和参数更新，直至满足预设收敛条件，得到优化后的多模态推理模型。

11、可选地，所述正证据条目集合中的证据内容包括对象、属性、空间关系、数量、ocr文本、图表坐标、几何关系、公式位置、符号绑定或跨区域对应关系中的一项或多项；所述证据类型用于标识相应证据内容所属的视觉语义类别，所述重要度权重用于表征相应证据内容对回答所述文本问题的贡献程度。

12、可选地，构造所述任务关键视觉证据评价准则包括：

13、对由所述图像和所述文本问题得到的候选视觉证据进行原子化处理，将包含多个视觉事实的候选视觉证据拆分为多个原子证据条目，使每个原子证据条目对应单一视觉事实判断；

14、以所述文本问题为语义锚点，计算各原子证据条目与所述文本问题之间的语义相似度或任务关联度，并剔除与回答所述文本问题无关的原子证据条目，得到经任务相关性筛选后的正证据条目集合和负证据条目集合。

15、可选地，对每条候选推理轨迹进行结构化解析包括：

16、按照预设输出格式识别所述候选推理轨迹中的视觉证据片段、推理片段和最终答案片段，其中，所述视觉证据片段用于列出从所述图像中读取到的视觉事实，所述推理片段用于表征由视觉事实和文本问题条件推导答案的过程，所述最终答案片段用于答案验证；

17、当所述候选推理轨迹不能按照所述预设输出格式解析、缺少最终答案片段或违反格式要求时，对所述候选推理轨迹施加格式惩罚，并将施加格式惩罚后的候选推理轨迹保留用于组内优势估计。

18、可选地，计算所述正证据覆盖奖励包括：

19、将每条候选推理轨迹分别与所述正证据条目集合中的各正证据条目配对，得到多个正证据核验对；将所述正证据核验对输入判断模型，由所述判断模型输出对应的二值化覆盖核验结果，所述二值化覆盖核验结果用于表征相应候选推理轨迹是否覆盖相应正证据条目所描述的视觉事实；

20、根据各正证据条目的二值化覆盖核验结果和重要度权重，计算所述候选推理轨迹的加权证据覆盖奖励。

21、可选地，计算所述负证据冲突惩罚包括：

22、将每条候选推理轨迹分别与所述负证据条目集合中的各负证据条目配对，得到多个负证据冲突检测对；

23、将所述负证据冲突检测对输入判断模型，由所述判断模型输出对应的二值化冲突检测结果，所述二值化冲突检测结果用于表征相应候选推理轨迹中是否存在与相应负证据条目相冲突的断言；

24、根据各负证据条目的二值化冲突检测结果以及预设冲突惩罚系数，计算所述候选推理轨迹的负证据冲突惩罚。

25、可选地，所述答案一致性奖励通过从所述最终答案片段中提取结构化答案并将所述结构化答案与所述标准答案进行比对得到；当所述结构化答案与所述标准答案一致时，所述答案一致性奖励取第一值，当所述结构化答案与所述标准答案不一致时，所述答案一致性奖励取第二值，且所述第一值大于所述第二值。

26、可选地，将所述答案一致性奖励、所述正证据覆盖奖励和所述负证据冲突惩罚融合得到所述候选推理轨迹的最终奖励包括：

27、对所述正证据覆盖奖励与所述负证据冲突惩罚进行聚合，得到证据聚合值；

28、采用非负截断函数将所述证据聚合值映射为非负证据奖励项；

29、基于所述答案一致性奖励对所述非负证据奖励项进行门控融合，其中，当所述最终答案片段对应的答案与所述标准答案一致时，在答案正确基础奖励上叠加第一权重的非负证据奖励项；当所述最终答案片段对应的答案与所述标准答案不一致时，叠加第二权重的非负证据奖励项，且所述第一权重大于所述第二权重。

30、可选地，根据各候选推理轨迹的最终奖励分布确定自适应分位数基线包括：

31、计算同一训练样本对应的多条候选推理轨迹的最终奖励的离散程度度量；

32、根据所述离散程度度量、基准分位数和调节系数确定分位数参数，并将所述分位数参数限制在预设分位数下界和预设分位数上界之间；

33、根据所述分位数参数计算所述多条候选推理轨迹的最终奖励的分位数值，并将所述分位数值作为所述自适应分位数基线；

34、将各候选推理轨迹的最终奖励与所述自适应分位数基线之间的差值作为相应候选推理轨迹的组内优势估计值。

35、可选地，构造所述裁剪式策略优化目标包括：

36、计算当前策略模型在生成相应候选推理轨迹时的概率与采样策略模型在生成相应候选推理轨迹时的概率之间的比值，得到重要性采样比率；

37、将所述重要性采样比率限制在预设裁剪范围内，并基于限制前的重要性采样比率、限制后的重要性采样比率以及所述组内优势估计值确定裁剪式目标值；

38、根据所述裁剪式目标值对所述当前策略模型进行梯度更新，并在更新后将所述当前策略模型作为下一轮候选推理轨迹生成所使用的采样策略模型。

39、第二方面，本发明实施例提供一种基于任务关键视觉证据约束的多模态大模型强化学习训练装置，包括：

40、训练样本获取单元，用于获取多模态推理训练样本，所述训练样本包括图像、与所述图像对应的文本问题以及标准答案；

41、证据准则构造单元，用于针对所述图像和所述文本问题构造任务关键视觉证据评价准则，所述任务关键视觉证据评价准则包括正证据条目集合和负证据条目集合，每个证据条目包括证据内容、证据类型和重要度权重，其中，所述正证据条目集合用于表征回答所述文本问题所必需的视觉事实，所述负证据条目集合用于表征与所述视觉事实相冲突或候选推理轨迹中不应出现的错误内容；

42、轨迹生成与解析单元，用于将所述图像和所述文本问题输入当前策略模型，按照预设解码策略生成同一训练样本对应的多条候选推理轨迹，并对每条候选推理轨迹进行结构化解析，得到视觉证据片段、推理片段和最终答案片段；

43、奖励计算与融合单元，用于基于所述任务关键视觉证据评价准则，对每条候选推理轨迹分别计算答案一致性奖励、正证据覆盖奖励和负证据冲突惩罚，并将所述答案一致性奖励、所述正证据覆盖奖励和所述负证据冲突惩罚融合得到所述候选推理轨迹的最终奖励；

44、优势估计单元，用于针对同一训练样本对应的多条候选推理轨迹，根据各候选推理轨迹的最终奖励分布确定自适应分位数基线，并基于所述自适应分位数基线计算各候选推理轨迹的组内优势估计值；

45、策略优化单元，用于根据当前策略模型与生成所述候选推理轨迹时的采样策略模型之间的概率比率以及所述组内优势估计值，构造裁剪式策略优化目标，并基于所述裁剪式策略优化目标更新所述当前策略模型的参数；

46、迭代控制单元，用于重复执行候选推理轨迹生成、奖励计算、组内优势估计和参数更新，直至满足预设收敛条件，得到优化后的多模态推理模型。

47、第三方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑指令，以执行如第一方面所提供的方法的步骤。

48、第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的基于任务关键视觉证据约束的多模态大模型强化学习训练方法的步骤。

49、本发明的基于任务关键视觉证据约束的多模态大模型强化学习训练方法的有益效果如下：

50、本发明显式构造与问题语义绑定的结构化证据准则，将视觉感知从“全局描述”转化为“问题导向的关键事实核验”，使模型优化目标与人类求解视觉问题的认知逻辑一致，从根本上缓解视觉幻觉生成问题。

51、通过正证据与负证据并列共存的双向约束机制，配合独立判断模型进行逐项核验与冲突检测，实现奖励计算与策略训练的解耦，避免复合误差累积，提升框架的可维护性与扩展性。

52、基于答案正确性的门控融合与relu截断策略，迫使模型优先保证视觉事实可靠性，再追求答案正确性，形成“事实优先、答案其次”的优化路径，有效提升复杂推理的可信度。

53、自适应分位数基线根据奖励分布离散程度动态调整分位数参数，抑制极端异常值对策略更新的干扰，提升训练鲁棒性。该方法不依赖特定模型架构或推理链标注，仅需图像-问题-答案三元组即可迁移应用于几何题、图表分析、文档理解等多种多模态推理任务。