一种基于多模态大语言模型的推理步骤校验与修正方法

本发明属于人工智能，涉及自然语言处理与计算机视觉的跨模态融合技术，具体涉及一种基于多模态大语言模型的推理步骤校验与修正方法。

背景技术：

1、近年来，大语言模型（large language model，llm）在自然语言理解与复杂推理等任务中取得显著进展。通过引入思维链（chain-of-thought，cot）提示，大语言模型能够显式生成中间推理步骤，以处理数学计算、符号推演和多阶段决策等复杂任务。在此基础上，研究人员将视觉感知与跨模态对齐机制引入大语言模型，形成多模态大语言模型（multimodal large language models，mllms），使模型能够联合理解图像与文本信息，并应用于图表问答、文档解析、医学影像分析、工业检测和教育解题等场景。其推理结果的准确性不仅取决于最终答案，还取决于各中间步骤对视觉证据、文本条件和逻辑关系的正确理解。

2、为提高复杂任务中的推理可靠性，现有研究主要采用问题分解、思维链生成、自一致性采样、自我反思和答案验证等方法。问题分解方法将复杂问题拆分为多个子问题，以降低单次推理的难度；思维链方法通过生成中间步骤增强推理过程的可解释性；自一致性与结果投票方法通过比较多条候选推理路径确定最终答案；自我反思和答案验证方法则在推理完成后对输出结果进行检查，并在发现异常时重新生成答案。这些方法可降低推理难度并减少随机性错误，但通常将完整推理链作为整体进行生成或检验，缺少子问题、视觉证据与具体推理步骤之间的明确对应关系。当中间节点出现目标识别、数值读取、属性判断或逻辑推导错误时，错误结果容易被后续步骤继续使用并逐步放大，现有方法也难以及时定位错误节点并实施局部修正，往往需要重新生成整条推理链。

3、随着多模态推理技术的发展，视觉定位、区域裁剪、跨模态注意力和过程级验证等机制逐渐被用于提升视觉信息利用能力。然而，现有方法通常仍使不同推理步骤共享统一的全局图像表征，难以根据子问题语义动态调整视觉关注范围。在密集图表、复杂文档或多目标图像中，大量无关背景和目标会干扰模型对小尺度目标、细粒度文本及局部数值的识别，进而产生错误的视觉关联。此外，现有验证机制多用于推理完成后的结果评估，验证结果通常未被转化为能够持续约束后续步骤的显式事实状态，已修正的信息容易在长推理上下文中被弱化或遗忘。

4、因此，现有多模态大语言模型在复杂多步骤推理中仍存在错误级联、全局视觉噪声干扰及后验校验缺乏过程纠错能力等问题。如何依据子问题语义提取局部视觉证据，对中间步骤进行一致性校验，并在发现冲突时局部重构相关节点、持续传递修正信息，是提高其推理可靠性与计算效率所需解决的关键问题。解决上述问题，有助于减少人工复核和整条推理链的重复生成，降低计算资源消耗，增强中间推理过程的可追踪性，为图表问答、文档审阅、业务分析和辅助决策等应用提供可靠支撑。

技术实现思路

1、针对现有多模态大语言模型在多步骤推理中存在的错误级联、局部修正难以持续生效、全局图像噪声干扰、后验校验不能实时纠错的问题，本发明提出一种基于多模态大语言模型的推理步骤校验与修正方法，通过将隐式单向推理组织为“规划-推理-子问题分解-自验证与纠错”的闭环可审视结构，并深度融合基于结构化字典状态管理的“纠错信息传播机制”与以子问题语义为引导的“动态视觉提示过滤策略”，从推理信息流和视觉感知两个层面实施主动式结构化干预，提高多模态大语言模型在复杂跨学科推理、数学推理及图文解析任务下的可靠性、一致性与视觉利用效率，使其推理过程可逐步审查、追溯，关键局部视觉证据识别更精准，并支持实时纠偏而非事后整体重算，从而降低人工复核成本、拓展多模态智能在金融、医疗、教育等领域的落地空间。

2、本发明解决上述技术问题采用的技术方案是：

3、一种基于多模态大语言模型的推理步骤校验与修正方法，包括初始推理路径生成、知识分解与关联映射、动态视觉信息过滤、推理步骤校验与纠错以及答案优化过程，具体包括以下步骤：

4、步骤1：初始推理路径生成；获取待求解问题、多模态上下文、候选选项集合、规划提示词，输入至多模态大语言模型，生成层级化规划，再基于所述层级化规划生成与各规划节点对应的原始推理步骤序列及初始答案；

5、步骤2：知识分解与关联映射；依据层级化规划确定各规划节点完成推理所需的最小知识单元，根据所述最小知识单元将待求解问题分解为语义相对独立的初始子问题集合；对初始子问题集合执行一次重新分解、分析和反思处理；基于更新后的子问题获取对应答案；建立子问题与规划节点之间的映射关联序列；

6、步骤3：动态视觉信息过滤；以子问题语义为检索依据，预测回答当前子问题所需的关键视觉区域，对所述关键视觉区域进行动态采样和裁剪，并在全局图像对应位置生成显式区域提示；多模态大语言模型优先根据显式区域提示执行区域引导推理，生成校准后的子问题答案；

7、步骤4：推理步骤校验与纠错；按照原始推理步骤序列的步骤顺序逐一处理各推理步骤，将推理内容中的事实性描述转化为键值对形式的结构化状态，利用全局纠错缓存区维护最新结构化状态，并基于历史纠错缓存执行一致性检验，当检测到当前推理步骤与历史纠错缓存冲突时，仅对当前冲突步骤执行局部重构，并将更新后的纠错状态前向注入后续推理步骤；

8、步骤5：答案优化；将全部校验或重构后的推理步骤按照规划节点顺序组合为优化推理链，将所述优化推理链重新输入多模态大语言模型，生成与全链条结构化事实一致的全局校正答案。

9、进一步的，所述步骤1具体如下：

10、a1、将待求解问题、多模态上下文、候选选项集合及规划提示词输入多模态大语言模型，所述规划提示词约束多模态大语言模型仅输出解决问题所需的步骤骨架，不输出具体数值读取、计算过程和最终答案，获得层级化规划，其中， 表示第  个规划节点， 表示规划节点总数；

11、a2、将层级化规划  作为前置上下文约束，并将待求解问题、多模态上下文及推理提示词输入多模态大语言模型，模型按照规划节点标签依次生成原始推理步骤，获得原始推理步骤序列，每个原始推理步骤均包含对应的规划节点标签和具体逻辑推理内容；模型同时输出初始答案。

12、进一步的，所述步骤2具体如下：

13、b1、依据层级化规划确定各规划节点完成推理所需的最小知识单元，根据所述最小知识单元将待求解问题分解为低复杂度且语义相对独立的初始子问题集合；

14、b2、对初始子问题集合执行一次重新分解、分析和反思处理；基于更新后的子问题获取对应答案，输出更新后的子问题及答案集合；所述重新分解、分析和反思处理仅执行一个周期；

15、b3、将更新后的子问题及对应答案、层级化规划、关联提示词输入多模态大语言模型，判定每个子问题对各规划节点的影响范围；根据关联判定结果构建子问题与规划节点之间的映射关联序列，其中， 表示子问题  对规划节点  对应的推理步骤具有校验作用。

16、进一步的，所述步骤3具体如下：

17、c1、将子问题的语义信息及全局图像输入区域定位函数，预测最有助于回答子问题的关键视觉区域，输出归一化边界框；

18、c2、基于边界框参数与分辨率确定动态采样尺度，对关键视觉区域进行裁剪，获得局部图像区域；

19、c3、将局部图像区域映射至全局图像的对应位置，并在对应位置绘制矩形边框，获得区域提示图像；将区域提示图像与子问题输入多模态大语言模型，通过两阶段提示约束执行区域引导推理：第一阶段输出矩形边框内目标、属性、文字或数值的观察结果，第二阶段主要依据第一阶段的观察结果生成校准后的子问题答案。

20、进一步的，所述步骤4具体如下：

21、d1、初始化时间步，按照原始推理步骤序列的先后顺序选取当前待校验推理步骤，从映射关联序列中检索相关子问题、校准后的子问题答案及对应的区域提示图像；同时获取已完成校验或重构的前序推理步骤集合，将相关子问题、校准后的子问题答案、区域提示图像、前序推理步骤集合以及当前待校验推理步骤共同构成当前校验输入；

22、d2、调用特征检测函数对当前待校验推理步骤进行结构化分析，抽取具有明确语义指向的事实性描述，并将所述事实性描述转化为键值对形式的事实状态；采用动态覆盖算子维护全局纠错缓存区；

23、d3、利用一致性判别函数比较当前待校验推理步骤中的数量关系、属性描述和目标状态与历史纠错缓存中对应结构化事实是否一致，得到一致性判别结果；

24、当当前待校验推理步骤与历史纠错缓存不存在冲突时，保留当前推理步骤为重构步骤；

25、当当前待校验推理步骤与历史纠错缓存在数量关系、属性描述或目标状态上存在冲突时，暂停后续推理并触发局部重新推理，得到重构步骤；

26、局部重构时，将全局纠错缓存区中的结构化事实设置为高于原始推理步骤内容的约束优先级，并仅修改与冲突事实相关的当前推理步骤；

27、d4、基于校验或重构后的推理步骤再次调用特征检测函数，抽取更新后的事实状态，并采用动态覆盖算子更新全局纠错缓存区；将更新后的全局纠错缓存区注入下一推理阶段的纠错提示词；

28、令时间步递增，处理下一原始推理步骤，直至原始推理步骤序列中的全部推理步骤完成校验或重构，输出校正推理步骤集合。

29、进一步的，所述步骤5具体如下：

30、按照层级化规划中各规划节点的顺序，将校正推理步骤集合组合为全局一致的优化推理链，优化推理链中的各推理步骤与对应规划节点保持一致，并满足最终全局纠错缓存区中的结构化事实；

31、将优化推理链、待求解问题、多模态上下文及候选选项集合共同输入多模态大语言模型，执行答案推导并输出全局校正答案。

32、进一步的，所述重新分解用于判断单个子问题是否同时包含多个待判断事项，所述分析用于判断子问题是否能够依据现有文本信息或图像信息获得明确答案，所述反思用于判断是否遗漏完成对应规划节点所需的关键子问题。

33、进一步的，所述采用动态覆盖算子维护全局纠错缓存区具体如下：

34、初始全局纠错缓存区  为空字典；当事实状态的状态键未存在于历史纠错缓存  中时，将对应键值对写入全局纠错缓存区；当所述状态键已存在时，以当前经局部视觉证据校准的状态值覆盖历史状态值，使全局纠错缓存区保存当前推理路径下的最新可信事实；

35、与现有技术相比，本发明具有以下显著的有益效果：

36、1、构建了强约束的多模态推理闭环调节系统，打破了传统提示策略"仅分解不验证"或后验检验"仅验证不纠错"的静态局限，实现了对中间节点生成内容的动态修改与局部重构；通过将局部纠错信号整合进整体推理结构中进行前向传播，确保了长路径逻辑推导的证据链连贯与自洽，使模型的推理过程可被逐步审查与回溯，为解题批改、报表核算等要求逐步可验证的场景提供了可直接采信的中间依据，减少了对人工复核的依赖。

37、2、攻克了局部修正的"信息衰减"与"遗忘"瓶颈，通过引入字典结构管理全局纠错缓存，将冗长的自然语言描述压缩为键值对离散化状态，降低了模型的语义解析复杂度；动态覆盖与强一致性拦截机制强力约束了后续步骤的生成边界，在复杂多步数学推理任务中显著提升了推理链的自洽稳定性，使较长推导过程的输出结果稳定、可追溯，具备了作为可靠结论加以使用的条件。

38、3、实现了高精度的视觉焦点调节与跨模态细粒度对齐，通过子问题语义反向驱动视觉过滤，利用动态自适应采样裁剪矩形框与显式区域提示，在视觉感知阶段主动屏蔽密集背景与不相关实体的冗余噪声干扰，将连续高维视觉特征分布进行有效压缩与聚焦；这提升了小尺度目标与细粒度文本的捕获精度，从根本上抑制了跨模态感知幻觉，使密集图表读数、票据金额识别、影像微小目标判读等对局部细节高度敏感的任务准确率明显提升。

39、4、兼具优异的泛化能力与计算高效性，本发明的机制完全在零样本条件下运行，摆脱了对外部知识库或庞大人工标注思维链示例的依赖；局部修正和重构机制允许模型仅针对被判定存在冲突的特定逻辑节点进行更新，实现推理过程中的实时纠偏而非事后整体重算，有效规避了全局重写的高昂时间与空间计算开销，在保证结论可靠的同时降低了运行所需的时间与算力成本。