基于感知-认知对齐的多模态大语言模型视觉理解增强方法及系统

本发明涉及多模态大语言模型与视觉理解，特别是涉及一种基于感知-认知的多模态大语言模型视觉理解增强方法及系统。

背景技术：

1、近年来，多模态大语言模型（mllms）在视觉问答、图像描述等任务上取得了显著进展。然而，现有模型普遍存在一种割裂现象：虽然具备强大的底层视觉感知能力，能够准确抽取局部特征，但在面对需要高层次语义整合的任务时，往往难以将零散的视觉特征转化为具有逻辑一致性的内部表示。这种缺陷，导致模型在处理涉及复杂推理的场景时容易出现偏差。换言之，跨模态在一阶物理特征上的完美统计对齐并不会自发产生真正的推理能力，「看见≠理解」。

2、针对多模态大语言模型在视觉理解方面的薄弱环节，业界已涌现出大量评估基准，例如mmbench、mmmu、ii-bench、mvp-bench、blink、deepeval、pca-bench等。然而，上述基准在感知与认知之间的边界划分上较为模糊，难以独立量化模型在真实「理解」上的失败比例。同时，现有的推理强化能力主要依赖于显式的思维链（chain-of-thought，cot）提示，或借助语言侧的纯文本推理模型（即「思考」变体）。但需指出的是，纯文本式的思维链对跨模态语义鸿沟的缓解效果有限，甚至有可能引入语言幻觉并加剧过度思考问题。

3、此外，已有的训练阶段对齐方法（如基于人类反馈的强化学习、监督微调等），虽在一定程度上提升多模态大语言模型的认知能力，但却伴随着高昂的算力成本与海量标注语料的需求。更为关键的是，该方法在每次模型迭代更新时均需重新训练，导致极大的泛化代价极大。因此，如何在不修改任何模型参数、不引入额外训练数据的前提下，对多模态大语言模型的内部视觉表示进行结构化干预，从而在推理阶段缩小其感知-认知鸿沟，成为一项极具研究价值与产业意义的关键课题。

技术实现思路

1、本发明旨在解决多模态大语言模型“看见≠理解”、感知与认知存在显著鸿沟的问题，克服现有手段依赖参数微调的不足，而提供了一种基于感知-认知对齐的多模态大语言模型视觉理解增强方法及系统，通过在认知导向前缀与基础感知导向前缀的分别引导下实施双阶段探针，捕获模型内部注意力分布，并在transformer解码触发层上以软掩膜与跨模态冗余惩罚的方式联合调制图像token隐状态，在不引入额外训练参数的前提下，显著提升模型的高层认知推理能力。

2、为达到上述目的，本发明采用下述技术方案实现：

3、第一方面，本发明实现了一种基于感知-认知对齐的多模态大语言模型视觉理解增强方法，包括以下步骤：

4、步骤1、构建分级视觉理解评估基准，选定待增强的多模态大语言模型作为骨干网络；所述分级视觉理解评估基准将感知任务和认知任务分别划分为低、中、高三个层级，每个多模态样本对应六个递进式问题，覆盖从低层视觉信号识别到高层因果与社交关系推理的全过程；

5、步骤2、在所述骨干网络的transformer解码层中按固定间隔预设若干触发层trigger layer，在推理阶段对图像token的隐状态实施动态干预；

6、步骤3、进入认知探针阶段，进入认知探针阶段，在用户原始问题前拼接认知导向前缀，引导待增强的多模态大语言模型在视觉编码过程中关联潜在的因果与逻辑线索，在所述触发层捕获认知注意力图；

7、步骤4、进入感知探针阶段，将认知导向前缀替换为感知导向前缀，将待增强的多模态大语言模型的注意力重新约束至像素级与物体级表层特征，在相同的所述触发层捕获基础感知注意力图；

8、步骤5、进入增强推理阶段，向该模型输入不带前缀的原始用户问题，当该网络的前向传播到达任一所述触发层时，启动感知-认知对齐机制，基于所述认知注意力图与所述基础感知注意力图的差异生成用于调节注意力分布的软掩膜m，并基于图像token与文本token间的跨模态冗余度生成跨模态冗余分数，进而基于该冗余分数确定用于抑制冗余信息的调制强度，最后以联合残差调制方式更新图像token的隐状态，得到增强后的图像token表示；

9、步骤6、将经过感知-认知对齐增强后的图像token表示输入到该触发层之后的剩余网络层中，参与后续推理与解码过程，输出最终的认知推理结果。

10、在一些实施方式中，所述步骤s1中构建分级视觉理解评估基准的过程包括：

11、从多个互联网社区爬取图文样本，所述样本满足预设的社交活跃度阈值；

12、将感知任务沿语义粒度轴划分为低、中、高三个层级；

13、将认知任务沿因果阶梯划分为低、中、高三个层级；

14、为每个样本设计一组递进式问题，覆盖从低层视觉信号识别到高层因果与社交关系推理的全过程。

15、在一些实施方式中，所述步骤5中生成软掩膜m的过程包括：

16、计算所述认知注意力图与所述基础感知注意力图的差值，得到注意力差异；

17、对所述注意力差异施加relu激活函数，过滤掉负向的认知偏移；

18、将relu激活后的结果除以一个预设的绝对阈值，并将所得结果限制在0到1之间，得到所述软掩膜m。

19、在一些实施方式中，所述步骤5中生成跨模态冗余分数ρ的过程包括：

20、计算每个图像token的隐状态与所有文本token的隐状态之间的最大余弦相似度；

21、将所述最大余弦相似度线性映射到0到1区间，得到所述跨模态冗余分数。

22、在一些实施方式中，所述步骤5中计算冗余惩罚系数γ的过程包括：

23、基于所述跨模态冗余分数ρ计算所述冗余惩罚系数γ，其中，所述冗余惩罚系数γ与所述跨模态冗余分数ρ成反比。

24、在一些实施方式中，所述步骤5中的联合残差调制方式为：

25、以所述软掩膜m与所述冗余惩罚系数γ的逐元素乘积作为调制强度；

26、将所述调制强度与原始图像token的隐状态相乘，得到残差项；

27、将所述残差项加回到所述原始图像token的隐状态上，得到所述增强后的图像token表示。

28、在一些实施方式中，所述步骤2中的触发层间隔为大于等于6且小于等于12的整数。

29、在一些实施方式中，对于步骤5中的所述冗余分数，进一步设置冗余惩罚系数，其中λ为预设的最大放大尺度。

30、第二方面，本发明实现了一种基于感知-认知对齐的多模态大语言模型视觉理解增强系统，用于实现任一项所述的方法，包括：

31、基准构建模块，用于构建分级视觉理解评估基准，选定待增强的多模态大语言模型作为骨干网络；所述分级视觉理解评估基准将感知任务和认知任务分别划分为低、中、高三个层级，每个多模态样本对应六个递进式问题，覆盖从低层视觉信号识别到高层因果与社交关系推理的全过程；

32、触发层预设模块，用于在所述骨干网络的transformer解码层中按固定间隔预设若干触发层trigger layer，在推理阶段对图像token的隐状态实施动态干预；

33、认知探针模块，用于进入认知探针阶段，进入认知探针阶段，在用户原始问题前拼接认知导向前缀，引导待增强的多模态大语言模型在视觉编码过程中关联潜在的因果与逻辑线索，在所述触发层捕获认知注意力图；

34、感知探针模块，用于进入感知探针阶段，将认知导向前缀替换为感知导向前缀，将待增强的多模态大语言模型的注意力重新约束至像素级与物体级表层特征，在相同的所述触发层捕获基础感知注意力图；

35、增强推理模块，用于进入增强推理阶段，向该模型输入不带前缀的原始用户问题，当该网络的前向传播到达任一所述触发层时，启动感知-认知对齐机制，基于所述认知注意力图与所述基础感知注意力图的差异生成用于调节注意力分布的软掩膜m，并基于图像token与文本token间的跨模态冗余度生成跨模态冗余分数，进而基于该冗余分数确定用于抑制冗余信息的调制强度，最后以联合残差调制方式更新图像token的隐状态，得到增强后的图像token表示；

36、结果输出模块，用于将经过感知-认知对齐增强后的图像token表示输入到该触发层之后的剩余网络层中，参与后续推理与解码过程，输出最终的认知推理结果。

37、第三方面，一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现任一项所述的基于感知-认知对齐的多模态大语言模型视觉理解增强方法。

38、第四方面，一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一项所述的基于感知-认知对齐的多模态大语言模型视觉理解增强方法。

39、相较于现有技术本发明取得显著技术效果如下：

40、1、构建了感知-认知显式解耦的分级评估基准，实现了“理解”能力的精准量化：本发明构建的分级视觉理解评估基准将感知任务与认知任务分别沿语义粒度和因果阶梯划分为低、中、高三个层级，每个样本对应六道递进式问题，覆盖从像素级信号识别到高层因果推理的全过程。该基准能够独立量化多模态大模型在真实“理解”上的失败比例，将“看见≠理解”从哲学命题转化为可量化的实证范式，为模型诊断与改进提供了科学依据。

41、2、通过双阶段探针机制捕获注意力差异，实现了感知与认知的可解释性分离：本发明在transformer解码层中预设触发层，通过认知探针与感知探针对同一图像进行两次注意力提取，并在触发层上以可解释的方式分离出真正承载认知意图的视觉token，避免了显式思维链（cot）所引发的语言幻觉与过度思考问题。该方法为后续的精细化调制奠定了可靠基础。

42、3、通过计算认知注意力图与感知注意力图的差异，并施加relu激活与绝对阈值缩放，生成位于[0,1]区间的软掩膜。相较于传统的min-max归一化，该机制保留了认知偏移的绝对量级信息，对离群值具有显著的鲁棒性，从而提供了稳定且可解释的图像token认知置信度评估。

43、4、通过计算图像token与文本token间的最大余弦相似度，生成跨模态冗余分数，并据此确定与冗余度成反比的惩罚系数。该机制将有限的放大预算集中分配给承载真正认知意图的非冗余视觉token，实现了细粒度的语义聚焦，有效抑制了冗余视觉信息对高层推理的干扰。

44、5、采用联合残差调制的纯推理阶段干预，无需参数微调即可显著提升认知推理能力：本发明以软掩膜与冗余惩罚系数的逐元素乘积作为联合调制强度，通过残差方式更新图像token的隐状态，将原始表示作为不可动摇的基线加以保留。该方法为纯推理阶段干预，无需修改任何模型参数，无需引入额外训练数据。在优选实施例中，将qwen3vl-8b在高层认知任务上的准确率绝对值提升7.8%（由54.3%提升至62.1%），显著优于显式思维链等基线方案，具备极高的实用价值与部署便利性。。