基于多模态大语言模型幻觉缓解方法、装置及电子设备

本发明涉及大模型，特别是涉及一种基于多模态大语言模型幻觉缓解方法、装置及电子设备。

背景技术：

1、随着多模态大语言模型的发展，现有模型能够同时接收图像和文本信息，并基于视觉编码器提取的视觉特征以及语言模型的生成能力，对输入图像执行图像描述、视觉问答、目标识别、属性判断等多种视觉语言任务。

2、然而，多模态大语言模型在生成过程中仍容易产生与输入图像不一致的内容，即产生多模态幻觉。例如，模型可能描述图像中并不存在的物体，遗漏图像中的实际目标，或者错误描述目标的颜色、形状、数量、位置等视觉属性。

3、现有的免训练式幻觉缓解方案中，一类方案通过构造原始输入和干扰输入并分别执行模型推理，根据两次推理所得的输出概率分布进行对比，以抑制过强的语言先验。该类方法虽然能够在一定程度上缓解幻觉，但通常需要针对同一生成步骤执行额外的模型前向计算，导致解码延迟显著增加，在实时视觉问答、交互式图像理解等场景中的应用受到限制。

技术实现思路

1、本发明实施例提供一种基于多模态大语言模型幻觉缓解方法、装置及电子设备，能够在兼顾物体级幻觉和细粒度属性幻觉缓解的同时，降低由额外模型推理带来的解码开销。

2、本发明的目的是这样实现的：

3、一种基于多模态大语言模型幻觉缓解方法，包括：

4、获取输入图像经视觉编码器处理得到的第一视觉词元，并基于所述视觉编码器内部的注意力分布确定所述第一视觉词元中各词元的视觉重要性，形成表征不同第一视觉词元之间信息量差异的视觉重要性先验；

5、将所述第一视觉词元经特征投影处理后得到输入大语言模型解码器的第二视觉词元，并根据所述特征投影处理对应关系将所述视觉重要性先验对应至所述第二视觉词元，根据所述视觉重要性先验确定所述第二视觉词元中各词元的差异化增强权重，在所述大语言模型解码器的注意力计算过程中，依据所述差异化增强权重对不同第二视觉词元对应的注意力进行选择性调整，其中，视觉重要性较高的第二视觉词元对应较大的增强幅度；

6、在所述大语言模型解码器的自回归生成过程中，获取当前解码位置对应的键状态向量，以所述键状态向量作为语义查询信号，至少与所述第二视觉词元对应的键状态向量进行相关性计算，获得随所述当前解码位置的语义状态变化的语义协变注意力；

7、在所述大语言模型解码器的至少一个自注意力层中，将基于所述差异化增强权重获得的选择性视觉注意力结果与所述语义协变注意力对应的注意力结果进行融合，获得融合注意力结果，并基于所述融合注意力结果进行自回归生成。

8、一种基于多模态大语言模型幻觉缓解装置，包括：

9、获取单元，用于获取输入图像经视觉编码器处理得到的第一视觉词元，并基于所述视觉编码器内部的注意力分布确定所述第一视觉词元中各词元的视觉重要性，形成表征不同第一视觉词元之间信息量差异的视觉重要性先验；

10、调整单元，将所述第一视觉词元经特征投影处理后得到输入大语言模型解码器的第二视觉词元，并根据所述特征投影处理对应关系将所述视觉重要性先验对应至所述第二视觉词元，根据所述视觉重要性先验确定所述第二视觉词元中各词元的差异化增强权重，在所述大语言模型解码器的注意力计算过程中，依据所述差异化增强权重对不同第二视觉词元对应的注意力进行选择性调整，其中，视觉重要性较高的第二视觉词元对应较大的增强幅度；

11、计算单元，用于在所述大语言模型解码器的自回归生成过程中，获取当前解码位置对应的键状态向量，以所述键状态向量作为语义查询信号，至少与所述第二视觉词元对应的键状态向量进行相关性计算，获得随所述当前解码位置的语义状态变化的语义协变注意力；

12、融合单元，用于在所述大语言模型解码器的至少一个自注意力层中，将基于所述差异化增强权重获得的选择性视觉注意力结果与所述语义协变注意力对应的注意力结果进行融合，获得融合注意力结果，并基于所述融合注意力结果进行自回归生成。

13、一种电子设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现前述实施例任一项所述的基于多模态大语言模型幻觉缓解方法的步骤。

14、以上，利用视觉编码器自身形成的注意力分布确定不同第一视觉词元的视觉重要性，并将视觉重要性先验对应至大语言模型解码器实际处理的第二视觉词元，以按照各第二视觉词元的视觉重要性实施差异化注意力调整。其中，对视觉重要性较高的视觉词元给予较大的注意力增强，对视觉重要性较低的视觉词元给予较小的注意力增强或者保持原有注意力，由此减少均匀增强过程中低信息量视觉词元及其噪声信息被同步放大的情况，提高与图像主体及关键物体相关视觉信息的利用程度，降低生成不存在物体以及遗漏图像中实际目标的概率。同时，在自回归生成过程中，利用当前解码位置对应的键状态向量形成语义查询信号，并基于所述语义查询信号获得随当前解码语义变化的语义协变注意力，由此在生成内容由物体级语义转向颜色、形状、数量、位置等细粒度属性语义时，补充与当前生成语义相关的局部视觉信息，降低视觉属性描述错误。进一步地，上述视觉重要性先验和键状态向量均来源于模型原有前向传播过程中产生的内部状态，无需针对同一输入执行额外的完整模型前向推理，从而在兼顾物体级幻觉和细粒度属性幻觉缓解的同时，降低由额外模型推理带来的解码开销。

1.一种基于多模态大语言模型幻觉缓解方法，其特征在于，包括：

2.根据权利要求1所述的幻觉缓解方法，其特征在于，所述基于所述视觉编码器内部的注意力分布确定所述第一视觉词元中各词元的视觉重要性，包括：

3.根据权利要求1所述的幻觉缓解方法，其特征在于，所述根据所述特征投影处理对应关系将所述视觉重要性先验对应至所述第二视觉词元，包括：

4.根据权利要求1所述的幻觉缓解方法，其特征在于，所述根据所述视觉重要性先验确定所述第二视觉词元中各词元的差异化增强权重，包括：

5.根据权利要求1所述的幻觉缓解方法，其特征在于，在所述大语言模型解码器的注意力计算过程中，依据所述差异化增强权重对不同第二视觉词元对应的注意力进行选择性调整，包括：

6.根据权利要求1所述的幻觉缓解方法，其特征在于，所述获取当前解码位置对应的键状态向量，以所述键状态向量作为语义查询信号，至少与所述第二视觉词元对应的键状态向量进行相关性计算，获得随所述当前解码位置的语义状态变化的语义协变注意力，包括：

7.根据权利要求1所述的幻觉缓解方法，其特征在于，所述将基于所述差异化增强权重获得的选择性视觉注意力结果与所述语义协变注意力对应的注意力结果进行融合，包括：

8.根据权利要求7所述的幻觉缓解方法，其特征在于，所述根据所述分布差异确定所述辅助注意力分支的贡献度，并根据所述贡献度将所述辅助注意力分支的输出与所述主注意力分支的输出进行融合，还包括：

9.一种基于多模态大语言模型幻觉缓解装置，其特征在于，包括：

10.一种电子设备，包括：存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8任一项所述的基于多模态大语言模型幻觉缓解方法的步骤。