基于不确定性触发的多模态视觉Patch检索融合方法和装置与流程

摘要: 本发明涉及计算机,尤其涉及一种基于不确定性触发的多模态视觉patch检索融合方法和装置。背景技术:1、当前,针对多模态大语言模型中细粒度视觉信息表征不足及检索增...
基于不确定性触发的多模态视觉Patch检索融合方法和装置与流程

本发明涉及计算机,尤其涉及一种基于不确定性触发的多模态视觉patch检索融合方法和装置。

背景技术:

1、当前,针对多模态大语言模型中细粒度视觉信息表征不足及检索增强安全控制缺失的问题,现有检索增强方法缺乏对注入时机与强度的安全闭环控制,检索不可靠时易导致误注入;视觉编码器偏向全局语义,对局部细节判别性不足,视觉证据缺失时llm易依赖语言先验产生幻觉;增加分辨率或扩大主干网络虽能提升细节表达,但显著增加算力成本且难以解决长尾分布问题,难以作为外挂组件快速落地。

2、因此,亟需一种能够在不改动主模型参数的前提下,对局部patch特征进行在线校准的智能化视觉patch检索融合方法。

技术实现思路

1、本发明提供一种基于不确定性触发的多模态视觉patch检索融合方法和系统,该方法能够在不改动主模型参数的前提下,对局部patch特征进行在线校准。

2、第一方面,提供了一种基于不确定性触发的多模态视觉patch检索融合方法,包括:

3、获取目标图像和任务指令,提取所述目标图像的目标特征序列,所述目标特征序列包括多个第一特征单元,每个所述第一特征单元对应所述目标图像中的一个局部区域;

4、根据各所述第一特征单元的质量指标,从所述目标特征序列中确定待检索特征单元集合,所述待检索特征单元集合中的特征单元为第二特征单元;

5、对所述第二特征单元,从外部记忆库获取补充信息,对所述补充信息进行可信度评估,并根据评估结果确定融合控制参数,根据所述融合控制参数将所述补充信息与对应的第二特征单元进行融合,得到校准特征单元;

6、利用所述校准特征单元替换所述对应的第二特征单元,得到校准后的特征序列,将所述校准后的特征序列和所述任务指令输入大语言模型,生成输出结果。

7、这样,通过从目标图像中提取局部patch特征作为第一特征单元,基于质量指标从中筛选出第二特征单元触发外部记忆检索,将检索到的补充信息经可信度评估后以受控方式与第二特征单元融合,实现局部特征的在线校准与强化,同时通过替换式回写保持特征序列长度与位置分布稳定,使得大语言模型能够在获得增强的局部视觉证据基础上生成更准确、更一致的输出,有效抑制了因局部证据不足导致的幻觉问题,提升了细粒度视觉识别任务的准确性与可靠性。

8、在一些可能的实现方式中,所述根据各所述第一特征单元的质量指标,从所述目标特征序列中确定待检索特征单元集合,包括:

9、获取每个第一特征单元的质量指标,所述质量指标包括不确定性分数和相关性分数,所述不确定性分数用于表征模型对所述第一特征单元的判断犹豫程度,所述相关性分数用于表征所述第一特征单元与所述任务指令的关联程度;

10、根据所述不确定性分数和所述相关性分数计算每个第一特征单元的触发分数;

11、根据资源约束确定待检索特征单元的数量上限,按照所述触发分数从高到低的顺序选取所述数量上限的第一特征单元作为所述第二特征单元,构成所述待检索特征单元集合;

12、未纳入所述待检索特征单元集合的第一特征单元,不执行外部知识检索,保留其原始特征。

13、这样,通过不确定性分数和相关性分数两个维度综合评估每个patch的质量,使得触发检索的对象既涵盖模型判断不明确的困难区域,又兼顾与当前任务相关的区域,同时在资源约束下仅选取少量patch进行检索,有效控制了计算开销与显存占用。

14、在一些可能的实现方式中,所述不确定性分数按照以下方式计算:

15、

16、其中为第个第一特征单元的类别概率分布,为第个第一特征单元属于第个类别的概率,为预设的候选类别总数,为所述类别概率分布的信息熵;

17、所述相关性分数由所述第一特征单元的特征向量与所述任务指令的文本嵌入向量之间的相似度确定,或由跨模态注意力在所述第一特征单元上的平均响应确定。

18、这样,采用归一化熵作为不确定性度量,能够有效捕捉模型对每个patch类别判断的犹豫程度;相关性分数通过patch特征与任务指令的语义相似度或跨模态注意力响应强度来表征,使得触发检索的patch同时满足“模型不确定”和“与任务相关”两个条件,提升了检索触发的精准性。

19、在一些可能的实现方式中,所述对所述第二特征单元,从外部记忆库获取补充信息,包括:

20、将每个所述第二特征单元的特征向量作为查询向量;

21、将所述查询向量与外部记忆库中的各条目进行相似度匹配,根据相似度匹配结果,从所述外部记忆库中召回与所述查询向量相似度最高的k个条目,作为所述补充信息;

22、所述外部记忆库中的每个条目包含键向量及对应的结构化信息,所述相似度匹配采用所述查询向量与所述键向量之间的余弦相似度或点积相似度进行度量。

23、这样,通过将第二特征单元的特征向量作为查询向量,在外部记忆库中检索最相似的k个历史条目,为后续的局部特征校准提供外部参照证据,同时余弦相似度或点积相似度的度量方式保持了计算的高效性,适用于实时推理场景。

24、在一些可能的实现方式中,所述对所述补充信息进行可信度评估,并根据评估结果确定融合控制参数,根据所述融合控制参数将所述补充信息与对应的第二特征单元进行融合,得到校准特征单元,包括:

25、对所述补充信息进行可信度评估,所述可信度评估包括以下至少一种:

26、根据所述补充信息与所述第二特征单元之间的相似度,确定相似度置信因子;

27、根据所述补充信息内部的语义一致性,确定一致性置信因子;

28、根据所述补充信息的离散程度,确定稳定性置信因子;

29、根据所述相似度置信因子、所述一致性置信因子和所述稳定性置信因子中的至少一种,确定融合控制参数;

30、根据所述融合控制参数确定实际融合系数,所述实际融合系数不超过所述融合控制参数;

31、根据所述实际融合系数,将所述补充信息与对应的第二特征单元进行融合,得到校准特征单元。

32、这样,通过对检索结果进行相似度、语义一致性和离散程度等多维度可信度评估,动态生成融合控制参数,使得仅当检索结果可靠时才进行注入,检索不可靠时自动回退,有效防止了不可靠检索结果对主模型的负面影响,实现了安全闭环。

33、在一些可能的实现方式中,所述利用所述校准特征单元替换所述对应的第二特征单元,得到校准后的特征序列,将所述校准后的特征序列输入大语言模型,生成输出结果,包括:

34、对于所述待检索特征单元集合中的每个第二特征单元,将所述校准特征单元替换所述第二特征单元在所述目标特征序列中的对应位置;

35、对于未纳入所述待检索特征单元集合的第一特征单元,保留其原始特征;

36、根据所述替换和所述保留的结果,构造所述校准后的特征序列,所述校准后的特征序列的序列长度与所述目标特征序列的序列长度相同;

37、将所述校准后的特征序列从视觉特征空间映射至语言嵌入空间,得到目标模态序列;

38、将所述目标模态序列与所述任务指令一并输入所述大语言模型,所述大语言模型根据所述目标模态序列和所述任务指令生成所述输出结果。

39、这样,通过替换式回写保持token序列长度与位置分布完全不变,使得校准后的特征序列与原有对齐器及大语言模型的接口完全兼容,无需对主干模型做任何适配修改,实现了低工程侵入的部署方式。

40、在一些可能的实现方式中,所述将所述补充信息与对应的第二特征单元进行融合,得到校准特征单元,还包括:

41、对所述补充信息中的多个近邻条目进行加权聚合,得到检索汇聚向量;

42、所述根据所述融合控制参数将所述补充信息与对应的第二特征单元进行融合,包括:

43、以残差融合方式将所述检索汇聚向量叠加至所述第二特征单元的特征向量,得到所述校准特征单元。

44、这样,通过对多个近邻条目进行加权聚合得到检索汇聚向量,再以残差方式叠加至原始特征向量,既保留了原始特征的主干信息,又引入了外部记忆的校准信息,同时层归一化操作抑制了特征幅值漂移,保证了下游模块的输入分布稳定性。

45、第二方面,提供了一种基于不确定性触发的多模态视觉patch检索融合装置,包括:

46、第一处理模块,用于获取目标图像和任务指令,提取所述目标图像的目标特征序列,所述目标特征序列包括多个第一特征单元,每个所述第一特征单元对应所述目标图像中的一个局部区域;

47、第二处理模块,用于根据各所述第一特征单元的质量指标,从所述目标特征序列中确定待检索特征单元集合,所述待检索特征单元集合中的特征单元为第二特征单元;

48、第三处理模块,用于对所述第二特征单元,从外部记忆库获取补充信息,对所述补充信息进行可信度评估,并根据评估结果确定融合控制参数,根据所述融合控制参数将所述补充信息与对应的第二特征单元进行融合,得到校准特征单元;

49、第四处理模块,用于利用所述校准特征单元替换所述对应的第二特征单元,得到校准后的特征序列,将所述校准后的特征序列输入大语言模型,生成输出结果。

50、第三方面,提供了一种电子设备,包括:一个或多个处理器;一个或多个存储器;以及一个或多个程序,其中所述一个或多个程序被存储在所述一个或多个存储器中,所述一个或多个程序包括指令,当所述指令被所述一个或多个处理器执行时,使得所述配置设备执行如第一方面所述的方法。

51、第四方面,提供了一种计算机存储介质,所述计算机存储介质存储有指令,所述指令在由计算机执行时使得所述计算机实施第一方面或第二方面所述的方法。

52、第五方面,提供了一种计算机程序产品,所述计算机程序产品存储有指令,所述指令在由计算机执行时使得所述计算机实施第一方面或第二方面所述的方法。

53、第二方面至第五方面的有益效果可参考上文对第一方面的有益效果的介绍,在此不再赘述。