一种多模态幻觉检测方法、系统、设备及存储介质与流程

摘要: 本申请涉及多模态幻觉检测相关,尤其是涉及一种多模态幻觉检测方法、系统、设备及存储介质。背景技术:1、随着人工智能技术的快速发展,多模态大语言模型已经成为集成文本...
一种多模态幻觉检测方法、系统、设备及存储介质与流程

本申请涉及多模态幻觉检测相关,尤其是涉及一种多模态幻觉检测方法、系统、设备及存储介质。

背景技术:

1、随着人工智能技术的快速发展,多模态大语言模型已经成为集成文本、图像和音频等多源信息的强大范式,广泛支撑智能问答或音图像理解等关键任务。然而,多模态大模型在生成内容时普遍存在幻觉问题,即输出内容逻辑通顺、表述合理,但与输入多模态信息不一致或违背客观事实,严重影响模型的可靠性、安全性与实用性,而现有技术中,幻觉检测方法主要针对单一模态或固定模态组合设计,无法适配多源异构输入的泛化场景,导致幻觉检测的准确率较低。

技术实现思路

1、本申请旨在至少解决现有技术中存在的技术问题。为此,本申请提出一种多模态幻觉检测方法、系统、设备及存储介质,能够提升多模态幻觉检测的效率与准确率。

2、本申请的第一方面,提供了一种多模态幻觉检测方法,包括如下步骤:

3、获取待检测任务的任务类型、待检测音频模态数据集、待检测文本模态数据集和待检测图像模态数据集;

4、提取所述待检测音频模态数据集的音频特征序列;提取所述待检测文本模态数据集的文本特征序列;提取所述待检测图像模态数据集的图像特征序列;

5、基于所述音频特征序列、所述文本特征序列和所述图像特征序列,通过余弦相似度方法确定异常特征序列;

6、基于所述任务类型、所述音频特征序列、所述文本特征序列和所述图像特征序列,确定融合特征序列;

7、将所述融合特征序列输入训练好的多模态大模型,以得到所述训练好的多模态大模型输出的候选文本序列;

8、基于所述音频特征序列、所述文本特征序列、所述图像特征序列、所述异常特征序列和所述候选文本序列,确定幻觉检测结果。

9、根据本申请实施例的多模态幻觉检测方法,至少具有如下有益效果:

10、本申请通过同步获取任务类型以及音频、文本、图像三类模态数据集并分别提取对应特征序列,利用余弦相似度量化多模态特征间差异以定位异常特征序列,并结合任务类型适配融合规则生成融合特征序列,将融合特征序列输入多模态大模型得到候选文本序列,再联合三类原始特征、异常特征序列与候选文本综合判定幻觉检测结果,从而可依据任务场景差异化融合多模态信息,通过模态间相似度比对快速捕捉语义冲突,有效识别模态不匹配造成的文本幻觉,大幅提升多模态大模型幻觉检测的全面性与检测准确度。

11、本申请的第二方面,提供一种多模态幻觉检测系统,多模态幻觉检测系统包括:

12、数据获取模块,用于获取待检测任务的任务类型、待检测音频模态数据集、待检测文本模态数据集和待检测图像模态数据集;

13、特征序列提取模块,用于提取所述待检测音频模态数据集的音频特征序列;提取所述待检测文本模态数据集的文本特征序列;提取所述待检测图像模态数据集的图像特征序列;

14、异常特征序列确定模块,用于基于所述音频特征序列、所述文本特征序列和所述图像特征序列,通过余弦相似度方法确定异常特征序列;

15、特征序列融合模块,用于基于所述任务类型、所述音频特征序列、所述文本特征序列和所述图像特征序列,确定融合特征序列;

16、候选文本序列输出模块,用于将所述融合特征序列输入训练好的多模态大模型,以得到所述训练好的多模态大模型输出的候选文本序列;

17、幻觉检测结果确定模块,用于基于所述音频特征序列、所述文本特征序列、所述图像特征序列、所述异常特征序列和所述候选文本序列,确定幻觉检测结果。

18、本系统通过同步获取任务类型以及音频、文本、图像三类模态数据集并分别提取对应特征序列,利用余弦相似度量化多模态特征间差异以定位异常特征序列,并结合任务类型适配融合规则生成融合特征序列,将融合特征序列输入多模态大模型得到候选文本序列,再联合三类原始特征、异常特征序列与候选文本综合判定幻觉检测结果,从而可依据任务场景差异化融合多模态信息,通过模态间相似度比对快速捕捉语义冲突,有效识别模态不匹配造成的文本幻觉,大幅提升多模态大模型幻觉检测的全面性与检测准确度。

19、本申请的第三方面,提供了一种电子设备,包括至少一个控制器和用于与所述控制器通信连接的存储器;所述存储器存储有能够被所述至少一个控制器执行的指令,所述指令被至少一个所述控制器执行,以使至少一个所述控制器执行如本申请第一方面所述的一种多模态幻觉检测方法。

20、本申请的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如本申请第一方面所述的一种多模态幻觉检测方法。

21、需要注意的是,本申请的第三方面至第四方面与现有技术之间的有益效果与上述的一种多模态幻觉检测方法与现有技术之间的有益效果相同,此处不再细述。

22、本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。

1.一种多模态幻觉检测方法,其特征在于,所述多模态幻觉检测方法包括:

2.根据权利要求1所述的一种多模态幻觉检测方法,其特征在于,所述基于所述音频特征序列、所述文本特征序列和所述图像特征序列,通过余弦相似度方法确定异常特征序列,包括:

3.根据权利要求2所述的一种多模态幻觉检测方法,其特征在于,所述基于所述第一语义对齐分数、所述第二语义对齐分数、所述第三语义对齐分数、所述音频特征序列、所述文本特征序列和所述图像特征序列,通过所述余弦相似度方法确定异常特征序列,包括:

4.根据权利要求3所述的一种多模态幻觉检测方法,其特征在于,所述基于所述音频特征序列、所述文本特征序列、所述图像特征序列、所述异常特征序列和所述候选文本序列,确定幻觉检测结果,包括:

5.根据权利要求1所述的一种多模态幻觉检测方法,其特征在于,所述基于所述任务类型、所述音频特征序列、所述文本特征序列和所述图像特征序列,确定融合特征序列,包括:

6.根据权利要求1所述的一种多模态幻觉检测方法,其特征在于,所述提取所述待检测音频模态数据集的音频特征序列;提取所述待检测文本模态数据集的文本特征序列;提取所述待检测图像模态数据集的图像特征序列,包括:

7.根据权利要求1所述的一种多模态幻觉检测方法,其特征在于,获取待检测任务的待检测音频模态数据集、待检测文本模态数据集和待检测图像模态数据集,包括:

8.一种多模态幻觉检测系统,其特征在于,所述多模态幻觉检测系统包括:

9.一种电子设备,其特征在于,包括至少一个控制器和用于与所述控制器通信连接的存储器;所述存储器存储有能够被所述至少一个控制器执行的指令,所述指令被至少一个所述控制器执行,以使至少一个所述控制器执行如权利要求1至7中任意一项所述的一种多模态幻觉检测方法。

10.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1至7任意一项所述的一种多模态幻觉检测方法。