一种多源证据约束的大模型幻觉检测抑制方法及系统与流程

摘要: 本发明涉及大模型输出可信性检测,更具体地说,本发明涉及一种多源证据约束的大模型幻觉检测抑制方法及系统。背景技术:1、随着大模型在设备运维、知识问答、辅助决策等场...
一种多源证据约束的大模型幻觉检测抑制方法及系统与流程

本发明涉及大模型输出可信性检测,更具体地说,本发明涉及一种多源证据约束的大模型幻觉检测抑制方法及系统。

背景技术:

1、随着大模型在设备运维、知识问答、辅助决策等场景中的应用,大模型生成内容通常需要结合文本、图像、音频、运行记录等多源数据进行事实核验。现有大模型幻觉抑制技术主要通过多模态事实构建、知识库检索、证据一致性校验、知识可信度评价以及生成过程约束等方式,提高生成内容与外部知识之间的一致性。

2、授权公告号为cn121686147b的专利公开了多模态大模型幻觉抑制对比描述数据生成方法及装置,通过图像与文本信息形成检测查询集合,利用开放词汇目标检测模型构建可验证的视觉事实集合,并基于视觉事实集合生成对比性描述数据,对对比性描述数据进行多源证据一致性校验、质量筛选及难例筛选。所述方案用于形成多模态大模型幻觉抑制训练数据集,以支持模型幻觉抑制能力。公开号为cn121365699a的专利申请公开了基于动态知识库与多模态一致性约束的大模型幻觉抑制方法、系统及设备,通过构建多源异构数据知识库,为知识计算融合数据源权威性、知识时效性和多模态一致性的动态可信度权重,并在模型解码阶段根据生成内容与检索知识的特征空间相似度调整生成概率。所述方案利用动态可信度知识检索及生成约束提高生成内容的准确性和可靠性。

3、然而,在多源资料共同用于生成操作结论的场景中,可能出现多个来源均支持同一处理动作,但不同来源分别对应不同对象版本、有效时段或工作状态,不存在能够同时满足全部来源条件的实际对象状态。多个来源仍被合并形成统一结论时,可能输出不适用于当前对象状态的参数设置、操作顺序或控制动作,进而造成设备处置错误并影响后续运行。

技术实现思路

1、多源输入数据经过统一语义表达后,多个来源可能分别与同一输出内容建立事实支撑关系,语义支持方向因而表现为一致。但是,事实内容的成立还受到对象身份、对象版本、有效时段、工作状态、适用范围及前置事件六类条件限制。若只依据语义支持关系聚合来源,不进一步判断多个来源的条件描述数据能否对应同一可满足状态,分别成立于不同版本、时段或状态下的真实事实便可能被组合为统一支撑,使不存在共同成立条件的证据组合进入输出过程,形成与实际适用条件不一致的生成结果。

2、为了克服现有技术中上述的多源证据语义支持一致但成立条件无法共同满足时仍被合并用于生成输出的缺陷,本发明提供一种多源证据约束的大模型幻觉检测抑制方法及系统,通过构建第一语义对象、第二语义对象及事实支撑关系数据,提取条件描述数据形成第一条件数据,并对第一条件数据进行共同成立判断,得到有效条件集合、缺口数据和异常关系数据,再基于三态判定结果生成检索约束数据并重新获取多源输入数据进行核验。由此使语义支持方向一致但成立条件无法共同满足的多源证据在生成第二输出数据前得到区分,降低不同对象版本、有效时段或工作状态下的事实被合并为统一支撑的概率,提高输出内容与证据成立条件的一致性。

3、为实现上述目的,本发明提供如下技术方案:

4、一种多源证据约束的大模型幻觉检测抑制方法,包括:

5、获取目标请求数据对应的第一输出数据及与第一输出数据关联的多源输入数据,构建第一语义对象、第二语义对象,以及第一语义对象与第二语义对象之间的事实支撑关系数据;基于事实支撑关系数据提取条件描述数据并形成第一条件数据,对第一条件数据进行共同成立判断,得到有效条件集合、缺口数据和异常关系数据;

6、利用有效条件集合、缺口数据和异常关系数据执行三态判定,确定第一语义对象的对应状态并生成检索约束数据;获取多模态混合索引,按照检索约束数据从多模态混合索引中重新获取多源输入数据并重新构建有效条件集合、缺口数据和异常关系数据,进而生成第二输出数据并更新多模态混合索引。

7、一种多源证据约束的大模型幻觉检测抑制系统,用于实现上述的一种多源证据约束的大模型幻觉检测抑制方法,所述系统包括:

8、共同成立关系构建模块,用于获取目标请求数据对应的第一输出数据及与第一输出数据关联的多源输入数据,构建第一语义对象、第二语义对象,以及第一语义对象与第二语义对象之间的事实支撑关系数据;基于事实支撑关系数据提取条件描述数据并形成第一条件数据,对第一条件数据进行共同成立判断,得到有效条件集合、缺口数据和异常关系数据;

9、条件约束反馈模块,用于利用有效条件集合、缺口数据和异常关系数据执行三态判定,确定第一语义对象的对应状态并生成检索约束数据;获取多模态混合索引,按照检索约束数据从多模态混合索引中重新获取多源输入数据并重新构建有效条件集合、缺口数据和异常关系数据,进而生成第二输出数据并更新多模态混合索引。

10、相比于现有技术,本发明的有益效果为:

11、本发明通过构建第一语义对象、第二语义对象以及第一语义对象与第二语义对象之间的事实支撑关系数据,在确定多源输入数据对第一输出数据形成事实支撑的基础上,进一步提取条件描述数据并形成第一条件数据,使事实支撑关系与对应成立条件共同进入核验过程;通过对第一条件数据进行共同成立判断,形成有效条件集合、缺口数据和异常关系数据,使能够共同成立的条件、尚未获得充分条件支撑的情形以及存在异常条件关系的情形得到区分,避免仅依据事实支撑方向一致即将不同成立条件下的多源输入数据作为能够共同支撑第一语义对象的依据;进一步利用有效条件集合、缺口数据和异常关系数据执行三态判定并生成检索约束数据,使重新获取多源输入数据的过程受到前述共同成立判断结果的约束,并对重新获取的多源输入数据再次构建有效条件集合、缺口数据和异常关系数据,进而生成第二输出数据并更新多模态混合索引,由此形成从事实支撑、条件共同成立判断、状态判定、约束检索到重新核验及输出更新的闭环处理,使语义支持方向一致但成立条件无法共同满足的多源证据能够在输出生成前被区分处理,提高大模型输出与多源证据成立条件之间的一致性及输出结果的可靠性。

1.一种多源证据约束的大模型幻觉检测抑制方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种多源证据约束的大模型幻觉检测抑制方法,其特征在于,所述构建第一语义对象、第二语义对象,以及第一语义对象与第二语义对象之间的事实支撑关系数据,包括:

3.根据权利要求1所述的一种多源证据约束的大模型幻觉检测抑制方法,其特征在于,所述提取条件描述数据,包括:

4.根据权利要求3所述的一种多源证据约束的大模型幻觉检测抑制方法,其特征在于,所述第一条件数据的形成方法包括:

5.根据权利要求4所述的一种多源证据约束的大模型幻觉检测抑制方法,其特征在于,所述共同成立判断,包括:

6.根据权利要求1所述的一种多源证据约束的大模型幻觉检测抑制方法,其特征在于,所述执行三态判定,确定第一语义对象的对应状态,包括:

7.根据权利要求1所述的一种多源证据约束的大模型幻觉检测抑制方法,其特征在于,所述重新获取多源输入数据并重新构建有效条件集合、缺口数据和异常关系数据,包括:

8.根据权利要求6所述的一种多源证据约束的大模型幻觉检测抑制方法,其特征在于,所述生成第二输出数据并更新多模态混合索引,包括:

9.根据权利要求2所述的一种多源证据约束的大模型幻觉检测抑制方法,其特征在于,所述事实性语义拆分包括:

10.根据权利要求2所述的一种多源证据约束的大模型幻觉检测抑制方法,其特征在于,所述事实支撑匹配按照对象对应、谓词对应、客体对应与极性对应四项逻辑条件执行,四项逻辑条件均成立时,确定第二语义对象对第一语义对象形成事实支撑。

11.根据权利要求6所述的一种多源证据约束的大模型幻觉检测抑制方法,其特征在于,检索约束数据的生成方法包括:对于第二状态,检索约束数据包含第一语义对象的主体、动作或者状态与客体,目标请求数据指向的对象,已经形成的有效条件集合,以及缺口数据对应的条件类型,并要求检索结果在对应条件类型上具有明确取值;对于第三状态,按照异常关系数据中的互斥条件描述数据分别形成检索分支,每个检索分支携带一个或者多个相互兼容的条件取值,不允许一个检索分支同时携带互斥取值。

12.根据权利要求3所述的一种多源证据约束的大模型幻觉检测抑制方法,其特征在于,所述多模态混合索引是指对文本、图像、音频与运行记录同时建立语义检索入口、对象关联入口与条件字段入口的索引。

13.一种多源证据约束的大模型幻觉检测抑制系统,用于实现权利要求1-12中任一项所述的一种多源证据约束的大模型幻觉检测抑制方法,其特征在于,所述系统包括: