基于n-gram子串覆盖率后校验与多通道检索预过滤的大语言模型指标幻觉抑制方法与流程
本技术涉及人工智能与数据库,特别是涉及一种基于n-gram子串覆盖率后校验与多通道检索预过滤的大语言模型指标幻觉抑制方法。
背景技术:
1、目前,基于大语言模型的自然语言转sql技术已广泛应用于商业智能场景。为缓解大语言模型直接生成sql的幻觉问题,业界发展出两阶段语义层编译架构,通过引入指标语义层作为中间层,先由大语言模型将自然语言转换为受限于业务语义的指标查询语言,再由确定性编译器将其编译为sql。
2、然而,现有两阶段语义层编译架构仍未从根本上解决幻觉问题:即便向大语言模型提供候选指标目录作为硬约束,大语言模型仍可能输出与用户意图不符的指标id,产生指标幻觉;大规模指标注册表易导致大语言模型上下文窗口溢出,对中小模型影响尤为严重;校验失败后缺乏有效的智能降级机制,无法利用拒绝信息引导降级路径;派生/复合指标的语义匹配存在盲区,易产生高误拒率。
技术实现思路
1、本技术的目的在于提供一种基于n-gram子串覆盖率后校验与多通道检索预过滤的大语言模型指标幻觉抑制方法,具有显著降低指标幻觉发生率,提高查询结果准确性,增强系统在复杂场景下的适应性和可靠性。
2、第一方面,本技术提出了一种基于n-gram子串覆盖率后校验与多通道检索预过滤的大语言模型指标幻觉抑制方法,所述方法包括:
3、对获取到的用户自然语言查询进行意图分类与路由判定,响应于意图为指标查询且系统已绑定指标注册表,进入指标查询语言快路径;
4、对全量指标注册表执行三通道融合检索预过滤,通过向量语义检索通道、关键词加权检索通道以及分类精确匹配通道并行召回候选指标,经因果信息瓶颈重排后得到top-k候选指标集合,其中k≤20;
5、将所述top-k候选指标集合构建为包含指标标识、名称、别名、口径说明、血缘信息以及类型标注的候选指标目录文本,注入大语言模型提示词,通过结构化输出模式约束获取大语言模型抽取的结构化指标查询对象;
6、对所述结构化指标查询对象中的每条指标依次执行id存在性校验、派生复合指标差异化判定、n-gram子串覆盖率后校验以及维度存在性校验,形成多级后校验链;
7、响应于存在通过全部校验的指标,将通过校验的结构化指标查询对象输入确定性编译器生成sql语句并执行,同时记录全链路审计信息;
8、响应于全部指标被拒绝或大语言模型抽取失败,执行智能降级路由,将被拒绝指标列表及拒绝原因注入降级代理,结合注册表模糊搜索结果构造指标上下文,引导通用文本转结构化查询代理优先关注注册表中的近义指标。
9、可选地,所述对全量指标注册表执行三通道融合检索预过滤,通过向量语义检索通道、关键词加权检索通道以及分类精确匹配通道并行召回候选指标,经因果信息瓶颈重排后得到top-k候选指标集合,包括:
10、通过向量语义检索通道对用户问题进行嵌入向量化,在指标名称、别名以及描述的联合向量索引中执行余弦相似度搜索,返回第一候选集合;
11、通过关键词加权检索通道从用户问题中提取关键词,在指标注册表的各字段中执行加权匹配,按照预设字段权重计算加权匹配得分,返回第二候选集合;
12、通过分类精确匹配通道响应于用户问题中包含明确分类名称,精确匹配分类字段,返回第三候选集合;
13、按指标标识聚合三通道结果,执行加权融合计算,融合得分公式为,其中为向量检索得分、为关键词检索得分、为分类匹配得分;
14、通过因果信息瓶颈机制对融合结果执行去偏重重排,消除语义虚假关联;
15、对派生指标和复合指标施加保活加分,按最终得分降序取top-k候选指标。
16、可选地,所述通过关键词加权检索通道从用户问题中提取关键词,在指标注册表的各字段中执行加权匹配,按照预设字段权重计算加权匹配得分,包括:
17、从用户问题中优先提取双引号短语,其次通过2-4字中文n-gram滑动窗口提取子串,再提取2个以上字母的英文词,形成关键词集合;
18、在指标注册表的名称、别名、分类以及描述字段中分别执行关键词匹配,按照字段权重计算加权匹配总分,加权公式为
19、对加权匹配总分执行归一化处理,归一化公式为,其中为加权匹配总分、为关键词数量,将得分映射至[0,1]区间;
20、响应于加权匹配总分大于等于预设门槛值,将对应指标纳入第二候选集合。
21、可选地,所述n-gram子串覆盖率后校验,包括:
22、对指标名称和所有别名分别执行停用词字符级过滤,移除预设停用词集合中的字符以及空白字符;
23、对过滤后的文本生成2-gram和3-gram子串并集,形成指标侧n-gram集合;
24、对用户原始问题执行相同的停用词字符级过滤和n-gram生成,形成问题侧n-gram集合;
25、计算指标侧n-gram集合与问题侧n-gram集合的交集大小,除以指标侧n-gram集合大小,得到方向性覆盖率数值;
26、依次校验指标名称和所有别名的覆盖率,取最高覆盖率值与预设阈值进行比较,响应于最高覆盖率大于等于预设阈值,判定指标通过语义校验。
27、可选地,所述预设停用词集合至少包括:的、了、是、在、和、与、及、或、等、各、每、按、查询、统计、数据、多少、什么、哪些、怎么、如何、请、帮、我、一下、年、月、日、号、时、分;
28、所述方向性覆盖率为指标侧n-gram在问题中的覆盖率,计算公式为,其中为指标m的名称和别名集合,为字符串s相对于问题q的n-gram覆盖率,,为n-gram集合生成函数。
29、可选地,所述派生复合指标差异化判定,包括:
30、通过id存在性校验后,读取指标的类型标注,响应于指标配置为派生类型或复合类型,跳过n-gram子串覆盖率后校验,直接进入后续校验环节;
31、所述派生类型指标至少包括同比、环比、最大值、最小值、排名;
32、所述复合类型指标至少包括比率、差值;
33、响应于指标为普通类型,执行n-gram子串覆盖率后校验。
34、可选地,所述对所述结构化指标查询对象中的每条指标依次执行id存在性校验、派生复合指标差异化判定、n-gram子串覆盖率后校验以及维度存在性校验,形成多级后校验链,包括:
35、通过精确查找函数执行id存在性校验,未命中时通过别名查找函数执行别名查找,两者均未命中则丢弃对应指标;
36、通过id存在性校验后,执行派生复合指标差异化判定;
37、对未被差异化放行的普通指标,执行n-gram子串覆盖率后校验,响应于覆盖率低于预设阈值,拒绝对应指标并记录拒绝原因;
38、对通过语义校验的指标,执行维度存在性校验,对每个维度名执行维度查找,响应于显示名与字段名不一致则自动修正为实际字段名;
39、执行过滤字段存在性校验,对每个过滤字段执行维度查找修正,响应于不为已知维度则保留原值。
40、可选地,所述执行智能降级路由,将被拒绝指标列表及拒绝原因注入降级代理,结合注册表模糊搜索结果构造指标上下文,引导通用文本转结构化查询代理优先关注注册表中的近义指标,包括:
41、通过注册表模糊搜索函数对用户问题执行轻量级关键词模糊搜索,获取匹配指标集合;
42、将匹配指标集合构造为指标上下文文本,至少包含指标名称、来源表、聚合方式、口径说明以及别名,注入降级代理的大语言模型提示词;
43、从匹配指标集合中提取相关数据表定义列表,强制注入降级代理的模式上下文;
44、将多级后校验链中被拒绝的指标标识及拒绝原因作为提示注入降级代理,引导降级代理优先关注注册表中的近义指标。
45、第二方面,本技术还提出了一种电子设备,包括存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现一种基于n-gram子串覆盖率后校验与多通道检索预过滤的大语言模型指标幻觉抑制方法。
46、第三方面,本技术还提出了一种计算机可读存储介质,其上存储有程序指令,所述程序指令被处理器执行时实现一种基于n-gram子串覆盖率后校验与多通道检索预过滤的大语言模型指标幻觉抑制方法。
47、相对于现有技术,本技术提供的一种基于n-gram子串覆盖率后校验与多通道检索预过滤的大语言模型指标幻觉抑制方法,方法包括对用户查询进行意图分类与路由判定、执行三通道融合检索预过滤、构建候选指标目录文本、形成多级后校验链以及执行智能降级路由,通过多通道预过滤缩小候选集范围并消除语义虚假关联,结合n-gram子串覆盖率后校验确保指标语义匹配精度,同时引入差异化判定优化派生指标处理并设计智能降级路由维持查询连续性,有效抑制指标幻觉并提升系统鲁棒性,具有显著降低指标幻觉发生率,提高查询结果准确性,增强系统在复杂场景下的适应性和可靠性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com