基于混合检索与示例降级的领域文本转换方法和装置与流程

摘要: 本公开的实施例涉及自然语言处理与检索增强生成,具体涉及基于混合检索与示例降级的领域文本转换方法和装置。背景技术:1、在数字营销平台、广告投放系统、电商运营分析系...
基于混合检索与示例降级的领域文本转换方法和装置与流程

本公开的实施例涉及自然语言处理与检索增强生成,具体涉及基于混合检索与示例降级的领域文本转换方法和装置。

背景技术:

1、在数字营销平台、广告投放系统、电商运营分析系统、客户关系管理等场景,通过自然语言直接查询业务数据尤为重要。基于混合检索与示例降级的领域文本转换是对领域文本进行转换的一种技术。目前,对领域文本进行转换通常采用的方式为:将数据库表注释、列描述等元数据转化为向量嵌入并存入向量数据库(如milvus),查询时通过向量相似度检索召回相关表和列信息,作为上下文注入大语言模型(large language model,llm)提示词。

2、然而,当采用上述方式时,经常会存在如下技术问题:

3、通常仅依赖单一检索方式,难以同时兼顾语义相似性和精确术语匹配。当用户提及的产品名、客户名等实体在数据库中存在多个模糊匹配候选时,缺少系统化的交互式澄清机制,容易导致sql(text-to-sql)中的实体匹配错误,进而查询到错误数据。通常将数据库表结构(schema)作为静态上下文一次性提供给llm,缺少动态的领域业务规则注入(如,术语映射、时间语义约定等),导致llm在面对领域特有查询模式时生成不准确。

技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了基于混合检索与示例降级的领域文本转换方法和装置,来解决以上背景技术部分提到的技术问题。

3、第一方面,本公开的一些实施例提供了一种基于混合检索与示例降级的领域文本转换方法,该方法包括:构建面向特定业务领域的多源知识库文档集,其中,上述多源知识库文档集包括:数据库表结构描述文档、领域业务规则文档和问答示例文档;根据上述多源知识库文档集,构建向量语义检索引擎和关键词检索引擎;根据上述问答示例文档和用户输入的自然语言查询文本,确定归一化查询文本和最高相似度得分;将上述最高相似度得分与预设精确匹配值和预设相似阈值进行比较,以及确定上述用户所查询的降级匹配处理路径;根据上述关键词检索引擎,以上述归一化查询文本为查询语句,对上述领域业务规则文档进行检索,以生成业务规则检索结果;根据上述业务规则检索结果和上述数据库表结构描述文档,确定完整实体信息;根据上述自然语言查询文本和上述完整实体信息,对上述向量语义检索引擎和上述关键词检索引擎进行并行检索,以生成最终检索文档列表;根据上述降级匹配处理路径和上述最终检索文档列表,生成错误修正信息,以及根据上述错误修正信息,触发错误反馈自修复。

4、第二方面,本公开的一些实施例提供了一种基于混合检索与示例降级的领域文本转换装置,装置包括:第一构建单元,被配置成构建面向特定业务领域的多源知识库文档集,其中,上述多源知识库文档集包括:数据库表结构描述文档、领域业务规则文档和问答示例文档;第二构建单元,被配置成根据上述多源知识库文档集,构建向量语义检索引擎和关键词检索引擎;第一确定单元,被配置成根据上述问答示例文档和用户输入的自然语言查询文本,确定归一化查询文本和最高相似度得分;比较单元,被配置成将上述最高相似度得分与预设精确匹配值和预设相似阈值进行比较,以及确定上述用户所查询的降级匹配处理路径;检索单元,被配置成根据上述关键词检索引擎,以上述归一化查询文本为查询语句,对上述领域业务规则文档进行检索,以生成业务规则检索结果;第二确定单元,被配置成根据上述业务规则检索结果和上述数据库表结构描述文档,确定完整实体信息;并行检索单元,被配置成根据上述自然语言查询文本和上述完整实体信息,对上述向量语义检索引擎和上述关键词检索引擎进行并行检索,以生成最终检索文档列表;生成单元,被配置成根据上述降级匹配处理路径和上述最终检索文档列表,生成错误修正信息,以及根据上述错误修正信息,触发错误反馈自修复。

5、第三方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。

6、本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的基于混合检索与示例降级的领域文本转换方法,提高了领域文本转换的准确率,降低了数据安全的风险。基于此,本公开的一些实施例,通过向量语义检索与关键词检索的加权混合检索,相比单一检索方式能更全面地获取sql生成所需的上下文信息,使llm在生成sql时拥有更准确的表结构、业务规则和示例参考,尤其在包含精确术语、字段编码等场景下提升明显。三级示例降级策略使得约30%的高频重复查询可直接精确命中并复用sql,完全跳过llm推理流程。然后,通过将llm提取的实体与数据库实际数据进行交叉验证,并在存在歧义时自动生成澄清队列让用户确认,有效解决了因产品名、客户名模糊匹配导致的sql错误问题。无需微调模型,通过配置即可适应不同业务领域。之后,白名单安全校验确保仅执行只读查询,隔离执行避免数据库连接泄露,错误反馈自修复机制使得首次sql执行失败后约70%的查询能在一次重试后成功执行,形成完整的安全与可靠性闭环。

1.一种基于混合检索与示例降级的领域文本转换方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述构建面向特定业务领域的多源知识库文档集,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述多源知识库文档集,构建向量语义检索引擎和关键词检索引擎,包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述问答示例文档和用户输入的自然语言查询文本,确定归一化查询文本和最高相似度得分,包括:

5.根据权利要求1所述的方法,其特征在于,所述将所述最高相似度得分与预设精确匹配值和预设相似阈值进行比较,以及确定所述用户所查询的降级匹配处理路径,包括:

6.根据权利要求1所述的方法,其特征在于,所述根据所述业务规则检索结果和所述数据库表结构描述文档,确定完整实体信息,包括:

7.根据权利要求1所述的方法,其特征在于,所述根据所述自然语言查询文本和所述完整实体信息,对所述向量语义检索引擎和所述关键词检索引擎进行并行检索,以生成最终检索文档列表,包括:

8.根据权利要求1所述的方法,其特征在于,所述根据所述降级匹配处理路径和所述最终检索文档列表,生成错误修正信息,以及根据所述错误修正信息,触发错误反馈自修复,包括:

9.一种基于混合检索与示例降级的领域文本转换装置,其特征在于,包括:

10.一种电子设备,其特征在于,包括: