一种数据处理的方法、装置及计算机程序产品与流程

摘要: 本技术涉及数据处理,特别涉及一种数据处理的方法、装置及计算机程序产品。背景技术:1、自然语言转结构化查询语言(text-to-structuredqueryla...
一种数据处理的方法、装置及计算机程序产品与流程

本技术涉及数据处理,特别涉及一种数据处理的方法、装置及计算机程序产品。

背景技术:

1、自然语言转结构化查询语言(text-to-structured query language,text-to-sql)技术用于将用户的自然语言问题自动转换为可执行的sql语句,以此实现关系型数据库的自然语言交互。这种技术目前广泛应用于智能问答、数据库检索与数据服务系统。

2、现有技术中,text-to-sql方案多依托大语言模型,并采用检索增强生成(retrieval-augmented generation,rag)技术,将库表元数据向量化后与用户问题计算相似度以召回相关数据。但rag仅能实现字面或浅层语义匹配,无法保留表间的复杂关系,在真实业务场景准确率较低。

技术实现思路

1、基于上述问题,本技术提供了一种数据处理的方法、装置及计算机程序产品,以提高text-to-sql方案的准确性。

2、本技术公开了一种数据处理的方法,所述方法包括:

3、基于目标数据库的元数据和业务规则,构建包含表间关系的数据库知识图谱dkg;

4、在所述dkg中对来自用户的自然语言问题进行查找,得到最优连通图;

5、将所述最优连通图和所述自然语言问题结合,得到提示词;

6、通过所述提示词获取结构化查询语句sql。

7、可选的,所述基于目标数据库的元数据和业务规则,构建包含表间关系的数据库知识图谱dkg,包括:

8、连接所述目标数据库,抽取所述目标数据库中每个表对应的所述元数据和所述业务规则;

9、基于所述元数据和所述业务规则,在图数据库中构建每个表对应的实体节点,以及各所述实体节点间的有向边,得到所述dkg;所述有向边基于所述目标数据库中显式声明的物理外键关联和/或根据业务配置形成的软关联建立。

10、可选的,所述在所述dkg中对来自用户的自然语言问题进行查找,得到最优连通图,包括:

11、基于所述自然语言问题在所述dkg中定位锚点实体节点集合;

12、以所述锚点实体节点集合中的每个锚点实体节点为起点获取连通路径,形成候选连通图;

13、在各所述候选连通图中确定出所述最优连通图。

14、可选的,所述在各所述候选连通图中确定出所述最优连通图,包括:

15、基于所述候选连通图中各所述连通路径的跳数和边权,以及所述候选连通图与所述自然语言问题的相似程度,获取各所述候选连通图的综合得分;

16、确定所述综合得分满足预设要求的候选连通图为所述最优连通图;所述预设要求为大于预设得分或排名在预设名次前。

17、可选的,所述基于所述自然语言问题在所述dkg中定位锚点实体节点集合,包括:

18、将所述自然语言问题中的专有名词与所述dkg中的实体节点进行匹配,得到匹配节点集合;

19、提取所述自然语言问题中的文本向量,并将所述文本向量与所述dkg中所述实体节点的描述向量进行相似度计算,得到语义节点集合;

20、结合所述匹配节点集合和所述语义节点集合,得到所述锚点实体节点集合。

21、可选的,所述将所述最优连通图和所述自然语言问题结合,得到提示词,包括:

22、将所述最优连通图转换为文本数据;所述文本数据包含业务概念映射关系和字段取值约束的至少一种,以及所述最优连通图的结构信息和连通路径;

23、将所述文本数据与所述自然语言问题组合,得到所述提示词。

24、可选的,所述通过所述提示词获取结构化查询语句sql,包括:

25、将所述提示词输入预训练模型,获取所述预训练模型输出的所述sql;所述预训练模型在训练过程中的奖励函数包括执行结果一致性奖励、语法规范性奖励、幻觉实体惩罚、连通路径合理性奖励、执行效率性奖励和输出格式规范性奖励。

26、可选的,在通过所述提示词获取结构化查询语句sql后,所述方法还包括:

27、对多个所述sql进行执行测试,去除报错的sql,并获取未报错sql返回的结果集;

28、根据各所述结果集出现的次数确定各所述结果集的置信度;

29、根据所述置信度和各所述未报错sql的执行代价,在各所述未报错sql中确定目标sql;

30、将所述目标sql作为所述自然语言问题的回复。

31、基于上述一种数据处理的方法,本技术还公开了一种数据处理的装置,包括:构建单元、查找单元、结合单元和获取单元;

32、所述构建单元,用于基于目标数据库的元数据和业务规则,构建包含表间关系的数据库知识图谱dkg;

33、所述查找单元,用于在所述dkg中对来自用户的自然语言问题进行查找,得到最优连通图;

34、所述结合单元,用于将所述最优连通图和所述自然语言问题结合,得到提示词;

35、所述获取单元,用于通过所述提示词获取结构化查询语句sql。

36、可选的,所述构建单元,包括:

37、抽取子单元,用于连接所述目标数据库,抽取所述目标数据库中每个表对应的所述元数据和所述业务规则;

38、建立子单元,用于基于所述元数据和所述业务规则,在图数据库中构建每个表对应的实体节点,以及各所述实体节点间的有向边,得到所述dkg;所述有向边基于所述目标数据库中显式声明的物理外键关联和/或根据业务配置形成的软关联建立。

39、可选的,所述查找单元,包括:

40、定位子单元,用于基于所述自然语言问题在所述dkg中定位锚点实体节点集合;

41、形成子单元,用于以所述锚点实体节点集合中的每个锚点实体节点为起点获取连通路径,形成候选连通图;

42、确定子单元,用于在各所述候选连通图中确定出所述最优连通图。

43、可选的,所述确定子单元,包括:

44、综合得分获取子单元,用于基于所述候选连通图中各所述连通路径的跳数和边权,以及所述候选连通图与所述自然语言问题的相似程度,获取各所述候选连通图的综合得分;

45、最优确定子单元,用于确定所述综合得分满足预设要求的候选连通图为所述最优连通图;所述预设要求为大于预设得分或排名在预设名次前。

46、可选的,所述定位子单元,包括:

47、匹配子单元,用于将所述自然语言问题中的专有名词与所述dkg中的实体节点进行匹配,得到匹配节点集合;

48、计算子单元,用于提取所述自然语言问题中的文本向量,并将所述文本向量与所述dkg中所述实体节点的描述向量进行相似度计算,得到语义节点集合;

49、结合子单元,用于结合所述匹配节点集合和所述语义节点集合,得到所述锚点实体节点集合。

50、可选的,所述结合单元,包括:

51、转换子单元,用于将所述最优连通图转换为文本数据;所述文本数据包含业务概念映射关系和字段取值约束的至少一种,以及所述最优连通图的结构信息和连通路径;

52、组合子单元,用于将所述文本数据与所述自然语言问题组合,得到所述提示词。

53、可选的,所述获取单元,包括:

54、输出子单元,用于将所述提示词输入预训练模型,获取所述预训练模型输出的所述sql;所述预训练模型在训练过程中的奖励函数包括执行结果一致性奖励、语法规范性奖励、幻觉实体惩罚、连通路径合理性奖励、执行效率性奖励和输出格式规范性奖励。

55、可选的,所述装置还包括:

56、测试单元,用于对多个所述sql进行执行测试,去除报错的sql,并获取未报错sql返回的结果集;

57、置信度获取单元,用于根据各所述结果集出现的次数确定各所述结果集的置信度;

58、sql确定单元,用于根据所述置信度和各所述未报错sql的执行代价,在各所述未报错sql中确定目标sql;

59、回复单元,用于将所述目标sql作为所述自然语言问题的回复。

60、基于上述一种数据处理的方法,本技术还公开了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器运行时,用于实现上述的方法。

61、基于上述一种数据处理的方法,本技术还公开了一种存储介质,用于存储计算机程序指令,所述计算机程序指令被中央处理器执行时,可以实现上述方法的步骤。

62、本技术公开了一种数据处理的方法、装置及计算机程序产品。基于目标数据库的元数据和业务规则,构建包含表间关系的数据库知识图谱dkg。以图结构完整保留表间、字段间的关联关系和业务规则信息,为后续检索提供可推理、可计算的数据基础,避免模型捏造不存在的连通路径。在dkg中对来自用户的自然语言问题进行查找,得到最优连通图。再结合最优连通图和自然语言问题得到提示词,并通过提示词获取结构化查询语句sql。不采用预生成的静态表间连通路径组成固化、准确度低的连通图,而是将由dkg计算得到的最优连通图显式注入提示词,为模型提供了准确的查找思路,缩减上下文长度与计算开销的同时,提升了sql生成的准确性与可执行性。