多数据源查询方法及系统与流程

摘要: 本技术涉及数据处理,特别涉及一种多数据源查询方法及系统。背景技术:1、在金融业务运营中,客户、合同、额度、风控等数据分散存储于多个独立业务系统。传统多数据源查询...
多数据源查询方法及系统与流程

本技术涉及数据处理,特别涉及一种多数据源查询方法及系统。

背景技术:

1、在金融业务运营中,客户、合同、额度、风控等数据分散存储于多个独立业务系统。传统多数据源查询依赖人工逐系统检索或由开发人员编写跨库sql(结构化查询语言)实现,存在以下缺陷:查询入口分散,业务人员需清楚知道“去哪个系统查什么数据”;跨源结果无法自动按同一主体关联融合,冲突字段依赖人工裁决;查询结果以技术化表格呈现,业务可读性差;新增数据源需开发介入,扩展周期长。现有方案仅适用于单源数据库,统一接口网关依赖固定编排逻辑,均无法实现自然语言驱动的多源异构数据动态查询与自动融合。

技术实现思路

1、有鉴于此,本技术旨在提出一种多数据源查询方法,以实现多源数据自然语言统一查询,自动关联融合,降低人工依赖。

2、为达到上述目的,本技术的技术方案是这样实现的:

3、一种多数据源查询方法,包括:

4、将多个数据源的查询能力按照统一规范封装为标准化查询接口,并注册至接口目录;

5、接收用户的自然语言查询请求,基于提示词驱动预设大语言模型对所述自然语言查询请求进行解析,得到解析结果;

6、根据所述解析结果,从所述接口目录中确定待调用的标准化查询接口,生成包括所述待调用标准化查询接口及其调用顺序的执行计划;

7、利用所述执行计划调用各标准化查询接口,获取多源返回结果;

8、按照预设关联标识对所述多源返回结果进行跨源数据整合,将整合后的结果进行结构化组织,并反馈至用户。

9、进一步的,所述接收用户的自然语言查询请求,基于提示词驱动大语言模型对所述自然语言查询请求进行解析,包括:

10、获取所述接口目录中各标准化查询接口的统一描述格式,将所述统一描述格式作为预设提示词的组成部分;

11、将所述自然语言查询请求和所述预设提示词输入至所述预设大语言模型;

12、驱动所述预设大语言模型将所述自然语言查询请求与所述预设提示词中各标准化查询接口的功能描述进行语义匹配,从所述接口目录中筛选出与所述自然语言查询请求相关的候选标准化查询接口,并从所述自然语言查询请求中提取关键字段信息;

13、在提取的关键字段信息不完整时,执行信息补全策略,所述信息补全策略包括简称映射、默认值补齐和别名归一化中的至少一种;

14、其中,所述解析结果至少包括数据主体、查询目的、关键字段信息和候选标准化查询接口列表。

15、进一步的,所述预设大语言模型在所述解析时以及所述执行计划调用各标准化查询接口时包括提示词优化,所述提示词优化包括:

16、记录所述解析过程中和/或利用所述执行计划调用各标准化查询接口的过程中产生的失败案例,所述失败案例包括查询失败、语义理解偏差和工具调用错误;

17、对所述失败案例进行规律分析,识别用户表述多样性与模型理解偏差的对应关系,得到分析结果;

18、根据所述分析结果调整所述预设提示词中的实体识别规则和歧义消解策略,并将优化后的预设提示词实时生效。

19、进一步的,所述根据所述解析结果从所述接口目录中确定待调用的标准化查询接口,生成包括所述待调用标准化查询接口及其调用顺序的执行计划,包括:

20、根据所述解析结果中的所述查询目的、所述数据主体和所述关键字段信息,从所述候选标准化查询接口列表中确定待调用的标准化查询接口;

21、根据各待调用标准化查询接口之间的依赖关系或关联程度,确定各标准化查询接口的调用顺序,生成所述执行计划;

22、其中,所述依赖关系为标准化查询接口之间存在的输入输出依赖,所述关联程度由所述预设大语言模型基于历史反馈数据训练得出的关联强弱确定。

23、进一步的,所述利用所述执行计划调用各标准化查询接口,获取多源返回结果,包括:

24、根据所述执行计划中的调用顺序,确定各标准化查询接口的调用方式,所述调用方式包括并行调用和/或串行调用;

25、对于所述执行计划中调用顺序相邻且无依赖关系的标准化查询接口,采用并行调用;

26、对于存在依赖关系的标准化查询接口,按照所述执行计划中的依赖链路顺序依次调用;

27、按照所述调用方式调用各标准化查询接口,接收各标准化查询接口返回的数据,得到所述多源返回结果。

28、进一步的,所述方法还包括在调用失败时执行降级处理;

29、所述降级处理包括:对于非关键数据源的调用失败,返回部分结果并提示用户该数据源当前不可用;对于关键数据源的调用失败,执行预设重试次数,重试仍失败后返回错误提示并记录失败原因。

30、进一步的,所述按照预设关联标识对所述多源返回结果进行跨源数据整合,将整合后的结果进行结构化组织,并反馈至用户,包括:

31、按照统一业务主键对所述多源返回结果进行关联整合,将分散于不同数据源的同一主体数据进行合并展示;

32、对同一数据主体在不同数据源中的同类数据进行聚合统计,并计算汇总值;

33、在整合后的结果中标注每条数据的来源标识;

34、对不同数据源中同一字段返回不一致的情形,按照预设优先级规则进行冲突裁决;

35、按照业务维度将整合后的结果组织为结构化数据,所述结构化数据中的字段与用户查询目的对应的业务字段相匹配,并将结构化组织后的结果反馈至用户。

36、进一步的,在将结构化组织后的结果反馈至用户之前,所述方法还包括:

37、根据用户权限对所述结构化组织后的结果进行字段级脱敏处理,所述字段级脱敏处理包括对身份证号保留前三位和后四位、手机号隐藏中间四位、银行卡号仅保留后四位、姓名保留姓氏其余脱敏中的至少一种。

38、进一步的,所述多个数据源包括客户数据源、业务申请数据源、合同数据源、授信额度数据源和风险控制数据源中的至少两个;

39、所述用户自然语言请求的类型包括信息查询、数量统计和/或原因分析。

40、所述预设关联标识包括客户身份标识、业务单据编号、资产标识或机构标识中的至少一种。

41、相对于相关技术,本技术具有以下优势:

42、(1)本技术所述的多数据源查询方法,通过将多个数据源查询能力标准化封装并注册至接口目录,结合大语言模型对自然语言请求进行解析并生成执行计划,再按预设关联标识对多源返回结果进行跨源整合并反馈,能够实现多源异构数据的自然语言统一查询和自动关联融合,降低人工依赖。

43、(2)通过将接口目录中各标准化查询接口的统一描述格式作为提示词组成部分输入大语言模型,驱动大语言模型进行语义匹配筛选候选接口并提取关键字段信息,在信息不完整时执行补全策略,能够实现对用户多样化、不完整表述的准确解析和信息补全,提高查询成功率。

44、(3)通过记录解析和调用过程中产生的失败案例并进行规律分析,据此调整提示词中的实体识别规则和歧义消解策略且实时生效,能够实现系统语义理解能力的持续自进化,无需修改底层代码或重新训练模型。

45、(4)通过根据解析结果中的查询目的、数据主体和关键字段信息从候选接口中确定待调用接口,并根据接口间的依赖关系或关联程度确定调用顺序,能够实现执行计划的自动生成和接口调用的智能排序。

46、(5)通过根据执行计划中的调用顺序确定并行和/或串行调用方式,对无依赖关系的接口并行调用、有依赖关系的接口串行调用,在保证数据依赖正确的前提下最大化查询效率,缩短总查询耗时。

47、(6)通过在调用失败时根据数据源重要性执行差异化降级处理,非关键数据源返回部分结果并提示、关键数据源执行预设次数重试并记录失败原因,避免整体查询失败,保证部分有效结果的返回。

48、(7)通过按统一业务主键对多源返回结果进行关联整合、聚合统计、来源标注和冲突裁决,并按业务维度组织为结构化数据后反馈,实现跨源数据的自动关联融合、统计汇总和业务可读输出,替代人工比对汇总。

49、(8)通过在反馈前根据用户权限对整合结果进行字段级脱敏处理,在满足业务查询需求的同时,保护客户的个人敏感信息,满足金融行业对数据安全和隐私保护的合规要求。

50、(9)通过限定数据源、查询类型、关联标识,使不同维度的查询请求均能准确定位到对应的关联主键,保证跨源融合的准确性和完整性。

51、本技术的另一目的在于提出一种多数据源查询系统,包括:

52、接口封装模块,用于将多个数据源的查询能力按照统一规范封装为标准化查询接口,并注册至接口目录;

53、请求解析模块,用于接收用户的自然语言查询请求,基于提示词驱动预设大语言模型对所述自然语言查询请求进行解析,得到解析结果;

54、计划生成模块,用于根据所述解析结果从所述接口目录中确定待调用的标准化查询接口,生成包括所述待调用标准化查询接口及其调用顺序的执行计划;

55、接口调用模块,用于利用所述执行计划调用各标准化查询接口,获取多源返回结果;

56、数据整合模块,用于按照预设关联标识对所述多源返回结果进行跨源数据整合,将整合后的结果进行结构化组织,并反馈至用户。

57、本技术所述的多数据源查询系统,相较于相关技术具有的优势与上述多数据源查询方法相同,在此不再赘述。