一种基于自然语言的数据查询与可视化方法及装置与流程

本发明涉及数据查询与可视化，具体涉及一种基于自然语言的数据查询与可视化方法及装置。

背景技术：

1、随着大数据技术的快速发展，企业和机构在日常运营中积累了海量结构化和半结构化数据资源。这些数据通常存储于关系型数据库、非关系型数据库以及各类api数据接口等多种数据源中。高效地从这些数据中提取有价值的信息并进行可视化展示，已成为数据驱动决策的核心需求。

2、然而，目前的数据查询与可视化流程仍面临诸多技术挑战，传统数据查询方式要求用户具备专业的sql编程能力或熟悉特定数据查询工具的操作逻辑，对非技术背景的业务人员而言门槛较高；将查询结果转化为直观的可视化图表通常还需要手动选择图表类型、配置图表参数、调整数据格式等一系列繁琐操作，同时现有自然语言查询系统多停留在自然语言转sql阶段，缺乏从查询到可视化图表的端到端自动化能力，用户仍需手动完成后续的可视化配置工作。

3、综上所述，现有技术在基于自然语言的数据查询与可视化方面存在以下主要问题：一是自然语言查询意图与数据指标体系的对齐依赖相似度打分和阈值判定，匹配结果不确定且不可解释；二是生成的查询语句缺乏结果级验证，当查询结果与用户查询的语义约束脱节时无法及时发现和纠正；三是图表类型与数据形态静态绑定，图表编码无法随结果数据的实际特征自适应调整。因此，亟需提供一种能够实现查询意图确定性对齐、查询结果可验证、图表自适应适配的自然语言数据查询与可视化方法及装置。

4、中国专利公开号：cn122346536a，公开了一种基于向量语义及大模型的海量指标匹配方法，包括：接收用户输入的自然语言查询问题；利用大模型从所述自然语言查询问题中提取查询要素集合；根据所述查询要素集合在预先构建的指标库中进行检索，得到候选维度集合及候选指标集合；利用所述大模型根据所述查询要素集合、所述候选维度集合及所述候选指标集确定目标指标。由此可见，所述基于向量语义及大模型的海量指标匹配方法存在由于依赖向量语义相似度打分与阈值参数选取指标集，导致匹配过程不可解释，且无法确定查询口径的问题。

技术实现思路

1、为此，本发明提供一种基于自然语言的数据查询与可视化方法及装置，用以克服现有技术中由于依赖向量语义相似度打分与阈值参数选取指标集，导致匹配过程不可解释，且无法确定查询口径的问题。

2、为实现上述目的，一方面，本发明提供一种基于自然语言的数据查询与可视化方法，包括：

3、对用户以自然语言提出的问题进行语义解析，并提取结构化查询要素集，其中，所述查询要素集包括意图类型、指标词、维度词及层级、时间约束及粒度、过滤条件；

4、将所述查询要素集与预定义指标集进行结构对齐，当结构维度未全部对应时触发补全交互流程，当结构维度全部对应时确定匹配指标集；

5、将匹配指标集的元数据及查询要素集输入大模型生成dsl语句，进行语法校验和语义校验，当校验不通过时将错误类型反馈大模型重新生成；

6、将校验通过的所述dsl语句映射为数据查询语句并执行，将执行结果与查询要素集中的时间约束和维度约束逐项比对；

7、当比对结果为空或与所述时间约束和所述维度约束不符时，按偏差类型修正查询要素或约束后重新生成dsl；

8、根据所述意图类型确定图表基类，根据所述执行结果的数据特征调整图表编码配置，渲染呈现可视化图表；

9、接收用户对所述可视化图表的交互操作，将交互操作转化为下一轮查询要素增量并反馈至结构对齐与dsl生成。

10、进一步地，所述进行语义解析，提取结构化查询要素集，包括：

11、对自然语言问题进行去除无关标点、停用词过滤及语义纠错的预处理；

12、利用分词算法对预处理后的文本进行分词，得到词元序列；

13、对词元序列进行语义角色标注和意图识别，将核心意图映射为预定义意图类型，将词元映射为指标词、维度词及层级、时间约束及粒度、过滤条件四类要素，形成结构化查询要素集。

14、进一步地，所述结构对齐包括词典命中、维度逐项对应以及粒度一致性、数据源可用性判定，所述词典命中判定包括：

15、预置指标词典，所述指标词典包括若干个候选指标和其对应关联的指标信息，所述指标信息包括指标名称、业务别名以及定义关键词；

16、基于所述结构化查询要素集中的指标词和所述候选指标逐项比对所述指标信息；

17、当所述结构化查询要素集中的指标词和所述候选指标存在至少一项指标信息相匹配时，确定当前指标词命中所述候选指标；

18、当所述结构化查询要素集中的指标词和所述若干个候选指标均未匹配时，对当前指标词进行同义词扩展得到扩展集，并基于扩展集和所述指标词典进行比对；

19、若所述扩展集未命中所述候选指标，则确定当前指标词为未命中指标词。

20、进一步地，所述粒度一致性判定，包括：

21、解析查询要素中时间约束的粒度与维度词所属层级；

22、当查询时间粒度与指标集关联维度的时间粒度相同或查询维度层级与指标集维度层级存在对应关系时判定粒度一致；

23、当所述粒度不一致时，将所述查询要素的时间粒度或维度层级上卷或下钻至指标集支持的粒度后重新判定。

24、进一步地，所述确定匹配指标集，包括：

25、按指标词命中、维度对齐、数据源映射可用三项判定结果的组合确定匹配指标集，三项判定均满足时确定匹配指标集；

26、当多个指标集同时满足判定条件时，按指标集的定义层级与覆盖度择一确定，或将查询拆分为多条dsl分别对应各指标集；

27、当维度词未全部对应时，生成缺失维度候选清单并呈现，接收确认后更新查询要素集并重新执行结构对齐；

28、对代表性维度值执行小范围预查询，核对预查询结果的结构与查询要素一致后再执行全量查询。

29、进一步地，所述语法校验和语义校验，包括：

30、语法校验检查dsl语句的结构完整性、关键字合法性与参数类型正确性；

31、语义校验检查指标与维度的组合有效性、时间约束完整性及过滤条件自洽性；

32、当存在校验不通过时将具体错误类型与错误位置反馈大模型针对错误修正后重新生成dsl。

33、进一步地，所述执行结果与约束逐项比对，包括：

34、比对执行结果的时间范围是否落入查询时间约束、维度取值是否与查询维度约束匹配、结果集是否为空；

35、结果为空时，向用户确认是否放宽时间约束或过滤条件后重新生成；

36、结果与约束不符时，根据偏差的时间范围或维度取值修正查询要素后重新生成dsl。

37、进一步地，根据所述执行结果的数据特征调整图表编码配置，包括：

38、当结果数据的维度基数超过预设可承载范围时触发维度聚合或抽样，或将图表基类切换为热力图或散点图；

39、当结果数据含时序字段时，将时序字段映射至时间轴；

40、当结果数据呈分布形态时，映射为分布类编码；调整后的图表编码配置随渲染参数一并输入图表组件。

41、进一步地，所述交互操作转化，包括：

42、将用户的图表切换操作转化为图表基类调整请求、下钻操作转化为维度层级下钻要素、缩放操作转化为时间范围收窄要素、追问操作转化为新增指标或维度要素；

43、将上述要素作为要素增量合并入下一轮查询要素集并写入增量缓存区，触发指标词典同步更新任务，由后端同步任务完成别名与关联关系的持久化更新。

44、另一方面，本发明提供一种基于自然语言的数据查询与可视化装置，包括：

45、自然语言解析模块，其用以对用户以自然语言提出的问题进行语义解析，并提取结构化查询要素集；

46、指标结构对齐模块，其用以将查询要素集与预定义指标集进行结构对齐，当结构维度未全部对应时触发补全交互流程，当结构维度全部对应时确定匹配指标集；

47、dsl生成校验模块，其用以将匹配指标集元数据及查询要素集输入大模型生成dsl语句，进行语法校验和语义校验，当校验不通过时将错误类型反馈重新生成；

48、查询结果验证模块，其用以将校验通过的dsl映射为数据查询语句并执行，将执行结果与查询要素集中的时间约束和维度约束逐项比对，结果为空或不符时按偏差类型回退修正查询要素或约束后重新生成dsl；

49、可视化适配模块，其用以根据意图类型确定图表基类，根据执行结果的数据特征调整图表编码配置，渲染呈现可视化图表；

50、交互反馈模块，其用以接收用户对可视化图表的交互操作，转化为查询要素增量并反馈至结构对齐与dsl生成。

51、与现有技术相比，本发明的有益效果在于，本发明所述方法通过将查询要素集与预定义指标集进行确定性结构对齐，所述结构对齐包括词典命中判定、维度逐项对应及粒度一致性判定、数据源映射可用性判定，由于采用词典与结构规则的确定性判定替代相似度打分与阈值判定，以查询要素集与指标－维度－数据源结构之间的确定性关系限定了大模型可生成的查询空间，实现了自然语言查询意图与数据指标口径的精确对齐，提高了复杂查询场景下的鲁棒性。

52、进一步地，本发明通过将执行结果与查询要素集中的时间约束和维度约束逐项比对，在结果为空或与约束不符时按偏差类型修正后重新生成，由于将结果偏差重新定位至具体查询要素，使修正发生在查询语义结构层而非sql文本层，实现了查询结果与用户查询语义约束的一致性验证，防止语义看似正确但结果与用户意图不符的查询被直接呈现，进一步提高了复杂查询场景下的鲁棒性。

53、进一步地，本发明通过根据执行结果的数据特征调整图表编码配置，由于以维度基数、时序字段、分布形态等可观测数据特征触发图表编码的动态调整，实现了图表类型与数据形态的自适应匹配，避免了静态规则下图表与数据不匹配导致的误读，进一步提高了复杂查询场景下的鲁棒性。

54、进一步地，本发明通过将用户对图表的交互操作转化为下一轮查询要素增量并重新注入结构对齐过程，由于形成了跨轮闭环迭代，系统随使用持续收敛查询口径与图表适配，进一步提高了复杂查询场景下的鲁棒性。