一种结构化与非结构化数据智能协同问答方法及系统与流程

本发明涉及自然语言处理、数据中台与人工智能问答，具体为一种结构化与非结构化数据智能协同问答方法及系统。

背景技术：

1、企业在生产经营过程中通常同时存在两类数据资产：一类是存储在erp、mes、phm、财务系统、采购系统、库存系统等业务系统中的结构化数据；另一类是产品手册、工艺规程、制度文件、会议纪要、设备说明书、质检报告等非结构化知识文档。

2、传统数据查询主要依赖业务人员向信息中心提出需求，由技术人员编写sql、导出报表或开发bi看板。这种方式存在响应周期长、业务人员使用门槛高、数据消费效率低等问题。另一方面，企业已有文档多以静态文件形式存放，虽然内容丰富，但难以被业务人员通过自然语言快速检索和利用。

3、现有智能问答系统通常只面向文档知识库，能够回答制度、流程、手册类问题，但不能直接查询实时经营数据；而传统bi系统能够展示结构化指标，却不能理解自然语言问题，也不能结合文档知识进行解释。市面大多数方案将结构化和非结构化数据分而治之，缺少统一的协同问答机制。异构数据融合方面，现有方案虽然尝试通过对非结构化文档进行结构化标签增强来建立文档与业务对象的双向关联，但结构化查询与文档检索割裂、无法联合分析的问题仍然突出。

4、近年来出现的nl2sql与rag融合方案，虽然同时包含结构化查询和非结构化检索能力，但其交互方式通常为单向的“知识库召回的文档作为sql生成的上下文补充”，缺乏结构化查询结果与非结构化检索结果之间的双向信息交互和交叉验证。例如，当sql查询结果行数极少或数值出现异常波动时，现有系统无法自动触发非结构化检索来补充业务背景或原因分析；当文档中提及“参照下表”等数据指引时，现有系统也无法自动解析并执行对应的结构化查询。

5、因此，企业需要一种能够同时接入结构化数据和非结构化知识、通过统一自然语言交互完成数据查询和知识问答、并具备跨通道协同交互和自优化能力的智能问答方法。

技术实现思路

1、本发明为了解决现有技术的问题，提供了一种结构化与非结构化数据智能协同问答方法及系统。

2、为了解决上述技术问题，本发明是通过以下技术方案实现的：第一方面，一种结构化与非结构化数据智能协同问答方法，包括：

3、数据接入步骤，接入结构化数据源和非结构化数据源；所述结构化数据源包括企业数据中台中的分层数据模型，至少包括操作数据存储层、明细数据层、汇总数据层和应用数据层；所述非结构化数据源包括企业知识文档，对所述知识文档进行解析、切块、向量化后写入向量数据库；

4、意图识别步骤，接收用户输入的自然语言问题，对所述自然语言问题进行意图识别，输出问题分类标签及对应的分类置信度，所述问题分类标签包括结构化数据查询类、非结构化知识问答类或混合类；所述分类置信度用于表征所述意图识别结果的可靠程度；

5、查询调度步骤，根据所述问题分类标签和所述分类置信度执行查询调度：

6、当所述分类置信度高于第一置信度阈值时，调用与所述问题分类标签对应的单一查询通道，所述单一查询通道为结构化查询通道或非结构化检索通道；

7、当所述分类置信度低于或等于所述第一置信度阈值时，同时调用所述结构化查询通道和所述非结构化检索通道；

8、其中，所述结构化查询通道根据数据资产目录将所述自然语言问题转换为结构化查询语句，并从所述汇总数据层或所述应用数据层查询数据；所述非结构化检索通道将所述自然语言问题向量化后在所述向量数据库中进行相似度检索，召回相关文档片段；

9、跨通道交互步骤，获取所述结构化查询通道返回的查询结果的第一结果特征，以及所述非结构化检索通道召回的文档片段的文档特征；

10、当所述第一结果特征满足第一预设条件时，调用所述非结构化检索通道补充检索与当前查询主题相关的业务口径说明文档或变更日志文档，将补充检索到的文档片段与所述查询结果共同作为答案生成依据；

11、当所述文档特征中检测到预设数据指引关键词时，调用所述结构化查询通道执行与所述数据指引关键词对应的查询操作，将查询到的数值结果与所述文档片段共同作为答案生成依据；

12、答案生成步骤，将所述查询调度步骤和所述跨通道交互步骤获得的查询结果和/或文档片段作为限定上下文输入大语言模型，由所述大语言模型基于所述限定上下文生成答案，并在所述答案中展示引用来源，所述引用来源包括数据表来源、字段来源、文档名称、文档页码和章节信息中的至少一项；

13、权限控制步骤，根据用户的角色权限和字段级权限，控制所述结构化查询通道可查询的数据范围，以及所述非结构化检索通道可检索的文档范围；

14、策略优化步骤，获取所述答案生成步骤输出的答案后，接收用户对所述答案的反馈行为，根据所述反馈行为生成正样本或负样本并加入样本数据集，利用所述样本数据集对所述意图识别步骤中的分类模型进行更新。

15、在第一方面的一种具体的实施方式中，所述第一结果特征包括查询结果行数、查询结果空值率和数值指标波动幅度中的至少一项；

16、所述第一预设条件包括以下至少一种：

17、当所述查询结果行数少于预设行数阈值时，判定当前查询结果信息量不足，调用所述非结构化检索通道检索与查询主题相关的业务背景知识，生成包含业务背景补充说明的答案；

18、当所述数值指标波动幅度超出预设波动范围时，判定当前数值存在异常变化，调用所述非结构化检索通道检索所述数值指标对应的业务变更日志、会议纪要或口径调整文档，生成包含变化原因分析的答案。

19、在第一方面的一种具体的实施方式中，所述意图识别步骤中，所述混合类问题为同时包含结构化数据查询需求和非结构化知识查询需求的问题；

20、当所述自然语言问题被分类为所述混合类问题时，所述查询调度步骤同时调用所述结构化查询通道和所述非结构化检索通道，将所述结构化查询通道返回的查询结果中的指标数据、所述非结构化检索通道召回的文档片段以及所述自然语言问题统一组织为综合上下文，由所述大语言模型基于所述综合上下文生成综合答案。

21、在第一方面的一种具体的实施方式中，所述结构化查询通道的调用过程包括：

22、根据所述自然语言问题中解析出的业务实体、指标、时间范围、组织范围和筛选条件，在所述数据资产目录中召回候选数据表和候选字段；

23、所述数据资产目录包含各字段的业务含义、指标口径、主外键关系、数据来源、更新频率、数据质量评分和负责人信息；

24、将所述自然语言问题、所述候选数据表、所述候选字段、所述字段的业务含义、表关联关系、统计口径和权限范围组成提示词，输入大语言模型生成所述结构化查询语句。

25、在第一方面的一种具体的实施方式中，所述结构化查询语句生成后，在执行前进行多级校验，所述多级校验包括：

26、语法校验，检查所述结构化查询语句是否符合数据库语法；

27、元数据校验，检查所述结构化查询语句中引用的表名和字段名是否存在于所述数据资产目录中；

28、权限校验，检查当前用户是否有权访问所述结构化查询语句中引用的表和字段；

29、安全校验，拦截数据删除、数据更新和数据清空类操作；

30、性能校验，检查所述结构化查询语句是否存在全表扫描、笛卡尔积或非必要关联；

31、仅在所述多级校验全部通过后，执行所述结构化查询语句并返回查询结果。

32、在第一方面的一种具体的实施方式中，所述非结构化检索通道的调用过程包括：

33、对所述知识文档进行解析，提取标题、正文、表格、章节结构、页码、文件来源、更新时间和所属业务域信息；

34、根据自然段边界、标题层级、语义完整性和预设令牌数量阈值对所述知识文档进行切块，生成文本块，每个所述文本块绑定来源元数据，所述来源元数据包括文档名称、文档类型、所属部门、所属业务域、页码、章节、更新时间和权限范围；

35、使用嵌入模型对所述文本块进行向量化处理，将所述文本块的向量及所述来源元数据写入所述向量数据库；

36、将所述自然语言问题使用同一嵌入模型进行向量化，在所述向量数据库中进行相似度检索，并结合关键词匹配、业务域过滤、文档类型过滤、时间过滤和用户权限过滤进行混合检索，召回相关文本块；

37、对召回的所述相关文本块进行重排序，重排序的依据包括向量相似度、关键词匹配度、文档权威性、文档更新时间、用户权限和业务域相关性中的至少一项；

38、选择重排序后排名靠前的文本块构造所述大语言模型的限定上下文。

39、在第一方面的一种具体的实施方式中，所述答案生成步骤中，当所述召回的文本块与所述自然语言问题的相似度均低于预设相似度阈值时，输出证据不足提示或拒答提示，而非强行生成答案；

40、所述答案生成步骤中，所述答案还包括以下内容中的至少一项：

41、所述结构化查询语句；

42、所述结构化查询结果的表格或图表展示；

43、所述引用来源的原文片段；

44、数据更新时间；

45、结果导出入口。

46、在第一方面的一种具体的实施方式中，所述策略优化步骤中：

47、当所述反馈行为为不满意评价或用户追问操作时，记录当前自然语言问题、所述意图识别步骤输出的问题分类标签及分类置信度、所述查询调度步骤调用的通道类型和所述答案生成步骤输出的答案作为负样本；

48、当所述反馈行为为满意评价或导出操作时，记录当前自然语言问题、所述意图识别步骤输出的问题分类标签及分类置信度、所述查询调度步骤调用的通道类型和所述答案生成步骤输出的答案作为正样本；

49、定期利用所述样本数据集对所述意图识别步骤中的分类模型进行微调，更新所述第一置信度阈值。

50、第二方面，一种结构化与非结构化数据智能协同问答系统，包括：

51、数据接入模块，用于接入结构化数据源和非结构化数据源，所述结构化数据源包括企业数据中台中的分层数据模型，所述非结构化数据源包括经解析、切块、向量化后写入向量数据库的企业知识文档；

52、意图识别模块，用于接收用户输入的自然语言问题，对所述自然语言问题进行意图识别，输出问题分类标签及对应的分类置信度，所述问题分类标签包括结构化数据查询类、非结构化知识问答类或混合类；

53、查询调度模块，用于根据所述问题分类标签和所述分类置信度调用结构化查询通道和/或非结构化检索通道；

54、所述结构化查询通道用于根据数据资产目录将所述自然语言问题转换为结构化查询语句，并从汇总数据层或应用数据层查询数据；

55、所述非结构化检索通道用于将所述自然语言问题向量化后在所述向量数据库中进行相似度检索，召回相关文档片段；

56、跨通道交互模块，用于获取所述结构化查询通道返回的查询结果的第一结果特征，以及所述非结构化检索通道召回的文档片段的文档特征；当所述第一结果特征满足第一预设条件时调用所述非结构化检索通道补充检索；当所述文档特征中检测到预设数据指引关键词时调用所述结构化查询通道执行对应的查询操作；

57、答案生成模块，用于将所述查询调度模块和所述跨通道交互模块获得的查询结果和/或文档片段作为限定上下文输入大语言模型，由所述大语言模型基于所述限定上下文生成答案，并在所述答案中展示引用来源；

58、权限控制模块，用于根据用户的角色权限和字段级权限控制数据查询范围和文档检索范围；

59、策略优化模块，用于获取所述答案生成模块输出的答案后接收用户对所述答案的反馈行为，根据所述反馈行为生成正样本或负样本并加入样本数据集，利用所述样本数据集对所述意图识别模块中的分类模型进行更新。

60、第三方面，一种结构化与非结构化数据智能协同问答装置，包括：

61、一个或多个处理器；

62、存储装置，用于存储一个或多个程序以及数据资产目录和向量数据库；

63、当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现一种结构化与非结构化数据智能协同问答方法。

64、本发明的有益效果为：

65、1.本发明通过构建统一的数据接入层，同时接入企业数据中台中的结构化分层数据模型和非结构化知识文档，为结构化数据查询与非结构化知识检索提供了统一的数据底座。在此基础上，本发明建立了意图识别驱动的多通道查询调度机制，通过意图识别模型输出问题分类标签及对应的分类置信度，并根据置信度的高低自适应地执行单一通道查询或强制混合通道查询—高置信度时调用与分类标签对应的单一通道以保证响应效率，低置信度时强制同时调用结构化查询通道和非结构化检索通道以保证召回率。该机制克服了现有技术中因意图识别错误导致检索完全失败的技术缺陷，使问答系统在面对表述模糊或领域交叉的用户问题时仍能通过混合通道兜底提供有效答案，显著提高了系统的容错性和鲁棒性。同时，本发明在结构化查询通道中引入基于数据资产目录的语义增强sql生成机制，使大模型在生成sql时能够充分利用字段业务含义、指标口径和表关系信息，减少了自然语言转sql过程中的字段误匹配问题；并通过语法校验、元数据校验、权限校验、安全校验和性能校验五级校验机制，确保生成的sql在语法正确性、对象存在性、权限合规性、操作安全性和执行性能方面均满足企业级数据查询的要求；

66、2.本发明在结构化查询通道与非结构化检索通道之间建立了双向交互机制，克服了现有方案中两类检索“分别执行、简单拼接”或仅存在单向增强关系的局限。具体而言，本发明获取结构化查询结果的数值特征—查询结果行数、数值指标波动幅度等—当查询结果行数低于阈值时自动触发非结构化检索通道补充业务背景知识，当数值波动超出阈值时自动触发非结构化检索通道检索业务变更日志或会议纪要以生成原因分析；同时，本发明获取非结构化检索结果中召回的文档片段的语义特征，当检测到文档中存在指向结构化数据的预设关键词时自动触发结构化查询通道执行对应的数值查询。上述双向交互使结构化数据的“冷数值”被非结构化知识的“热语境”赋予业务含义，也使非结构化文档中静态引用的数据被结构化查询的实时结果动态活化，从而提升了问答答案的完整性、时效性和可解释性。此外，本发明还通过跨通道结果的一致性检测，自动识别并提示结构化数据与非结构化文档之间的数值冲突，驱动数据治理闭环；

67、3.本发明将意图识别模型的持续优化纳入系统架构，通过采集用户对答案的反馈行为—满意评价、导出操作、不满意评价、追问操作—自动生成正负训练样本，并定期利用积累的样本数据集对意图识别分类模型进行增量微调，同步更新分类置信度阈值。该策略优化机制使意图识别模型在实际使用过程中持续适应企业的语言习惯、查询模式和领域术语分布，意图识别准确率随系统运行时间的延长而稳步提升，从而驱动查询调度的精准度、跨通道交互的触发时机和答案生成的质量同步改善。