一种用于自适应数据分析的方法和系统与流程

摘要: 本公开涉及数据分析,具体涉及一种用于自适应数据分析的方法和系统。背景技术:1、当前主流的自动化数据分析方案,包括通用大模型代码解释器、automl工具以及数据分...
一种用于自适应数据分析的方法和系统与流程

本公开涉及数据分析,具体涉及一种用于自适应数据分析的方法和系统。

背景技术:

1、当前主流的自动化数据分析方案,包括通用大模型代码解释器、automl工具以及数据分析智能体,通常采用“单智能体自由生成”、“单向线性执行”或“静态流水线编排”的模式。上述方案虽然具备一定的数据处理、建模与报告生成能力,但仍存在以下不足:

2、(1)规划过程过度依赖模型内部隐式推理。现有系统通常依靠大模型自行决定分析顺序和方法选择,缺乏将统计分析中的标准步骤、方法依赖关系和流程约束显式注入规划过程的机制,因此容易出现流程遗漏、顺序不稳定和整体可控性不足的问题。

3、(2)对数据上下文与任务场景的联合理解能力不足。现有系统往往主要依据用户自然语言指令开展分析,缺少对结构化数据特征与外部辅助文档信息的联合理解,因此难以准确识别任务所属领域、分析重点及适合的结果表达方式。

4、(3)系统级协调与模块级执行分层不清。一些方案虽然具备多模块协作能力,但通常缺少全局规划与局部自治相结合的清晰分工,难以同时兼顾整体流程一致性与模块灵活适配能力。

5、(4)代码执行鲁棒性不足。现有系统在预处理或建模代码执行失败时,通常直接终止或仅进行简单重试,缺乏基于报错信息、原始代码和外部知识进行联合检索和修复的闭环机制。

6、(5)报告生成缺少结构化组织机制。现有系统往往将中间结果直接拼接形成报告,缺乏基于大纲和中间产物的章节级组织过程,导致最终报告的逻辑连贯性、可追溯性和可编辑性不足。

7、因此,亟需一种对现有的自动化数据分析方案进行进一步改进的方法和系统。

技术实现思路

1、提供本 技术实现要素: 来以简化形式介绍将在以下具体实施方式部分中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。

2、为了解决现有技术中的问题,本公开提供了一种用于自适应数据分析的方法和系统。在本公开的技术方案中,首先通过包括文档信息与 csv 数据表的分析任务说明信息进行多源上下文融合生成分析画像,再由结构化先验驱动的工作流控制机制调度分析任务对应的工作流中的多个子任务,并结合建议-编码-迭代修正(suggest-code-refine,scr)执行机制和检索增强生成(retrieval-augmented generation,rag)代码生成机制实现具体算法执行和异常修复,最终完成分析结果输出与报告组装。

3、具体而言,在本发明的第一方面,公开了一种用于自适应数据分析的方法,所述方法包括:

4、接收数据分析任务的说明信息并从所述说明信息中提取任务特征信息;

5、根据所述任务特征信息生成所述数据分析任务的自然语言描述信息;

6、根据所述自然语言描述信息确定所述数据分析任务对应的工作流中的多个子任务;

7、将所述多个子任务对应的标准步骤、步骤依赖关系和顺序约束、以及步骤执行结果判定逻辑编码为结构化先验以基于所述结构化先验生成所述工作流的流程控制信息;

8、基于所述流程控制信息调度所述多个子任务的执行,包括对于所述多个子任务中的每个子任务:

9、确定用于该子任务的算法执行任务;

10、基于所述算法执行任务使用大语言模型(large language model,llm)生成用于该子任务的可执行代码;以及

11、执行所述可执行代码并在执行失败的情况下重复以下操作直至执行成功:

12、向多个知识源发起检索以获得修复上下文信息;

13、基于所述修复上下文信息重新生成并执行所述可执行代码;

14、响应于所述可执行代码执行成功,生成所述多个子任务的分析结果;以及

15、基于所述分析结果获得最终分析报告。

16、在一种可选的实施方式中,所述说明信息包括关于所述数据分析任务的文档信息和逗号分隔值(comma-separated values,csv)数据表,所述文档信息包括辅助文档、历史记录、背景资料、目录结构和任务说明文本,其中所述提取任务特征信息包括:从所述文档信息中提取文本语义特征;从所述csv数据表中提取元数据特征,其中所述任务特征信息包括所述元数据特征和所述文本语义特征。在该实施方式中,可基于“文本侧上下文 + 数据侧上下文”的联合建模,提高任务场景识别准确性,为后续工作流调度和代码生成提供更贴合实际任务的上下文依据。

17、在一种可选的实施方式中,调度所述多个子任务的执行还包括对于所述多个子任务中的每个子任务:在该子任务执行成功的情况下执行下一个子任务;或者在该子任务执行失败的情况下回退至执行上一个子任务。在该实施方式中,能够支持整个分析任务流程的非线性循环,即分析任务流程不再是单向线性链路流程,而是允许根据各个任务节点的执行结果回退、迭代与优化的动态流程。

18、在一种可选的实施方式中,生成所述可执行代码包括基于所述算法执行任务构建检索查询;基于所述检索查询向所述多个知识源发起检索以获得检索结果,包括api文档、示例代码和领域知识,所述多个知识源包括本地知识源和网络知识源;以及基于所述检索结果,根据所述自然语言描述信息和所述流程控制信息来生成所述可执行代码,并且重新生成并执行所述可执行代码包括:响应于所述可执行代码执行失败,捕获错误上下文信息,包括错误类型、调用堆栈、变量上下文、依赖版本信息和运行环境特征;基于所述错误上下文信息构建检索查询;基于所述检索查询向所述多个知识源发起检索;通过所述检索获得用于修复所述可执行代码的api 文档和解决方案信息并将其连同所述错误上下文信息一起作为所述修复上下文信息用来重新生成所述可执行代码;以及在沙箱执行环境中执行经修复的可执行代码。在该实施方式中,能够在最初调用的模型内部知识不足、外部库版本变化或调用参数不匹配时,依靠外部检索获取相关知识并完成代码修正,从而显著提高复杂数据分析任务中的执行成功率和鲁棒性,并使得各任务节点能够具备自适应调整与持续优化能力。

19、在一种可选的实施方式中,所述分析结果包括中间产物、图表和文本内容,其中基于所述分析结果获得最终分析报告包括:基于所述说明信息,对所述分析结果执行检索、筛选与章节级结构化组织,其中在组织失败的情况下重复以下操作直至组织成功:向多个知识源发起检索以获得修复上下文信息,基于所述修复上下文信息重新组织所述分析结果;基于所述组织生成所述最终分析报告。在该实施方式中,通过上述检索增强式内容组织方式生成的最终分析报告不仅能够汇总整体流程结果,而且还能够保持内容来源的可追溯性和章节组织的逻辑一致性,使报告更适合科研分析、业务决策与正式汇报场景。

20、在本发明的第二方面,公开了一种用于自适应数据分析的系统,所述系统包括:

21、分析任务描述模块,其被配置成:

22、接收数据分析任务的说明信息并从所述说明信息中提取任务特征信息;

23、根据所述任务特征信息生成所述数据分析任务的自然语言描述信息;

24、任务流程控制模块,其被配置成:

25、根据所述自然语言描述信息确定所述数据分析任务对应的工作流中的多个子任务;

26、将所述多个子任务对应的标准步骤、步骤依赖关系和顺序约束、以及步骤执行结果判定逻辑编码为结构化先验以基于所述结构化先验生成所述工作流的流程控制信息;以及

27、基于所述流程控制信息调度所述多个子任务的执行,包括对于所述多个子任务中的每个子任务,确定用于该子任务的算法执行任务;

28、任务代码生成模块,其被配置成对于所述多个子任务中的每个子任务:

29、基于所述算法执行任务使用大语言模型llm生成用于该子任务的可执行代码;

30、执行所述可执行代码并在执行失败的情况下重复以下操作直至执行成功:

31、向多个知识源发起检索以获得修复上下文信息;

32、基于所述修复上下文信息重新生成并执行所述可执行代码;以及

33、分析报告组装模块,其被配置成:

34、响应于所述可执行代码执行成功,生成所述多个子任务的分析结果;

35、基于所述分析结果获得最终分析报告。

36、在一种可选的实施方式中,所述说明信息包括关于所述数据分析任务的文档信息和逗号分隔值csv数据表,所述文档信息包括辅助文档、历史记录、背景资料、目录结构和任务说明文本,其中所述分析描述模块被进一步配置成通过以下操作提取所述任务特征信息:从所述文档信息中提取文本语义特征;从所述csv数据表中提取元数据特征,其中所述任务特征信息包括所述元数据特征和所述文本语义特征。在该实施方式中,可基于“文本侧上下文 + 数据侧上下文”的联合建模,提高任务场景识别准确性,为后续工作流调度和代码生成提供更贴合实际任务的上下文依据。

37、在一种可选的实施方式中,所述任务流程控制模块被进一步配置成通过对于每个子任务执行以下操作来调度所述多个子任务的执行:在该子任务执行成功的情况下执行下一个子任务;或者在该子任务执行失败的情况下回退至执行上一个子任务。在该实施方式中,能够支持整个分析任务流程的非线性循环,即分析任务流程不再是单向线性链路流程,而是允许根据各个任务节点的执行结果回退、迭代与优化的动态流程。

38、在一种可选的实施方式中,所述任务代码生成模块被进一步配置成通过以下操作生成所述可执行代码:基于所述算法执行任务构建检索查询;基于所述检索查询向所述多个知识源发起检索以获得检索结果,包括api文档、示例代码和领域知识,所述多个知识源包括本地知识源和网络知识源;以及基于所述检索结果,根据所述自然语言描述信息和所述流程控制信息来生成所述可执行代码,并且所述任务代码生成模块还被进一步配置成通过以下操作来重新生成并执行所述可执行代码:响应于所述可执行代码执行失败,捕获错误上下文信息,包括错误类型、调用堆栈、变量上下文、依赖版本信息和运行环境特征;基于所述错误上下文信息构建检索查询;基于所述检索查询向所述多个知识源发起检索;通过所述检索获得用于修复所述可执行代码的api 文档和解决方案信息并将其连同所述错误上下文信息一起作为所述修复上下文信息用来重新生成所述可执行代码;以及在沙箱执行环境中执行经修复的可执行代码。在该实施方式中,能够在最初调用的模型内部知识不足、外部库版本变化或调用参数不匹配时,依靠外部检索获取相关知识并完成代码修正,从而显著提高复杂数据分析任务中的执行成功率和鲁棒性,并使得各任务节点能够具备自适应调整与持续优化能力。

39、在一种可选的实施方式中,所述分析结果包括中间产物、图表和文本内容,其中所述分析报告组装模块被进一步配置成通过以下操作获得最终分析报告:基于所述说明信息,对所述分析结果执行检索、筛选与章节级结构化组织,其中在组织失败的情况下重复以下操作直至组织成功:向多个知识源发起检索以获得修复上下文信息,基于所述修复上下文信息重新组织所述分析结果;基于所述组织生成所述最终分析报告。在该实施方式中,通过上述检索增强式内容组织方式生成的最终分析报告不仅能够汇总整体流程结果,而且还能够保持内容来源的可追溯性和章节组织的逻辑一致性,使报告更适合科研分析、业务决策与正式汇报场景。

40、在本发明的第三方面,公开了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有指令,所述指令被执行时实现第一方面所述的方法。

41、在结合附图研读了下文对本发明的具体示例性实施例的描述之后,本发明的其他方面、特征和实施例对于本领域普通技术人员将是明显的。尽管本发明的特征在以下可能是针对某些实施例和附图来讨论的,但本发明的全部实施例可包括本文所讨论的有利特征中的一个或多个。换言之,尽管可能讨论了一个或多个实施例具有某些有利特征,但也可以根据本文讨论的本发明的各种实施例使用此类特征中的一个或多个特征。以类似方式,尽管示例性实施例在下文可能是作为设备、装置或方法实施例进行讨论的,但是应当领会,此类示例性实施例可以在各种系统、设备、装置、和方法中实现。