兼容流批数据处理的大模型工作流构建方法与流程

本发明属于大模型参与的数据智能处理工作流快速构建，涉及一种兼容流批数据处理的大模型工作流构建方法。

背景技术：

1、随着大模型能力的日新月异，各种大模型应用越来越多，大模型工作流作为大模型参与解决实际问题的有效方式，实现了从“单一模型推理”到“智能化流水线”的跃迁，显著降低大模型应用的门槛和提高开发迭代效率。

2、文献1（公开号为：cn119597271a）提出了一种基于大模型搭建工作流实现智能对话的系统，包括：节点配置模块，用于根据当前用户界面配置层展示的信息，选择一个以上的节点在配置区域进行配置，形成工作流；插件导入模块，用于在所述工作流中存在插件节点时，对所述工作流中的插件节点进行数据导入以描述插件节点的出入参格式；上下文变量填充模块，用于在工作流中节点执行时对节点的输入输出变量根据不同的类型进行填充；工作流执行模块，用于解析工作流中各节点及节点连接关系，并按照指定工作流顺序执行节点的处理逻辑。上述系统解决了现有技术中ai应用开发模式下，交付时间长、使用场景固定和开发维护门槛较高的问题。

3、文献2（公开号为：cn119991000a）提出了一种基于大模型与工作流的内审ai助理实现方法，该方法包括以下步骤：设置aeo内部审核的ai助理信息；其中，设置包括设置助理提示词、助理模型、助理知识库和预设工作流；将审核需要用到的外部数据账号配置加入至所述助理知识库中；通过对话的形式将归档审核资料上传，通过预设工作流和大模型进行完整性判断，并回复审核意见；若不完整，则通过所述配置访问外部数据，进行数据自动采集，并自动将数据归档到本次审核的数据中；其有益效果是：相比于现有的通过人工审核的方式，大大提高了效率，减少了人力和时间成本；同时，可通过配置访问外部数据，自动将数据归档到本次审核的数据中，能够更有效地解决问题。

4、文献3（公开号为：cn119692954a）提出了基于大模型的智能工作流交互配置方法，该方法包括：通过获取用户的功能实现需求信息，结合预设的多个模型、知识库及插件，构建整体大模型。大模型能基于输入需求信息输出对应的输出需求信息，并支持知识检索与配置；构建过程中，涉及模型选择、知识库筛选、插件集成及参数调整等步骤；输出过程则包括工作流配置方案的生成、评估、决策分析及优化选择。本发明实现了工作流配置的智能化与自动化，提高了配置效率与准确性。

5、对现有大模型应用开发中存在的问题：1)流、批数据需不同的技术栈处理，开发维护成本较高；2)工作流需重复开发算子，尤其是处理不同数据类型，流程复用性差；3)工作流构建依赖代码开发，非技术人员无法参与，开发成本高；4.传统系统部署环境和过程复杂，难以弹性扩展。

技术实现思路

1、针对上述传统方法中存在的问题，本发明提出了一种兼容流批数据处理的大模型工作流构建方法，通过数据块封装与拖拽式工作流快速迭代设计，实现流批数据兼容处理、低代码构建大模型工作流，并支持容器化一键部署和弹性扩展的模式。

2、为了实现上述目的，本发明实施例采用以下技术方案：

3、一方面，提供一种兼容流批数据处理的大模型工作流构建方法，包括步骤：

4、步骤s1：构建统一的数据块封装方式，兼容流批数据的处理，并统一数据输出结果形式。

5、步骤s2：采用低代码可视化界面通过拖拽式自由编排封装起来的预置算子，构建大模型工作流，并最终对外提供统一的api接口；

6、步骤s3：输入方案名称，选择方案要处理的数据块，根据选择的数据块选择工作流，配置方案的参数，对所述参数进行确认。

7、步骤s4：采用docker对数据接入层、工作流引擎、前后端服务模块进行容器封装，通过docker-compose进行一键部署。

8、在一个实施例中，步骤s1包括：批数据包括：hive、mysql数据库的数据表，所述数据表包含四个必要字段，分别为：数据块内容、数据块时间、数据块类型和数据块标识；所述数据块内容是组织好的要交由大模型工作流处理的文本内容；所述数据块时间是该条数据生成的时间，格式为 yyyy-mm-dd hh:mm:ss；所述数据块类型是数据的类型，用于区分数据的来源；所述数据块标识是能唯一标识该条数据的编码；流数据为从kafka中消费的实时流数据，包含四个必要字段，分别为：数据块内容、数据块时间、数据块类型和数据块标识；所述数据块内容、所述数据块时间、所述数据块类型和所述数据块标识构成了一个数据库的最小组成单元。

9、在一个实施例中，步骤s2包括：平台提供算子库，所述算子库包括大量预置算子；包括：大模型调用算子、api调用算子、python脚本算子、条件分支算子、循环算子以及添加备注；平台采用低代码可视化界面通过拖拽式自由编排封装起来的预置算子，形成满足任务需求的dag工作流；工作流构建完成后对外发布成统一的api接口，将内部处理逻辑封装起来，完成各模块的解耦。

10、在一个实施例中，步骤s3包括：给方案输入一个不重复的名称；

11、选择所述方案所要处理的数据块；选择所述方案处理选择的数据块所需的工作流；配置参数，所述参数包括：方案的运行方式与线程数；方案的运行方式包括一次性运行与周期性运行；方案的线程数包括：单线程运行和多线程运行；对配置的参数进行确认，并形成方案，最后该条生产线就自动按配置开始处理数据。

12、在一个实施例中，一次性运行是指将数据块中所有数据一批提交至工作流进行处理；所述周期性运行是指周期性从数据块中获取指定分区的数据并提交至“工作流”进行处理。

13、在一个实施例中，在选择多线程运行时，则会启动多个“工作流”进行运算，则每次运行时，会将“数据块”中的数据平均分发至各个线程“工作流”进行独立运算。

14、在一个实施例中，将集群由docker-swarm替换为k8s，适应更大规模的集群应用和维护。

15、上述技术方案中的一个技术方案具有如下优点和有益效果：

16、上述兼容流批数据处理的大模型工作流构建方法，本方法通过统一数据块封装方式，兼容流批数据的处理，并统一数据输出结果形式；各模块之间采用解耦方式，数据治理和工作流构建等模块完全可以替换成类似功能的平台；数据治理和工作流构建都可以通过可视化拖拽算子的方式来处理，降低使用门槛，提高大模型工作流的迭代效率；本方法中工作流可自定义周期性运行，解决需每日手动维护的问题；部署复杂度低：不需要复杂的环境配置和维护，可通过docker-compose一键部署。

1.一种兼容流批数据处理的大模型工作流构建方法，其特征在于，包括步骤：

2.根据权利要求1所述的兼容流批数据处理的大模型工作流构建方法，其特征在于，步骤s1包括：

3.根据权利要求1所述的兼容流批数据处理的大模型工作流构建方法，其特征在于，步骤s2包括：

4.根据权利要求1所述的兼容流批数据处理的大模型工作流构建方法，其特征在于，步骤s3包括：

5.根据权利要求1所述的兼容流批数据处理的大模型工作流构建方法，其特征在于，一次性运行是指将数据块中所有数据一批提交至工作流进行处理；所述周期性运行是指周期性从数据块中获取指定分区的数据并提交至“工作流”进行处理。

6.根据权利要求1所述的兼容流批数据处理的大模型工作流构建方法，其特征在于，在选择多线程运行时，则会启动多个“工作流”进行运算，则每次运行时，会将“数据块”中的数据平均分发至各个线程“工作流”进行独立运算。

7.根据权利要求1所述的兼容流批数据处理的大模型工作流构建方法，其特征在于，将集群由docker-swarm替换为k8s，适应更大规模的集群应用和维护。