一种调度工作流自动编排方法、装置及设备与流程

本发明实施例涉及数据处理，特别涉及一种调度工作流自动编排方法、装置及设备。

背景技术：

1、现有工作流调度编排实现方式，全程依赖专业技术人员人工操作，具体实现流程为：技术人员人工接收业务口头需求，手动在调度平台内可视化拖拽各类任务节点，逐一手动填写每个节点技术配置参数，人工搭建节点上下游依赖关系、分支逻辑及触发前置条件，完成工作流dag搭建后，再人工核查配置与逻辑错误，反复调试修改后方可发布上线。企业实际调度场景中，除通用标准任务节点外，还存在大量分支判断、跨流依赖、前置触发、三方数据交换等定制化非标异构节点，该类节点无统一业务语义描述，仅专业技术人员能够配置使用。

2、现有技术存在以下核心缺陷：第一，工作流编排强依赖专业技术人员，业务人员无法直接通过自然语言提出需求并生成工作流，业务与技术割裂，需求传递偏差大、编排迭代效率极低；第二，通用大模型仅具备基础文本生成能力，无法识别企业各类定制化非标异构节点，不懂节点配置规则与编排约束，生成的工作流参数错乱、逻辑失效，仅形式合规无法实际使用；第三，大模型生成工作流后无专属前置纠错校验环节，全靠人工核查配置缺陷与拓扑逻辑错误，人工校核工作量大，且易漏检导致上线故障；第四，无法适配不同调度系统架构，部分调度平台无节点注册机制，传统ai编排方式无法自动识别全量节点，适配性差、落地难度高。

技术实现思路

1、为了解决上述技术问题，本发明实施例提供一种调度工作流自动编排方法，包括：

2、采用双模式兜底探测机制对不同类型的调度平台进行全量任务节点及其元数据的探测；

3、基于探测到的数据进行指定信息的提取，并基于提取的信息生成对应各个任务节点的初始业务语义描述；

4、根据所述任务节点的历史工作流dag定义文件、历史业务需求及工单文本自动挖掘出，所述任务节点在真实业务上下文中被引用时的多种口语化表达方式；

5、基于所述口语化表达方式及初始业务语义描述，形成对应的所述任务节点的业务语义簇，并结合所述业务语义簇、节点id积极技术员数据模板路径生成结构化映射表；

6、响应于用户输入的编排需求，检索得到匹配所述编排需求的相似历史案例及企业规范片段，并据其生成增强提示；

7、基于所述编排需求、增强提示、结构化映射表、第一层cot指令、第二层cot指令，利用大语言模型，在全量任务节点中确定与所述编排需求相关的候选节点及候选节点间的依赖关系，所述第一层cot指令用于抽取所述增强提示中的需求信息，第二层cot指令用于确定候选节点间的依赖关系；

8、基于所述候选节点及候选节点间的依赖关系生成结构完整的dag模型对象。

9、在一实施例中，所述方法还包括：

10、对所述dag模型对象中的每个任务节点，利用预定义的参数校验规则、匹配编排规范约束的校验函数进行校验；

11、对所述dag模型对象进行静态图分析，自动识别并拦截指定类型错误。

12、在一实施例中，所述方法还包括：

13、在隔离的影子环境中以mock算子驱动所述dag模型对象运行，模拟状态流转与数据血缘传递，验证分支跳转逻辑和上下游字段兼容性。

14、在一实施例中，所述基于所述编排需求、增强提示、结构化映射表、第一层cot指令、第二层，利用大语言模型，在全量任务节点中确定与所述编排需求令相关的候选节点及候选节点间的依赖关系，包括：

15、将所述编排需求、增强提示输入至大语言模型，并输入的构建的所述第一层cot指令，引导大语言模型识别、结构化抽取编排需求中的关键要素，所述关键要素至少包括以下之一：目标数据实体列表、数据操作类型、前置触发条件、后置动作；

16、基于所述关键要素在所述结构化映射表中进行语义相似度匹配，确定与所述编排需求相关的候选节点；

17、将所述关键要素、候选节点、增强提示及预构建的所述第二层cot指令输入至大语言模型，以引导大语言模型确定候选节点间的依赖关系。

18、在一实施例中，所述基于所述候选节点及候选节点间的依赖关系生成结构完整的dag模型对象，包括：

19、基于所述关键要素匹配填入至预选的节点元数据模板中；

20、结合填入了所述关键要素的所述节点元数据模板、候选节点及候选节点间的依赖关系生成结构完整的dag模型对象。

21、在一实施例中，所述采用双模式兜底探测机制对不同类型的调度平台进行全量任务节点及其元数据的探测，包括：

22、对具备节点注册归集能力的调度平台，直接通过平台api读取已注册生效的全量任务节点及其元数据；

23、对不具备节点注册归集能力的调度平台，自动遍历所述调度平台的所有已上线工作流的定义文件，解析得到任务节点配置样本；

24、基于密度的空间聚类算法对任务节点配置样本的向量化数据进行聚类，确定节点类型；

25、结合所述节点类型及任务节点配置样本确定全量任务节点及其元数据。

26、在一实施例中，所述基于探测到的数据进行指定信息的提取，并基于提取的信息生成对应各个任务节点的初始业务语义描述，包括：

27、对探测到的所述元数据进行指定信息的提取，所述执行信息至少包括以下之一:节点名称、开发备注、历史变更记录;

28、利用大语言模型基于提取的信息生成对应各个任务节点的初始业务语义描述。

29、在一实施例中，所述响应于用户输入的编排需求，检索得到匹配所述编排需求的相似历史案例及企业规范片段，并据其生成增强提示，包括：

30、归集历史期间的合规工作流定义、编排规范文档、节点配置管理记录组成专属知识库；

31、对所述专属知识库中的文档数据进行分段、向量化处理，并建立向量化段落的索引；

32、响应于用户输入的编排请求，对所述编排请求转换为查询向量；

33、利用所述查询向量在所述专属知识库中进行检索，得到匹配所述编排需求的相似历史案例及企业规范片段；

34、基于所述变盘需求及检索得到的相似历史案例及企业规范片段生成所述增强提示。

35、本发明另一实施例同时提供一种调度工作流自动编排装置，包括：

36、探测模块，用于采用双模式兜底探测机制对不同类型的调度平台进行全量任务节点及其元数据的探测；

37、第一生成模块，用于基于探测到的数据进行指定信息的提取，并基于提取的信息生成对应各个任务节点的初始业务语义描述；

38、挖掘模块，用于根据所述任务节点的历史工作流dag定义文件、历史业务需求及工单文本自动挖掘出，所述任务节点在真实业务上下文中被引用时的多种口语化表达方式；

39、第二生成模块，用于基于所述口语化表达方式及初始业务语义描述，形成对应的所述任务节点的业务语义簇，并结合所述业务语义簇、节点id积极技术员数据模板路径生成结构化映射表；

40、检索模块，用于响应于用户输入的编排需求，检索得到匹配所述编排需求的相似历史案例及企业规范片段，并据其生成增强提示；

41、确定模块，用于基于所述编排需求、增强提示、结构化映射表、第一层cot指令、第二层cot指令，利用大语言模型，在全量任务节点中确定与所述编排需求相关的候选节点及候选节点间的依赖关系，所述第一层cot指令用于抽取所述增强提示中的需求信息，第二层cot指令用于确定候选节点间的依赖关系；

42、第三生成模块，用于基于所述候选节点及候选节点间的依赖关系生成结构完整的dag模型对象。

43、本发明另一实施例还提供一种电子设备，包括：

44、一个或多个处理器；

45、存储器，配置为存储一个或多个程序；

46、当所述一个或多个程序被所述一个或多个处理器执行时，使得该一个或多个所述处理器实现如上文中任一项所述的调度工作流自动编排方法。

47、基于上述实施例公开的内容可知，本技术的方案所带来的有益效果包括业务人员通过自然语言即可直接生成合规工作流，无需依赖专业技术人员手动拖拽配置，大幅降低编排门槛并缩短需求迭代周期；可对所有标准及非标异构节点的全量覆盖识别，无论调度平台是否具备节点注册机制均可适配；依托企业专属知识库检索增强（rag）作为强制约束，结合思维链（cot）分步推理生成候选节点及候选节点间依赖关系，可有效抑制大模型幻觉，确保参数准确、依赖关系合规，无需二次人工修改即可使用，因此彻底实现了任务编排的自动化，提升了编排效率及准确性。

48、本技术的其它特征和优点将在随后的说明书中阐述。本技术的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

49、下面通过附图和实施例，对本技术的技术方案做进一步的详细描述。