一种数据处理工作流的生成系统及方法与流程

本技术涉及数据处理，特别涉及一种数据处理工作流的生成系统及方法。

背景技术：

1、在数据平台的数据处理流程（etl）创建与管理场景中，现有技术通常采用可视化拖拽式开发或脚本代码式开发。可视化拖拽方式要求用户在图形界面中手动拖拽组件、配置参数并连线定义依赖，操作流程繁琐且耗时较长；脚本代码方式则对开发人员的技术能力要求较高，且代码维护成本大。

2、此外，现有方案中数据质量校验通常作为独立模块在流程创建完成后另行配置，导致校验逻辑与处理逻辑分离，数据质量问题往往在流程运行后才被发现，增加了返工成本。同时，自然语言生成代码的方式虽然降低了门槛，但直接生成的代码可能绕过平台管控体系，存在合规性风险且难以复用平台已有能力。

3、因此，急需一种能够兼顾开发效率、平台合规性及质量内建的数据处理工作流生成方案。

技术实现思路

1、针对现有技术存在的数据处理工作流创建效率低、质量校验与流程割裂以及自然语言生成结果难以适配平台管控体系的问题，本技术通过一种数据处理工作流的生成系统及方法，实现基于自然语言需求自动生成合规且内嵌质量校验的数据处理工作流。

2、为实现上述目的，本发明采用如下技术方案：

3、一种数据处理工作流的生成系统，包括：结构化任务拓扑生成模块，用于通过语义解析模型对接收到的自然语言需求进行解析，生成包含执行依赖关系的结构化任务拓扑；接口调用序列映射模块，用于结合目标业务平台的业务元数据，将所述结构化任务拓扑映射为按序调用的平台接口调用序列；数据处理工作流构建模块，用于按序触发所述平台接口调用序列以构建数据处理工作流，并基于所述业务元数据在所述数据处理工作流的节点中自动嵌入数据校验规则。

4、这样，通过语义解析模型将非结构化的自然语言需求转化为结构化的任务拓扑，再利用业务元数据将其映射为平台原生的接口调用序列而非直接生成代码，确保了生成的工作流完全遵循目标业务平台的规范与管控体系；同时，在构建工作流时基于业务元数据自动嵌入数据校验规则，实现了数据处理逻辑与质量保障逻辑的同步生成与一体化部署，避免了事后补验导致的返工问题。

5、在一些实施例中，所述结构化任务拓扑生成模块包括：意图分类结果生成单元，用于通过所述语义解析模型对所述自然语言需求进行意图分类，得到意图分类结果；槽位提取结果获取单元，用于从所述自然语言需求中提取源数据标识、目标数据标识及转换逻辑，作为槽位提取结果；执行依赖关系构建单元，用于基于所述槽位提取结果之间的数据流向逻辑，构建所述执行依赖关系。

6、这样，通过将自然语言解析过程解耦为意图分类、槽位提取和依赖构建三个子步骤，使得语义解析模型能够更精准地识别用户需求中的关键要素，并基于数据流向逻辑自动推导任务间的先后顺序，提高了结构化任务拓扑生成的准确性与完整性。

7、在一些实施例中，所述结构化任务拓扑生成模块还包括拓扑异常检测与修复单元，用于对所述结构化任务拓扑执行循环依赖检测，当检测到循环依赖时，基于预定义的子任务类型阶段顺序消解循环依赖，直至所述结构化任务拓扑中无环。

8、这样，通过引入拓扑异常检测与自动修复机制，利用预定义的子任务类型阶段顺序作为消解循环依赖的优先级依据，能够在保证语义合理性的前提下自动修正逻辑错误，确保生成的结构化任务拓扑具备可执行性。

9、在一些实施例中，所述接口调用序列映射模块包括：接口路径匹配单元，用于基于所述目标业务平台的接口注册表，将所述意图分类结果和所述槽位提取结果匹配为接口路径及请求参数；缺失参数补全单元，用于当判定所述请求参数中存在缺失必需参数时，基于所述业务元数据推断默认值，或触发多轮自然语言交互以补全所述缺失必需参数。

10、这样，通过接口注册表实现了自然语言语义到平台接口的精准映射，并结合业务元数据推断或多轮交互补全缺失参数，既保证了接口调用的有效性，又提升了用户体验，避免因参数缺失导致流程生成失败。

11、在一些实施例中，所述数据处理工作流构建模块包括：数据校验规则确定单元，用于基于所述业务元数据中的数据分类特征，确定数据校验规则类型；校验节点嵌入单元，用于根据所述执行依赖关系，将所述数据校验规则类型对应的数据校验规则作为独立校验节点，嵌入至对应的数据处理节点之后、数据写入节点之前。

12、这样，根据数据分类特征智能匹配校验规则类型，并将校验规则作为独立节点嵌入到特定的拓扑位置，实现了差异化的质量保障策略，确保关键数据处理环节均受到适当的质量监控。

13、在一些实施例中，所述校验节点嵌入单元被配置为：在生成每个数据处理节点时同步挂载对应的数据校验规则配置，并在生成所述数据处理工作流时，将所述数据校验规则作为独立校验节点插入所述数据处理工作流中，使得所述数据处理工作流生成完成时所述数据校验规则已同步嵌入。

14、这样，采用同步挂载与同步插入机制，确保了数据校验规则与数据处理节点在同一生成事务中被创建，从根本上杜绝了只有加工没有校验的半成品流程上线，实现了质量内建的原子性。

15、在一些实施例中，所述业务元数据至少包括数据字典和模型定义信息；所述数据处理工作流构建模块还包括语义对齐单元，用于当所述结构化任务拓扑包含多个异构数据源时，基于所述数据字典中的统一编码体系，生成不同数据源字段到统一编码的映射关系，并基于语义识别模型对齐命名不同但语义相同的字段。

16、这样，针对多源异构数据融合场景，利用数据字典和语义识别模型自动完成编码映射与字段对齐，解决了跨源数据融合中人工配置映射规则繁琐且易出错的问题，提升了数据融合的智能化水平。

17、在一些实施例中，所述系统还包括交互式修正模块，用于当所述数据校验规则判定所述数据处理工作流存在逻辑错误时，生成包含错误节点定位及修正建议的自然语言提示信息；接收基于所述自然语言提示信息输入的修正指令，仅更新受影响节点的接口调用参数，而不重新生成整个所述结构化任务拓扑。

18、这样，提供了基于自然语言的差异化修正机制，当检测到错误时仅更新受影响节点的参数而非重建整个拓扑，大幅降低了迭代修正的计算开销与用户等待时间，提升了人机交互效率。

19、此外，本发明还提供了一种数据处理工作流的生成方法，包括：通过语义解析模型对接收到的自然语言需求进行解析，生成包含执行依赖关系的结构化任务拓扑；结合目标业务平台的业务元数据，将所述结构化任务拓扑映射为按序调用的平台接口调用序列；按序触发所述平台接口调用序列以构建数据处理工作流，并基于所述业务元数据在所述数据处理工作流的节点中自动嵌入数据校验规则。

20、这样，通过自然语言驱动平台接口调用的方式构建工作流，并在构建过程中同步嵌入数据校验规则，实现了数据处理工作流的智能化、合规化及质量内建生成。

21、在一些实施例中，所述方法还包括：当所述数据校验规则判定所述数据处理工作流存在逻辑错误时，生成包含错误节点定位及修正建议的自然语言提示信息；接收基于所述自然语言提示信息输入的修正指令，仅更新受影响节点的接口调用参数，而不重新生成整个所述结构化任务拓扑。

22、这样，通过在方法层面实现局部修正机制，支持用户在自然语言交互中高效修复工作流逻辑错误，避免了全量重生成带来的资源浪费。

23、与现有技术相比，本技术具备以下的技术效果：

24、1、本技术通过语义解析模型将自然语言需求转化为结构化任务拓扑，并结合业务元数据将其映射为平台接口调用序列，相较于直接生成代码的方式，该机制复用了目标业务平台已有的功能模块与管控能力，确保了生成的数据处理工作流在语法、权限及业务规范上的合规性，同时避免了人工配置或代码编写带来的效率瓶颈；

25、2、本技术通过在构建数据处理工作流时基于业务元数据自动嵌入数据校验规则，并将校验规则作为独立节点同步插入工作流中，实现了质量保障逻辑与数据处理逻辑的一体化生成，解决了现有技术中质量校验与etl流程割裂导致的问题发现滞后及返工成本高的问题；

26、3、本技术通过拓扑异常检测与修复、缺失参数补全及交互式修正等机制，增强了系统对自然语言模糊性与复杂业务场景的适应能力，显著提升了数据处理工作流生成的成功率与用户体验。