基于DAG的数据处理方法、装置及电子设备与流程

摘要: 本技术涉及数据处理,具体涉及一种基于dag的数据处理方法、装置及电子设备。背景技术:1、现代数据处理系统,如自动驾驶数据标注管道、抽取转换加载(‌extract...
基于DAG的数据处理方法、装置及电子设备与流程

本技术涉及数据处理,具体涉及一种基于dag的数据处理方法、装置及电子设备。

背景技术:

1、现代数据处理系统,如自动驾驶数据标注管道、抽取转换加载(‌extract ‌transform load,etl)流水线以及机器学习推理管道,广泛采用有向无环图(directedacyclic graph,dag)来定义任务间的依赖关系和执行顺序。然而,随着业务场景的日益复杂和数据规模的急剧增长,这类基于dag的数据处理系统在大批量数据处理场景中存在异范式处理的统一编排困难问题。

2、例如,在确定性规则算法(如数值计算、阈值判定)与非确定性的大语言模型(large language model‌,llm)推理集成在同一个业务闭环场景中,两类处理范式存在根本差异:规则节点通常以同步函数调用方式对每一帧输入进行确定性计算并立即产出结果,而llm节点多为异步api请求,输出具有概率性,且出于成本和延迟考虑往往采用抽帧采样而非逐帧处理。如果某场景中需要两类节点同时处理,就会存在频率对齐问题。传统的dag面对这种情况需要人工对齐但容易出现错位的问题,或者统一编排独立于dag架构,但这样会导致架构冗余。

技术实现思路

1、本技术提供了一种基于dag的数据处理方法、装置及电子设备,在大批量数据处理场景中可以在dag架构中自动对异范式节点的处理结果进行频率对齐,在解决架构精简的基础上,实现了对异频率或异范式节点的统一编排,降低了错位风险,提高了数据处理的质量和效率。

2、基于此,本技术实施例第一方面提供了一种基于dag的数据处理方法,所述dag包括主层节点和子层节点,该方法包括:

3、根据所述主层节点中第一主节点的待处理任务,确定所述子层节点的待处理数据流,所述待处理数据流包括具有相同时序的第一数据流和第二数据流;

4、调用所述子层节点中的第一子节点对所述第一数据流进行逐帧处理,得到所述第一子节点的第一处理结果,并调用所述子层节点中的第二子节点对所述第二数据流进行抽帧采样处理,得到采样帧数据的第二处理结果;

5、对所述第一处理结果与所述第二处理结果进行同频聚合处理,并将得到的聚合数据输入第二主节点,所述第二主节点为在所述主层节点中所述第一主节点的下一级主节点。

6、本技术实施例中,通过为同一主节点下游的子层节点提供具有相同时序基准的第一数据流和第二数据流,并分别驱动第一子节点进行逐帧处理、第二子节点进行抽帧采样处理后,再对两者的处理结果进行同频聚合,在dag调度引擎层面原生实现了规则节点与llm节点异频率输出的自动时间对齐,解决了大批量数据处理场景中相关技术因两套系统手动对齐而导致的架构冗余、标签错位风险高及异范式流水线统一编排困难的问题。将聚合数据输入下一级主节点,使得下游节点能够直接使用精确对齐的融合数据,显著降低了混合流水线的构建与维护复杂度,并提高了数据处理的质量和效率。

7、在一些实施方式中,所述对所述第一处理结果与所述第二处理结果进行同频聚合处理,包括:

8、根据所述第二处理结果确定所述第二数据流中非采样帧数据的处理结果,得到所述第二数据流的第三处理结果,所述第三处理结果包括所述第二处理结果和所述非采样帧数据的处理结果;

9、将所述第一处理结果和所述第三处理结果按照时序进行聚合处理,得到聚合数据。

10、本技术实施例中,通过根据采样帧数据的处理结果推算或填补非采样帧数据的结果,生成覆盖全数据流的第三处理结果,使得稀疏的抽帧输出在逻辑上被“拉伸”成了与逐帧处理完全对齐的连续信号,在不引入冗余架构的基础上,实现了抽帧的频率对齐,避免了因llm节点天然跳过部分帧而导致聚合时出现的时序断点或数据缺失问题,提高了下一节点使用数据的精确度。

11、在另一些实施方式中,所述根据所述第二处理结果确定所述第二数据流中非采样帧数据的处理结果,得到所述第二数据流的第三处理结果,包括:

12、从所述采样帧数据中确定与第一数据的时序距离最近的第一采样帧数据,所述第一数据为所述第二数据流中的非采样帧数据中的任意一种数据;

13、将所述第一采样帧数据的处理结果确定为所述第一数据的处理结果;

14、将所述第二处理结果和所述非采样帧数据的处理结果确定为所述第二数据流的第三处理结果。

15、本技术实施例中,基于时间距离最近的采样帧数据的处理结果,为每一个非采样帧数据在所有已发生的采样点中进行全局查找,同时考虑了前后两个方向的采样信息,确保填补值与原始帧数据的时间距离最小化,尤其在离线批处理场景中能够实现最高的对齐精度,最大程度还原场景变化的细节。并且,对于发生在两个采样帧数据之间的短时事件,向前或向后进行最贴近的回溯赋值,可以避免因信息滞后导致对瞬态变化的描述失真,使聚合后的数据更精确地反映真实世界的时间动态。

16、在又一些实施方式中,所述根据所述第二处理结果确定所述第二数据流中非采样帧数据的处理结果,得到所述第二数据流的第三处理结果,包括:

17、确定第三采样帧数据和第四采样帧数据之间的第二数据,所述第三采样帧数据和所述第四采样帧数据为所述采样帧数据中时序相邻的任一两个数据,所述第二数据为所述第二数据流中的非采样帧数据;

18、将所述第三采样帧数据和所述第四采样帧数据中时序靠后的数据的处理结果,确定为所述第二数据的处理结果;

19、将所述第二处理结果和所述非采样帧数据的处理结果确定为所述第二数据流的第三处理结果。

20、本技术实施例中,采用前向填充机制,即通过将两个采样帧之间的所有非采样帧统一赋值为前一个采样帧的处理结果,实现了对空缺结果的流式填充,确保了下游融合逻辑所依据的llm语义,就是对应当前时刻系统所拥有的、最可靠且即时可用的认知状态,从而可以提高在线系统数据处理的实时性与因果准确性。

21、在又一些实施方式中,所述方法还包括:

22、确定所述dag的运行模式,所述运行模式包括调试模式和发布模式;

23、在所述运行模式为所述发布模式的情况下,控制所述子层节点中所有子节点并行执行,并执行所述调用所述子层节点中的第一子节点对所述第一数据流进行逐帧处理,得到所述第一子节点的第一处理结果,并调用所述子层节点中的第二子节点对所述第二数据流进行抽帧采样处理,得到采样帧数据的第二处理结果的步骤。

24、本技术实施例中,在本技术的dag架构中,通过将运行模式内化于dag调度引擎,在发布模式下控制异范式子节点并行执行,既为异频对齐机制提供了时间同步的执行前提,又根治了调试与生产环境能力割裂的顽疾,使得规则节点与llm节点的混合编排在开发、调试、生产全生命周期中保持语义一致、性能最优。

25、在又一些实施方式中,所述方法还包括:

26、在所述运行模式为所述调试模式的情况下,控制所述子层节点中所有子节点串行执行。

27、本技术实施例中,通过在调试模式下控制子层节点串行执行,为异范式混合编排提供了确定性的、逐步可观测的调试能力,使异频对齐逻辑可以被分阶段验证和定位错误;同时,串行执行与发布模式的并行执行共享相同的节点,保证了调试与生产环境语义一致,从而解决了现有dag框架中调试与生产环境能力割裂的问题。

28、在又一些实施方式中,所述dag还包括有界任务队列和消费者进程,所述有界任务队列缓存多个待处理任务,所述有界任务队列的容量为所述消费者进程数量的n倍,n为大于或等于3的整数,所述方法还包括:

29、确定所述消费者进程当前周期内处理的任务数量是否达到预设数量,所述预设数量为所述消费者进程的m倍,m为大于n的整数;

30、若是,则关闭所述消费者进程以及回收所述消费者进程的虚拟内存空间,并在下一个周期内重启所述消费者进程;

31、若否,则从所述有界任务队列中获取所述第一主节点的待处理任务,并调用所述消费者进程处理所述待处理任务。

32、本技术实施例中,通过为dag引入有界任务队列和周期性的消费者进程重启机制,从流量控制和内存管理两个维度为异频对齐提供了稳定的执行环境,解决了下载与处理速率不匹配导致的内存积压问题,以及长时间运行的内存碎片化问题,使规则节点和llm节点的异频对齐在长期、高负载的生产环境中依然能够可靠、连续地运行。

33、本技术实施例第二方面提供了一种基于dag的数据处理装置,所述dag包括主层节点和子层节点,该装置包括:

34、确定模块,用于根据所述主层节点中第一主节点的待处理任务,确定所述子层节点的待处理数据流,所述待处理数据流包括具有相同时序的第一数据流和第二数据流;

35、执行模块,用于调用所述子层节点中的第一子节点对所述第一数据流进行逐帧处理,得到所述第一子节点的第一处理结果,并调用所述子层节点中的第二子节点对所述第二数据流进行抽帧采样处理,得到采样帧数据的第二处理结果;

36、聚合模块,用于对所述第一处理结果与所述第二处理结果进行同频聚合处理,并将得到的聚合数据输入第二主节点,所述第二主节点为在所述主层节点中所述第一主节点的下一级主节点。

37、本技术实施例第三方面提供了一种电子设备,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面提供的基于dag的数据处理方法。

38、本技术实施例第四方面提供了一种可读存储介质,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面提供的基于dag的数据处理方法。

39、本技术实施例第五方面提供了一种计算机程序产品,该计算机程序产品包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述第一方面提供的基于dag的数据处理方法。

40、本技术的有益效果:

41、通过为同一主节点下游的子层节点提供具有相同时序基准的第一数据流和第二数据流,并分别驱动第一子节点进行逐帧处理、第二子节点进行抽帧采样处理后,再对两者的处理结果进行同频聚合,在dag调度引擎层面原生实现了规则节点与llm节点异频率输出的自动时间对齐,解决了大批量数据处理场景中相关技术因两套系统手动对齐而导致的架构冗余、标签错位风险高及异范式流水线统一编排困难的问题。将聚合数据输入下一级主节点,使得下游节点能够直接使用精确对齐的融合数据,显著降低了混合流水线的构建与维护复杂度,并提高了数据处理的质量和效率。