一种基于动态图与静态图混合的数据处理方法及装置与流程

摘要: 本发明涉及深度学习与数据处理,尤其是指一种基于动态图与静态图混合的数据处理方法及装置。背景技术:1、近年来,视频分析、图像分类、目标检测、语音识别等数据处理任务...
一种基于动态图与静态图混合的数据处理方法及装置与流程

本发明涉及深度学习与数据处理,尤其是指一种基于动态图与静态图混合的数据处理方法及装置。

背景技术:

1、近年来,视频分析、图像分类、目标检测、语音识别等数据处理任务逐渐依赖深度学习模型、科学计算程序以及面向异构处理器完成,深度学习模型、科学计算程序以及面向异构处理器通常由多个计算节点及其数据依赖关系构成。按照计算图的构建和执行时机,现有的计算框架大多可采用动态图执行模式和静态图执行模式。

2、动态图执行模式随着数据处理流程实时生成计算节点,适配输入数据动态变化的处理场景,便于完成多变输入下的图像、语音流式解析任务,其通常在运行过程中根据程序语句和运行时数据逐步构建并立即执行计算节点,能够自然表达条件分支、循环、变长输入和数据相关控制逻辑,便于模型开发、调试和动态数据处理,但是,动态图执行往往会针对每一轮输入输出逐节点解释、任务调度、张量形状检测、内存分配以及内核启动,因此会产生大量重复开销。静态图执行模式提前完成完整计算图编译固化,对计算逻辑进行全局优化,更适合大批量图像分类、批量视频帧解析等数据处理任务,其能够实施算子融合、常量折叠、内存复用和执行顺序重排,显著提升固定规格输入输出下的数据处理执行效率,然而静态图对输入张量形状、数据处理的控制路径或算子属性存在一定约束,对于复杂条件分支、动态循环和运行时结构变化的数据处理任务支持不足。

3、数据处理模型(例如图像分类模型、语音识别模型)在训练和推理时通常同时包含结构稳定的计算密集型部分和具有运行时变化的动态控制部分,例如:卷积、矩阵乘法、归一化和注意力计算等算子对输入数据进行卷积等操作时在多次迭代中往往具有相对稳定的结构,适合静态编译;而数据预处理、变长序列处理、动态路由以及依赖运行时数据的条件分支需要保留动态图能力,因此,如果数据处理模型在进行图像分别、语音识别等任务时整体采用动态图执行,面对大批量输入数据难以充分发挥编译优化和硬件加速能力,若整体转换为静态图模式,又因输入数据动态变化影响无法满足静态约束,出现频繁重编译(即不断基于输入数据的尺寸重新生成计算图)、无法正确表达业务语义。

4、对此,现有技术中提出了混合执行方案,其依据人工标注或简单节点类型划分静态区域,划分完成后将待处理的图像、语音等数据输入数据处理模型,其中进入静态区域的数据由静态图编译后的执行单元执行图像特征提取、语音信号基础变换等逻辑固定、分支较少的算子运算,动态区域则通过接收上游输出的中间特征数据,沿用动态图逐节点解释处理数据的分辨率变化、语音时长不确定性带来的条件分支、循环等动态依赖真实数据的计算逻辑,最终输出数据处理结果。但是这种划分方式仅仅依靠简单规则切割子图,针对图像分辨率多变、语音输入时长不等的数据特性,容易产生不合理的子图划分结果,同时在处理数据时,当进入静态区域的数据尺寸改变、推理流程出现分支跳转时,缺少可靠的执行单元失效判断以及向动态区域回退的应对方案;另外,现有技术中还通过将动态图捕获为静态图,即在图像、语音等数据处理过程中,截取当前正在执行的动态图片段,对该片段进行编译固化,生成可加速运行的静态执行单元,但是子图边界处数据张量拷贝与格式转换也会带来高额开销、相同逻辑的静态执行单元反复创建,造成图像、语音推理耗时抖动,影响数据处理的吞吐与效率。

5、综上所述,现有技术中的基于动态图与静态图混合的数据处理方法存在子图划分依据片面,缺乏完备的失效回退机制,且子图转换容易引入额外性能损耗的问题,难以兼顾图像、语音这类输入数据多变场景下的数据处理时延与吞吐。

技术实现思路

1、为此,本发明所要解决的技术问题在于克服现有技术中的基于动态图与静态图混合的数据处理方法存在子图划分依据片面,缺乏完备的失效回退机制,且子图转换容易引入额外性能损耗的问题,难以兼顾图像、语音这类输入数据多变场景下的数据处理时延与吞吐。

2、为解决上述技术问题,本发明提供了一种基于动态图与静态图混合的数据处理方法,包括:

3、获取以多模态数据为输入、以多模态数据的分类或识别结果为输出的数据处理模型,并获取数据处理模型的计算图中各个计算节点的节点特征;其中,节点特征至少包括节点类型、输入输出特征、执行路径变化特征和计算量特征;

4、基于各个计算节点的节点特征获取各个计算节点的动态性指标、结构稳定性指标和预期静态化收益,从而筛选候选静态计算节点,基于满足连续性条件的多个候选静态计算节点聚合为候选静态子图;

5、提取候选静态子图与剩余计算节点组成的动态子图的输入边界和输出边界,从而构建静态图表示;对静态图表示进行编译优化生成静态执行单元;

6、采用静态调用节点替换候选静态子图,建立动态图节点、静态调用节点及其对应的静态执行单元之间的数据传递关系和执行依赖关系,形成混合执行计算图,从而更新数据处理模型;

7、获取更新后的数据处理模型对输入的多模态数据进行分类或识别时,各个计算节点的性能指标,从而对计算图中的静态执行单元进行动态调整操作,直至各个计算节点的性能指标达到预设指标阈值,得到目标混合执行计算图,从而得到目标数据处理模型;

8、将待处理的多模态数据输入目标数据处理模型,输出分类或识别结果。

9、优选地,计算节点的动态性指标,基于输入该计算节点的张量的形状变化、秩变化、数据类型变化、条件分支路径变化频率、循环次数变化、运行时算子属性变化、运行时数值依赖信息中一项或多项计算得到;

10、计算节点的结构稳定性指标,基于该计算节点的前驱节点变化频率、分支路径跳转频率、运行时拓扑结构的变化次数计算得到;

11、计算节点的预期静态化收益,基于包含该计算节点的动态图调度开销、该计算节点的编译优化收益、执行频率、计算量、数据搬运量、包含该计算节点的静态执行单元的生成开销和复用次数计算得到。

12、优选地,筛选候选静态计算节点包括:

13、当计算节点的动态性指标小于预设动态阈值、预期静态化收益大于预设收益阈值且结构稳定性指标大于预设稳定性阈值时,判定计算节点为候选静态计算节点。

14、优选地,基于满足连续性条件的多个候选静态计算节点聚合为候选静态子图,包括:

15、基于候选静态计算节点之间的拓扑连接关系,筛选拓扑结构连续的候选静态计算节点集合;

16、对候选静态计算节点集合进行校验,基于存在数据依赖、无动态条件分支切换以及无动态循环变化的候选静态计算节点,得到新的候选静态计算节点集合;

17、计算新的候选静态计算节点集合中不同候选静态计算节点组合时的数据传输代价,基于数据传输代价小于预设代价阈值的候选静态计算节点组合得到目标候选静态计算节点集合;

18、对目标候选静态计算节点集合中不同候选静态计算节点组合进行边界约束校验,对输入边界数量和输出边界数量均小于等于预设边界数量阈值的候选静态计算节点组合聚合得到候选静态子图。

19、优选地,提取候选静态子图与剩余计算节点组成的动态子图的输入边界和输出边界后,还包括:

20、在输入边界和输出边界处设置边界适配器,从而进行输入张量形状校验、数据布局转换、数据类型转换、设备地址映射、缓冲区声明周期管理、同步时间传递或异常状态传播。

21、优选地,编译优化包括算子融合、常量折叠、公共子表达式消除、冗余节点消除、内存复用、缓冲区预分配、执行顺序重排、并行流水调度、内核选择、自动调优、面向cpu、gpu或npu的目标代码生成中的一种或多种。

22、优选地,还包括:

23、基于运行时静态执行单元的输入数据特征、控制路径特征、编译选项和目标硬件生成执行签名;

24、将执行签名与静态执行单元关联存储至执行单元缓存,从而基于待执行任务的执行签名与执行单元缓存中的执行签名的匹配结果,针对待执行任务复用相应的静态执行单元。

25、优选地,当静态执行单元的输入数据特征和/或控制路径特征和/或编译选项和/或算子属性和/或目标硬件改变,和/或,执行结果校验失败或静态执行收益小于预设静态执行收益阈值时,将静态执行单元标记为失效。

26、优选地,各个计算节点的性能指标包括执行时间、吞吐量、cpu利用率、gpu利用率、npu利用率、内存占用大小、内存带宽、任务排队时间、调度延迟时间、数据转换开销、静态执行单元缓存命中率和静态执行单元能耗中的一种或多种;

27、对计算图中的静态执行单元进行动态调整操作包括:对静态执行单元进行复用、重新编译、对静态执行单元中的候选静态子图进行拆分或合并、对静态执行单元对应的静态调用节点执行资源调整或回退至动态子图执行中的一种或多种;

28、其中,资源调整包括基于任务优先级、数据依赖和硬件负载将静态执行单元对应的静态调用节点分配至cpu、npu或gpu;回退至动态子图执行包括:当静态执行单元失效时,回退至静态执行单元对应的静态调用节点的前一个动态子图。

29、本发明还提供了一种基于动态图与静态图混合的数据处理装置,包括:

30、数据获取模块,用于获取以多模态数据为输入、以多模态数据的分类或识别结果为输出的数据处理模型,并获取数据处理模型的计算图中各个计算节点的节点特征;其中,节点特征至少包括节点类型、输入输出特征、执行路径变化特征和计算量特征;

31、节点筛选模块,用于基于各个计算节点的节点特征获取各个计算节点的动态性指标、结构稳定性指标和预期静态化收益,从而筛选候选静态计算节点,基于满足连续性条件的多个候选静态计算节点聚合为候选静态子图;

32、编译优化模块,用于提取候选静态子图与剩余计算节点组成的动态子图的输入边界和输出边界,从而构建静态图表示;对静态图表示进行编译优化生成静态执行单元;

33、混合执行计算图获取模块,用于采用静态调用节点替换候选静态子图,建立动态图节点、静态调用节点及其对应的静态执行单元之间的数据传递关系和执行依赖关系,形成混合执行计算图,从而更新数据处理模型;

34、混合执行计算图优化模块,用于获取更新后的数据处理模型对输入的多模态数据进行分类或识别时,各个计算节点的性能指标,从而对计算图中的静态执行单元进行动态调整操作,直至各个计算节点的性能指标达到预设指标阈值,得到目标混合执行计算图,从而得到目标数据处理模型;

35、数据处理模块,用于将待处理的多模态数据输入目标数据处理模型,输出分类或识别结果。

36、本技术提供的基于动态图与静态图混合的数据处理方法具有以下有益效果:

37、1、通过在数据处理模型的计算图中提取计算节点的节点特征,联合计算节点的动态性指标、结构稳定性指标与预期静态化收益实现候选静态计算节点的筛选,区别于仅依靠人工标注或算子类型简单划分静态区域的方式,有效避免了子图错误划分、无效静态化、低收益转换的问题;同时,结合候选静态计算节点的拓扑连续性、控制依赖合规性、数据传输代价与边界数量约束完成候选静态子图的聚合,对基于候选静态子图和动态子图生成的静态图表示进行编译优化生成静态执行单元,利用静态调用节点替换候选静态子图,形成混合执行计算图并基于实际数据处理时计算节点的运行指标对混合执行计算图进行优化,利用聚合子图级跨算子优化替代了逐节点动态解释执行模式,大幅减少了计算节点逐次调度、内核频繁启动与中间缓存重复申请的资源开销;最后基于优化后的混合执行计算图得到目标数据处理模型,对多模态数据进行分类或识别;

38、2、通过实时采集模型推理的性能指标,对计算图中的静态执行单元进行复用、重新编译、对静态执行单元中的候选静态子图进行拆分或合并、对静态执行单元对应的静态调用节点执行资源调整或回退至动态子图执行等操作,动态完成静态子图的拆分、合并调整,并结合cpu、gpu、npu异构设备负载自适应调整任务映射方式,实现计算资源的合理调配,显著提升了多模态数据处理任务的推理吞吐量、异构设备资源利用率与整体运行能效;具体地,通过建立静态执行单元缓存、执行签名匹配与版本管理机制,可在相同或相近运行工况下复用已编译的静态执行单元,极大规避了重复编译带来的性能损耗,同时依托运行时失效检测与动态图回退机制,可在输入数据特征、推理控制路径、硬件运行环境发生动态变化时,及时判定静态执行单元失效状态并切换至动态执行逻辑,保障多模态数据分类、识别任务的执行正确性与业务连续性。