一种面向视频分析的异构AI计算引擎的调度方法与流程

摘要: 本发明涉及图像分析,尤其涉及一种面向视频分析的异构ai计算引擎的调度方法。背景技术:1、现有技术中,视频智能分析已广泛应用于安防监控、交通感知、工业视觉等领域,...
一种面向视频分析的异构AI计算引擎的调度方法与流程

本发明涉及图像分析,尤其涉及一种面向视频分析的异构ai计算引擎的调度方法。

背景技术:

1、现有技术中,视频智能分析已广泛应用于安防监控、交通感知、工业视觉等领域,多依托边缘节点与ai模型完成视频解码、预处理、特征提取及目标推理等流程。目前主流视频分析方案多采用分布式边缘协同架构,常结合多智能体强化学习实现任务卸载与节点调度,但这类方案普遍以任务级粗粒度调度为主,仅能完成分析任务的简单分配与节点选择,缺乏对异构算力的原生适配能力,无法兼容cpu、gpu、npu等多类型硬件引擎协同运行。同时,现有技术未构建视频预处理、特征提取与时序调度的闭环优化机制,缺少对云台抖动、设备晃动引入的运动噪点、帧间偏移等问题的自适应校正手段。此外,传统方案时序建模能力薄弱,无法有效抑制视频流时序漂移、负载瞬时波动带来的特征损失与采集延迟问题,易出现分析精度下降、推理时延超标、资源算力利用率低等情况,导致ai计算引擎的调度有效性不足的问题。

2、中国专利公开号:cn116723354a,公开了一种基于多智能体强化学习的分布式边缘协同视频分析方法,方法包括:该方法基于分布式边缘计算的视频分析系统,在位于不同地理位置的边缘节点上部署dnn模型,每个边缘节点接收着来自其相应区域的视频分析推理请求,通过协作学习以最小化系统的总体成本,包括如下步骤:(1)不同区域的推理请求通过http协议将视频帧发送到相应的边缘节点i(i∈n);(2)当边缘节点i(i∈n)收到推理请求时,决策引擎根据当前系统状态oi(t)做出决策,然后将控制决策ai(t)应用于视频帧,决策包括推理节点的选择、dnn模型的选择和分辨率的选择;(3)边缘节点i将根据分辨率决策将视频帧降低到指定的分辨率,以减少边缘节点之间的传输延迟和推理延迟。由此可见,所述基于多智能体强化学习的分布式边缘协同视频分析方法存在由于调度以任务级卸载为核心,强化学习仅决策,无特征提取、时序建模的参数调控能力,未设计动态调节参数,难以应对视频流时序漂移、画面伪影扩散场景,导致ai计算引擎的调度有效性不足的问题。

技术实现思路

1、为此,本发明提供一种面向视频分析的异构ai计算引擎的调度方法,用以克服现有技术中由于调度以任务级卸载为核心,强化学习仅决策,无特征提取、时序建模的参数调控能力,未设计动态调节参数,难以应对视频流时序漂移、画面伪影扩散场景,导致ai计算引擎的调度有效性不足的问题。

2、为实现上述目的,本发明提供一种面向视频分析的异构ai计算引擎的调度方法,包括:

3、采集汽车行驶过程中的视频图像,对所述视频图像依次进行去噪、视频解码以及任务划分以得到若干子任务图像,并对所述子任务图像进行优先级排列;

4、对所述子任务图像进行特征提取以得到视频特征,基于所述视频特征构建深度学习模型,并基于所述深度学习模型对所述若干子任务图像进行分析以得到分析结果;

5、基于所述分析结果对计算引擎的算力资源进行动态调度;

6、获取分析结果的准确率判定分析结果的有效性是否符合要求;

7、若所述分析结果的有效性不符合要求,则基于子任务图像的任务划分增长率判定子任务图像的划分合理性是否符合要求;

8、若所述子任务图像的划分合理性不符合要求,确定是否增大视频图像的边界轮廓伪影制衡校正系数;

9、若不需要增大视频图像的边界轮廓伪影制衡校正系数,则获取子任务图像的噪点残留率确定视频图像的细节残差自适应配比系数。

10、进一步地,基于所述分析结果的准确率判定分析结果的有效性是否符合要求,包括:

11、若所述分析结果的准确率大于或等于所述预设准确率,判定分析结果的有效性符合要求;

12、若所述分析结果的准确率小于所述预设准确率,判定分析结果的有效性不符合要求。

13、进一步地,基于所述分析结果的有效性不符合要求的条件下,基于子任务图像的任务划分增长率判定子任务图像的划分合理性是否符合要求。

14、进一步地,基于子任务图像的任务划分增长率判定子任务图像的划分合理性是否符合要求,包括:

15、若所述子任务图像的任务划分增长率小于或等于所述预设第一增长率,判定子任务图像的划分合理性符合要求;

16、若所述子任务图像的任务划分增长率大于所述预设第一增长率,判定子任务图像的划分合理性不符合要求。

17、进一步地,确定是否需要增大视频图像的边界轮廓伪影制衡校正系数,包括:

18、若所述子任务图像的任务划分增长率大于所述预设第一增长率且小于预设第二增长率,确定需要增大视频图像的边界轮廓伪影制衡校正系数;

19、若所述子任务图像的任务划分增长率大于或等于所述预设第二增长率,则确定不需要增大视频图像的边界轮廓伪影制衡校正系数。

20、进一步地,所述视频图像的边界轮廓伪影制衡校正系数的增大幅度通过子任务图像的任务划分增长率与预设第一增长率的差值确定。

21、进一步地,基于所述子任务图像的任务划分增长率大于或等于所述预设第二增长率的条件下,初步判定视频图像的去噪处理有效性不符合要求,并根据子任务图像的噪点残留率对视频图像的去噪处理有效性是否符合要求进行判定。

22、进一步地,确定视频图像的细节残差自适应配比系数,包括:

23、若所述子任务图像的噪点残留率小于或等于所述预设噪点残留率,判定视频图像的去噪处理有效性符合要求;

24、若所述子任务图像的噪点残留率大于所述预设噪点残留率,判定视频图像的去噪处理有效性不符合要求,并增大视频图像的细节残差自适应配比系数。

25、进一步地,所述子任务图像的噪点残留率为子任务图像中存在的噪声像素数量与子任务图像中总像素数量的比值。

26、进一步地,所述视频图像的细节残差自适应配比系数的增大幅度通过子任务图像的噪点残留率与预设噪点残留率的差值确定。

27、与现有技术相比,本发明的有益效果在于,本发明所述方法根据分析结果的准确率对分析结果的有效性进行判定,根据子任务图像的任务划分增长率对视频图像的边界轮廓伪影制衡校正系数进行调节,根据子任务图像的噪点残留率对视频图像的细节残差自适应配比系数进行调节,使得ai计算引擎可以有效调度,避免了因未设计动态调节参数而在视频流时序漂移、画面伪影扩散等场景下引发的调度问题,提高了ai计算引擎的调度有效性。

28、进一步地,本发明所述方法通过设置预设准确率,对分析结果的有效性进行判定,由于任务粒度划分过细,子任务数量增加,无法有效分摊任务调度、硬件同步等所带来的固定开销,导致深度学习模型分析结果的生成延迟时长增加,通过判定分析结果的实时性,可以及时识别任务粒度过细引发的分析异常,为后续自适应调控相关量化矫正参数提供判定依据与触发条件,对可控参数进行调节,分摊任务调度与硬件同步的固定开销,保障分析结果的有效性,进一步提高了ai计算引擎的调度有效性。

29、进一步地,本发明所述方法通过设置预设第一增长率和预设第二增长率,对视频图像的边界轮廓伪影制衡校正系数进行调节,由于预处理去噪不足,视频图像中残留的噪声产生的边界毛刺、虚假边缘等现象干扰了图像的原始信息,无法让全局范围内的像素保持一致且连续,导致将原本可合并的粗粒度任务细化为多个局部校验和区域重采样子任务,通过增大视频图像的边界轮廓伪影制衡校正系数,可以有效抑制预处理残留噪声所产生的边界毛刺与虚假边缘,校正边界轮廓伪影畸变,还原图像边缘真实轮廓,弱化噪声伪边缘对区域分割判定的干扰,避免因伪边缘误判将可合并的粗粒度任务过度拆分,减少冗余局部校验和区域重采样子任务的生成,进一步提高了ai计算引擎的调度有效性。

30、进一步地,本发明所述方法通过设置预设噪点残留率,对视频图像的细节残差自适应配比系数进行调节,由于视频采集过程中设备存在晃动、云台抖动,无法保持帧间稳定成像,并引入运动噪点,导致预处理环节在保留图像细节与抑制噪声之间难以平衡,出现去噪不足的现象,通过增大视频图像的细节残差自适应配比系数,可以动态优化预处理环节中细节保留与运动噪点抑制的平衡关系,在增强运动噪点的抑制力度的同时,保留图像核心细节特征,有效校正由帧间成像不稳定所引起的细节畸变,从而提升视频去噪处理的有效性,进一步提高了ai计算引擎的调度有效性。