基于NPU的图像处理系统及方法、存储介质与流程

摘要: 本发明涉及图像处理,特别涉及一种基于npu的图像处理系统及方法、存储介质。背景技术:1、随着ai走向大规模落地应用,算力消耗正从模型“训练”转向“推理”。npu...
基于NPU的图像处理系统及方法、存储介质与流程

本发明涉及图像处理,特别涉及一种基于npu的图像处理系统及方法、存储介质。

背景技术:

1、随着ai走向大规模落地应用,算力消耗正从模型“训练”转向“推理”。npu(神经网络处理器)正是为高效推理的应用场景而生的。npu作为专为ai计算设计的专用硬件,其应用范围涉及智能手机、ai pc、可穿戴与ai智能眼镜、自动驾驶与智能汽车、pc边缘计算与工业物联网等方向,深度渗透消费电子、汽车、工业、网络基础设施等关键领域。

2、npu在执行ai推理任务时,具有高能效比的优势,其能效比可达gpu的5–10倍,特别适合对功耗敏感的终端设备‌‌。另外,其具有‌低延迟‌的优势,端到端推理延迟可控制在毫秒以内‌‌。其还具有‌本地化处理的优势‌,支持隐私保护(数据不出设备)、离线可用、降低云端依赖。npu正从“端侧加速器”迈向“ai算力基石”‌,在终端智能化、大模型轻量化、绿色计算三大趋势下,展现出广阔的应用前景与应用潜力。

3、因此,有必要提出一种基于npu设计的图像处理方案,实现降低图像传感器的功耗的目的。

技术实现思路

1、本发明提供一种基于npu的图像处理系统及方法、存储介质,旨在自适应动态调节图像精处理区域和粗处理区域,满足图像质量要求的同时降低芯片系统的整体功耗。

2、为解决上述技术问题,基于本发明的一个方面,本发明提供一种基于npu的图像处理系统,其包括:

3、图像传感器,用于采集原始图像数据;

4、isp模块,用于对所述原始图像数据进行图像处理,以输出raw图像;

5、图像预处理模块,用于将所述raw图像转换成指定规格的rgb图像;

6、npu处理器,用于对指定规格的所述rgb图像进行神经网络计算,以输出目标检测结果;

7、决策模块,用于根据所述目标检测结果确定精处理区域的坐标信息;

8、配置对齐模块,用于在预设时间点将所述精处理区域的坐标信息同步配置给所述图像传感器和所述isp模块;

9、其中,所述图像传感器和所述isp模块根据所述精处理区域的坐标信息确定精处理区域内的所述原始图像数据,并进行图像精处理,对于精处理区域外的所述原始图像数据进行图像粗处理。

10、可选的,所述图像预处理模块包括:

11、去马赛克单元,用于将所述raw图像去马赛克处理,以转换为rgb图像;

12、池化单元,用于对所述rgb图像进行池化操作;

13、rgb裁剪单元,用于将经池化操作后的rgb图像的尺寸裁剪为指定规格;

14、图像数据抓取单元,用于将指定规格的所述rgb图像存储至帧缓存中,以供所述npu处理器调用。

15、可选的,所述图像处理系统还包括存储控制模块和数据搬运模块,所述存储控制模块将所述图像预处理模块输出的rgb图像传输给帧缓存中进行存储,以及将rgb图像从所述帧缓存中读出,并通过所述数据搬运模块搬运至所述npu处理器,以供所述npu处理器的算子计算;所述存储控制模块将权重数据从非易失性存储器中读出,并通过所述数据搬运模块搬运至所述npu处理器,以供所述npu处理器对应的算子调用;其中,所述npu处理器的算子对所述rgb图像计算所产生的中间数据将通过所述数据搬运模块和所述存储控制模块回写至所述帧缓存中。

16、可选的,所述npu处理器包括:

17、npu计算核,用于基于神经网络算法对指定规格的所述rgb图像进行计算,输出多个尺度的检测头信息;

18、过滤单元,用于对所述检测头信息进行过滤筛选,输出目标检测结果,所述目标检测结果包括预设数量的目标框,每个所述目标框包含左上角坐标信息、右下角坐标信息、类别置信度信息和类别标签信息。

19、可选的,所述npu计算核包括骨干网络和头颈检测网络,所述骨干网络对指定规格的所述rgb图像进行特征提取,得到特征信息;所述头颈检测网络对所述特征信息进行检测,以输出所述检测头信息。

20、可选的,所述npu计算核的神经网络模型包括卷积算子、add算子、cat算子、upsamp算子、激活函数。

21、可选的,所述目标检测结果包括预设数量的目标框,每个所述目标框包含左上角坐标信息、右下角坐标信息、类别置信度信息和类别标签信息,所述决策模块包括:

22、类别判定单元,用于根据预先配置的感兴趣类别标签组筛选出所述类别标签信息符合所述感兴趣类别标签组的所述目标框;

23、类别置信度处理单元,用于从经过所述类别判定单元筛选过的目标框中筛选出类别置信度信息不低于置信度阈值的目标框;

24、坐标差阈值判定单元,用于从经过类别置信度处理单元筛选过的目标框中根据所述左上角坐标信息和所述右下角坐标信息筛选出尺寸符合宽度阈值和高度阈值的目标框;

25、精处理坐标定位单元,用于根据经所述坐标差阈值判定单元栓选出的多个目标框的左上角坐标信息和右下角坐标信息计算并集区域,并在宽、高方向上对所述并集区域外扩预设偏移量,得到最终的精处理区域的坐标信息。

26、可选的,所述预设时间点为帧冗余时间。

27、可选的,所述isp模块对所述原始图像数据进行图像粗处理和图像精处理的帧冗余时间为vb1,所述isp模块对所述原始图像数据仅进行图像精处理的帧冗余时间为vb2,vb2>vb1;并且,在vb2内,所述图像处理系统关闭所述isp模块中与图像粗处理功能相关的模拟电路、数字电路、算法处理单元。

28、可选的,所述图像传感器包括:

29、像素阵列,用于捕获原始图像数据;

30、读出电路与fifo模块,用于对所述原始数据进行量化和缓存后输出给所述isp模块。

31、可选的,所述图像处理系统还包括:

32、raw裁剪模块,用于将所述isp模块输出的raw图像裁剪为预设规格的图像;

33、raw缓存模块,用于将所述预设规格的图像缓存并输出给高速接口模块。

34、基于本发明的另一个方面,本发明还提供一种基于npu的图像处理方法,其包括:

35、采集原始图像数据,并对所述原始图像数据进行图像处理,以输出raw图像;

36、将所述raw图像转换成指定规格的rgb图像;

37、对指定规格的所述rgb图像进行神经网络计算,以输出目标检测结果;

38、根据目标检测结果确定精处理区域的坐标信息;

39、根据预设时间点和所述精处理区域的坐标信息确定精处理区域内的所述原始图像数据,并进行图像精处理,对于精处理区域外的所述原始图像数据进行图像粗处理。

40、可选的,将所述raw图像转换成指定规格的rgb图像的步骤包括:

41、将所述raw图像去马赛克处理,以转换为rgb图像;

42、对所述rgb图像进行池化操作;

43、将经池化操作后的rgb图像的尺寸裁剪为指定规格,从而得到指定规格的所述rgb图像。

44、可选的,对指定规格的所述rgb图像进行神经网络计算,以输出目标检测结果的步骤包括:

45、基于神经网络算法对指定规格的所述rgb图像进行计算,输出多个尺度的检测头信息;

46、对所述检测头信息进行过滤筛选,输出目标检测结果,所述目标检测结果包括预设数量的目标框,每个所述目标框包含左上角坐标信息、右下角坐标信息、类别置信度信息和类别标签信息。

47、可选的,根据目标检测结果确定精处理区域的坐标信息的步骤包括:

48、根据预先配置的感兴趣类别标签组筛选出所述类别标签信息符合所述感兴趣类别标签组的所述目标框;

49、从符合所述感兴趣类别标签组的所述目标框中筛选出类别置信度信息不低于置信度阈值的目标框;

50、从类别置信度信息不低于置信度阈值的目标框中根据所述左上角坐标信息和所述右下角坐标信息筛选出尺寸符合宽度阈值和高度阈值的目标框;

51、根据尺寸符合宽度阈值和高度阈值的目标框的左上角坐标信息和右下角坐标信息计算并集区域,并在宽、高方向上对所述并集区域外扩预设偏移量,得到最终的精处理区域的坐标信息。

52、可选的,对所述原始图像数据进行图像粗处理和图像精处理的帧冗余时间为vb1,对所述原始图像数据仅进行图像精处理的帧冗余时间为vb2,vb2>vb1;

53、所述图像处理方法还包括:在vb2内,关闭与图像粗处理步骤相关的模拟电路、数字电路以及算法处理单元。

54、基于本发明的再一个方面,本发明还提供一种存储介质,其上存储有可被读写的程序,所述程序被执行时实现如上所述的图像处理方法。

55、如上的基于npu的图像处理系统,图像传感器、isp模块、图像预处理模块、npu处理器、决策模块和配置对齐模块共同作用使得数据流和控制流在整体系统中形成完整的闭环的自适应动态调整环路,基于npu处理器输出的目标检测结果来支持决策模块确定精处理区域的坐标信息,配置对齐模块在预设时间点将精处理区域的坐标信息同步给图像传感器和isp模块,使得图像传感器可以划分原始图像数据的精处理区域和粗处理区域,协调isp模块对粗处理区域进行图像粗处理,对精处理区域进行图像精处理,在满足画质需求的同时,降低系统的整体功耗。

56、需说明的是,本发明的基于npu的图像处理方法和图像处理系统基于同一发明构思,具有相同或相应的特定技术特征,故而也具有所述的图像处理系统的技术效果,这里不再重复说明。