图像处理方法、装置和计算机设备与流程

摘要: 本技术涉及计算摄影和机器视觉,特别是涉及一种图像处理方法、装置和计算机设备。背景技术:1、随着计算摄影和机器视觉的发展,图像处理系统面临日益严峻的挑战。传统固定...
图像处理方法、装置和计算机设备与流程

本技术涉及计算摄影和机器视觉,特别是涉及一种图像处理方法、装置和计算机设备。

背景技术:

1、随着计算摄影和机器视觉的发展,图像处理系统面临日益严峻的挑战。传统固定功能isp(image signal processor)流水线无法灵活适配夜景、hdr(high dynamic range,多动态范围)、多摄融合等多样化场景需求。因此,如何提升图像处理效果,是当前的研究重点。

2、传统技术通过可重构逻辑或基于片上网络(network on chip,noc)的动态调度,在重构延迟的确定性和多数据流硬实时同步方面存在根本性缺陷。noc方案的数据包路由延迟受网络负载影响,存在不确定性;而为每个摄像头配备独立isp的方案则导致资源孤岛、数据融合延迟高、功耗大,从而导致图像处理效率较差。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种图像处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面,本技术提供了一种图像处理方法,包括:

3、获取当前场景适配的流水线描述符、以及图像数据块,并对所述流水线描述符进行校验解析处理,得到连接关系表、以及各启用处理核的配置参数;所述连接关系表为位图矩阵,所述位图矩阵中的各位值、与所述交叉开关矩阵的各物理交叉点一一对应;

4、基于所述交叉开关矩阵的各物理交叉点,通过所述位图矩阵,生成所述交叉开关矩阵的物理数据通路,并将各所述启用处理核的配置参数,写入各所述启用处理核对应的配置寄存器,得到各所述启用处理核的已配置数据;

5、基于所述物理数据通路、以及各所述启用处理核的已配置数据,按照逐级递进处理策略,通过各所述启用处理核,分别对所述图像数据块进行递进处理,得到所述图像数据块的图像处理结果。

6、可选的,所述对所述流水线描述符进行校验解析处理,得到连接关系表、以及各启用处理核的配置参数,包括:

7、提取所述流水线描述符中的各校验方式对应的待校验数据,并通过各所述校验方式对应的校验策略,分别对每个校验方式对应的待校验数据进行校验处理,得到每个校验方式对应的校验结果;

8、在所有校验结果均为校验通过的情况下,解析所述流水线描述符中的连接关系表、以及各启用处理核的配置参数。

9、可选的,所述基于所述交叉开关矩阵的各物理交叉点,通过所述位图矩阵,生成所述交叉开关矩阵的物理数据通路,包括:

10、基于所述位图矩阵,识别所述交叉开关矩阵中的各物理交叉点对应的位值;

11、基于各所述物理交叉点对应的位置,识别所述交叉开关矩阵的各物理交叉点中的通路交叉点;

12、在满足预设时间条件时,基于各所述通路交叉点,对所述交叉开关矩阵进行通路切换处理,得到交叉开关矩阵的物理数据通路。

13、可选的,所述将各所述启用处理核的配置参数,写入各所述启用处理核对应的配置寄存器,得到各所述启用处理核的已配置数据,包括:

14、基于各所述启用处理核的配置参数,生成每个启用处理核的片选型号、以及每个启用处理核的内存器偏移地址;

15、将每个启用处理核的片选型号,写入每个启用处理核的内存器偏移地址,得到各所述启用处理核的已配置数据。

16、可选的,所述基于所述物理数据通路、以及各所述启用处理核的已配置数据,按照逐级递进处理策略,通过各所述启用处理核,分别对所述图像数据块进行递进处理,得到所述图像数据块的图像处理结果,包括:

17、将所述图像数据块,通过所述物理数据通路,传输至各所述启用处理核中的第一级处理核,并通过所述第一级处理核的已配置数据,对所述图像数据块进行数据处理,得到第一处理结果数据块;

18、将所述第一处理结果数据块,反馈至所述交叉开关矩阵,并在所述连接关系表中,查询位于所述第一级处理核之后的启用处理核,得到第二级处理核;

19、通过所述物理数据通路,将所述第一处理结果数据块,传输所述第二级处理核,并通过所述第二级处理核的已配置数据,对所述图像数据块进行数据处理,得到第二处理结果数据块;

20、将所述第二处理结果数据块,替换所述第一处理结果数据块,将所述第二级处理核,替换所述第一级处理核,并返回执行将所述第一处理结果数据块,反馈至所述交叉开关矩阵步骤,直到完成最后一个启用处理核的数据处理过程时为止;

21、输出最后一个启用处理核进行数据处理得到的第二处理结果数据块,作为所述图像数据块的图像处理结果。

22、可选的,在存在多个流水线描述符同时启用同一目标处理核时,所述方法,还包括:

23、获取各所述流水线描述符对所述目标处理核的资源请求,并基于每个资源请求,分别计算每个流水线描述符对应的有效优先级;

24、基于每个流水线描述符对应的有效优先级,生成流水线处理序列,并按照所述流水线处理序列,顺序启用所述目标处理核。

25、第二方面,本技术还提供了一种图像处理装置,包括:

26、获取模块,用于获取当前场景适配的流水线描述符、以及图像数据块,并对所述流水线描述符进行校验解析处理,得到连接关系表、以及各启用处理核的配置参数;所述连接关系表为位图矩阵,所述位图矩阵中的各位值、与所述交叉开关矩阵的各物理交叉点一一对应;

27、写入模块,用于基于所述交叉开关矩阵的各物理交叉点,通过所述位图矩阵,生成所述交叉开关矩阵的物理数据通路,并将各所述启用处理核的配置参数,写入各所述启用处理核对应的配置寄存器,得到各所述启用处理核的已配置数据;

28、处理模块,用于基于所述物理数据通路、以及各所述启用处理核的已配置数据,按照逐级递进处理策略,通过各所述启用处理核,分别对所述图像数据块进行递进处理,得到所述图像数据块的图像处理结果。

29、可选的,所述获取模块,具体用于:

30、提取所述流水线描述符中的各校验方式对应的待校验数据,并通过各所述校验方式对应的校验策略,分别对每个校验方式对应的待校验数据进行校验处理,得到每个校验方式对应的校验结果;

31、在所有校验结果均为校验通过的情况下,解析所述流水线描述符中的连接关系表、以及各启用处理核的配置参数。

32、可选的,所述写入模块,具体用于:

33、基于所述位图矩阵,识别所述交叉开关矩阵中的各物理交叉点对应的位值;

34、基于各所述物理交叉点对应的位置,识别所述交叉开关矩阵的各物理交叉点中的通路交叉点;

35、在满足预设时间条件时,基于各所述通路交叉点,对所述交叉开关矩阵进行通路切换处理,得到交叉开关矩阵的物理数据通路。

36、可选的,所述写入模块,具体用于:

37、基于各所述启用处理核的配置参数,生成每个启用处理核的片选型号、以及每个启用处理核的内存器偏移地址;

38、将每个启用处理核的片选型号,写入每个启用处理核的内存器偏移地址,得到各所述启用处理核的已配置数据。

39、可选的,所述处理模块,具体用于:

40、将所述图像数据块,通过所述物理数据通路,传输至各所述启用处理核中的第一级处理核,并通过所述第一级处理核的已配置数据,对所述图像数据块进行数据处理,得到第一处理结果数据块;

41、将所述第一处理结果数据块,反馈至所述交叉开关矩阵,并在所述连接关系表中,查询位于所述第一级处理核之后的启用处理核,得到第二级处理核;

42、通过所述物理数据通路,将所述第一处理结果数据块,传输所述第二级处理核,并通过所述第二级处理核的已配置数据,对所述图像数据块进行数据处理,得到第二处理结果数据块;

43、将所述第二处理结果数据块,替换所述第一处理结果数据块,将所述第二级处理核,替换所述第一级处理核,并返回执行将所述第一处理结果数据块,反馈至所述交叉开关矩阵步骤,直到完成最后一个启用处理核的数据处理过程时为止;

44、输出最后一个启用处理核进行数据处理得到的第二处理结果数据块,作为所述图像数据块的图像处理结果。

45、可选的,该装置还包括:

46、计算模块,用于获取各所述流水线描述符对所述目标处理核的资源请求,并基于每个资源请求,分别计算每个流水线描述符对应的有效优先级;

47、排序模块,用于基于每个流水线描述符对应的有效优先级,生成流水线处理序列,并按照所述流水线处理序列,顺序启用所述目标处理核。

48、第三方面,本技术提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现第一方面中任一项所述的方法的步骤。

49、第四方面,本技术提供了一种计算机可读存储介质。其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面中任一项所述的方法的步骤。

50、第五方面,本技术提供了一种计算机程序产品。所述计算机程序产品包括计算机程序,该计算机程序被处理器执行时实现第一方面中任一项所述的方法的步骤。

51、上述图像处理方法、装置和计算机设备,通过获取当前场景适配的流水线描述符、以及图像数据块,并对所述流水线描述符进行校验解析处理,得到连接关系表、以及各启用处理核的配置参数;所述连接关系表为位图矩阵,所述位图矩阵中的各位值、与所述交叉开关矩阵的各物理交叉点一一对应;基于所述交叉开关矩阵的各物理交叉点,通过所述位图矩阵,生成所述交叉开关矩阵的物理数据通路,并将各所述启用处理核的配置参数,写入各所述启用处理核对应的配置寄存器,得到各所述启用处理核的已配置数据;基于所述物理数据通路、以及各所述启用处理核的已配置数据,按照逐级递进处理策略,通过各所述启用处理核,分别对所述图像数据块进行递进处理,得到所述图像数据块的图像处理结果。本方案,通过基于交叉开关的确定性动态互连架构。摒弃共享总线或noc,采用交叉开关作为核心互连,消除了仲裁、竞争和拥塞带来的非确定性延迟,实现了纳秒至微秒级、可精确预测的流水线拓扑切换与数据传输,满足硬实时要求。其次,本方案将不同场景需求条件对应的流水线描述符,校验解析为连接关系表、以及各启用处理核的配置参数,并将该连接关系表直接映射为交叉开关矩阵的物理数据通路,从而可以直接生成可直译的通路指令,实现了从算法意图到底层硬件动作的无损、零开销“编译”。最后,本方案在进行图像数据块的数据处理时,通过物理数据通路,对各启用处理核进行逐级递进调用,从而解决了多流水线共享核资源的仲裁问题,综上所述,本方案实现图像处理流水线拓扑的原子性、确定性切换,并原生支持多路图像传感器数据的低延迟、高能效并行处理与实时融合,从根本上解决灵活性、确定性与多摄协同之间的矛盾,从而在面对不同场景需求条件,均能够从硬件架构触发,实现了多处理核高效协同的图像数据处理效果,以综合提升图像处理效率。