图像色彩空间转换方法及电子设备与流程

摘要: 本技术涉及图像处理,具体地,提出了一种图像色彩空间转换方法及电子设备。背景技术:1、在视频处理与图形渲染领域,亮度分量与色度分量分离存储的图像格式(如nv12格...
图像色彩空间转换方法及电子设备与流程

本技术涉及图像处理,具体地,提出了一种图像色彩空间转换方法及电子设备。

背景技术:

1、在视频处理与图形渲染领域,亮度分量与色度分量分离存储的图像格式(如nv12格式)因存储效率高而被广泛采用,红绿蓝格式则是显示输出的标准格式,基于图形处理器(graphics processing unit)的计算着色器(compute shader)完成二者之间的实时转换已成为一类常见的并行计算任务。

2、相关技术中,一类方案将线程组尺寸固定为常见维度,由每个线程独立从全局显存读取亮度分量值与色度分量值进行转换;另一类方案将图像数据绑定为纹理对象,借助硬件纹理单元及多级缓存隐式完成采样读取。前者无法随当前执行设备的线程束(warp/wavefront)大小、共享内存容量等硬件状况动态调整并行粒度,后者未显式利用色度分量数据的复用特性。上述方式共同的局限在于,并行粒度的确定与数据缓存策略的确定相互独立,均不随底层硬件资源状况协同变化,因而既难以减少重复的全局显存访问、降低显存带宽占用与访问延迟,也难以使并行粒度与底层硬件相匹配,格式转换的整体吞吐量受限。

技术实现思路

1、本技术实施例提供一种图像色彩空间转换方法及电子设备,以至少部分的解决上述技术问题。

2、为了实现上述目的,根据本技术的第一方面,提供一种图像色彩空间转换方法,应用于图形处理器,所述方法包括:

3、获取全局显存中的待转换图像数据,以及所述图形处理器的硬件状态参数,其中,所述待转换图像数据包括亮度分量数据和色度分量数据;

4、根据所述硬件状态参数确定线程组尺寸,以及根据每个线程组所对应图像区域的大小和所述硬件状态参数确定色度数据块尺寸;

5、以所述线程组尺寸启动计算着色器,按所述色度数据块尺寸将每个线程组所对应图像区域的色度分量数据由所述全局显存加载至所述线程组的共享内存,并在所述色度分量数据加载完成后进行线程组内同步;

6、对于每个线程,从所述线程所属线程组的所述共享内存中读取所述线程所对应输出像素的色度分量值,并结合所述亮度分量数据中所述输出像素的亮度分量值进行色彩空间转换,得到输出图像中所述输出像素的像素值。

7、在一些实施例中,所述硬件状态参数包括线程束大小、单计算单元最大共享内存容量和单线程组最大线程数;所述根据所述硬件状态参数确定线程组尺寸,包括:

8、确定线程组在至少两个维度上的初步尺寸;

9、校验所述至少两个维度上的初步尺寸的乘积是否为线程束大小的整数倍,若否,则调整至少一个维度上的初步尺寸或者以空闲线程进行填充,直至所述乘积为所述线程束大小的整数倍,得到所述线程组尺寸;

10、其中,所述线程组尺寸在每个维度上的取值满足合并内存访问的对齐要求,且所述线程组尺寸对应的线程总数不超过所述单线程组最大线程数。

11、在一些实施例中,图像色彩空间转换方法还包括:

12、根据所述色度数据块尺寸计算单个线程组加载所述色度分量数据所需的共享内存占用量;

13、在所述共享内存占用量大于所述单计算单元最大共享内存容量时,缩小所述线程组尺寸和所述色度数据块尺寸中的至少一项。

14、在一些实施例中,所述以所述线程组尺寸启动计算着色器,包括:

15、根据所述线程组尺寸和所述输出图像的分辨率构建线程网格,其中,所述线程网格中的线程总数等于所述输出图像的输出像素总数,所述线程网格中的每个线程唯一对应所述输出图像中的一个输出像素;

16、将所述线程组尺寸和所述线程网格的维度作为启动参数下发至所述图形处理器的驱动层,以启动所述计算着色器。

17、在一些实施例中,所述色度分量数据的分辨率小于所述亮度分量数据的分辨率,所述全局显存中同一组色度分量值被所述亮度分量数据中相邻的多个输出像素共用;所述方法还包括:

18、根据所述色度分量数据的降采样比例确定所述亮度分量数据中一个像素块的行列尺寸,并将所述像素块所共用的一组色度分量值作为一个所述色度数据块中的色度分量数据。

19、在一些实施例中,所述色度分量数据在所述全局显存中以两个色度分量值交替排列的方式交错存储;所述按所述色度数据块尺寸将每个线程组所对应图像区域的色度分量数据由所述全局显存加载至所述线程组的共享内存,包括:

20、由所述线程组中的部分线程或全部线程参与所述色度分量数据的加载,其中,参与加载的每个线程根据所述线程的全局索引,确定所述线程组所对应图像区域的色度分量数据在所述全局显存中的起始地址;

21、以合并内存访问方式,将自所述起始地址起、所述色度数据块内的交错存储的色度分量数据加载至所述线程组的共享内存。

22、在一些实施例中,在所述线程组内同步完成之后,所述方法还包括:

23、对于所述线程组中的每个线程,根据所述线程所对应输出像素在所述线程组所对应图像区域中的位置,确定所述输出像素对应的色度分量值在所述共享内存中的存储位置,并自所述存储位置读取所述色度分量值进行色彩空间转换;

24、其中,所述线程组中至少两个线程所对应输出像素对应于所述共享内存中的同一组色度分量值,所述至少两个线程分别自所述共享内存读取所述同一组色度分量值。

25、在一些实施例中,图像色彩空间转换方法还包括:

26、对于每个线程,根据所述线程的局部索引和全局索引确定所述线程所对应输出像素在所述输出图像中的像素坐标,并自所述全局显存读取所述像素坐标处的亮度分量值;

27、所述进行色彩空间转换,包括:按照预设的色彩空间转换矩阵,对所述亮度分量值和所述色度分量值进行线性变换,得到所述输出像素的红绿蓝分量值,并将所述红绿蓝分量值作为所述输出图像中所述输出像素的像素值。

28、在一些实施例中,所述获取所述图形处理器的硬件状态参数,包括:

29、在启动所述计算着色器之前,通过所述图形处理器提供的查询接口实时获取当前执行设备的所述硬件状态参数。

30、第二方面,提供一种电子设备,包括:至少一个处理装置;以及,与所述至少一个处理装置通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理装置执行的指令,所述指令被所述至少一个处理装置执行,以使所述至少一个处理装置能够实现如上所述的方法。

31、本技术实施例中的图像色彩空间转换方法,在获取待转换图像数据的同时获取当前执行设备的硬件状态参数,使后续的并行粒度与缓存规模均以同一组硬件约束为确定依据:线程组尺寸随线程束大小等参数确定,色度数据块尺寸则由线程组所对应图像区域的大小与共享内存容量共同确定,避免了固定配置下计算粒度与硬件架构不匹配的问题。在此基础上,仅将具备多像素共用特性的色度分量数据按块预取至共享内存,经一次组内同步后由各线程反复读取,重复的全局显存访问被转化为片上高速存储访问,既降低了显存带宽占用与访问延迟,也消除了交错存储带来的非合并访问。线程调度策略与数据访问策略由此协同匹配底层硬件,使格式转换的整体吞吐量得到提升。

32、本技术的其他特征和优点将在随后的具体实施方式部分予以详细说明。