使用经动态计算的稀疏核减少图像中的锯齿边缘的制作方法

摘要: 本说明书涉及图像处理,并且更具体地涉及用于图像增强(包括图像中的边缘的处理)的系统和方法。背景技术:1、许多现代计算装置(包括移动电话、个人计算机和平板电脑)都...
使用经动态计算的稀疏核减少图像中的锯齿边缘的制作方法

本说明书涉及图像处理,并且更具体地涉及用于图像增强(包括图像中的边缘的处理)的系统和方法。

背景技术:

1、许多现代计算装置(包括移动电话、个人计算机和平板电脑)都包括可以捕获图像数据的图像传感器,例如静态相机或视频相机。由图像传感器捕获的图像数据通常首先作为图像处理管线的一部分进行处理以便为进一步处理或使用(consumption)准备经捕获的图像数据。图像处理操作的示例是边缘处理,该边缘处理包括检测和处理图像中的边缘(例如,增强边缘的质量),由此改进图像中的边缘的视觉外观(例如,使边缘与在图像的高缩放或放大级别下可能特别明显的锯齿边缘或不连续边缘相比具有平滑、清晰的外观)。

技术实现思路

1、本说明书描述了用于处理图像的技术。具体地,本说明书描述了用于实现边缘增强块以用于在处理由图像传感器捕获的原始图像数据以生成输出图像时减少包括锯齿边缘的伪影的技术。

2、在操作中,边缘增强块接收输入图像,该输入图像包括像素集并且生成经处理的图像,该经处理的图像通过对输入图像的多个图像片块中的每个图像片块执行操作集来校正输入图像中的锯齿边缘。对每个图像片块执行的操作集包括:生成输入图像的图像片块的多个卷积表示;基于图像片块中的局部对比度来确定混合权重;通过根据至少混合权重混合多个卷积表示来生成输入图像的图像片块的混合表示;以及基于混合表示来确定像素的经处理的值。

3、可以实现本说明书中描述的主题的特定实施例,以便实现以下优点中的一个或多个优点。

4、本说明书描述了用于基于根据针对图像片块动态计算的混合权重混合一个或多个图像片块中的每个图像片块的多个卷积表示来生成经处理的图像的技术。使用经动态计算的混合权重提高了缓解输出图像中可能存在的任何锯齿边缘(例如,阶梯状边缘)的有效性,即使在其中稍后应用进一步处理操作(例如,图像调整尺寸操作(例如,水平和垂直扩缩、缩放))来生成输出图像(例如,调整尺寸后的图像)的情况下也是如此。

5、例如,应用所述技术以生成经处理的图像降低了基于经处理的图像生成的最终输出图像将包括锯齿边缘的可能性,即,即使在以高缩放倍率(例如,10倍、20倍、30倍或更高)对经处理的图像进行数字放大后,也是如此。

6、该多个卷积表示是基于方向核和(可选的)正交方向核生成的,这些方向核是即时计算的。通过即时计算方向核和正交方向核,该系统因此相对于依赖经预存储的卷积滤波器的其他现有系统而言占用更小的存储器,并且因此适合部署在存储器资源有限的硬件装置(例如,移动片上系统(soc)装置)上。

7、该多个卷积表示是基于稀疏化掩模生成的。稀疏化掩模的使用减少了生成经处理的图像时系统的计算资源开销以及图像处理管线的总时延,因为卷积操作只需要对经稀疏化的核执行。经稀疏化的核通过用零替换来自初始完整核中的一个或多个值来省略或跳过这些值。

8、对于移动计算装置(例如,移动电话、平板电脑、膝上型计算机和可穿戴装置)而言,生成锯齿边缘较少的输出图像的能力尤为重要,因为这些装置的图像传感器的尺寸和硬件电路系统(例如,图像信号处理器(isp)的尺寸)通常受到限制。图像传感器和硬件电路系统尺寸的限制进而会影响图像传感器的硬件配置和isp的计算能力,导致例如与使用计算能力更强的台式计算机来处理由尺寸更大的全尺寸独立相机捕获的图像相比增加生成包含视觉伪影的图像的可能性。

9、本说明书的主题的一个或多个实施例的细节在附图和下面的描述中进行阐述。本主题的其他特征、方面和优点将从描述、附图和权利要求中变得显而易见。

1.一种方法,包括:

2.如权利要求1所述的方法,其中生成所述多个卷积表示包括:

3.如权利要求2所述的方法,其中计算所述图像片块的所述方向核或所述正交方向核包括应用稀疏化掩模。

4.如权利要求1所述的方法,其中生成所述图像片块的所述混合表示包括:

5.如权利要求1所述的方法,其中基于所述混合表示来确定所述像素的所述经处理的值包括:

6.如权利要求1所述的方法,其中所述像素集中的每个像素包括亮度值。

7.如权利要求1至6中任一项所述的方法,进一步包括基于所述经处理的图像来生成输出图像。

8.如权利要求7所述的方法,其中所述输出图像是放大图像中的帧。

9.一种方法,包括:

10.一种系统,包括一个或多个计算机以及一个或多个存储装置,所述存储装置存储指令,所述指令在由所述一个或多个计算机执行时,使得所述一个或多个计算机执行系统操作,所述系统操作包括:

11.如权利要求10所述的系统,其中生成所述多个卷积表示包括:

12.如权利要求11所述的系统,其中计算所述图像片块的所述方向核或所述正交方向核包括应用稀疏化掩模。

13.如权利要求10所述的系统,其中生成所述图像片块的所述混合表示包括:

14.如权利要求10所述的系统,其中基于所述混合表示来确定所述像素的所述经处理的值包括:

15.如权利要求10所述的系统,其中所述像素集中的每个像素包括亮度值。

16.如权利要求10至15中任一项所述的系统,其中所述系统操作进一步包括基于所述经处理的图像来生成输出图像。

17.如权利要求16所述的系统,其中所述输出图像是放大图像中的帧。

18.一个或多个计算机可读存储介质,所述一个或多个计算机可读存储介质存储指令,所述指令在由一个或多个计算机执行时,使得所述一个或多个计算机执行系统操作,所述系统操作包括:

19.如权利要求18所述的计算机可读存储介质,其中生成所述多个卷积表示包括:

20.如权利要求19所述的计算机可读存储介质,其中计算所述图像片块的所述方向核或所述正交方向核包括应用稀疏化掩模。