基于内容的图像处理的制作方法

基于内容的图像处理


背景技术：
1.技术领域
1.本公开涉及一种用于处理图像的电路，并且更具体地涉及基于图像中的内容不同地锐化图像的片段。
2.2.相关技术描述
3.由图像传感器捕获的图像数据或从其他数据源接收的图像数据通常在进一步处理或消耗之前在图像处理流水线中处理。例如，在提供给诸如视频编码器的后续部件之前，可校正、滤波或以其他方式修改原始图像数据。为了对捕获的图像数据执行校正或增强，可采用各种部件、单元级或模块。
4.可构造这样的图像处理管道，使得能够以有利的方式执行对捕获的图像数据的校正或增强，而不消耗其他系统资源。虽然可通过在中央处理单元(cpu)上执行软件程序来执行许多图像处理算法，但是在cpu上执行这些程序将消耗cpu和其他外围资源的大量带宽以及增加功耗。因此，图像处理管道通常被实现为与cpu分离的硬件部件，并且专用于执行一个或多个图像处理算法。
5.图像处理管道通常包括锐化处理或平滑处理。这些处理使用均匀地施加在整个图像上的一个或多个调谐参数来实现。由此，可能以不利地影响最终图像外观的方式来平滑或锐化图像中的内容的一个或多个片段。
6.类似地，诸如色调映射、白平衡和噪声降低的其他图像处理过程也使用通常均匀地施加在整个图像上的一个或多个调谐参数来实现。由此，可能以不利地影响最终图像外观的方式来处理图像中的内容的一个或多个片段。


技术实现要素：

7.一些实施方案涉及一种包括使用识别图像片段中的内容类别的内容图来确定内容因子的内容图像处理电路的图像处理器。内容图像处理电路包括内容因子电路和耦接到内容因子电路的内容修改电路。内容因子电路根据图像中的所识别的内容类别以及图像中的像素的纹理值或图像中的像素的色度值中的至少一者来确定与图像的像素相关联的内容因子。纹理值指示基于图像中的纹理与像素相关联的内容类别的可能性(likelihood)。色度值指示基于图像的颜色信息与像素相关联的内容类别的可能性。内容修改电路从内容因子电路接收内容因子。内容修改电路通过至少将内容因子应用于像素的亮度像素值的版本来生成像素的亮度像素值的锐化版本。
8.在一些实施方案中，内容图由对图像的版本执行机器学习操作以生成内容图的神经处理器电路生成。
9.在一些实施方案中，内容图相对于图像缩小。内容因子电路可通过对内容图进行上采样来确定内容因子。可通过以下方式对内容图进行上采样：(1)获得与内容图中的网格点相关联的内容因子，以及(2)当内容图被放大以匹配图像的尺寸时，内插与环绕像素的网
格点相关联的内容因子。
10.在一些实施方案中，内容因子根据可能性值(likelihood value)来加权。可能性值基于图像中的所识别的内容类别、纹理值和色度值中的一者。
11.在一些实施方案中，当图像的亮度版本被分割为第一信息和包括比第一分量的频率分量低的频率分量的第二信息时，亮度像素值包括在图像的第一信息中。
12.在一些实施方案中，图像处理器包括耦接到内容图像处理电路的双向滤波器。双向滤波器生成亮度像素值的版本。
13.在一些实施方案中，当内容因子高于阈值时，内容修改电路通过将内容因子乘以亮度像素值的版本来将内容因子应用于亮度像素值的版本。响应于内容因子低于阈值，内容修改电路通过基于内容因子混合版本亮度像素值来将内容因子应用于亮度像素值的版本。
14.在一些实施方案中，内容图是指示要应用于图像的对应于内容图中的网格点的像素的锐化量的热图。
附图说明
15.图1是根据实施方案的电子设备的高级图。
16.图2是示出根据一个实施方案的电子设备中的部件的框图。
17.图3是根据一个实施方案示出了使用图像信号处理器实现的图像处理管道的框图。
18.图4是示出根据一个实施方案的包括多频带降噪电路的图像处理管道的一部分的框图。
19.图5是示出根据一个实施方案的向图像信号处理器提供内容图的神经处理器电路的框图。
20.图6a是根据一个实施方案的神经处理器电路的示例性输入图像。
21.图6b是根据一个实施方案的基于图6a的输入图像的内容图。
22.图7是示出根据一个实施方案的第一对比度增强级电路的部件的框图。
23.图8是示出根据一个实施方案的内容图像处理电路的部件的框图。
24.图9是示出根据一个实施方案的纹理模型的图示。
25.图10是示出根据一个实施方案的色度模型的图示。
26.图11是示出根据一个实施方案的用于对内容图进行上采样的方法的图示。
27.图12是示出根据一个实施方案的基于图像片段内的内容来锐化图像的一个或多个像素的方法的流程图。
28.仅仅出于示例目的，附图描绘以及详细说明描述各种非限定性实施方案。
具体实施方式
29.现在将详细地参考实施方案，这些实施方案的示例在附图中示出。下面的详细描述中示出许多具体细节，以便提供对各种所描述的实施方案的充分理解。然而，可以在没有这些具体细节的情况下实施所述实施方案。在其他情况下，没有详细地描述众所周知的方法、过程、部件、电路和网络，从而不会不必要地使实施方案的各个方面晦涩难懂。
30.本公开的实施方案涉及基于如由内容图指示的图像的片段内的内容来锐化片段。图像的像素或片段的内容因子基于与像素或片段相关联的所识别的内容类别中的一者或多者来确定。还可基于一组纹理值和/或一组色度值来调整内容因子。纹理值指示所识别的内容类别中的一者的可能性并且基于图像中的纹理。色度值指示所识别的内容类别中的一者的可能性并且基于图像的颜色信息。将内容因子应用于像素或片段以生成亮度值的锐化版本。
31.示例性电子设备
32.本文描述了电子设备、此类设备的用户界面和使用此类设备的相关过程的实施方案。在一些实施方案中，该设备为还包含其他功能诸如个人数字助理(pda)和/或音乐播放器功能的便携式通信设备，诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自apple inc.(cupertino,california)的设备、ipod设备、apple设备和设备。可选地使用其他便携式电子设备，诸如可穿戴设备、膝上型电脑或平板计算机。在一些实施方案中，该设备不是便携式通信设备，而是台式计算机或不是为便携式使用而设计的其他计算设备。在一些实施方案中，所公开的电子设备可包括触敏表面(例如，触摸屏显示器和/或触摸板)。下文结合图1描述的示例电子设备(例如，设备100)可包括用于接收用户输入的触敏表面。电子设备还可包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标和/或操纵杆。
33.图1是根据一个实施方案的电子设备100的高级图。设备100可包括一个或多个物理按钮，诸如“home”按钮或菜单按钮104。菜单按钮104例如用于导航到在设备100上执行的一组应用程序中的任何应用程序。在一些实施方案中，菜单按钮104包括识别菜单按钮104上的指纹的指纹传感器。指纹传感器能够被用来确定菜单按钮104上的手指是否具有与为解锁设备100存储的指纹匹配的指纹。另选地，在一些实施方案中，菜单按钮104被实现为触摸屏上显示的图形用户界面(gui)中的软键。
34.在一些实施方案中，设备100包括触摸屏150、菜单按钮104、用于使设备开/关机和用于锁定设备的下压按钮106、音量调节按钮108、订户身份模块(sim)卡槽110、耳麦插孔112和对接/充电外部端口124。下压按钮106可被用于通过压下该按钮并将该按钮保持在压下状态达预定义的时间间隔来对设备进行开关机；通过压下该按钮并在该预定义的时间间隔过去之前释放该按钮来锁定设备；和/或对设备进行解锁或发起解锁过程。在另选的实施方案中，设备100还通过麦克风113接受用于激活或去激活某些功能的语音输入。设备100包括各种部件，包括但不限于存储器(可包括一个或多个计算机可读存储介质)、存储器控制器、一个或多个中央处理单元(cpu)、外围设备接口、rf电路、音频电路、扬声器111、麦克风113、输入/输出(i/o)子系统和其他输入或控制设备。设备100可包括一个或多个图像传感器164、一个或多个接近传感器166，以及一个或多个加速度计168。设备100可包括多于一种类型的图像传感器164。每种类型可包括多于一个图像传感器164。例如，一种类型的图像传感器164可以是相机，并且另一种类型的图像传感器164可以是可用于面部识别的红外传感器。除此之外或另选地，图像传感器164可与不同的透镜配置相关联。例如，设备100可包括后图像传感器，一个具有广角镜头并且另一个具有远摄镜头。设备100可包括图1中未示出的部件，诸如环境光传感器、点投影仪和泛光照明器。
35.设备100仅是电子设备的一个示例，并且设备100可具有比上文列出的更多或更少
的部件，其中一些部件可组合成一个部件或具有不同的配置或布置。以上列出的设备100的各种部件体现为硬件、软件、固件或其组合，包括一个或多个信号处理和/或专用集成电路(asic)。虽然图1中的部件被示出为大致位于与触摸屏150相同的一侧上，但一个或多个部件也可位于设备100的相对侧上。例如，设备100的前侧可包括用于面部识别的红外图像传感器164和作为设备100的前相机的另一图像传感器164。设备100的后侧还可包括作为设备100的后相机的附加的两个图像传感器164。
36.图2是示出根据一个实施方案的设备100中的部件的框图。设备100可执行包括图像处理在内的各种操作。出于此目的和其他目的，设备100可包括图像传感器202、片上系统(soc)部件204、系统存储器230、永久存储器(例如，闪存)228、方向传感器234和显示器216，以及其他部件。图2中所示的部件仅为例示性的。例如，设备100可包括图2中未示出的其他部件(诸如扬声器或麦克风)。另外，一些部件(诸如方向传感器234)可从设备100中省略。
37.图像传感器202是用于捕获图像数据的部件。图像传感器202可实现为例如互补金属氧化物半导体(cmos)有源像素传感器、相机、摄像机或其他设备。图像传感器202生成原始图像数据，其被发送到soc部件204以进行进一步处理。在一些实施方案中，由soc部件204处理的图像数据显示在显示器216上，存储在系统存储器230、永久存储器228中，或经由网络连接发送到远程计算设备。由图像传感器202生成的原始图像数据可以是bayer滤色器阵列(cfa)模式(下文中也称为“bayer模式”)。图像传感器202还可包括辅助图像感测部件(例如，像素)捕获图像的光学部件和机械部件。光学部件和机械部件可包括光圈、透镜系统和控制图像传感器202的焦距的致动器。
38.运动传感器234是用于感测设备100的运动的部件或一组部件。运动传感器234可生成指示设备100的取向和/或加速度的传感器信号。传感器信号被发送到soc部件204以用于各种操作，诸如打开设备100或旋转显示器216上显示的图像。
39.显示器216是用于显示由soc部件204生成的图像的部件。显示器216可包括例如液晶显示器(lcd)设备或有机发光二极管(oled)设备。基于从soc部件204接收的数据，显示器116可显示各种图像，诸如菜单、所选择的操作参数、由图像传感器202捕获并由soc部件204处理的图像，和/或从设备100的用户界面接收的其他信息(未示出)。
40.系统存储器230是用于存储由soc部件204执行的指令以及用于存储由soc部件204处理的数据的部件。系统存储器230可体现为任何类型的存储器，包括例如动态随机存取存储器(dram)、同步dram(sdram)、双倍数据速率(ddr、ddr2、ddr3等)rambus dram(rdram)、静态ram(sram)或其组合。在一些实施方案中，系统存储器230可以各种格式存储像素数据或其他图像数据或统计。
41.永久存储器228是用于以非易失性方式存储数据的部件。即使电力不可用，永久存储器228也保留数据。永久存储器228可体现为只读存储器(rom)、闪存或其他非易失性随机存取存储器设备。永久存储器228存储设备100的操作系统和各种软件应用程序。永久存储器228也可存储一个或多个机器学习模型，诸如回归模型、随机森林模型、支持向量机(svm)诸如内核svm、以及人工神经网络(ann)诸如卷积网络网络(cnn)、递归网络网络(rnn)、自编码器、和长短期记忆(lstm)。机器学习模型可以是与神经处理器电路218和设备100的各种软件应用程序或传感器一起工作的独立模型。机器学习模型也可以是软件应用程序的一部分。机器学习模型可执行各种任务，诸如面部识别、图像分类、对象、概念和信息分类、语音
识别、机器翻译、声音识别、语音命令识别、文本识别、文本和上下文分析、其他自然语言处理、预测和建议。
42.存储在设备100中的各种机器学习模型可被完全训练、未经训练、或部分训练以允许设备100加强或继续在设备100被使用时训练机器学习模型。机器学习模型的操作包括在训练模型以及利用模型确定运行时间结果的各种计算。例如，在一种情况下，设备100捕获用户的面部图像并使用该图像继续改善用于锁定或解锁设备100的机器学习模型。
43.soc部件204体现为一个或多个集成电路(ic)芯片并执行各种数据处理过程。除了其他子部件之外，soc部件204还可包括图像信号处理器(isp)206、中央处理器单元(cpu)208、网络接口210、传感器接口212、显示控制器214、图形处理器(gpu)220、存储器控制器222、视频编码器224、存储控制器226、神经处理电路218和连接这些子部件的总线232。soc部件204可包括比图2中所示的子部件更多或更少的子部件。
44.isp 206是执行图像处理流水线的各级的电路。在一些实施方案中，isp 206可从图像传感器202接收原始图像数据，并且将原始图像数据处理成soc部件204的其他子部件或设备100的部件可用的形式。isp 206可执行各种图像处理操作，诸如图像转译操作、水平和垂直缩放、颜色空间转换和/或图像稳定化变换，如下面参考图3详细描述的。
45.cpu 208可使用任何合适的指令集架构来实现，并且可被配置为执行在该指令集架构中定义的指令。cpu 208可以是使用各种指令集架构(isa)中的任一者的通用或嵌入式处理器，诸如x86、powerpc、sparc、risc、arm或mips isa，或任何其他合适的isa。尽管图2中示出了单个cpu，但是soc部件204可包括多个cpu。在多处理器系统中，每个cpu可共同实现相同的isa，但不是必需的。
46.图形处理单元(gpu)220是用于执行图形数据的图形处理电路。例如，gpu 220可渲染要显示到帧缓冲器中的对象(例如，包括整个帧的像素数据的帧缓冲器)。gpu 220可包括一个或多个图形处理器，该图形处理器可执行图形软件以执行部分或全部的图形操作或某些图形操作的硬件加速。
47.神经处理器电路218是对神经处理器电路218的输入数据执行机器学习操作的可编程电路。机器学习操作可包括用于训练机器学习模型以及用于基于经训练的机器学习模型执行推断或预测的不同计算。神经处理器电路218是基于包括相乘、相加和累加的计算来执行各种机器学习操作的电路。此类计算可被布置为例如执行各种类型的张量乘积，诸如张量积和输入数据和内核数据的卷积。神经处理器电路218是可配置电路，该可配置电路以快速且高功效的方式执行这些操作，同时缓解了cpu 208与神经网络操作相关联的资源密集型操作。神经处理器电路218可从传感器接口212、图像信号处理器206、永久存储器228、系统存储器230或其他源诸如网络接口210或gpu 220接收输入数据。神经处理器电路218的输出可提供给设备100的各个部件诸如图像信号处理器206、系统存储器230或cpu 208用于各种操作。
48.网络接口210是支持经由一个或多个网络(例如，载体或代理设备)在设备100和其他设备之间交换数据的子部件。例如，视频或其他图像数据可经由网络接口210从其他设备接收并且被存储在系统存储器230中以用于后续处理(例如，经由诸如下文在图3中讨论的到图像信号处理器206的后端接口)和显示。网络可包括但不限于局域网(lan)(例如，以太网或公司网络)和广域网(wan)。经由网络接口210接收的图像数据可由isp 206进行图像处
理过程。
49.运动传感器接口212是用于与运动传感器234交接的电路。运动传感器接口212从运动传感器234接收传感器信息并且处理传感器信息以确定设备100的取向或移动。
50.显示控制器214是用于发送要在显示器216上显示的图像数据的电路。显示控制器214从isp 206、cpu 208、图形处理器或系统存储器230接收图像数据，并将图像数据处理成适用于在显示器216上显示的格式。
51.存储器控制器222为用于与系统存储器230通信的电路。存储器控制器222可从系统存储器230读取数据以供isp 206、cpu 208、gpu 220或soc部件204的其他子部件处理。存储器控制器222还可将数据写入从soc部件204的各种子部件接收的系统存储器230。
52.视频编码器224是硬件、软件、固件或其组合，用于将视频数据编码成适于存储在永久存储器128中的格式，或者用于将数据传递到网络接口210以通过网络传输到另一设备。
53.在一些实施方案中，soc部件204的一个或多个子部件或这些子部件的一些功能可由在神经处理器电路218、isp 206、cpu 208或gpu 220上执行的软件部件来执行。此类软件部件可存储在系统存储器230、永久存储器228或经由网络接口210与设备100通信的另一设备中。
54.图像数据或视频数据可流过soc部件204内的各种数据路径。在一个示例中，可从图像传感器202生成并由isp 206处理原始图像数据，然后经由总线232和存储器控制器222发送到系统存储器230。在图像数据存储在系统存储器230中之后，它可由视频编码器224访问以进行编码，或者由显示器116访问以通过总线232进行显示。
55.在另一示例中，从图像传感器202以外的源接收图像数据。例如，视频数据可经由有线或无线网络流式传输、下载或以其他方式传送到soc部件204。可以经由网络接口210接收图像数据并经由存储器控制器222将图像数据写入系统存储器230。然后，图像数据可由isp 206从系统存储器230获得，并通过一个或多个图像处理管道级处理，如下面参考图3详细描述的。然后可将图像数据返回到系统存储器230或者将其发送到视频编码器224、显示控制器214(用于在显示器216上显示)或存储控制器226以便存储在永久存储器228中。
56.示例性图像信号处理管道
57.图3是根据一个实施方案示出了使用isp 206实现的图像处理管道的框图。在图3的实施方案中，isp 206耦接到图像传感器系统201，该图像传感器系统包括一个或多个图像传感器202a至202n(下文统称为“图像传感器202”或也单独地称为“图像传感器202”)以接收原始图像数据。图像传感器系统201可包括单独控制图像传感器202的一个或多个子系统。在一些情况下，每个图像传感器202可独立地操作，而在其他情况下，图像传感器202可共享一些部件。例如，在一个实施方案中，两个或更多个图像传感器202可共享控制图像传感器的机械部件(例如，改变每个图像传感器的焦距的致动器)的同一电路板。图像传感器202的图像感测部件可包括不同类型的图像感测部件，这些图像感测部件可以不同形式向isp206提供原始图像数据。例如，在一个实施方案中，图像感测部件可包括用于自动对焦的多个对焦像素和用于捕获图像的多个图像像素。在另一个实施方案中，图像感测像素可用于自动对焦和图像捕获目的两者。
58.isp 206实现图像处理管道，该图像处理管道可包括从创建、捕获或接收到输出的
处理图像信息的一组级。除了其他部件之外，isp 206还可包括传感器接口302、中央控制320、前端管道级330、后端管道级340、图像统计模块304、缩放器322、后端接口342、输出接口316和自动对焦电路350a至350n(下文统称为“自动对焦电路350”或单独地称为“自动对焦电路350”)。isp 206可包括图3中未示出的其他部件或者可省略图3中所示的一个或多个部件。
59.在一个或多个实施方案中，isp 206的不同部件以不同的速率处理图像数据。在图3的实施方案中，前端管道级330(例如，原始处理级306和重采样处理级308)可以初始速率处理图像数据。因此，由这些前端管道级330以初始速率执行各种不同技术、调整、修改或其他处理操作。例如，如果前端管道级330每个时钟循环处理2个像素，则原始处理级306操作(例如，黑电平补偿、突出显示恢复和缺陷像素校正)可一次处理2个像素的图像数据。相比之下，一个或多个后端管道级340可以小于初始数据速率的不同速率处理图像数据。例如，在图3的实施方案中，可以降低的速率(例如，每个时钟循环1个像素)来处理后端管道级340(例如，噪声处理级310、颜色处理级312和输出重缩放314)。
60.由图像传感器202捕获的原始图像数据可以不同方式传输到isp 206的不同部件。在一个实施方案中，与对焦像素的原始图像数据可被发送到自动对焦电路350，而与图像像素对应的原始图像数据可被发送到传感器接口302。在另一个实施方案中，与两种类型的像素对应的原始图像数据可同时被发送到自动对焦电路350和传感器接口302两者。
61.自动对焦电路350可包括分析原始图像数据以确定每个图像传感器202的适当焦距的硬件电路。在一个实施方案中，原始图像数据可包括从专门用于图像对焦的图像感测像素传输的数据。在另一个实施方案中，来自图像捕获像素的原始图像数据也可用于自动对焦目的。自动对焦电路350可执行各种图像处理操作以生成确定适当焦距的数据。图像处理操作可包括裁剪、合并、图像补偿、缩放以生成用于自动对焦目的的数据。由自动对焦电路350生成的自动对焦数据可被反馈到图像传感器系统201以控制图像传感器202的焦距。例如，图像传感器202可包括控制电路，该控制电路分析自动对焦数据以确定发送到与图像传感器的透镜系统相关联的致动器的命令信号，从而改变图像传感器的焦距。由自动对焦电路350生成的数据也可被发送到isp 206的其他部件以用于其他图像处理目的。例如，可将一些数据发送到图像统计304以确定关于自动曝光的信息。
62.自动对焦电路350可以是与其他部件诸如图像统计304、传感器接口302、前端330和后端340分开的单独电路。这允许isp 206独立于其他图像处理管道来执行自动对焦分析。例如，isp 206可分析来自图像传感器202a的原始图像数据以使用自动对焦电路350a调整图像传感器202a的焦距，同时对来自图像传感器202b的图像数据执行下游图像处理。在一个实施方案中，自动对焦电路350的数量可对应于图像传感器202的数量。换句话讲，每个图像传感器202可具有专用于图像传感器202的自动对焦的对应的自动对焦电路。即使一个或多个图像传感器202未处于使用中，设备100也可针对不同图像传感器202执行自动对焦。当设备100从一个图像传感器202切换到另一个图像传感器时，这允许两个图像传感器202之间的无缝过渡。例如，在一个实施方案中，设备100可包括广角相机和远摄相机作为用于照片和图像处理的双后置相机系统。设备100可显示由双相机中的一者捕获的图像，并且可不时地在两个相机之间切换。所显示的图像可从由一个图像传感器202捕获的图像数据无缝过渡到由另一个图像传感器捕获的图像数据，而无需等待第二图像传感器202调节其焦
距，因为两个或更多个自动对焦电路350可连续地向图像传感器系统201提供自动对焦数据。
63.由不同图像传感器202捕获的原始图像数据也可被传输到传感器接口302。传感器接口302从图像传感器202接收原始图像数据，并将原始图像数据处理成可由管道中的其他级处理的图像数据。传感器接口302可执行各种预处理操作，诸如图像裁剪、合并或缩放以减小图像数据尺寸。在一些实施方案中，像素以光栅顺序(例如，水平地、逐行地)从图像传感器202发送到传感器接口302。管道中的后续处理也可以光栅顺序执行，并且结果也可以光栅顺序输出。尽管图3中仅示出了单个图像传感器和单个传感器接口302，当在设备100中提供多于一个图像传感器时，可在isp 206中提供相应数量的传感器接口以处理来自每个图像传感器的原始图像数据。
64.前端管道级330处理原始或全色域中的图像数据。前端管道级330可包括但不限于原始处理级306和重采样处理级308。例如，原始图像数据可是bayer原始格式。在bayer原始图像格式中，在每个像素中提供专用于特定颜色(而不是所有颜色)的值的像素数据。在图像捕获传感器中，图像数据通常以bayer模式提供。原始处理级306能够以bayer原始格式处理图像数据。
65.原始处理级306执行的操作包括但不限于传感器线性化、黑电平补偿、固定模式噪声降低、缺陷像素校正、原始噪声滤波、镜头阴影校正、白平衡增益和突出显示恢复。传感器线性化是指将非线性图像数据映射到线性空间以进行其他处理。黑电平补偿是指为图像数据的每个颜色分量(例如，gr，r，b，gb)独立地提供数字增益、偏移和限幅。固定模式噪声降低是指通过从输入图像中减去暗帧并将不同增益乘以像素来去除偏移固定模式噪声并获得固定模式噪声。缺陷像素校正是指检测缺陷像素，然后替换缺陷像素值。原始噪声滤波是指通过平均亮度相似的相邻像素来降低图像数据的噪声。突出显示恢复是指对从其他通道限幅(或接近限幅)的那些像素的像素值进行估计。镜头阴影校正是指对每像素施加增益来补偿与距离透镜光学中心的距离大致成比例的强度下降。白平衡增益是指为所有颜色分量(例如bayer格式的gr，r，b，gb)独立地提供针对白平衡的数字增益、偏移和限幅。isp 206的部件可将原始图像数据转换为全色域中的图像数据，因此，除了原始图像数据之外或代替原始图像数据，原始处理级306可处理全色域中的图像数据。
66.重采样处理级308执行各种操作以转换、重采样或缩放从原始处理级306接收的图像数据。由重采样处理级308执行的操作可包括但不限于去马赛克操作、每像素颜色校正操作、γ映射操作、颜色空间转换和缩小或子带分割。去马赛克操作是指将颜色缺失样本从原始图像数据(例如，在bayer模式中)转换或内插成输出图像数据到全色域中。去马赛克操作可包括对内插样本进行的低通定向滤波以获得全色像素。每像素颜色校正操作是指使用关于每个颜色通道的相对噪声标准偏差的信息在每个像素的基础上执行颜色校正以校正颜色而不放大图像数据中的噪声的处理。γ映射是指将图像数据从输入图像数据值转换为输出数据值以执行γ校正。出于γ映射的目的，可使用针对每个像素的不同颜色分量或通道的查找表(或将像素值索引到另一值的其他结构)(例如，针对r，g和b颜色分量的单独查找表)。颜色空间转换是指将输入图像数据的颜色空间转换为不同的格式。在一个实施方案中，重采样处理级308将rgg格式转换为ycbcr格式以供进一步处理。在另一个实施方案中，重采样处理级308将rbd格式转换为rgb格式以供进一步处理。
67.中央控制模块320可控制和协调isp 206中的其他部件的整体操作。中央控制模块320执行包括但不限于以下项的各种操作：监视各种操作参数(例如，记录时钟周期、存储器等待时间、服务质量和状态信息)、更新或管理isp 206的其他部件的控制参数以及与传感器接口302交接以控制isp 206的其他部件的开始和停止。例如，在isp 206中的其他部件处于空闲状态时，中央控制模块320可更新其他部件的可编程参数。在更新可编程参数之后，中央控制模块320可将isp 206的这些部件置于运行状态以执行一个或多个操作或任务。中央控制模块320还可指示isp 206的其他部件在重采样处理级308之前、期间或之后存储图像数据(例如，通过写入图2中的系统存储器230)。以这种方式，除了处理从重采样处理级308通过后端管道级340输出的图像数据之外或代替处理从重采样处理级308通过后端管道级340输出的图像数据，可存储原始或全色域格式的全分辨率图像数据。
68.图像统计模块304执行各种操作以收集与图像数据相关联的统计信息。收集统计信息的操作可包括但不限于传感器线性化、替换图案化缺陷像素、子样本原始图像数据、检测和替换非图案化缺陷像素、黑电平补偿、镜头阴影校正和反相黑电平补偿。在执行一个或多个此类操作之后，可收集或跟踪统计信息诸如3a统计(自动白平衡(awb)、自动曝光(ae))、直方图(例如，2d颜色或分量)和任何其他图像数据信息。在一些实施方案中，当先前的操作识别被限幅的像素时，某些像素的值或像素值的区域可从某些统计数据的集合中排除。尽管图3中仅示出了单个统计模块304，多个图像统计模块可包括在isp 206中。例如，每个图像传感器202可对应于单独的图像统计单元304。在此类实施方案中，每个统计模块可由中央控制模块320编程，以收集相同或不同图像数据的不同信息。
69.缩放器322接收图像数据并生成图像的缩小版本。因此，缩放器322可向诸如神经处理器电路218的各种部件提供降低分辨率的图像。虽然缩放器322耦接到图3中的原始处理级306，但缩放器322可经耦接以从图像信号处理器206的其他部件接收输入图像。
70.后端接口342从图像传感器102之外的其他图像源接收图像数据，并将其转发到isp 206的其他部件以进行处理。例如，可通过网络连接接收图像数据并将其存储在系统存储器230中。后端接口342检索存储在系统存储器230中的图像数据，并将其提供给后端管道级340以进行处理。由后端接口342执行的许多操作之一是将检索的图像数据转换为可由后端处理级340使用的格式。例如，后端接口342可将rgb、ycbcr 4:2:0或ycbcr4:2:2格式化的图像数据转换为ycbcr 4:4:4颜色格式。
71.后端管道级340根据特定的全色格式(例如，ycbcr 4:4:4或rgb)处理图像数据。在一些实施方案中，后端管道级340的部件可在进一步处理之前将图像数据转换为特定的全色格式。后端管道级340可包括噪声处理级310和颜色处理级312等其他级。后端管道级340可包括图3中未示出的其他级。
72.噪声处理级310执行各种操作以减少图像数据中的噪声。由噪声处理级310执行的操作包括但不限于颜色空间转换、γ/去γ映射、时间滤波、噪声滤波、亮度锐化和色度噪声降低。颜色空间转换可将图像数据从一种颜色空间格式转换为另一种颜色空间格式(例如，转换为ycbcr格式的rgb格式)。γ/去γ操作将图像数据从输入图像数据值转换为输出数据值以执行γ校正或反向γ校正。时间滤波使用先前滤波的图像帧来滤除噪声以减少噪声。例如，先前图像帧的像素值与当前图像帧的像素值组合。噪声滤波可包括例如空间噪声滤波。亮度锐化可锐化像素数据的亮度值，而色度抑制可将色度衰减为灰色(例如，没有颜
色)。在一些实施方案中，亮度锐化和色度抑制可与空间噪声滤波同时进行。可针对图像的不同区域不同地确定噪声滤波的积极性。可包括空间噪声滤波作为实现时间滤波的时间循环的一部分。例如，先前的图像帧可以在被存储为用于待处理的下一个图像帧的参考帧之前由时间滤波器和空间噪声滤波器处理。在其他实施方案中，空间噪声滤波可不被包括作为用于时间滤波的时间循环的一部分(例如，空间噪声滤波器可以在图像帧被存储为参考图像帧之后应用于图像帧，并且因此不对参考帧进行空间滤波)。
73.颜色处理级312可执行与调整图像数据中的颜色信息相关联的各种操作。在颜色处理级312中执行的操作包括但不限于局部色调映射、增益/偏移/限幅、颜色校正、三维颜色查找、γ转换和颜色空间转换。局部色调映射指的是空间变化的局部色调曲线，以便在渲染图像时提供更多控制。例如，色调曲线的二维网格(其可以由中央控制模块320编程)可以是双线性内插的，由此使得在图像上产生平滑变化的色调曲线。在一些实施方案中，局部色调映射还可应用空间变化和强度变化的颜色校正矩阵，其可例如用于使天空更蓝，同时在图像中的阴影中调低蓝色。可为每个颜色通道或图像数据的分量提供数字增益/偏移/限幅。颜色校正可将颜色校正变换矩阵应用于图像数据。3d颜色查找可利用颜色分量输出值的三维阵列(例如，r，g，b)来执行高级色调映射、颜色空间转换和其他颜色变换。例如，可通过将输入图像数据值映射到输出数据值来执行γ转换，以便执行γ校正、色调映射或直方图匹配。可以实现颜色空间转换以将图像数据从一个颜色空间转换为另一个颜色空间(例如，rgb到ycbcr)。其他处理技术也可以作为颜色处理级312的一部分来执行，以执行其他特殊图像效果，包括黑白转换、棕褐色调转换、负转换或曝光转换。
74.当isp 206处理图像数据时，输出重缩放模块314可以即时重采样、变换和校正失真。输出重缩放模块314可以计算每个像素的分数输入坐标，并且使用该分数坐标来经由多相重采样滤波器内插输出像素。可以从输出坐标的多种可能的变换产生分数输入坐标，诸如对图像调整尺寸或裁剪(例如，经由简单的水平和垂直缩放变换)、旋转和剪切图像(例如，经由不可分离的矩阵变换)、透视翘曲(例如，经由附加的深度变换)以及以条纹状分段施加的每像素透视分割以说明图像数据捕获期间(例如，由于卷帘式快门所引起的)的图像传感器中的变化的原因，以及几何失真校正(例如，经由计算距光学中心的径向距离以便索引内插的径向增益表，并且将径向扰动施加于坐标以说明径向透镜失真的原因)。
75.当在输出重缩放模块314处处理图像数据时，输出重缩放模块314可将变换应用于图像数据。输出重缩放模块314可包括水平缩放部件和垂直缩放部件。该设计的垂直部分可实现一系列图像数据行缓冲器以保持该垂直滤波器所需的“支持”。由于isp 206可以是流设备，因此可能只有行的有限长度滑动窗口中的图像数据行可供滤波器使用。一旦行被丢弃来为新进来的行腾出空间，则该行可能不可用。输出重缩放模块314可统计地监视先前行上的计算输入y坐标，并使用它来计算要保持在垂直支持窗中的一组最佳行。对于每个后续行，输出重缩放模块可自动生成关于垂直支持窗的中心的猜测。在一些实施方案中，输出重缩放模块314可实现被编码为数字差分分析器(dda)步进器的分段透视变换表，以在输入图像数据和输出图像数据之间执行每像素透视变换，以便校正在图像帧的捕获期间由传感器运动引起的伪像和运动。如上文关于图1和图2所讨论，输出重缩放可以经由输出接口316将图像数据提供到设备100的各种其他部件。
76.在各种实施方案中，部件302到350的功能可以与图3中所示的图像处理管道中的
这些功能单元的顺序所暗含的顺序不同的顺序执行或者可由与图3中所示的功能部件不同的功能部件来执行。此外，如图3中所描述的各种部件可以硬件、固件或软件的各种组合来体现。
77.与多频带降噪电路相关联的示例性管道
78.图4是示出根据一个实施方案的包括多频带降噪(mbnr)电路420的图像处理管道的一部分的框图。在图4的实施方案中，mbnr电路420是重采样处理级308的一部分，重采样处理级除了其他部件之外还包括缩放器410和子带分割器电路430。重采样处理级308以递归方式执行缩放、降噪和子带分割。
79.作为递归处理的结果，重采样处理级308输出从初始输入图像402导出的一系列高频分量图像数据hf(n)和低频分量图像数据lf(n)，其中n表示对初始输入图像402执行的下采样的级别。例如，hf(0)和lf(0)分别表示从初始输入图像402分割的高频分量图像数据和低频分量图像数据，而hf(1)和lf(1)分别表示从输入图像402的第一缩小版本分割的高频分量图像数据和低频分量图像数据。
80.mbnr电路420是对输入图像402的多个频带执行降噪的电路。输入图像402首先通过多路复用器414传递到mbnr电路420，用于降噪。初始输入图像402的降噪版本422由mbnr电路420生成并被馈送到子带分割器430。子带分割器430将初始输入图像402的降噪版本422分割为高频分量图像数据hf(0)和低频分量图像数据lf(0)。高频分量图像数据hf(0)被传递到子带处理管道448，然后被传递到子带合并器352。相反，低频分量图像lf(0)通过解多路复用器440传递，并被反馈到重采样处理级308供缩放器410缩小。
81.缩放器410生成馈送到缩放器410的低频分量图像lf(0)的缩小版本412，并经由多路复用器414将其传递到mbnr电路420用于降噪。mbnr电路420执行降噪以生成缩小图像412的降噪版本432，并将其发送到子带分割器430以再次将经处理的低频图像数据lf(0)分割为高频分量图像数据hf(1)和低频分量图像数据lf(1)。高频分量图像数据hf(1)被发送到子带处理管道448，然后被发送到子带合并器352，而低频分量图像数据lf(1)被再次反馈到缩放器410以重复重采样处理级308内的处理。重复生成高频分量图像数据hf(n)和低频分量图像数据lf(n)的过程，直到子带分割器430执行频带分割的最终级。当达到频带分割的最终级时，低频分量图像数据lf(n)通过解多路复用器440和多路复用器446传递到子带处理管道448和子带合并器352。
82.如上所述，mbnr电路420对输入图像402以及输入图像402的缩小低频版本执行降噪。这使得mbnr电路420能够对初始输入图像402的多个频带执行降噪。然而，应注意，mbnr电路420可对输入图像402仅执行单遍降噪而不进行子带分割和缩放。
83.子带合并器352合并经处理的高频分量图像数据hf(n)'和经处理的低频分量图像数据lf(n)'以生成经处理的lf(n-1)'。经处理的lf(n-1)'随后经由解多路复用器450和多路复用器446反馈到子带合并器352，用于与经处理的hf(n-1)'合并以生成经处理的lf(n-2)'。重复组合经处理的高频分量图像数据和经处理的低频分量数据的过程，直到子带合并器352生成经由解多路复用器450输出的输入图像的经处理的版本454。
84.第一对比度增强级450和第二对比度增强级452基于与图像片段相关联的内容对图像数据片段执行锐化或平滑操作。第一对比度增强级450是子带处理管道448的部件并且对相对于输入图像402缩小的高频分量图像数据hf(n)执行锐化操作。另一方面，第二对比
度增强级452对子带合并器352的输出执行锐化，子带合并器可以是与输入图像402具有相同空间大小的全分辨率图像数据。第一对比度增强级450和第二对比度增强级452参照图7进一步描述。
85.与内容图相关联的示例性管道
86.图5是示出根据实施方案的由神经处理器电路218向图像信号处理器206提供内容图504(本文中也称为“分段图”)的框图。图像信号处理器206向神经处理器电路218提供输入图像502。输入图像502可与初始输入图像402相同或不同。基于输入图像502，神经处理器电路218生成内容图504并将内容图504提供给图像信号处理器206。例如，内容图504被发送到对比度增强级450、452。
87.如先前参照图2所述，神经处理器电路218可以是机器学习型电路。因此，神经处理器电路218可通过对输入图像502执行一个或多个机器学习型操作来确定内容图504。在一些实施方案中，输入图像502是与初始输入图像402相比的分辨率降低图像(例如，由缩放器322提供)。降低图像分辨率可减少用于生成内容图504的处理时间。然而，由于内容图504的分辨率通常与输入图像502的分辨率相同或类似，因此内容图504可相对于初始输入图像402缩小。图6a提供了示例性输入图像602，并且图6b提供了示例性内容图604。内容图604在图像602中识别出草506和人508。
88.内容的每个片段可与内容的一个或多个预定类别相关联。内容图504可与具有在放大过程期间使用的多个网格点的网格相关联。内容图504可具有与全尺寸图像相同的尺寸。在一些实施方案中，为了有利于各种处理，网格点的数量少于全尺寸图像中用于锐化的像素的数量。在一个或多个实施方案中，图的每个网格点可与内容的类别(本文中也称为“内容类别”)相关联，并且可用于确定全尺寸图像中的附近像素的内容因子，如下文参照图11所详述。
89.内容图504中的内容类别的示例具有不同的期望内容因子。不同的内容类别可包括皮肤、叶、草和天空。一般来讲希望相对于其他类别(例如，皮肤)锐化某些类别(例如，叶和草)。在一个或多个实施方案中，使用各种机器学习算法来训练神经处理器电路218，以将输入图像502的不同片段分类，从而识别输入图像502中的内容的内容类别，该内容类别继而被图像信号处理器206用来使用不同的内容因子来锐化输入图像502的不同片段，这些内容因子指示要应用于不同片段的锐化程度，如下文参照图8所详述。
90.在其他实施方案中，使用各种机器学习算法来训练神经处理器电路218以生成热图作为内容图504。热图直接指示输入图像502的不同片段处的期望锐化程度，而不是指示与不同片段相关联的内容类别。
91.示例性对比度增强级电路
92.图7是示出根据一个实施方案的第一对比度增强级电路450的部件的框图。第一对比度增强状态电路450对亮度信息y执行基于内容的图像锐化和平滑，以生成亮度信息y'的锐化版本。亮度信息y是指仅包括输入图像402的亮度分量的图像，并且经锐化的亮度信息y'是指仅包括输出图像的亮度分量的图像。第一对比度增强级电路450除了其他部件之外还可包括图像锐化器702、内容图像处理704和加法器电路706。第二对比度增强级电路452具有与第一对比度增强级电路450基本上相同的结构，不同之处在于亮度图像没有相对于全尺寸输入图像402缩小，因此为了简洁起见，在此省略其详细描述。
93.图像锐化器702是对亮度信息y执行对比度增强(例如，锐化)并生成输出δy的电路。δy表示y的掩码。例如，δy是钝化掩码处理的结果。在一个或多个实施方案中，图像锐化器702体现为对亮度信息y执行处理的双向滤波器或高通频率滤波器。因此，例如，δy可以是图像的高频分量。δy由第一对比度增强级450的下游部件进一步调整。
94.内容图像处理704是基于由内容图识别的内容类别和这种分类的可能性来调整δy的电路。内容图像处理704接收亮度信息y和内容图504，并生成取决于基于内容类别的期望锐化程度相对于δy增加或减小的经调整的δy'，如参照图8所详述。
95.在一些实施方案中，加法器电路706将来自内容图像处理704的经调整的δy'与亮度信息y相加，以生成经锐化的亮度信息y'。在一些实施方案中，加法器电路706将经调整的δy'加到亮度信息y的低频分量(例如，其中低频分量＝y-δy)。对于一些像素，经调整的δy'为正，由此加法器电路706处的相加导致图像的相关片段的锐化。对于经调整的δy'为负的像素，加法器电路706执行模糊操作，诸如α模糊。如下文所详述，可用亮度信息y的低频分量α来模糊δy。这可能导致模糊局限于低频分量。这可防止在δy'包括较大负值的情况下可能发生的图像伪影。
96.示例性内容图像处理电路
97.图8是示出根据一个实施方案的内容图像处理电路704的部件的框图。如先前参照图7所述，内容图像处理704基于图像中的内容执行锐化和平滑操作。内容图像处理704除了其他部件之外还可包括纹理电路802、色度电路804、内容因子电路806和内容修改电路810。
98.内容因子电路806确定输入图像中的像素的内容因子。可为输入图像中的每个像素确定内容因子。内容因子基于内容图中的一个或多个值并指示要应用于像素的锐化量。内容因子还可基于来自纹理电路802的一个或多个纹理值和/或来自色度电路804的色度值。
99.如前所述，内容图的内容类别可与内容因子相关联。例如，为每个内容类别预先确定内容因子。如果内容图具有与图像相同的分辨率，则可通过参考内容图中对应位置的信息来获得像素的内容因子。如果内容图与图像相比缩小，则内容图可被放大以匹配输入图像的尺寸，使得可从内容图的放大版本中的附近像素内插内容因子。可将具有多个网格点的网格重叠在输入图像上，并且与网格点相关联的信息可用于通过内插来确定全尺寸图像中的像素的信息。例如，如果全尺寸图像的像素位置与内容图中的网格点不一致(例如，像素位于一组网格点之间)，则可通过内插靠近(例如，环绕)像素的网格点的内容因子来确定像素的内容因子。参照图11进一步描述了对内容图进行上采样以确定网格点之间的像素的内容因子。
100.在一些实施方案中，内容因子根据可能性值来加权。例如，通过将初始内容因子q0乘以可能性值来确定像素的内容因子q：
101.q＝(q0)*(可能性值)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
102.其中初始内容因子q0是与特定内容类别相关联的内容因子。可能性值可基于像素的内容类别以及像素的纹理值和/或色度值，如下文参照纹理电路802和色度电路804所述。在一些实施方案中，可能性值由可能性模型(likelihood model)确定，诸如：
103.(可能性值)＝c1 c2*(纹理值) c3*(色度值)
ꢀꢀꢀ
(2)
104.其中c1、c2和c3是预定常数(例如，调谐参数)。预定常数可具有基于内容图中的内
容类别的值。在一些实施方案中，可能性模型是纹理值和色度值的多项式函数。可能性模型表示分类准确性的模型，并且可凭经验或通过机器学习过程确定。
105.纹理电路802是基于纹理信息确定表示由内容图504识别的内容类别是正确的可能性的纹理值的电路。在一个或多个实施方案中，通过对输入图像应用一个或多个边缘检测操作来确定纹理值。例如，将诸如sobel滤波器或高通频率滤波器的边缘检测方法应用于亮度输入图像，以获得输入图像的像素位置处的边缘值。在确定边缘值之后，可通过将边缘值应用于纹理模型来确定网格点的纹理值。纹理电路802可存储对应于不同内容类别的多个不同纹理模型。纹理模型的示例包括叶纹理模型、天空纹理模型、草纹理模型和皮肤纹理模型。下文参照图9描述了示例性叶纹理模型。
106.色度电路804是基于色度信息确定表示由内容图504识别的内容类别是正确的可能性的色度值的电路。色度值基于图像的颜色信息(例如，cb值和cr值)。色度电路804可为不同的内容类别存储不同的色度模型。色度模型的示例包括叶色度模型、天空色度模型、草色度模型和皮肤色度模型。色度模型可手动确定或通过机器学习技术确定。参照图10描述了示例性天空色度模型。
107.内容修改电路810接收来自内容因子电路806的内容因子和来自图像锐化器702的δy值。内容修改电路810将内容因子应用于δy值以生成δy'值。例如，如果像素的内容因子高于预定阈值(例如，0)，则内容修改电路810执行锐化操作，诸如将像素的内容因子乘以像素的δy值。如果像素的内容因子低于预定阈值，则内容修改电路810可通过基于内容因子混合δy'来执行平滑操作。例如，根据以下执行α混合：
108.y’＝(1-α)*y α*(y-δy)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
109.以及
110.y’＝y δy’。
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
111.因此，
112.δy’＝-(α)*(δy)，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
113.其中α＝|q|*比例并且α是介于0和1之间的值。比例是预定的正的常数。应注意，如果|q|足够大，使得|q|*比例》1，则α被限制为等于1。
114.图9是示出根据一个实施方案的纹理模型的图示。例如，如果通过内容图将像素(如果使用网格，则为网格点)分类为“叶”，则可通过将像素(如果使用网格，则为网格点)的边缘值应用于图9的模型来确定纹理值。x轴表示输入边缘值，并且y轴表示输出纹理值。纹理值的范围从0到1。如果像素的边缘值高于高阈值，则纹理值为1，并且如果边缘值低于低阈值，则纹理值为0。对于介于低阈值和高阈值之间的边缘值，纹理值从0线性增加到1。低阈值和高阈值的值凭经验确定。例如，根据叶的典型边缘值来设置阈值。因此，高于高阈值的边缘值可指示像素或网格点在对应于叶的具有高纹理的区域处。类似地，低于低阈值的边缘值可指示像素或网格点在具有不对应于叶的平坦纹理的区域。例如，根据等式2，高纹理值表示像素的内容是叶的高可能性(假设c2为正)。
115.对于不同的类别，对应的纹理模型可由不同的纹理参数(例如，不同的低阈值、不同的高阈值和/或不同的斜率和/或1和0的翻转)来表示。对于“草”类别，低阈值和高阈值可高于“叶”类别的阈值。当纹理平坦而不是当纹理复杂时，一些类别可能是正确的。对于此类类别，可翻转纹理值的1值和0值。例如，“天空”的纹理模型在边缘值较低(例如，低于低阈
值)时可具有1值，而在边缘值较高(例如，高于高阈值)时可具有0值。也就是说，当像素在输入图像的纹理是平坦的区域中时，该像素更可能指示“天空”。在一些实施方案中，不是翻转1值和0值，等式2中的预定常数基于内容类别而变化。例如，对于诸如“皮肤”或“天空”的类别，c2可以是负的，使得高纹理值指示像素的内容是“皮肤”或“天空”的低可能性。
116.图10是示出根据一个实施方案的色度模型的图示。图10的色度模型可表示“天空”的模型。如果通过内容图将像素或网格点分类为“天空”，则色度电路804确定像素或网格点的cb值和cr值的组合是否落在区域1010、1020和1030中的一者内。x轴表示输入cb值，并且y轴表示输入cr值。一个椭圆位于表示“天空”的颜色范围的图示的右上角。如果像素或网格点的cb/cr值在区域1010中的内椭圆内，则色度值为1，这(例如，根据等式2，其中c3为正)可指示像素或网格点对应于“天空”的高可能性。如果cb/cr值在区域1030中的外椭圆之外，则色度值为0，从而指示像素或网格点不可能对应于“天空”(例如，根据等式2，其中c3为正)。如果cb/cr值在区域1020中介于内椭圆和外椭圆之间，则色度值可介于0和1之间(例如，色度值随着距边缘内椭圆的距离增大而增大)。椭圆的位置和大小可凭经验或通过统计建模确定。在一些实施方案中，可使用其他形状，诸如正方形、三角形或圆形来代替椭圆形。
117.对于不同的类别，对应的色度模型可由不同的色度参数(例如，中心、半径、角度、椭圆的斜率和外椭圆/内椭圆的比率)来表示。例如，“叶”的色度模型一般来讲是绿色的，因此“叶”类别的色度参数将涵盖对应于绿色的cb/cr值，而“天空”类别的色度参数将涵盖对应于蓝色的cb/cr值。在另一个示例中，根据一般来讲不与类别相关联的颜色来选择色度参数。例如，“叶”一般来讲不包括蓝色。因此，如果cb/cr值对应于蓝色，则色度模型可被配置为输出低值。
118.使用网格点的示例性插值
119.图11是示出根据一个实施方案的用于对内容图进行上采样的方法的图示。如果内容图具有比输入图像低的分辨率，则图像中的像素和内容图中的像素不具有一对一的对应关系。因此，可执行内容图的放大。执行此类放大的一种方式是通过使用具有重叠在输入图像1102的顶部的多个网格点的网格。网格点可比输入图像1102中的像素更稀疏。在这种情况下，网格点的内容因子可用于确定较高分辨率输入图像1102的内容因子。
120.以重叠在输入图像1102上的网格具有网格点1至4并且输入图像1102包括位于网格点1至4之间的像素1104为例，考虑到从网格点到像素1104的空间距离，可通过对与网格点1到4相关联的内容因子q(1)至q(4)执行双线性内插来确定像素1104的内容因子q(像素)。
121.在一个或多个实施方案中，使用输入图像1102的像素1104的纹理参数和色度参数来确定用于确定像素1104的q(像素)的内容因子q(1)至q(4)。使用由内容图指示的网格点1至4的类别，但使用像素1104的边缘值和cb/cr值而不是网格点的这些值来确定这些类别的可能性值(上文参照等式(2)所述)。例如，如果网格点1被分类为“皮肤”，则像素1104的纹理被应用于具有对应于“皮肤”的纹理参数的纹理模型，并且像素1104的cb/cr值被应用于具有对应于“皮肤”的色度参数的色度模型，以根据等式(1)获得q(1)。类似地，如果网格点2被分类为“叶”，则像素1104的边缘值被应用于具有对应于“叶”的纹理参数的纹理模型，并且像素1104的cb/cr值被应用于具有对应于“叶”的色度参数的色度模型，以根据等式(1)获得q(2)。在对网格点3和4重复相同的处理之后，通过双向内插获得q(像素)。
122.在其他实施方案中，通过使用网格点的纹理值和cb/cr值而不是像素的这些值来获得内容因子q(1)至q(4)。
123.基于内容的图像锐化的示例性方法
124.图12是示出根据一个实施方案的基于图像片段内的内容来锐化图像的一个或多个像素的方法的流程图。该方法的步骤可以不同顺序执行，并且该方法可包括不同的、另外的或更少的步骤。
125.接收1202输入图像的亮度像素值。接收1204内容图。内容图识别图像片段中的内容类别。内容图可由对图像的版本执行至少一个机器学习操作以生成内容图的神经处理器电路生成。由内容图识别的类别可包括皮肤、叶、草或天空。在一些实施方案中，内容图是指示要应用于图像的像素的锐化量的热图。
126.确定1206与图像中的像素相关联的内容因子。根据输入图像中的所识别的内容类别以及图像中的像素的纹理值或图像中的像素的色度值中的至少一者来确定内容因子。纹理值指示基于图像中的纹理与像素相关联的内容类别的可能性。色度值指示基于图像的颜色信息与像素相关联的内容类别的可能性。
127.在一些实施方案中，内容图相对于输入图像缩小。在这些实施方案中，可通过对内容图进行上采样来确定内容因子。通过获得重叠在内容图顶部上的网格点的内容因子，然后内插网格点的内容因子以获得输入图像中的像素的内容因子，可来对内容图进行上采样。
128.通过至少将内容因子应用于像素的亮度像素值的版本来生成1208像素的亮度像素值的锐化版本。亮度像素值的版本可由双向滤波器或高通滤波器生成。在一些实施方案中，响应于内容因子高于阈值，通过将内容因子乘以亮度像素值的版本来将内容因子应用于亮度像素值的版本。如果内容因子低于阈值，则内容修改电路将亮度像素值的版本与负参数相乘。
129.本文描述的教导内容涉及为图像中的每个像素生成内容因子。内容因子基于经由内容图所识别的图像中的内容。虽然本文描述的教导内容在图像锐化的上下文中，但这是为了方便起见。本文描述的教导内容还可应用于其他图像处理过程，诸如降噪、色调映射和白平衡过程。例如，为了降噪，可将内容因子应用于(例如，乘以)噪声标准偏差。
130.虽然已经说明和描述了具体的实施方案和应用，但是应当理解，本发明不限于本文所公开的精确构造和部件以及，并且在不脱离本公开的实质和范围的情况下，可对本文所公开的方法和装置的布置、操作和细节进行对本领域的技术人员将显而易见的各种修改、改变和变型。