相机色彩图像处理的制作方法

相机色彩图像处理


背景技术：

1.相机色彩图像处理被用于基于由相机捕捉的图像来生成色彩图像。图像处理将感测到的视觉数据转化为图像数据以生成色彩图像。传统的处理技术以相同的方式或相同的方向对待所有色彩。然而，人类视成像和认知系统基于色彩的彩色属性以及对色彩的记忆来对待色彩。传统处理技术中使用的简单数学模型和/或矩阵无法将获取的视觉数据转化为真实代表人类视成像的图像。例如，所有照明条件都不是中性白色，并且大多数照明条件都有一些与之相关的色偏，这些色偏不能使用常规处理技术准确地表示。


技术实现要素：

2.提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的概念的选集。本概述并不旨在标识所要求保护的主题的关键特征或必要特征，亦非旨在用于帮助确定所要求保护的主题的范围。
3.一种用于图像处理的计算机化方法包括接收由成像设备获取的图像数据；并将接收到的图像数据中的一个或多个非彩色色彩与一个或多个彩色色彩分离。该计算机化方法进一步包括：至少基于色温和光照度(勒克斯)来处理该一个或多个非彩色色彩，以通过应用与该一个或多个非彩色色彩相关联的一个或多个经定义的权重值来为该一个或多个非彩色色彩生成经调整的色彩外观。该计算机化方法还包括：至少基于色温和光照度来处理该一个或多个彩色色彩，以通过应用与该一个或多个彩色色彩相关联的一个或多个经定义的权重值来为该一个或多个彩色色彩生成经调整的色彩外观。与该一个或多个非彩色色彩相关联的一个或多个经定义的权重值不同于与该一个或多个彩色色彩相关联的一个或多个经定义的权重值。该计算机化方法进一步包括：使用该一个或多个非彩色色彩的经调整的色彩外观和该一个或多个彩色色彩的经调整的色彩外观来生成最终图像。
4.许多附带特征将变得更容易领会，因为这些附带特征通过参考结合附图考虑的以下详细描述而变得更好理解。
5.附图简述
6.根据附图阅读以下详细描述将更好地理解本说明书，在附图中：
7.图1是例示根据一实施例的对配置用于相机色彩图像处理的系统的使用的框图；
8.图2是例示根据一实施例的自动白平衡控制的框图；
9.图3是根据一实施例的具有相机色彩图像处理流水线的系统的框图；
10.图4例示了根据一实施例的调节表；
11.图5例示了根据一实施例的色彩图像处理组件；
12.图6是根据一实施例的相机色彩图像处理的过程的流程图；
13.图7是根据一实施例的生成色彩图像处理增益值的过程的流程图；以及
14.图8是适用于实现本文公开的各种示例中的一些示例的示例计算环境的框图。
15.在整个附图中相应的附图标记指示相应的部件。在附图中，各系统被解说为示意图。附图可能没有按比例绘制。
16.详细描述
17.本文描述的计算设备和方法被配置成利用基于复杂的人类视觉和认知非线性处理的相机色彩成像过程(例如，处理算法)来处理图像数据。相机色彩图像处理流水线定义了一种基于人类视觉和认知处理的处理算法，以诸如在视频电话会议期间向用户提供(针对照片和视频的)经改进的相机体验。
18.所有照明条件都不是中性白色，并且大多数照明条件都有一些与之相关的色偏。例如，钨丝灯(cie a)具有强烈的黄色色偏，地平线光(2400k)具有橙色色偏，而多云天的阳光(cie d65)具有更蓝的色偏。人类视觉系统部分地适配这些照明条件，并因此，白纸(非彩色对象)在钨丝灯下显得更黄而在多云天的阳光下显得更蓝。然而，由于认知处理，彩色对象受色偏的影响较小，例如，无论照明条件如何，红苹果看起来几乎都是同一色彩。这种复杂的人类视觉现象已经被本公开适配为通过为非彩色色彩和彩色色彩创建分别定制的色彩外观模型来提供相机色彩处理，这将带来经改进的用户体验。
19.在一些示例中，相机色彩图像处理流水线增强了视频电话会议期间的视觉体验，包括使用基于人脸(基于对象)的信息提供肤色再现，以及在不同照明条件下改进整体相机图像质量和摄影体验。如此，经生成的图像与人类视觉系统更加一致。
20.本公开由此提供了一种经配置的图像处理流水线，其具有生成更好地模仿人类视觉和认知处理的图像的能力。以此方式，当处理器被编程为执行本文描述的操作时，处理器以非常规的方式使用，并且允许更准确地生成对应于人类视觉和认知处理的图像，从而提供经改进的用户体验。
21.图1是例示使用系统100生成图像(例如，视频图像)，特别是具有模仿人类视觉和认知处理的经改进的质量的图像的示例性框图。设备102(例如，移动电话、平板、膝上型计算机、相机等)使用设备102的镜头106和传感器108(例如，电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)有源像素传感器)获取场景104的多个图像(图示为当前场景，诸如其中包括一个或多个对象的图像)。应当理解，传感器108(在一个示例中其是由硅形成的相机传感器)以不同于人眼的方式“看见”场景104。虽然光学元件和滤波器可以改变例示为正在获取的图像114的场景104的图像，但是这些图像仍然偏离具有人类视觉和认知处理的人眼所看到的图像。本公开处理经获取的图像数据以生成更好地模拟人类视觉和认知处理的图像。即，说明性图像116更好地表示如果直接而不是通过设备102看时人的眼睛会看到的内容。应当注意，在一些示例中，设备102位于远程位置并且生成由在不同位置(例如在视频会议设置中)的人看到的图像。因此，设备102的视场112中的当前场景104被成像为具有由人类视觉和认知处理生成的图像的更好表示。
22.在所例示的示例中，相机色彩成像处理器118(其可形成设备102的一部分或与设备102分离)被配置成处理由设备102获取的图像数据以生成具有经改进的视觉质量的图像。即，相机色彩成像处理器118在各种示例中被配置成具有基于人类视觉和认知处理实现的相机色彩图像处理流水线，以为不同应用(例如，视频电话会议)提供(针对照片和视频的)经改进的相机体验。在一个示例中，相机色彩成像处理器118被配置成实现处理流水线，该处理流水线对所获取的图像数据执行非彩色
‑
彩色分离以分别处理非彩色色彩和彩色色彩从而提供自动白平衡(awb)控制。结果，原始的“辐射(radianc)”图像被转化为经适配的“感知(perceptual)”图像。
23.更具体地，相机色彩成像处理器118可操作以执行awb控制来模拟人眼的白平衡。在一个示例中，相机色彩成像处理器118基于复杂的人类视觉和认知非线性处理而不是传统的简单数学模型和/或矩阵来实现相机色彩成像算法。相机色彩成像处理器118执行awb控制，其允许对非彩色色彩和彩色色彩应用不同的增益。由相机色彩成像处理器118执行的处理考虑了照明变化，诸如日光的相位、人造光源的变化(例如，不同类型的光、逐样本变化等)、混合照明条件(例如，多个光源、阴影等)等。
24.各种示例从白点获得wb增益，如下：
25.白点 r/g 0.682和b/g 0.714；
26.增益 r＝1/0.682＝1.661；
27.增益 gr＝1；
28.增益 gb＝1；以及
29.增益 b＝1/0.714＝1.400；
30.使用这些wb增益，提供了生成适配“感知”图像的彩色适配模型输出。在一些示例中，经调整的白点r/g基于相机色彩成像处理器118的图像处理，该图像处理包括单独定义的非彩色色彩权重和彩色色彩权重。如本文更详细地描述的，相机色彩成像处理器118使用调节表来定义新r/g(或新b/g)的各种权重和参数，其中r代表红色，g代表绿色，而b代表蓝色。
31.在一个示例中，如图2所例示的，色彩处理器200被配置成处理图像以至少部分地基于色温和光照度来生成经适配的“感知”图像。光源的色温一般是指理想的黑体辐射体发出与光源色调相类似的光时的温度。光照度(勒克斯)是发光度的量度，通常是指每平方面积的表面发出的流明数，而不管光在发光方向上如何分布。一个完美的白色表面上落下一勒克斯就发射一勒克斯。各种示例使用色温和光照度作为色彩外观/色彩偏好模型的一部分。如图2中例示的，awb控制202被输出到模型204，其基于色彩外观、色彩偏好和色彩再现，而传统方法仅基于色彩外观和色彩偏好。本公开允许基于色温和光照度来跨非彩色/彩色色带应用不同的增益。然而，应当理解，可使用其他图像特性来执行本文描述的处理。
32.图3例示了根据一个示例的具有带相机色彩图像处理流水线302的相机色彩图像处理组件340的图像色彩处理系统300。应当注意，图像色彩处理系统300可以包括附加的、更少的或替换的组件。提供所示组件是为了便于说明。图像色彩处理系统300从诸如传感器108(图1所示)之类的传感器接收图像数据。获取的图像数据由去马赛克处理组件304处理。去马赛克处理组件304执行去马赛克，其是根据从图像传感器304输出的不完整色彩样本(并且任选地覆盖有滤色器阵列(cfa))重建全色彩图像的数字图像处理。因此，去马赛克处理组件304执行色彩重建。
33.相机色彩矩阵306然后被用于从设备rgb到标准rgb(srgb)色彩空间的色彩校正。相机色彩矩阵306可以是相机色彩技术中的任何合适的矩阵。即，原始传感器数据从相机色彩空间转化为srgb。色调曲线308被用于srgb图像数据以调整数据的曝光、光量和色调。图像处理技术中的任何色调曲线都可被使用。
34.对经调整的色调srgb图像数据执行色彩空间转换310。色彩空间转换310使用转换参数在色彩空间之间转换图像数据。在所例示的示例中，转换参数被配置成将srgb图像数据转换为yuv图像数据。即，色彩空间转换310将红、绿、蓝色系统转换为yuv色彩空间，以供
在相机色彩图像处理流水线302中使用。图像数据使用yuv色彩空间而非直接rgb表示允许减少通过相机色彩图像处理流水线302传送数据的带宽(例如，减少用于彩色分量的带宽)。应该注意的是，y代表亮度分量(明度)，而u和v代表彩色(色彩)分量。还应该注意的是，可以使用其他色彩模型或色彩编码，并且本公开将考虑这些色彩模型或色彩编码。因此，可在任何色彩空间中使用各种示例。例如，可以转换为ycbcr色彩空间、cielab色彩空间、或lch色彩空间、hsv色彩空间或hsl色彩空间等。例如，本公开可以利用任何线性或非线性图像色彩空间来实现。
35.色彩空间转换310由此将图像数据从捕获和编码图像数据的相机的色彩空间(例如，诸如rgb的三色模型)转换为用于色彩图像处理的色彩空间，诸如yuv。即，在一些示例中，像素数据从图像空间转换为的色彩空间，图像空间中像素根据三个色彩通道(红色、蓝色、绿色)考虑且每个通道具有相应强度，色彩空间中像素根据两个色彩(例如，彩色或色度通道)和一个非彩色通道考虑(该非彩色通道代表像素在明度或亮度方面的整体亮度)。例如，两个彩色通道可以是红色和蓝色通道。非彩色通道可被称为亮度或光度(luma)通道。因此，在yuv色彩空间中，y表示亮度通道，u表示蓝色彩色通道，v表示红色色彩通道。
36.yuv图像数据然后由相机色彩图像处理流水线302处理。此处理包括通过分离器312分离分量，分离器312被配置成将亮度分量(内容)与彩色分量(内容)分离。即，分离器312被配置成将yuv图像数据的明度内容与色彩内容分离，以随后允许对非彩色色彩和彩色色彩进行单独处理，包括基于色温和光照度分别调整非彩色色彩和彩色色彩。应该注意的是，u和v分量对应于图像像素的色差(饱和度)(例如，在不改变明度的情况下移动像素的色彩)。在一个示例中，使用信号处理技术中的信号分离技术将对应于uv内容316的信号与对应于y内容314的信号分离。即，执行非彩色和彩色分离318，使得在一个示例中对应于yuv数据的信号被信号分离器分离以产生与uv分量316分离的y内容314，其中uv分量316被分离为非彩色色彩分量和彩色色彩分量。
37.相机色彩图像处理流水线302因此将非彩色色彩322与彩色色彩320分离。该分离允许对基于色温和光照度水平单独调整的非彩色色彩322和彩色色彩320(例如，非彩色图像分量和彩色图像分量)进行单独处理。在一个示例中，通过基于相关色温(cct)和光照度水平的阈值化来执行调整以调整非彩色色彩322和彩色色彩320。非彩色色彩322和彩色色彩320的分离例如通过基于网格的技术、基于像素的技术、对象和场景检测技术、机器学习分离技术等中的一种来执行。在一个示例中，一种检测阈值技术被使用，该技术可以是基于传感器响应的、基于yuv的或基于经验的(基于实验室的)。然而，应当理解，可以使用任何合适的方法来分离非彩色色彩322和彩色色彩320。
38.可以看出，在所例示的示例中，uv内容316是由相机色彩图像处理流水线302处理的相机色彩图像。虽然y内容314没有被相机色彩图像处理流水线302处理，但此亮度分量被用作非彩色和彩色分离318的输入。即，色彩内容是由相机色彩图像处理流水线302处理的相机色彩图像。应注意的是，用于执行分离的参数、特性、属性等可被调节或调整。此外，可以基于像素，或基于其他图像数据集，对图像数据集(诸如像素集)执行分离。
39.在一些示例中，非彩色色彩322和彩色色彩320被分开处理以更好地近似人类视成像和认知系统(例如，视频将具有人类基于不同的照明条件将看到的色彩)。在一个示例中，基于色彩外观值324处理非彩色色彩322，并且基于经定义的优选色彩再现值326处理彩色
色彩320。即，不同的值(例如，权重值)分别应用于对应于非彩色色彩322和彩色色彩320的图像数据，使得非彩色色彩322的饱和度/色调增强328和彩色色彩320的饱和度/色调增强330被提供。
40.更具体地，各种示例使用如图4所示的调节表400来调整非彩色色彩322和彩色色彩320，即基于色彩外观值324和经定义的优选色彩再现值326来执行饱和度/色调增强328和饱和度/色调增强330。在所例示的示例中，调节表400定义了对应于表400的列402中的cct值的多个色温水平中的每一者的相应值。应当注意，在一示例中，调节表400中的cct值对应于不同类型光源(例如，白炽灯、led等)的值。然而，应当理解，cct值可被调整以包括更少或更多的值。即，不同的值(或值的范围)可通过调整列402中的cct值或cct值的数量来定义。在一些示例中，awb控制202被配置成使用图像处理技术中的色温感测技术来检测cct。即，awb控制202被配置成获取用于定义要在调节表400内使用的权重的色温信息。
41.对于每个cct值，分别在404a和404b、406a和406b、408a和408b、410a和410b以及412a和412b列中定义了色彩外观、光照度水平、光照度权重、色彩水平和色度权重的相应值。在各种示例中，每一列中的值都是根据经验确定的，诸如基于测试或实验。在一些示例中，建模被用于确定值。因此，调节表400中的值可调节以产生不同的色彩图像处理结果。
42.更具体地，列404a和404b中的色彩外观值定义对应于cct水平的色彩的期望外观。即，这些值定义了色彩看起来应当如何(基于照明条件的人类色彩视成像的感知方面)。列406a和406b中的光照度水平值定义光度或亮度阈值。即，在一些示例中，这些值定义了弱光和非弱光(明亮)光条件。列408a和408b中的光照度权重值定义了对应于光照度水平值的亮度权重值。即，在一些示例中，取决于是存在弱光条件还是非弱光(明亮或高)光条件来应用权重。列410a和410b中的彩色水平值定义一色彩是在非彩色色彩322还是彩色色彩320中。即，这些值分别定义了高于和低于其(即高于c2和低于c1)的色彩被认为在非彩色色彩322和彩色色彩320内的水平。落入这些水平之间的测量值被认为具有作为非彩色色彩322和彩色色彩320两者的一部分的色彩。列412a和412b中的色度权重值定义了对应于非彩色色彩322或彩色色彩320的权重值。即，色度权重是取决于色彩是在非彩色色彩322还是彩色色彩320内而被应用的值。
43.应当理解，调节表400的每一行中对应于每个不同cct值的值被用于处理非彩色色彩322和彩色色彩320两者。但是，一些值仅用于处理非彩色色彩322或彩色色彩320中的一种，这将在下面更详细地讨论。在各种示例中，每行中的值对应于更好地模拟人类视觉和认知系统处理的每个色温(cct)的所需特征。即，当观看视频图像(例如，视频会议)时，根据本公开生成和显示的色彩提供经改进的用户体验，因为该色彩更好地表示用户如果直接观看作为图像的场景，而不是看由相机设备获取的视频显示图像时将看到的内容。
44.可以根据需要或需求改变或调节调节表400中的各种值。例如，可调节列404a、404b中定义的色彩外观以通过改变rgb的任何值改变这些列中的比率值来调整色彩外观。即，列404a、404b中定义的色彩外观定义了人们希望看图像的方式。在一些示例中，列404a、404b中定义的色彩外观值基于调查数据、在各种照明条件下捕获数据的实验等。然而，列404a、404b中定义的色彩外观的值可基于其他因素或标准来定义，以便产生对观看者来说显得更“真实”的经调整的最终图像。在一些示例中，相机工程师能够通过调整调节表400中的值来调节最终图像。
45.因此，应当理解，调节表400中的值仅作为示例而非对本公开的限制。此外，对于落在列402中的各值之间的cct值，在一个示例中可以使用具有最接近测量的cct值的值的行来执行色彩图像处理。然而，可以使用其他方法。例如，在一些示例中，使用cct的两个值之间的内插来确定调整值。即，如果测量的cct值(诸如通过awb 202)在表400的列402中的两个cct值之间，则可以执行内插以确定，例如，要被应用的对应权重值(例如，cw1，cw2，l1，l2)。
46.现在将描述用于处理接收到的图像数据以基于色彩外观值324和经定义的优选色彩再现值326执行饱和度/色调增强328和饱和度/色调增强330的示例。应当理解，这些示例仅用于说明基于可能的光照度和彩色水平执行的计算。作为处理非彩色色彩322的一个示例：
47.如果c≤c1且
48.如果l≤l1，则色彩调整(新r/g)计算如下：
[0049][0050]
在此等式中，新色彩外观通过使用低光照度权重w1和非彩色色彩的彩色水平c2对当前色彩外观值进行加权来确定。应当理解，l1对应于调节表400中的低光照度水平而l2对应于调节表400中的高光照度水平。新色彩外观定义了所需的响应。即，新色彩外观定义了更期望或更理想的色彩外观，诸如，如果图像是由人眼捕获并经过人类视觉和认知处理时所预期的色彩外观。在各种示例中，新色彩外观被输出到图像处理器以生成最终图像336(如图3所示)。
[0051]
应当理解，新b/g值使用公式1类似地计算。附加地，以类似的方式，当处理彩色色彩320时，彩色值被使用，包括c1。即，对于不同的值，诸如对于彩色水平，在调节表400中为非彩色色彩322和彩色色彩320中的每一者提供不同的权重值。因此，本公开的色彩图像处理对于非彩色色彩322和彩色色彩320被不同地执行(例如，不同地加权)，使得饱和度/色调增强328和饱和度/色调增强330更好地模拟人类视成像，包括人类视觉和认知非线性处理。
[0052]
作为另一示例：
[0053]
如果l≤l1且
[0054]
如果c＜c＜c2，则色彩调整(新r/g)计算如下：
[0055][0056]
在此等式中，新色彩外观通过结合使用低光照度权重w1与非彩色和彩色色彩权重(分别为cw1和cw2)对当前色彩外观值进行加权来确定。应该注意的是，低光照度水平值w1被使用，因为l≤l1。如果l＞l1，则高光照度水平值被使用。在公式2中，在此示例中，基于和来调整cw1和cw2，因为色彩在非彩色色彩322和彩色色彩320之
间，即，在非彩色色彩322和彩色色彩320中的每一者的定义阈值之间。因此，在此示例中，权重cw1和cw2被进一步加权，因为色彩在非彩色色彩322和彩色色彩320的定义阈值之间。各种阈值和值可例如，由相机调谐器(例如，在相机调节方面有经验的人)来设置和调整。
[0057]
应该注意的是，低于c1的值被定义为非彩色色彩，高于c2的值被定义为彩色色彩，其中c1和c2之间的值是部分非彩色色彩和部分彩色色彩(“中间”色彩)。因此，基于色温和光照度水平，取决于色彩是非彩色色彩322中的一种和/或彩色色彩320中的一种来应用经定义的权重。应该注意的是，新色彩外观是使用同一公式2来计算的。
[0058]
相机色彩图像处理流水线302由此被配置成使用来自调节表400的权重值，该权重值定义了非彩色色彩322和彩色色彩320的色彩外观模型。例如，照明条件通常不是中性白色(诸如在具有视频会议功能的会议室中)，而是具有一些相关色偏的照明条件。相机色彩图像处理流水线302以模仿人类视觉系统的方式使图像数据适配不同的照明条件，使得例如图像数据被加权(例如，基于调谐器表400中的调谐器权重值)以致使白纸(非彩色对象)在钨丝灯下显得更黄，而在多云天的阳光下显得更蓝。即，相机色彩图像处理流水线302使用诸如来自调节表400的非彩色色彩322的色彩外观值324和彩色色彩320的优选色彩再现值326，以确定如由调整图像数据的增益的权重值定义的新色彩外观(即，)(例如，应用于非彩色色彩322和彩色色彩320的不同权重)。饱和度/色调增强328、330被应用于分别处理的非彩色色彩322和彩色色彩320的图像数据以允许经调整的色彩。在一个示例中，经调整的色彩332是色彩的混合和合成的组合。调节表400通常为可调节的每个色温定义期望的色彩外观(r/g和b/g)。
[0059]
来自相机色彩图像处理流水线302的输出由色彩空间转换334进行转换。在一个示例中，色彩空间转换334包括使用色彩空间转换技术中的色彩映射技术执行的jpeg编码。在一些示例中，jpeg压缩作为色彩空间转换的一部分来执行。最终图像336基于对非彩色色彩322和彩色色彩320的单独色彩图像处理以经调整的色彩外观被输出。在一些示例中，本公开通过为非彩色色彩322和彩色色彩320创建分别定制的色彩外观模型在相机色彩处理中实现复杂人类视觉现象。因此，图像质量和视觉相机外观在照片和视频(包括例如视频电话会议)的所有照明条件/照明水平频谱内都得到了改进。因此，本公开的色彩图像处理不以相同的方式或相同的方向，而是至少部分地通过分别处理非彩色色彩322和彩色色彩320来处理所有色彩，并为非彩色色彩322和彩色色彩320中的每一者提供单独的不同权重。
[0060]
因此，各种示例通过基于色温(例如，cct)和光照度对非彩色色彩322和彩色色彩320进行不同加权来执行相机色彩图像处理。如本文所描述的，对于非彩色色彩322和彩色色彩320中的每一者的不同色温水平，不同的权重集被提供。因此，一些示例中的权重基于图像内容，
[0061]
如图5所例示的，最终图像336是基于本公开计算的增益(和)生成的。即，增益利用色彩图像处理组件340使用不同的经定义的阈值和权重来计算。更具体地，并且如本文所描述的，一些示例使用调节表400中的经定义的值来计算增益以生成最终图像336。应当理解，增益可被应用于不同粒度水平，诸如像素水平或对象水平。例如，在一些示例中按像素应用计算增益，在一些示例中按面积应用计算增益。
[0062]
由色彩图像处理组件340计算的增益基于多个经定义的色温502水平中的每一者的阈值和权重，对于非彩色色彩322和彩色色彩320，这些阈值和权重是不同的。即，取决于色彩是在非彩色色彩322还是彩色色彩320内，不同的阈值和权重被用于不同的照明条件。照明条件可以例如基于用于照亮区域的不同光源(例如，会议室中的并用利用相机成像以用于视频会议的一个或多个不同光源)来定义。
[0063]
对于色温502的每个水平，色彩外观504定义了最终图像336的期望色彩特性。例如，色彩外观504定义增益(r/g和b/g)，这些增益被调整以计算要应用的新增益(和)。即，调谐器增益值被使用并基于本文描述的分离非彩色色彩322和彩色色彩320的相机色彩图像处理被调整为新增益值。
[0064]
还定义了阈值以进一步确定要应用于每个色温502的权重。例如，不同的光照度水平506定义了不同照明条件(例如，弱光和强光条件)的阈值。附加地，不同的彩色水平508定义了阈值以将色彩标识为在非彩色色彩322或彩色色彩320内。
[0065]
使用上面讨论的测得的色温502(例如，cct值)并基于照明条件(光照度水平)以及色彩是否在非彩色色彩322和/或彩色色彩320内，应用权重调整相机色彩图像处理以基于由色彩外观504的值定义的增益来生成新增益。即，光照度权重510和/或色度权重512分别基于(i)照明条件和(ii)色彩是否在非彩色色彩322和/或彩色色彩320内而被应用。结果，最终图像336在被观看时更令人愉悦，其色彩更符合人类视觉和认知处理产生的色彩。
[0066]
应当注意，如图4所示的调节表400中所例示地定义了一个示例中的阈值和权重。例如，取决于相机特性和/或用例，可以优化一个或多个权重值以在该相机上再现最佳视觉体验。
[0067]
还应当理解，来自各种示例的输出对于进一步处理也是有用的，例如在由计算设备800执行的图像处理操作中，这将参照图8更详细地描述。
[0068]
图6是例示在相机色彩图像处理中涉及的示例性操作的流程图600。在一些示例中，针对流程图600描述的操作由图8的计算设备800执行。流程图600开始于操作602，接收由成像设备获取的图像数据。例如，相机在在线视频会议会话期间获取视频会议图像。相机是位于会议室中的一些示例。然而，在其他示例中，相机形成便携式设备(例如膝上型计算机或平板)的一部分，并且正在操作以获取用于视频会议的图像。应当注意，图像数据可以是任何类型的图像，诸如静止图像或视频。
[0069]
在操作604，接收到的图像数据中一个或多个非彩色色彩与一个或多个彩色色彩分离。如本文所描述的，在一些示例中使用经定义的阈值来标识非彩色色彩322和彩色色彩320。该分离允许对非彩色色彩322和彩色色彩320进行单独处理。
[0070]
在操作606，然后至少基于色温和光照度处理该一个或多个非彩色色彩以通过应用与该一个或多个非彩色色彩相关联的一个或多个经定义的权重值来为该一个或多个非彩色色彩生成经调整的色彩外观。附加地，在操作608，至少基于色温和光照度处理该一个或多个彩色色彩，以通过应用与该一个或多个彩色色彩相关联的一个或多个经定义的权重值来为该一个或多个彩色色彩生成经调整的色彩外观。例如，如本文所描述的，至少基于一个或多个经定义的阈值(诸如低光照度水平或高光照度水平)，通过调整相应的一个或多个非彩色色彩或一个或多个彩色色彩的增益设置来处理它们。如本文所描述的，可以使用基
于多个阈值的多个权重值来计算新增益设置。此外，在一些示例中，与该一个或多个非彩色色彩相关联的一个或多个经定义的权重值不同于与该一个或多个彩色色彩相关联的一个或多个经定义的权重值。如此，新增益值对于经处理的一个或多个非彩色色彩和经处理的一个或多个彩色色彩是不同的。
[0071]
应当注意，处理顺序可以被改变以在分离数据的其它部分之前或之后处理分离数据的不同部分。
[0072]
在操作610，最终图像使用该一个或多个非彩色色彩的经调整的色彩外观和该一个或多个彩色色彩的经调整的色彩外观来被生成。例如，经生成的图像对于不同的照明条件具有经改进的特性，包括在不同的照明条件下更接近人眼创建的图像。
[0073]
因此，通过为非彩色色彩和彩色色彩创建分别定制的色彩外观模型，各种示例在显示数字图像(例如静止图像或视频)时提供经改进的图像。
[0074]
图7是例示在生成色彩图像处理增益值中涉及的示例性操作的流程图700。在一些示例中，针对流程图700描述的操作由图8的计算设备800执行。流程图700开始于操作702，接收由成像设备获取的图像数据。例如，相机在在线视频会议会话期间获取视频会议图像。相机是位于会议室中的一些示例。然而，在其他示例中，相机形成便携式设备(例如膝上型计算机或平板)的一部分，并且正在操作以获取用于视频会议的图像。应当注意，图像数据可以是任何类型的图像，诸如静止图像或视频。
[0075]
在操作704，在一些示例中，接收到的图像数据从相机色彩空间被转换到流水线处理色彩空间以允许更有效的相机色彩图像处理。一个示例中的转换是从rgb色彩空间到yuv色彩空间。然而，如本文所描述的，本公开考虑了其他色彩转换。
[0076]
在操作706，确定图像数据(例如，像素数据)是否低于彩色阈值。即，确定要处理的图像数据的部分或分量的彩色水平是否低于彩色阈值。如果该值低于彩色阈值，则在操作708，使用彩色色彩权重值执行色彩图像处理。如果该值不低于彩色阈值，则在操作710确定该值是否高于非彩色阈值。如果该值高于非彩色阈值，则在操作712，使用非彩色色彩权重值执行色彩图像处理。如果该值不高于非彩色阈值(这意味着该值高于彩色阈值但低于非彩色阈值)，则该色彩为中间色彩，并然后在操作714中使用非彩色色彩权重值和彩色色彩权重值的组合来执行色彩图像处理。
[0077]
在操作708、712或714中的任一者之后，在操作716确定测得的色温值是否等于(诸如在调节表中的)经定义的色温值。例如，确定经确定的cct值(例如，由awb控制202确定)是否等于调节表(例如，调节表400)中的cct值之一。如果这些值相等(即，经确定的cct值与调节表中的cct值匹配)，则在718，在相机色彩图像处理中使用调节表中与cct值相关联的权重值(和其他阈值，例如光照度水平值)(例如，相机色彩图像处理流水线302使用表值)。如果经确定的cct值不同于(等于)调节表中的任何经定义的cct值，则在操作720，使用外推值(extrapolated values)。即，使用数学外推技术执行外推操作以确定两个cct值之间的外推权重值(和其他外推阈值，诸如光照度水平值)。
[0078]
然后在操作722生成用于处理图像数据的新增益值。即，如本文所描述的，要应用于图像数据的新增益(和)被计算，并被用于生成具有针对不同照明条件的经改进的色彩外观的图像。
[0079]
因此，各种示例以经改进的显示特性执行相机色彩图像处理。例如，在视频会议应用中，来自远程相机的显示图像更符合人类视觉和认知处理。
[0080]
附加示例
[0081]
本文公开的一些方面和示例涉及一种图像处理系统，包括：与计算设备相关联的存储器，该存储器包括相机色彩图像处理组件；以及执行图像色彩处理系统的处理器，该图像色彩处理系统使用该相机色彩图像处理组件以：接收由成像设备获取的图像数据；将接收到的图像数据中的一个或多个非彩色色彩与一个或多个彩色色彩分开；至少基于色温和光照度来处理该一个或多个非彩色色彩，以通过应用与该一个或多个非彩色色彩相关联的一个或多个经定义的权重值来为该一个或多个非彩色色彩生成经调整的色彩外观；至少基于色温和光照度来处理该一个或多个彩色色彩，以通过应用与该一个或多个彩色色彩相关联的一个或多个经定义的权重值来为该一个或多个彩色色彩生成经调整的色彩外观；其中与该一个或多个非彩色色彩相关联的一个或多个经定义的权重值不同于与该一个或多个彩色色彩相关联的一个或多个经定义的权重值；以及使用该一个或多个非彩色色彩的经调整的色彩外观和该一个或多个彩色色彩的经调整的色彩外观来生成最终图像。
[0082]
本文公开的各附加方面和示例涉及用于图像处理的计算机化方法，该计算机化方法包括：接收由成像设备获取的图像数据；将接收到的图像数据中的一个或多个非彩色色彩与一个或多个彩色色彩分开；至少基于色温和光照度来处理该一个或多个非彩色色彩，以通过应用与该一个或多个非彩色色彩相关联的一个或多个经定义的权重值来为该一个或多个非彩色色彩生成经调整的色彩外观；至少基于色温和光照度来处理该一个或多个彩色色彩，以通过应用与该一个或多个彩色色彩相关联的一个或多个经定义的权重值来为该一个或多个彩色色彩生成经调整的色彩外观；其中与该一个或多个非彩色色彩相关联的一个或多个经定义的权重值不同于与该一个或多个彩色色彩相关联的一个或多个经定义的权重值；以及使用该一个或多个非彩色色彩的经调整的色彩外观和该一个或多个彩色色彩的经调整的色彩外观来生成最终图像。
[0083]
本文公开的附加方面和示例针对以下方面：一个或多个具有用于图像处理的计算机可执行指令的计算机存储介质，该计算机可执行指令在由处理器执行时使该处理器至少进行以下操作：接收由成像设备获取的图像数据；将接收到的图像数据中的一个或多个非彩色色彩与一个或多个彩色色彩分开；至少基于色温和光照度来处理该一个或多个非彩色色彩，以通过应用与该一个或多个非彩色色彩相关联的一个或多个经定义的权重值来为该一个或多个非彩色色彩生成经调整的色彩外观；至少基于色温和光照度来处理该一个或多个彩色色彩，以通过应用与该一个或多个彩色色彩相关联的一个或多个经定义的权重值来为该一个或多个彩色色彩生成经调整的色彩外观；其中与该一个或多个非彩色色彩相关联的一个或多个经定义的权重值不同于与该一个或多个彩色色彩相关联的一个或多个经定义的权重值；以及使用该一个或多个非彩色色彩的经调整的色彩外观和该一个或多个彩色色彩的经调整的色彩外观来生成最终图像。
[0084]
作为本文中所描述的其他示例的替换或补充，示例包括以下的任何组合：
[0085]
其中与该一个或多个彩色色彩相关联的经定义的权重值和与该一个或多个非彩色色彩相关联的经定义的权重值包括光照度权重或色度权重中的至少一者；
[0086]
其中该色温包括相关色温cct，并且进一步包括访问调节表，该调节表具有与该一
个或多个非彩色色彩相关联的一个或多个经定义的权重值和与该一个或多个彩色色彩相关联的一个或多个经定义的权重值的经定义的值，该经定义的值对应于多个cct值中的每一者；
[0087]
其中该经定义的值可调节以改变该接收到的图像数据的色彩外观、色彩偏好和色彩再现；
[0088]
其中该经定义的值被设置为生成具有基于人类视觉和认知处理的色彩外观的最终图像；
[0089]
其中该接收到的图像数据位于rgb色彩空间中，并且进一步包括将该接收到的图像数据转换到yuv色彩空间中并作为对该一个或多个非彩色色彩和该一个或多个彩色色彩的处理的一部分来执行饱和度/色调增强。
[0090]
其中该处理器执行该图像色彩处理系统以使用与该一个或多个非彩色色彩相关联的色度色彩权重值和与该一个或多个彩色色彩相关联的色度色彩权重值以及光照度权重的加权组合来生成该最终图像；以及
[0091]
使用内插来调整与该一个或多个彩色色彩相关联的一个或多个经定义的权重值和与该一个或多个非彩色色彩相关联的一个或多个经定义的权重值中的至少一者。
[0092]
尽管已经按照各种示例以及它们相关联的操作描述了本公开的各方面，但是本领域技术人员将理解来自任何数量的不同示例的操作的组合也在本公开的各方面的范围内。
[0093]
示例操作环境
[0094]
图8是用于实现本文公开的各方面的示例计算设备800的框图，并且通常被指定为计算设备800。计算设备800只是合适的计算环境的一个示例，并且不旨在对本文公开的示例的使用范围或功能提出任何限制。也不应将计算设备800解释为对所例示的任一组件/模块或其组合有任何依赖性或要求。本文所公开的示例可以在由计算机或诸如个人数据助理或其他手持式设备之类的其他机器执行的计算机代码或机器可使用指令(包括诸如程序组件之类的计算机可执行指令)的一般上下文中描述。一般而言，包括例程、程序、对象、组件、数据结构等的程序组件指的是执行特定任务或实现特定抽象数据类型的代码。所公开的示例可在各种系统配置中实施，包括个人计算机、膝上型计算机、智能电话、移动平板、手持设备、消费电子产品、专业计算设备等。当任务由通过通信网络链接的远程处理设备执行时，所公开的示例还可以在分布式计算环境中实现。
[0095]
计算设备800包括直接或间接耦合以下设备的总线810：计算机存储存储器812、一个或多个处理器814、一个或多个呈现组件816、输入/输出(i/o)端口818、i/o组件820、电源822和网络组件824。虽然计算机设备800被描绘为看似单个的设备，但多个计算设备800可以一起工作并共享所描绘的设备资源。例如，计算机存储存储器812可跨多个设备分布，处理器814可以安装在不同的设备上，等等。
[0096]
总线810表示一个或多个总线可以为何物(诸如地址总线、数据总线或其组合)。虽然为了清楚起见利用线条示出了图8的各框，但是实际上，各组件的轮廓并不是那样清楚，并且比喻性地来说，线条更精确地将是灰色的和模糊的。例如，可以将诸如显示设备等呈现组件认为是i/o组件。而且，处理器也具有存储器。这是本领域的特性，并且重申，图8的图示仅仅是说明可结合一个或多个公开示例使用的示例性计算设备。诸如“工作站”、“服务器”、“膝上型计算机”、“手持式设备”等分类之间没有区别，它们全部都被认为是在图8的范围之
内的并且被本文称为“计算设备”。计算机存储存储器812可以采取以下计算机存储介质参考的形式，并且可操作地为计算设备1000提供对计算机可读指令、数据结构、程序模块和其他数据的存储。例如，计算机存储存储器812可存储操作系统、通用应用平台或其他程序模块和程序数据。计算机存储存储器812可被用于存储和访问配置成执行本文公开的各种操作的指令。
[0097]
如下文提及的，计算机存储存储器812可以包括易失性和/或非易失性存储器、可移动或不可移动存储器、虚拟环境中的数据磁盘或其组合的形式的计算机存储介质。并且计算机储存存储器812可包括任何数量的与计算设备800相关联或可由计算设备100访问的存储器。存储器812可以在计算设备800的内部(如图8所示)、在计算设备800的外部(未示出)、或两者(未示出)。存储器812的示例包括但不限于随机存取存储器(ram)；只读存储器(rom)；电子可擦除可编程只读存储器(eeprom)；闪存或其他存储器技术；cd
‑
rom、数字多功能盘(dvd)或其他光学或全息介质；磁带盒、磁带、磁盘存储器或其他磁存储设备；连线到模拟计算设备的存储器；或用于编码所需信息并由计算设备800访问的任何其他介质。附加地或者替换地，计算机存储存储器812可跨多个计算设备800分布，例如，在其中在多个设备800上执行指令处理的虚拟化环境中。出于本公开的目的，“计算机存储介质”、“计算机存储存储器”、“存储器”和“存储器设备”是计算机存储存储器812的同义术语，并且这些术语中没有一者包括载波或传播信令。
[0098]
处理器814可以包括从各种实体(诸如存储器812或i/o组件820)读取数据的任意数量的处理单元。具体地，处理器814被编程为执行用于实现本公开的各方面的计算机可执行指令。这些指令可以由处理器、由在计算设备800内的多个处理器、或由客户端计算设备800外部的处理器执行。在一些示例中，处理器814被编程为执行诸如以下讨论的流程图中所示和附图中所描绘的那些指令。而且，在一些示例中，处理器814表示执行本文所描述的操作的模拟技术的一种实现。例如，这些操作可以由模拟客户端计算设备800和/或数字客户端计算设备800执行。呈现组件816向用户或其他设备呈现数据指示。示例性呈现组件包括显示设备、扬声器、打印组件、振动组件等等。本领域技术人员将明白并理解，计算机数据可以以多种方式呈现，诸如在图形用户界面(gui)中视觉呈现、通过扬声器听觉呈现、在计算设备800之间无线地呈现、通过有线连接呈现或以其他方式呈现。端口818允许计算设备800在逻辑上耦合至包括i/o组件820的其他设备，其中某些设备可以是内置的。示例i/o组件820包括例如但不限于话筒、操纵杆、游戏手柄、卫星天线、扫描仪、打印机、无线设备等。
[0099]
计算设备800可以使用到一个或多个远程计算机的逻辑连接经由网络组件824在网络环境中工作。在一些示例中，网络组件824包括网络接口卡和/或用于操作网络接口卡的计算机可执行指令(例如，驱动程序)。计算设备800和其他设备之间的通信可使用任何协议或机制在任何有线或无线连接上发生。在一些示例中，网络组件824可用于使用传输协议在公共、私有或混合(公共和私有)设备之间通过使用短程通信技术(例如，近场通信(nfc)、bluetoothtm品牌通信等)或其组合无线地通信数据。例如，网络组件824通过通信链路826与网络828通信。
[0100]
尽管结合一示例计算设备1000进行了描述，但本公开的各示例能够用众多其它通用或专用计算系统环境、配置或设备来实现。适用于本公开的各方面的公知的计算系统、环境和/或配置的示例包括，但不限于：智能电话、移动平板、移动计算设备、个人计算机、服务
器计算机、手持式或膝上型设备、多处理器系统、游戏控制台、基于微处理器的系统、机顶盒、可编程消费电子产品、移动电话、具有可穿戴或配件形状因子(例如，手表、眼镜、头戴式耳机或耳塞)的移动计算和/或通信设备、网络pc、小型计算机、大型计算机、包括上面的系统或设备、vr设备、全息设备等中的任何一种的分布式计算环境等等。这样的系统或设备可以以任何方式来接受来自用户的输入，包括来自诸如键盘或指点设备之类的输入设备、通过姿势输入、接近输入(诸如通过悬停)和/或通过语音输入。
[0101]
本公开的各示例可在被软件、固件、硬件或其组合中的一个或多个计算机或其他设备执行的计算机可执行指令(诸如程序模块)的一般上下文中被描述。计算机可执行指令可以被组织成一个或多个计算机可执行的组件或模块。一般而言，程序模块包括但不限于，执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件，以及数据结构。可以利用任何数量的这样的组件或模块以及它们的任何组织来实现本公开的各方面。例如，本公开的各方面不限于附图中所举例说明并且在本文所描述的特定计算机可执行指令或特定组件或模块。本公开的其他示例可以包括具有比本文所示出和描述的功能更多或更少功能的不同的计算机可执行指令或组件。在涉及通用计算机的示例中，在被配置成执行本文所描述的指令之时，本公开的各方面将通用计算机转化成专用计算设备。
[0102]
作为示例而非限制，计算机可读介质包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动存储器。计算机存储介质是有形的，且与通信介质互斥。计算机存储介质以硬件实现，并排除载波和传播信号。用于本公开的目的的计算机存储介质不是信号本身。示例性计算机存储介质包括硬盘、闪存驱动器、固态存储器、相变随机存取存储器(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、闪存或其他存储器技术、紧致盘只读存储器(cd
‑
rom)、数字多功能磁盘(dvd)或其他光学存储器、磁带盒、磁带、磁盘存储或其他磁存储设备、或可用于存储信息以供计算设备访问的任何其他非传输介质。作为对比，通信介质通常在诸如载波或其他传输机构等已调制数据信号中体现计算机可读指令、数据结构、程序模块等，并包括任何信息传递介质。
[0103]
如对本领域技术人员将显而易见的，本文中所给出的任何范围或设备值可以在不丢失所寻求的效果的情况下被扩展或被改变。
[0104]
虽然用结构特征和/或方法动作专用的语言描述了本发明主题，但应当理解，所附权利要求书中定义的主题不必限于以上所描述的具体特征或动作。更确切而言，以上所描述的具体特征和动作是作为实现权利要求的示例形式公开的。
[0105]
将会理解，以上所描述的益处及优点可以涉及一个实施例或者可以涉及若干实施例。各实施例并不限于解决所阐述的问题中的任何或全部问题的那些实施例或者具有所阐述的益处和优点中的任何或全部益处和优点的那些实施例。将进一步理解，对“一个”项目的提及是指那些项目中的一个或多个。
[0106]
本文所例示和描述的各实施例以及本文未具体描述但在权利要求的各方面的范围内的各实施例构成用于数字墨水解析的示例性装置。所例示的一个或多个处理器1014与存储在存储器1012中的计算机程序代码一起构成用于使用和/或训练神经网络的示例性处理装置。
[0107]
术语“包括”在本说明书中被用来意指包括此后伴随的(一个或多个)特征或(一个或多个)动作，而不排除一个或多个附加特征或动作的存在。
[0108]
在一些示例中，各附图中所例示的操作可以作为在计算机可读介质上编码的软件指令以被编程或设计为执行操作的硬件或这两者来实现。例如，本公开的各方面可以被实现为片上系统或包括多个互连的导电元件的其他电路。
[0109]
本文所例示并描述的本公开的各示例中的操作的执行或完成的顺序不是必需的，除非另作指定。也就是说，除非另作指定，操作可以以任何顺序执行，本公开的各示例可以包括附加的或比本文所公开的操作更少的操作。例如，构想了在某一个操作之前、同时、或之后执行或完成另一个操作也在本公开的各方面的范围之内。
[0110]
当介绍本公开的各方面的元素或其示例时，冠词“一”、“一个”、“该”、“所述”旨在意指一个或多个这样的元素。术语“包括”、“包含”、以及“具有”旨在是包含性的，并意指除所列出的元素以外可存在附加的元素。术语“示例性”旨在表示
“……
的一示例”。短语以下各项中的一个或多个：“a、b和c”意指“a中的至少一个和/或b中的至少一个和/或c中的至少一个”。
[0111]
已经详细地描述了本公开的各方面，显然，在不偏离所附权利要求书所定义的本公开的各方面的范围的情况下，可以进行各种修改和变化。在不偏离本公开的各方面的范围的情况下，可以在上面的构造、产品以及方法中作出各种更改，意图是上面的描述中所包含的以及各附图中所示出的所有主题都应该解释为说明性的，而不是限制性的。