用于车内相机的白平衡和色彩校正的制作方法

1.本公开涉及车辆相机的白平衡和色彩校正。


背景技术：

2.车辆的车厢内相机可以提供有价值的面向用户的特征，例如视频会议、面部识别等。通常，车辆的车厢包含多个环境照明源和材料，使得难以进行白平衡和色彩校正。例如，不良的色彩校正和白平衡可能会产生不美观的视频，这会在视频会议时破坏用户的体验。产生噪声或不准确视频的色彩校正和白平衡可能会降低执行图像处理的计算机视觉应用的准确性和可靠性；自动任务(诸如面部识别)可能会失败。此外，组合红色、绿色和蓝色(rgb)传感器和ir传感器的车载相机在色彩校正方面带来了额外的挑战。此外，不同的相机处理能力还增加了变动，这使得白平衡和色彩校正难以从一个相机应用到下一个相机。


技术实现要素：

3.图像的传统白平衡和色彩校正是基于关于照明环境的假设，例如，可以假设自然照明和自然色彩(例如，其中图像平均为中性灰色的“灰色世界”假设)。然而，取决于相机传感器以及环境的显示和照明，对象可能具有不同的表观色彩和照明。对于对象的图像，这种变动可能会使眼睛不舒适，并且可能会降低图像处理算法(诸如计算机视觉算法)的准确性。简而言之，在捕获图像的照明环境中存在不确定性问题。
4.给定相机，并且假设已经测量了其色彩空间响应函数，则存在固有的未知数，诸如对象的色彩空间及其双向反射比分布函数(brdf)。具体地，在环境中，可能存在未知数，诸如环境光色彩空间和非永久存在于车辆车厢的对象的色彩空间，以及已知数，诸如永久存在于车辆车厢的对象的色彩空间。关于对象色彩空间，如果假设了对象的色彩空间，并且已经表征了相机，并且如果进行了场景(或照明)的环境的某些色彩空间/分布假设(例如，平均为灰色)，则当执行色彩空间校正和白平衡的这些假设不成立时，由色彩校正和白平衡产生的图像可能显著偏离地面实况。地面实况可以指代真实色彩(例如，在现实中)，或人类对真实色彩的感知。可以使用地面实况来训练机器学习模型以识别色彩和其他图像数据。本公开的益处是装置的改进的色彩估计精度，从而允许rgb相机用作多光谱成像器，同时还全局地并且在每像素级别上改进色彩表示。
5.本文描述的实施例通过使用方程组(参见图1和图2)、通过与环境(例如，照明)交互和/或通过结合环境的已知特征(例如，已知的车辆内部色彩)来解决色彩校正和白平衡问题。也就是说，可以使用车厢照明的致动或结合其他外部知识，使得在给定相机的响应函数的情况下，可以求解上述未知数并且将其用于导出准确的白平衡矩阵和色彩校正矩阵。关于车辆车厢，已知数可能包括座椅上的具有某些色彩的织物、小段闪亮的高反射的铬配件或装饰件的存在、在环境中控制的照明(例如，车厢灯)。可以使用高反射但漫射的光探头。理想地，光探头可能不会显著吸收任何色带。例如，光测量装置可以获得环境照明的较低分辨率映射图。已知值可以允许结合、增强和/或采样照明环境以改善环境的建模照明或
对象的色彩。本公开的另一个益处是装置可以从车辆捕获车辆内部的环境照明(例如，从车辆内部捕获的车辆外部的阳光)，或者从车辆内的装置(例如，从手机)发射的光。
6.鉴于上述情况，从内置在车辆的车厢中的相机接收图像。通常，相机结合有色彩过滤器阵列(cfa)，其中过滤器的重复2d图案放置在传感器阵列上方，使得每个像素可以检测单色的光强度。通常期望通过空间和色彩插值过程将所得图像(原始cfa图像)转换为更令人愉悦的表示。可以使用其他过滤器阵列，诸如微透镜和/或偏振透镜。可以对图像进行去马赛克处理并且降低其噪声。然而，对于计算机视觉/神经网络应用，可能不需要对图像进行去马赛克处理(例如，检测算法可以使用原始cfa来检测感兴趣的对象)。替代地，端到端神经网络可以与原始图像加上已知值作为输入使用，并且可以生成输出，诸如校正的彩色图像、深度数据和/或检测到的对象。将分割算法应用于图像。求解用于图像的全局照明。基于图像的分割和全局照明，求解用于车辆的车厢区域中的材料的色彩和/或反射比信息的双向反射比分布函数(brdf)。基于brdf计算用于图像的白平衡矩阵和色彩校正矩阵。将白平衡矩阵和色彩校正矩阵应用于图像，然后显示或存储所述图像以进行附加的图像处理，或者所述图像可以是多光谱图像的输出。以这种方式，本公开提供了用于车内应用的改进的图像处理。
附图说明
7.鉴于以下结合附图阅读的详细描述，将更好地理解本描述，其中在附图中，相同的附图标记用于表示相同的零件。
8.图1示出了根据本公开的一个或多个实施例的车辆的车厢的相机图像。
9.图2示出了根据本公开的一个或多个实施例的用于描述由相机接收的光的公式。
10.图3示出了根据本公开的一个或多个实施例的可以如何将图2中所示的光模型公式划分为未知分量和已知分量。
11.图4示出了根据本公开的一个或多个实施例的已知车厢特征的示例。
12.图5示出了根据本公开的一个或多个实施例的图像信号处理(isp)流水线。
13.图6示出了根据本公开的一个或多个实施例的用于生成色彩矩阵和白平衡矩阵的过程的细节。
14.图7示出了根据本公开的一个或多个实施例的图5和图6中所示的过程的合并。
15.图8示出了根据本公开的一个或多个实施例的反射车厢表面的示例。
16.图9示出了根据本公开的一个或多个实施例的计算装置。
具体实施方式
17.图1示出了车辆的车厢的相机图像100。一个或多个相机102嵌入车厢的结构中。一个或多个相机的特征可以是存在滤光器阵列、色彩、偏振、微透镜等或其某种组合。此外，一个或多个相机可能在多个像素上或在整个成像器上缺少滤光器阵列。通过移除滤光器阵列，可以提高相机灵敏度，特别是在弱光条件下。通过应用本公开的技术，装置可以从图像数据识别一种或多种色彩。一种实现方式可以包括使用具有有限色彩空间知识的非常稀疏的阵列，但是使用本文的技术来识别缺失的像素色彩属性以改进色彩空间空间估计。如果相机的视野中的平均车厢色彩是恒定的(例如，平均为灰色)或经受恒定的照明环境，则可
以使用已知算法充分地执行白平衡和色彩校正。然而，车辆车厢暴露于高度动态的照明条件以及相机视野中的对象的色彩变动。天气、当日时间、路灯、其他车辆的前灯、低地平线阳光、用户计算装置和其他条件会引入可能影响车辆车厢图像的潜在重大未知照明和色彩影响。另外，相机视野中的对象的色彩可能会显著且动态地变化。例如，当离开和进入隧道、停车场、地下通道、观看用户的智能装置的电影时(例如，当基于车辆的使用(诸如驾驶员辅助特征)而允许并且遵守相关法律时)等，这些条件可能迅速改变。大的车顶窗户可能会加剧外部照明的影响。
18.如下面所讨论的，相机接收的光将取决于组合因素，包括外部照明、内部表面(例如，座椅安全带、头枕、车厢壁、彩色气球)的光学特性、相机和表面几何形状以及可能的内部照明(例如，车顶灯)。车厢内灯可以使用比相机传感器更窄的波长带，从而导致色彩空间计算的进一步精度，从而允许对多光谱图像进行可能的计算。然而，因为一些图像影响因素是已知的，所以可以求解一些未知的图像影响因素，诸如外部照明(这可能有助于驾驶员状态监测系统)或进入车厢的对象的光学特性。色彩改进可以改善车辆或其他装置特征的其他用例包括通过使用相机随时间基于用户的面部色彩的脉动监测，以及将虚拟对象插入场景中(例如，当已经求解全局照明和深度时，用于多车辆群组视频聊天或其他计算机视觉应用)。当已知和/或求解大多数图像影响变量时，可以估计图像的地面实况色彩。这可以允许生成准确的色彩校正矩阵和白平衡矩阵。也就是说，通过使用已知变量，可以在(下面讨论的)照明方程式中求解未知变量。以这种方式，与现有技术的一个差异可以是确定像素或逐区校正矩阵的能力，这可以在空间上进一步改善图像上的色彩/照明变动。一些已知的变量是车辆的车厢中的内表面。这些表面可以一致地存在，并且将具有一致的双向反射比分布函数(brdf)。此外，许多车厢具有高反射铬表面。这些可以用作事实上的光探头，并且来自这些铬表面的图像数据可以用于进一步增强色彩校正矩阵和白平衡矩阵的准确性。
19.图2示出了用于描述由相机接收的光的公式。图2示出了场景的各方面如何影响图像传感器响应。尽管假设日光，但是任何类型的光源都可以由模型表示。源照明具有强度和光谱功率分布(在相应波长下的功率)。场景中的对象基于光源的相对取向、对象的表面取向和相机以不同的入射角和反射角根据其表面反射率(作为波长的函数)反射光。图2中的公式110将相机传感器响应建模为像素位置(x)、光-对象角度(a)、对象-相机角度(n)、照明强度(i)、表面反射率(s)、波长和光谱功率分布(e)的函数。
20.参考图2，光源202(例如，太阳)可以发射光作为环境光源。光可以从对象(例如，树204)反射，并且可以由相机206捕获。i可以表示车辆光强度与任何环境光强度的总和。(a,n)可以将单位向量表示为几何项。e(λ)可以表示外部照明的光谱功率密度。s(λ)可以表示图像帧中的位置x的未知反射率。r
x
可以表示场景的(例如，相机206的)相机响应(例如，由相机206捕获的图像数据)。相机响应可以由公式110表示。
21.图3示出了可以如何将图2中所示的光模型公式划分为未知分量110a和已知分量110b。未知分量110a表示场景的未知照明和色彩属性。已知分量110b表示已知的内部部件，例如，车厢中的已知表面反射、车厢照明等。注意，可以点亮车厢灯，并且即使色彩偏移10％也可能足以从引起的照明变化推断照明环境(包括未知照明)。也就是说，给定诸如环境e和乘员s(在rgb空间中)的未知数114以及诸如内部反射率值的已知数116，可以获得未知的光谱功率分布。在另一个示例中，可以设计和训练机器学习算法(例如，神经网络)(例如，并入
本公开中的术语的输入/输出)以执行端到端图像信号处理(以及任选地感知)。可以结合本发明，使得算法学习物理关系。
22.图4示出了已知的车厢特征120的示例。已知的车厢特征120可以起到与预定义的色彩图表相同的功能，并且可以类似地用于推断色彩校正矩阵和白平衡矩阵。彩色图像可以存储在色彩阵列中(例如，具有用于宽度、高度和色彩的列)。由相机检测到的输入彩色图像可以被转换为这种色彩阵列，并且未校正和线性化的输入像素数据o可以由阵列表示，其中行表示像素的归一化和线性化rgb水平(例如，每个行提供r像素值、g像素值和b像素值，所述r像素值、g像素值和b像素值针对所述行所对应的相应像素进行归一化和线性化)。可以使用与色彩校正矩阵的矩阵乘法来生成变换(例如，校正)的阵列。例如：
23.和其中每个校正像素的rgb值是像素的三个输入色彩通道的线性组合。
24.图5示出了图像信号处理(isp)流水线130。isp流水线130包括若干已知步骤，其描述在本公开的范围之外。注意，步骤6的白平衡在相机输出图像之前由相机执行，而步骤11的色彩和白色空间转换是利用从本文描述的实施例导出的色彩校正矩阵和白平衡矩阵来执行的。在步骤1处，从相机传感器读取原始图像。在步骤2处，减去黑光。在步骤3处，执行镜头校正(通常在相机内)。在步骤4处执行标准去马赛克(例如，bayer滤光器或针对ir像素修改的bayer)，然后在步骤6处执行白平衡和色彩校正。可以在步骤7处调整色相和饱和度。在步骤8处调整曝光曲线，并且在步骤9处处理色彩。当在步骤10处应用色调曲线时，可以在步骤132处计算色彩矩阵和/或白平衡矩阵(参见图6)。在步骤11处，用来自步骤132的色彩和白平衡矩阵执行色彩空间和白平衡校正。在步骤12处，应用伽马曲线调整，并且在步骤134处，显示最终图像(或将其转发到图像处理算法，诸如面部识别算法)。除了步骤132之外，没有一个步骤是必不可少的，并且步骤132可以利用由相机输出的图像来实现，或者可以使用本文所述的相同技术在相机内执行(作为相机的isp流水线的一部分)。此外，可以将一个或多个步骤结合到神经网络中，所述神经网络可以接收本公开中描述的一个或多个输入参数，诸如原始图像数据和/或已知值，诸如永久存在于车厢的对象的色彩空间。此外，除了色彩和白平衡校正的图像之外或代替色彩和白平衡校正的图像，所述神经网络isp还可以输出更高级别的感知检测，诸如驾驶员眼睛注视、头部姿态等。替代地，此类神经网络isp可以输出场景的潜在向量表示而不是人类可读图像以用于在其他神经网络输入中输入的目的。
25.图6示出了用于生成色彩矩阵和白平衡矩阵并且提供对图像数据的色彩校正/增强/调整的过程的细节。如上所述，图6中所示的过程可以以如图5中所示的isp流水线的色调曲线应用阶段开始。然而，图6的过程可以在其他阶段执行。在步骤150处，执行语义分割和/或深度估计。此步骤可以由适当训练的卷积神经网络(cnn)执行，例如原始图像(例如，具有rgb数据)、深度估计、已知反射像素和未知对象的语义分割、(车辆结构的)已知表面法线、已知的像素反射率属性(诸如色彩、brdf等)、车辆照明功率、色彩和位置可以作为输入结合到模型中。模型还可以被设计成使得色彩校正的图像是输出。替代地，输出图像可以由多光谱图像组成。可以在训练过程中使用模型的其他输出以获得模型的期望学习，诸如输出环境光方向、环境照明色彩、照明贴图等。因为相机的位置和取向是已知的，所以有可能
在图像内查找已知对象，诸如头枕、铬段等。因为它们的位置是已知的，所以它们可以被省略，因为它们可能是可能经过车厢的人或其他对象。它们还可以被隔离以进行色彩计算(用作事实上的色彩图表)。
26.在步骤152处，使用第一原理方法或通过将车辆内部中的铬段视为光探头来计算全局照明。步骤152可以与步骤150同时或在步骤150之前执行。关于使用铬(或反射表面)作为光探头，可以使用光探头来获得正确的照明环境的特性。简而言之，从光探头反射的车厢中的已知色彩的对象(事实上的部分色彩校准图表)可以用于验证照明环境是正确的(或对其进行校正)。已知对象的色彩可能是有限的，但可以与比色图表充分匹配，例如，白色、灰色、棕色，这对于大多数情况来说可能是足够的。换句话说，可以从车厢中的闪亮对象的镜面反射获得照明环境的色彩空间。光探头对象可以是反射性的并且具有已知色彩(或无色)，并且可以具有镜面反射和漫反射的组合。如果已经表征了相机，并且如果已经表征了场景中的对象(例如，座椅安全带、头枕、探头零件的反射性特征)，则可以当在上面讨论的方程式中求解“a”和“n”的点积的几何解时，导出抽象的或如针对360度视图所见的场景的图像照明。
27.在步骤154处，求解车辆车厢中的已知材料的brdf。因为3d几何形状(相机位置、永久车厢对象的位置)是已知的或可以估计的，所以这可以求解。另外，可以从车辆取向和(可以基于日期、时间和位置从查找表获得的)太阳取向推断出照明(太阳)位置。例如，可以基于一年中的一天和一天中的时间来确定太阳位置。使用车辆的加速度计数据的知识，可以相对于重力预测车辆倾斜度/方位角。基于车辆倾斜度/方位角、车辆的模型(例如，3-d模型)、太阳位置、太阳辐照度(例如，天空辐射模型)、气象站修改、3-d城市模型、和/或太阳/天空色彩模型，可以相对于车辆在任何日期/时间的取向来估计太阳的照明。
28.在步骤156处，将噪声滤波器应用于图像。在步骤158处，计算白平衡矩阵，并且在步骤160处，计算色彩校正矩阵。可以按任一顺序执行步骤156和160。使用在步骤154处计算的brdf来执行所述步骤。在步骤162处，由于车辆车厢中的已知材料的色彩空间覆盖范围(或色彩响应函数)有限，因此计算矩阵中的不确定性以决定是否需要加法步骤来改进矩阵。就求解矩阵而言，可以使用随机样本一致性(ransac)方法。生成一些噪声/采样点。给定噪声/采样点，可以估计噪声。如果不确定性水平高于阈值，则执行步骤164；可以测量车厢灯的变化(例如，使灯闪烁、改变其强度或色彩等)。在步骤166处，相机捕获色彩变化，并且重新访问步骤152以进一步细化矩阵。
29.如果在步骤162处矩阵的不确定性较低，则色彩校正矩阵和白平衡矩阵被认为是完整的并且用于对图像进行最终校正和白平衡，并且输出最终图像以供显示和/或由应用处理。
30.图7示出了图5和图6中所示的过程的合并170。具体地，步骤172表示当装置使用先验知识优化色彩校正时的步骤。所述装置可以(例如，经由神经网络使用语义分割)对图像像素进行分类，可以求解全局照明，求解brdf函数，并且应用噪声滤波器。所述装置可以计算白平衡和色彩校正矩阵以应用于已知的材料，从而产生期望的色彩空间。所述装置可以确定所述数据的不确定性水平。例如，如果不确定性水平高(例如，超过阈值)，则所述装置可以闪烁/调制内部照明(例如，车辆车厢内部的灯)，从而导致全局照明变化或单个指示灯的色彩偏移。闪烁/调制的定时可能非常短(例如，人眼无法检测到)，并且所得图像可以用
于增强照明的计算。
31.图8示出了反射车厢表面180的示例。
32.图9示出了配备有计算装置400和相机102的车辆398的细节。本文的技术公开内容将足以使编程人员编写软件和/或配置可重新配置的处理硬件(例如，现场可编程门阵列(fpga))和/或设计专用集成电路(asic)等以运行计算装置400来实现本文描述的任何特征或实施例。
33.计算装置400可以具有一个或多个显示器402、网络接口404(或若干个)以及存储硬件406和处理硬件408，所述处理硬件可以是以下中的任何一者或多者的组合：中央处理单元、图形处理单元、模数转换器、总线芯片、fpga、asic、专用标准产品(assp)、复杂可编程逻辑装置(cpld)、图像处理器等。存储硬件406可以是磁存储装置、静态存储器、易失性存储器、非易失性存储器、光或磁可读物质等的任何组合。如本文所使用的术语“计算机可读存储装置”的含义不是指信号或能量本身，而是指物理设备和物质状态。计算装置400的硬件元件可以以机器计算领域中众所周知的方式进行协作。另外，输入装置可以与计算装置400集成或通信。计算装置400可以具有任何形状因数或者可以用于任何类型的包围装置。
34.在以上公开中，已经参考了形成以上公开的一部分的附图，附图示出了其中可以实践本公开的具体实现方式。应理解，在不脱离本公开的范围的情况下，可以利用其他实现方式，并且可以进行结构改变。说明书中对“一个实施例”、“实施例”、“示例性实施例”、“示例性实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每一个实施例可以不必包括所述特定特征、结构或特性。此外，此类标签或短语不一定是指同一实施例。此外，当结合实施例描述特定特征、结构或特性时，无论是否明确地描述，本领域技术人员都将认识到结合其他实施例的此类特征、结构或特性。
35.虽然上文已描述了本公开的各种实施例，但应理解，仅通过示例而非限制的方式呈现本公开的各种实施例。相关领域的技术人员将明白，在不脱离本公开的精神和范围的情况下可以作出形式和细节上的各种变化。因此，本公开的广度和范围不应受到任何上述示例性实施例的限制，而是应仅根据所附权利要求和其等效物限定。已经出于说明和描述目的而呈现了前述描述。前述描述不意图是详尽的或将本公开限制于所公开的精确形式。根据以上教导，许多修改和变化是可能的。此外，应注意，前述替代实现方式中的任一者或全部可按任何所期望的组合使用，以形成本公开的附加混合实现方式。例如，相对于特定装置或部件描述的任何功能可以通过另一个装置或部件来执行。另外，尽管已经描述了具体装置特性，但本公开的实施例可能涉及许多其他装置特性。另外，尽管已用特定于结构特征和/或方法动作的语言描述了实施例，但是应理解，本公开不一定受限于所描述的具体特征或动作。而是，将具体特征和动作公开为实现实施例的说明性形式。除非另外特别说明，或者在所使用的上下文中另外理解，否则尤其诸如“能够”、“可以”、“可能”或“可”等条件语言通常意图传达，某些实施例可以包括某些特征、元件和/或步骤，而其他实施例可不包括某些特征、元件和/或步骤。因此，此类条件语言一般并不意图暗示一个或多个实施例无论如何都需要各特征、元件和/或步骤。
36.在本发明的一个方面，分割算法包括卷积神经网络。
37.在本发明的一个方面，基于关于车厢外部的照明的信息来计算色彩校正矩阵和白平衡矩阵。
38.在本发明的一个方面，所述方法包括根据白平衡矩阵或色彩校正矩阵来确定噪声水平。
39.在本发明的一个方面，所述方法包括基于确定噪声水平来激活车厢的车厢灯。
40.在本发明的一个方面，通过首先将噪声滤波器应用于图像来从所述图像计算白平衡矩阵和色彩校正矩阵。