HDR图像传感器的自适应图像数据线性化的制作方法

hdr图像传感器的自适应图像数据线性化
1.相关申请的交叉引用
2.本技术要求于2019年8月12日提交的美国临时专利申请号62/885,458和2019年8月12日提交的欧洲专利申请号19191257.5的优先权，所述两个专利申请均通过引用并入本文。
技术领域
3.本技术涉及高动态范围(hdr)图像传感器、由hdr图像传感器生成的图像数据的处理以及移动设备中hdr图像传感器的实施及相关处理。


背景技术：

4.在过去的几十年中，已经开发了许多用于高动态范围(hdr)图像捕获的方法。主要出现在专业和科学领域的高端相机系统通常采用大传感器像素结合高位深度模数转换电路。由于每个传感器像素都很大，每个传感器像素具有固有的高动态范围。因此，由这种高端hdr相机系统捕获的原始图像可以在传感器的单次曝光中提供hdr图像。为了进一步提高这种系统的性能，在ccd和cmos两者的设计中，已经显著降低了读出噪声水平，从而允许在高端hdr相机系统中单次曝光捕获动态范围超过14光圈值。
5.然而，最广泛使用的hdr相机受到成本和空间两者的限制，这使得无法使用具有大传感器像素和高位深度模数转换电路的图像传感器。大多数hdr相机(如那些车载移动设备)替代地利用时间或空间复用来分别在两个或更多个不同曝光设置下捕获同一场景的两个或更多个图像。在两种不同曝光设置的情况下，低曝光图像为场景的明亮部分提供最佳图像数据，而高曝光图像为场景的暗淡部分提供最佳图像数据。低曝光图像和高曝光图像在捕获后被合并，以生成跨越比低曝光图像和高曝光图像中的任一者更高的动态范围的hdr图像。
6.在时间复用hdr成像中，全像素阵列被曝光两次，一次具有长曝光时间和/或高增益，并且一次具有短曝光时间和/或低增益。时间复用hdr成像可以利用多于两种的不同曝光设置来进一步扩展动态范围。时间复用hdr成像可以用传统的非hdr图像传感器来执行。
7.另一方面，空间复用hdr成像利用hdr特定的像素阵列。像素阵列的不同子集被配置为在不同的相应曝光设置下操作，使得由像素阵列捕获的每一帧包括在不同曝光设置下捕获的图像。例如，在“之字形hdr”配置中，像素阵列布局由之字形像素线构成，其中布局在低曝光之字形线与高曝光之字形线之间交替。该布局叠加在传统的拜尔(bayer)滤色器布置上。在“四重hdr”配置中，扩展了传统的拜耳滤色器布置，使得每个滤色器位于2
×
2像素组之上(而不是单个像素之上)，其中，每个2
×
2像素组由一个低曝光像素、两个中曝光像素和一个高曝光像素构成。


技术实现要素：

8.在实施例中，具有自适应图像数据线性化的高动态范围(hdr)相机模块包括hdr图
像传感器，所述hdr图像传感器用于生成场景的色调压缩hdr图像并且被配置为将所述色调压缩hdr图像输出为包括有源像素数据和元数据的相应帧。所述hdr相机模块进一步包括所述hdr图像传感器外部的处理器和所述hdr图像传感器外部的存储器。所述存储器存储机器可读指令，所述机器可读指令在由所述处理器执行时控制所述处理器执行以下步骤：(a)从由所述hdr图像传感器生成的第一色调压缩hdr图像的帧提取(i)来自所述帧的有源像素数据的色调压缩像素强度和(ii)来自所述帧的元数据的预色调压缩像素强度的直方图；(b)从所述色调压缩像素强度和所述直方图得到色调压缩像素强度与预色调压缩像素强度之间的对应关系；以及(c)根据所述对应关系来线性化第二色调压缩hdr图像的所述有源像素数据的至少一部分以产生线性化hdr图像，所述第二色调压缩hdr图像选自由所述第一色调压缩hdr图像和后续色调压缩hdr图像构成的组。
9.在实施例中，一种用于线性化色调压缩hdr图像的自适应方法包括：(i)从hdr图像传感器接收第一色调压缩hdr图像的帧；(ii)从所述帧提取(a)来自所述帧的有源像素数据的色调压缩像素强度和(b)来自所述帧的元数据的预色调压缩像素强度的直方图；(iii)从所述色调压缩像素强度和所述直方图得到色调压缩像素强度与预色调压缩像素强度之间的对应关系；(iv)从所述hdr图像传感器接收第二色调压缩hdr图像的帧；以及(v)根据所述对应关系来线性化所述第二色调压缩hdr图像的帧的有源像素数据的至少一部分以产生线性化hdr图像。所述第二色调压缩hdr图像选自由所述第一色调压缩hdr图像和后续色调压缩hdr图像构成的组。
附图说明
10.图1在示例使用场景中图示了根据实施例的具有自适应图像数据线性化的高动态范围(hdr)相机模块。
11.图2进一步详细示出了图1的hdr相机模块。
12.图3示出了根据实施例的色调压缩hdr图像的帧。
13.图4图示了根据实施例的用于线性化色调压缩hdr图像的自适应方法。
14.图5图示了根据实施例的用于色调压缩hdr视频流的自适应线性化的线性化器。
15.图6图示了根据实施例的用于线性化色调压缩hdr图像的另一种自适应方法。
16.图7图示了根据实施例的被配置为基于色调压缩hdr图像本身来线性化每个色调压缩hdr图像的hdr相机模块，所述每个色调压缩hdr图像由图7的hdr相机模块的图像传感器生成。
17.图8图示了根据实施例的具有用于自适应图像数据线性化的机器可读指令的hdr相机模块。
18.图9图示了根据实施例的用于线性化色调压缩hdr图像的又另一种自适应方法。
19.图10是根据实施例的用于基于累积分布函数来线性化色调压缩hdr图像的自适应方法的流程图。
20.图11至图13是图10的方法的某些元素的示例图。
21.图14和图15是图10的方法的对应关系取得步骤的另一个示例的可视化图。
22.图16图示了根据实施例的用于基于光亮度来线性化色调压缩hdr彩色图像的自适应方法。
23.图17图示了根据实施例的用于基于预色调压缩光亮度和色调压缩hdr彩色图像的单个颜色分量来线性化色调压缩hdr彩色图像的自适应方法。
24.图18图示了根据实施例的用于基于每个颜色分量的单独考虑来线性化色调压缩hdr彩色图像的自适应方法。
25.图19图示了根据实施例的用于部分地基于单个颜色分量的预色调压缩像素强度来线性化色调压缩hdr彩色图像的自适应方法。
26.图20是根据实施例的用于通过得到色调压缩像素强度与预色调压缩像素强度之间的直接匹配的部分对应关系并且然后外推直接匹配的对应关系来确定色调压缩像素强度与预色调压缩像素强度之间的对应关系的自适应方法的流程图。
27.图21是图示了图20的方法的某些元素的示例图。
28.图22图示了根据实施例的用于确定取得色调压缩像素强度与预色调压缩像素强度之间的直接匹配的部分对应关系的范围的方法。
29.图23图示了根据实施例的用于根据色调压缩像素强度与预色调压缩像素强度之间的空间变化的对应关系来线性化色调压缩hdr图像的自适应方法。
具体实施方式
30.图1在示例场景中图示了具有自适应图像数据线性化的一个高动态范围(hdr)相机模块100。hdr相机模块100可以在如移动电话或平板计算机等移动设备102中实施。更一般地，相机模块100可以在电子设备中实施。hdr相机模块100可以在其中实施的示例电子设备包括(除了如移动电话和平板计算机等移动设备之外)：相机设备、显示设备、媒体播放器、游戏设备、膝上型计算机和台式计算机。电子设备可以包括壳体，其中，hdr相机模块100布置在壳体中。hdr相机模块100包括hdr图像传感器110和线性化器120。hdr相机模块100被配置为生成场景的hdr画面。hdr画面可以是hdr视频流或一个或多个hdr静止图像。hdr图像传感器110可以是单色图像传感器或彩色图像传感器。当hdr图像传感器110是彩色图像传感器时，由hdr图像传感器110捕获的每个hdr图像包括多个颜色分量，例如红色、绿色和蓝色。
31.在图1中描绘的示例场景中，hdr相机模块100生成场景190的hdr画面，所述场景包括明亮区域(例如，被太阳196照亮的风景)和暗淡区域(例如，被太阳196背光照亮的人192的面部194，以及同样被太阳196背光照亮的标记牌198上的字迹)。传统的非hdr相机的动态范围，例如具有8或10位的位深度，可能不足以捕获场景190的明亮区域和暗淡区域两者。因此，场景190的非hdr图像很可能遭受面部194和标记牌198上的字迹曝光不足和/或场景190的风景曝光过度。hdr相机模块100被配置为捕获具有扩展的动态范围的hdr图像，以更好地捕获如场景190等hdr场景。
32.图2进一步详细示出了hdr相机模块100。hdr图像传感器110被配置为在初始hdr位深度下生成hdr图像282。然而，例如为了兼容设备通信协议，hdr图像传感器110的输出受限于小于初始hdr位深度的输出位深度。因此，hdr图像传感器110输出色调压缩hdr图像284。每个色调压缩hdr图像284的像素强度是hdr图像282的映射到输出位深度的像素强度。通常，色调压缩hdr图像284的像素强度以非线性方式与实际场景强度相关，以便通过色调压缩过程最佳地保留图像信息。线性化器120被配置为重新线性化每个色调压缩hdr图像284
以产生线性化hdr图像286，所述线性化hdr图像286具有以至少近似线性方式与实际场景强度相关的像素强度。线性化器120还可以将色调压缩hdr图像284的像素强度映射到更高的位深度，例如第一位深度，使得线性化hdr图像286的位深度超过色调压缩hdr图像284的位深度。线性化hdr图像286的位深度可以等于预色调压缩hdr图像282的位深度。
33.线性化器120不需要由hdr图像传感器110使用的用于从预色调压缩hdr图像282生成色调压缩hdr图像284的色调压缩函数的先验知识。这种先验知识通常是不可获得的。相反，线性化器120从色调压缩hdr图像284的帧得到色调压缩像素强度与预色调压缩像素强度之间的对应关系。因此，线性化器120可以适应由hdr图像传感器110使用的色调压缩函数的变化。在一个场景中，hdr图像传感器110根据场景的属性和/或捕获设置动态地调整色调压缩函数。线性化器120可以包括处理器和对机器可读指令进行编码的非暂态存储器，所述机器可读指令在由处理器执行时控制处理器线性化色调压缩hdr图像284，如本文所讨论的。线性化器120可以在数字信号处理器(dsp)中实施。
34.图3示出了一个色调压缩hdr图像284的帧300。帧300包括有源像素数据310和元数据320。有源像素数据310可以包括像素强度的行312，其中，每行312与色调压缩hdr图像284的像素行相对应。元数据320包括预色调压缩信息322，即，关于预色调压缩图像282的像素强度的信息。预色调压缩信息322可以是统计信息，如预色调压缩hdr图像282的像素强度的一个或多个完整或部分直方图。元数据320中包括的信息类型可以是经由对hdr图像传感器110的函数调用而可配置的。
35.如本文所使用的，图像的术语“直方图”表示图像中的一个或多个颜色分量的像素值跨多个“仓”的分布。例如，仓的数量nb可以等于像素的所有可能值(例如，nb＝2
bitdepth
)，其中，bitdepth表示像素精度(例如，8位、10位等)。在一些实施例中，仓的数量可以小于nb。例如且非限制性地，给定nb个仓和具有p s(i)个像素值的图像，图像的直方图hist[]可以计算如下：
[0036][0037]
其中，fnb(x)表示将x的值映射到nb个仓之一的函数。例如，当nb＝2
bitdepth
，fnb(x)＝x，或者对于任意nb：
[0038][0039]
给定图像的直方图hist[]，在实施例中，图像的累积分布函数(cdf)可以计算为：
[0040]
cdf[0]＝hist[0]；
[0041]
for(b＝1；b＜nb；b )
[0042]
ꢀꢀꢀꢀꢀꢀꢀꢀ
cdf[h]＝cdf[b-1] hist[b]；
[0043]
再次参考图2，线性化器120处理一个色调压缩hdr图像284的帧300，并将预色调压缩信息322与有源像素数据310的像素强度进行比较，以确定色调压缩像素强度与预色调压缩像素强度之间的对应关系。线性化器120随后将该对应关系应用于同一帧300的或与后续
色调压缩hdr图像284相关联的另一帧300的有源像素数据310的色调压缩像素强度，以线性化有源像素数据310的色调压缩像素强度。所得线性化像素强度在线性化hdr图像286中输出。
[0044]
hdr相机模块100可以包括主控制器240，所述主控制器240定义元数据320中包括的信息类型，使得元数据320包括预色调压缩信息322。主控制器240可以进一步控制由hdr图像传感器110捕获的图像。
[0045]
图2描绘了hdr图像传感器110的一个示例实施方式。在该实施方式中，hdr图像传感器110包括像素阵列210、模数转换器(adc)212、hdr合并器214、色调压缩器216和接口218。对于像素阵列210的每次曝光，adc 212将来自像素阵列210的模拟信号转换为数字图像数据281。在一个示例中，像素阵列210被空间复用，并且像素阵列210的每次曝光分别生成在两个或更多个不同曝光设置下捕获的场景的两个或更多个图像。在本文中，“曝光设置”是指曝光时间、增益或其组合。在该示例中，像素阵列210可以是之字形hdr像素阵列或四重hdr像素阵列。在另一个示例中，hdr图像传感器110被时间复用并且被配置为分别以两个或更多个不同曝光设置将像素阵列210曝光两次或更多次。无论hdr图像传感器110是利用空间复用还是时间复用，hdr合并器214通过合并分别在两个或更多个不同曝光设置下捕获的场景的两个或更多个图像来从数字图像数据281生成每个预色调压缩hdr图像282。色调压缩器216对每个hdr图像282进行色调压缩，以产生色调压缩hdr图像284。接口218输出色调压缩hdr图像284。
[0046]
在一个实施方式中，数字图像数据281的位深度是8或10位，每个hdr图像282的位深度是14或16位，而接口218遵守输出位深度限于10位的移动行业并行接口(mipi)标准。在该实施方式中，色调压缩器216将位深度从14或16位压缩到10位。
[0047]
hdr相机模块100可以进一步包括图像信号处理器(isp)230。isp 230处理线性化hdr图像286以产生经处理的hdr图像288。isp 230可以对线性化hdr图像286应用选自由以下各项构成的组中的一个或多个程序：白平衡、颜色校正、伽马校正、去马赛克、降噪和图像锐化。
[0048]
由于色调压缩像素强度与场景强度之间的一般非线性的关系，色调压缩hdr图像284不适合于显示，尤其是在色调压缩依赖于场景的情况下。由线性化器120生成的线性化hdr图像286是显示就绪的或者至少准备好由isp 230进行处理。尽管许多相机模块包括用于处理由图像传感器输出的图像的isp，但是这些isp：(a)被配置为处理场景线性像素强度(即，以至少近似线性方式与场景强度相关的像素强度)并且(b)未被配置为线性化色调压缩像素强度，其中，色调压缩依赖于场景。在包括isp 230的hdr相机模块100的实施例中，线性化器120用作在由isp 230进行处理之前线性化像素强度的必要预处理器。
[0049]
在潜在的替代性解决方案中，hdr图像传感器110将被配置为在由hdr合并器214进行hdr合并之前输出数字图像数据281，以在hdr图像传感器110外部执行hdr合并。然而，除了非常高端的系统之外，典型的移动设备缺乏这种传感器外hdr合并能力，并且因此必须依赖于hdr图像传感器上的色调压缩。因此，该潜在的替代性解决方案通常不是可行的解决方案，至少对于移动设备来说是如此。
[0050]
总结某些优点，线性化器120能够线性化相机模块中的色调压缩像素强度，所述相机模块：(a)缺乏传感器外hdr合并能力，并且因此必须依赖于hdr图像传感器上的hdr合并，
并且(b)对hdr图像传感器的输出的位深度施加了小于hdr位深度的限制，使得需要色调压缩。由线性化器120执行的线性化不需要在hdr图像传感器上应用的色调压缩函数的先验知识。相反，线性化器120从由hdr图像传感器输出的色调压缩hdr图像帧得到必要的信息。线性化器120的这个特征使得线性化器120能够适应在hdr图像传感器上应用的色调压缩函数的动态变化。
[0051]
在不脱离其范围的情况下，线性化器120可以作为独立产品提供，所述独立产品被配置用于与由第三方提供的hdr图像传感器110一起、并且可选地与由第三方提供的isp 230和/或主控制器240一起在相机模块中实施。
[0052]
图4图示了用于线性化色调压缩hdr图像的一种自适应方法400。方法400可以由线性化器120执行。方法400包括步骤410、420、430和440。
[0053]
步骤410从hdr图像传感器接收第一色调压缩hdr图像的帧。在步骤410的一个示例中，线性化器120从hdr图像传感器110接收第一色调压缩图像284的帧300。
[0054]
步骤420从帧的有源像素数据与帧的元数据中的预色调压缩像素强度信息之间的比较得到色调压缩像素强度与预色调压缩像素强度之间的对应关系。在步骤420的一个示例中，线性化器120将第一色调压缩图像284的帧300的有源像素数据310与预色调压缩信息322进行比较。根据该比较，线性化器120得到第一色调压缩图像284的色调压缩像素强度与预色调压缩hdr图像282的预色调压缩像素强度之间的对应关系。在步骤420中执行的比较可以考虑第一色调压缩图像的所有色调压缩像素强度。
[0055]
步骤430从hdr图像传感器接收后续色调压缩hdr图像的帧。该后续色调压缩hdr图像是在步骤410中接收到第一色调压缩hdr图像之后捕获的。在步骤430的一个示例中，线性化器120接收另一个色调压缩图像284的帧300，该另一个色调压缩图像284基于由hdr图像传感器110在与在步骤410中接收到的色调压缩图像284相关联的预色调压缩hdr图像282之后捕获的预色调压缩hdr图像282。
[0056]
步骤440根据在步骤420中得到的对应关系来线性化在步骤430中接收到的后续色调压缩hdr图像。在步骤440的一个示例中，线性化器120根据在步骤420中得到的对应关系来线性化在步骤430中接收到的后续色调压缩hdr图像284的色调压缩像素强度，以生成线性化hdr图像286。步骤440可以包括将第二色调压缩hdr图像映射到预色调压缩位深度(或者映射到超过第一色调压缩hdr图像的位深度的另一个位深度)的步骤442。
[0057]
方法400特别适合于色调压缩hdr视频流的线性化，其中，可用于处理每一帧的时间和/或存储器是有限的。当用于线性化色调压缩hdr视频流时，方法400可以应用于视频流的每个色调压缩hdr图像，并且根据针对视频流的先前色调压缩hdr图像确定的对应关系来线性化视频流的每个色调压缩hdr图像。视频处理通常受到时间限制，其中，所有处理都必须以与捕获帧速率相匹配的帧速率完成。
[0058]
在一个示例场景中，线性化器120“即时地(on the fly)”线性化色调压缩hdr视频流的每个色调压缩图像284的帧300。对于该场景中的每一帧300，线性化器120：(a)串行地接收帧300的不同子集并根据从色调压缩hdr视频流的紧挨的前一帧300得到的对应关系来线性化帧300的不同子集，同时与此同步地：(b)串行地从不同子集中的每个子集提取有源像素数据310的色调压缩像素强度。在完成该串行处理后，线性化器已经收集了用于执行步骤420的数据并继续确定将应用于色调压缩hdr视频流的下一帧300的对应关系。应当理解，
为执行步骤420而收集的色调压缩像素强度可以以降低的分辨率收集。在一个示例中，色调压缩像素强度被装仓在预定义的直方图仓中，使得线性化器120只需要计算每个仓中的像素数量而不是存储每个像素的精确色调压缩像素强度。
[0059]
图5图示了用于色调压缩hdr视频流的自适应线性化的一个线性化器520。线性化器520被配置为执行方法400的实施例。线性化器520包括能够存储色调压缩hdr图像284的帧300的色调压缩像素强度的行312的缓冲器524。对于每个色调压缩hdr图像284，线性化器520串行地将所有n个行312存储到缓冲器524，一行312接着一行。基于从前一个色调压缩hdr图像284得到的对应关系522根据步骤440来处理每一行312，并且在用于线性化后续色调压缩hdr图像284的方法400的迭代中针对步骤420收集数据。在处理所有行312之后，线性化器520从元数据320提取预色调压缩信息322并完成步骤420以更新对应关系522。
[0060]
在不脱离其范围的情况下，缓冲器524可以能够存储若干行312的块，使得线性化器520串行地处理行312的块而不是串行地处理单独的行312。
[0061]
图6图示了用于线性化色调压缩hdr图像的另一种自适应方法600。方法600可以由线性化器120执行。方法600首先执行步骤410和420，如上文关于图4所讨论的。在基于第一色调压缩图像在步骤420中确定对应关系之后，步骤640根据对应关系来线性化第一色调压缩图像。步骤640类似于步骤440，除了步骤640将对应关系应用于已经从其得到对应关系的同一色调压缩hdr图像的线性化之外。步骤640可以包括将第一色调压缩hdr图像映射到预色调压缩位深度(或者映射到超过第一色调压缩hdr图像的位深度的另一个位深度)的步骤642。方法600特别适合于处理色调压缩hdr静止图像。静止图像处理通常比视频流处理的时间限制少，因此允许处理全帧而不是即时地串行处理每一帧的子集(例如，行)。
[0062]
图7图示了被配置为基于色调压缩hdr图像本身来线性化由hdr相机模块700的图像传感器生成的每个色调压缩hdr图像的一个hdr相机模块700。hdr相机模块700包括hdr图像传感器110和线性化器720。hdr相机模块700可以进一步包括isp 230和主控制器240中的一者或两者。hdr相机模块700是hdr相机模块100的实施例，并且线性化器720是线性化器120的实施例。
[0063]
线性化器720被配置为执行方法600的实施例。线性化器720与能够存储色调压缩hdr图像284的帧300的有源像素数据310的全帧724的图像存储装置770通信地耦接。在操作中，线性化器720在方法600的步骤410中接收帧300，并将帧300的所有有源像素数据310作为全帧724存储在图像存储装置770中。在方法600的步骤420中，线性化器720从帧300得到对应关系522。接下来，在方法600的步骤640中，线性化器720从图像存储装置770取得全帧724并根据对应关系522来线性化其色调压缩像素数据。线性化器720可以在输出线性化hdr图像286之前利用图像存储装置770来存储线性化hdr图像286的全部的一部分。
[0064]
hdr相机模块700可以与图像存储装置770一起在移动设备702中实施。在一个示例中，移动设备702是在hdr相机模块700外部具有存储器的移动电话或平板计算机，其中，该存储器具有若干功能，包括用作图像存储装置770。该存储器可以是随机存取存储器(ram)或固态驱动器(ssd)。在不脱离其范围的情况下，图像存储装置770可以替代地在hdr相机模块700上实施。hdr相机模块700可以更一般地与图像存储装置770一起在电子设备(例如，结合图1所讨论的任何类型的电子设备)中实施。
[0065]
图8图示了具有用于自适应图像数据线性化的机器可读指令的一个hdr相机模块
800。hdr相机模块800包括处理器810、非暂态存储器820、接口890和hdr图像传感器110。hdr相机模块800是hdr相机模块100的实施例，并且可以包括isp 230和主控制器240中的一者或两者。处理器810和存储器820协作以形成线性化器120的实施例。存储器820包括机器可读指令830。处理器810和存储器820可以在数字信号处理器中实施。机器可读指令830包括数据提取指令832、对应关系取得指令834和线性化指令836。
[0066]
在由处理器810执行时，数据提取指令832控制处理器810从经由接口890从hdr图像传感器110接收到的色调压缩hdr图像284的帧300提取数据。具体地，处理器810从有源像素数据310提取(a)色调压缩像素强度并且从元数据320提取预色调压缩信息322。在一个实施例中，存储器820包括缓冲器524，并且处理器810利用缓冲器524来存储有源像素数据310的行312，例如上文参考图5所讨论的。在图8中未示出的另一个实施例中，hdr相机模块800经由接口890与图像存储装置770通信地耦接，并且处理器810利用图像存储装置770来存储有源像素数据310，例如上文参考图7所讨论的。在又另一个实施例中，存储器820包括动态数据存储装置860，并且处理器810利用动态数据存储装置860来存储有源像素数据310和/或预色调压缩信息322。
[0067]
在由处理器810执行时，对应关系取得指令834控制处理器810从有源像素数据310与预色调压缩信息322之间的比较中得到对应关系522。处理器810可以将对应关系522存储到动态数据存储装置860。
[0068]
在由处理器810执行时，线性化指令836控制处理器810线性化色调压缩hdr图像284，以便生成线性化hdr图像286。线性化指令836可以控制处理器810经由接口890来输出线性化hdr图像286。在线性化指令863的执行期间，处理器810可以利用缓冲器524、动态数据存储装置860和/或图像存储装置770(图8中未示出)来存储色调压缩像素强度和/或线性化像素强度。
[0069]
图9图示了用于线性化色调压缩hdr图像的又另一种自适应方法900。方法900包括步骤910、920、930和950。方法900可以由hdr相机模块800执行。
[0070]
步骤910从hdr图像传感器接收第一色调压缩hdr图像的帧。在步骤910的一个示例中，处理器810经由接口890从hdr图像传感器110接收色调压缩hdr图像284的帧300。
[0071]
步骤920从在步骤410中接收到的帧提取(a)来自帧的有源像素数据的色调压缩像素强度和(b)在帧的元数据中提供的预色调压缩像素强度的直方图。在步骤920的一个示例中，处理器810执行数据提取指令832以(a)从有源像素数据310提取色调压缩像素并且(b)从元数据320提取预色调压缩直方图864(参见图8)。预色调压缩直方图864是预色调压缩信息322的示例，或者被包括在预色调压缩信息322中。预色调压缩直方图864是预色调压缩hdr图像282的像素强度的直方图。预色调压缩直方图864可以表示预色调压缩hdr图像282的所有像素，或者预色调压缩hdr图像282的像素的子集。对于hdr彩色图像，预色调压缩直方图864可以是光亮度直方图。
[0072]
步骤930从色调压缩像素强度和预色调压缩直方图得到色调压缩像素强度与预色调压缩像素强度之间的对应关系。在步骤930的一个示例中，处理器810执行对应关系取得指令834以确定对应关系522。
[0073]
步骤950根据在步骤930中得到的对应关系来线性化第二色调压缩hdr图像的帧的有源像素数据的至少一部分，从而生成线性化hdr图像。在步骤940的一个示例中，处理器
810执行线性化指令836以根据对应关系522来线性化色调压缩hdr图像284，从而生成线性化hdr图像286。第二色调压缩hdr图像是(a)第一色调压缩hdr图像或(b)后续色调压缩hdr图像，其由hdr图像传感器在步骤910中接收到的第一色调压缩hdr图像的捕获之后捕获。第一色调压缩hdr图像和后续色调压缩hdr图像可以是色调压缩hdr视频流的连续图像。
[0074]
当用于线性化色调压缩hdr视频流时，方法900可以进一步包括在步骤930中确定的对应关系中限制经过视频流的时间变化的步骤(图9中未示出)。这种步骤可以用于防止在线性化的视频流中帧与帧之间的视觉上明显的离散变化。在步骤930与950之间针对视频流的每个色调压缩hdr图像执行的一个实施方式中，方法900评估如下二者之间的偏差，即(a)在步骤930中针对当前处理的第一色调压缩hdr图像确定的对应关系与(b)在步骤930中针对紧挨的前一个第一色调压缩hdr图像确定的对应关系之间的偏差。如果偏差超过阈值，则当前处理的第一色调压缩hdr图像的对应关系被修改为更接近于所述紧挨的前一个第一色调压缩hdr图像的对应关系，使得偏差不超过阈值。对于色调压缩像素强度的每个值，阈值可以定义为如下两者之间的最大允许相对差：即(a)根据当前处理的第一色调压缩hdr图像的对应关系的预色调压缩像素强度与(b)根据紧挨的前一个第一色调压缩hdr图像的对应关系的预色调压缩像素强度之间的最大允许相对差。最大允许相对差例如在介于百分之一与百分之十之间的范围内。
[0075]
在一个实施例中，步骤950根据在步骤930中从第一色调压缩hdr图像的所有色调压缩像素强度的考虑得到的对应关系来线性化第二色调压缩hdr图像的所有色调压缩像素强度。在另一个实施例中，步骤950线性化第二色调压缩hdr图像的空间子区域中的像素强度，其根据在步骤930中从第一色调压缩hdr图像的同一空间子区域的色调压缩像素强度的考虑得到的对应关系。
[0076]
在步骤950线性化第一色调压缩hdr图像的实施例中，步骤910、920、930和950协作以形成方法600的实施例。在步骤950线性化后续色调压缩hdr图像的实施例中，方法900进一步包括步骤940，并且步骤910、920、930、940和950协作以形成方法400的实施例。步骤940从hdr图像传感器接收后续色调压缩hdr图像的帧。在步骤940的一个示例中，处理器810经由接口890从hdr图像传感器110接收后续色调压缩hdr图像284的帧300，其中，后续色调压缩hdr图像284已经在第一色调压缩hdr图像284之后被捕获。
[0077]
在某些实施例中，方法900进一步包括步骤902、904和906，所述步骤中的每个步骤可以由如hdr图像传感器110等hdr图像传感器执行。步骤902以捕获位深度来捕获原始图像数据。在步骤902的一个示例中，像素阵列210(与adc 212协作)捕获数字图像数据281。步骤904合并原始图像数据以形成处于预色调压缩位深度的hdr图像。在步骤904的一个示例中，hdr合并器214合并在两个或更多个不同曝光设置下获得的数字图像数据281，以形成预色调压缩hdr图像282。步骤906将在步骤904中形成的hdr图像色调压缩到小于预色调压缩位深度的压缩位深度。在步骤906的一个示例中，色调压缩器216对预色调压缩hdr图像282进行色调压缩，以生成色调压缩hdr图像284。
[0078]
方法900可以进一步包括对在步骤950中生成的线性化hdr图像进行后处理的步骤960。步骤960可以对线性化hdr图像应用一个或多个过程，例如白平衡、颜色校正、伽马校正、去马赛克、降噪和图像锐化中的一个或多个。在步骤960的一个示例中，isp 230处理线性化hdr图像286。
[0079]
不包括步骤902、904、906和960中的任何步骤的方法900的实施例可以由线性化器120执行，该线性化器120例如实施为处理器810和存储器820。
[0080]
图10至图13图示了用于基于累积分布函数(cdf)来线性化色调压缩hdr图像的一种自适应方法1000。图10是方法1000的流程图，并且图11至图13是方法1000的某些元素的示例图。在以下描述中最好一起观看图10至图13。
[0081]
方法1000是方法900(参见图9)的部分901的实施例。方法1000可以由线性化器120执行，该线性化器120例如实施为处理器810和存储器820。方法1000包括步骤1010、1020、1030和1050。步骤1010、1020和1030协作以形成方法900的步骤930的实施例，所述步骤可以被编码在对应关系取得指令834中。步骤1050是方法900的步骤950的实施例并且可以被编码在线性化指令836中。
[0082]
步骤1010生成在步骤920中获得的色调压缩像素强度的第一cdf。在步骤1010的一个示例中，步骤1010生成有源像素数据310的色调压缩像素强度的cdf 1210(参见图12)。cdf 1210可以基于有源像素数据310的所有色调压缩像素强度，或者有源像素数据310的色调压缩像素强度的子集。第一cdf可以通过以下方式生成：(a)将色调压缩像素强度装仓到nc个仓b
c,i
中，其中，i＝0,1,...,n
c-1并且每个仓b
c,i
与色调压缩像素强度v
c,i
相对应并且具有计数f(v
c,i
)，以及(b)将第一cdf计算为：
[0083][0084]
其中，j＝0,1,...,n
′
c-1，并且其中，n
′c与nc相同或者n
′c与具有非零计数的最高仓b
c,i
相对应。v
c,i
可以指示分配给仓b
c,i
的色调压缩像素的范围的中间值或者分配给仓b
c,i
的色调压缩像素的上限。在一个实施方式中，首先根据等式cdfc(v
c,0
)＝f(v
c,0
)针对第一仓b
c,o
计算cdfc(v
c,j
)的第一值，并且然后将cdfc(v
c,j
)的每个后续值计算为：
[0085]
cdfc(v
c，j
)＝cdfc(v
c，j-1
) f(v
c，j
)。
[0086]
步骤1020生成在步骤920中获得的预色调压缩像素强度的直方图的第二cdf。图11示出了一个示例直方图1100，其中，hdr图像传感器110已经将预色调压缩hdr图像282的预色调压缩像素强度装仓在仓1110中。图12(示意性地)示出了直方图1100的cdf 1220。步骤1020可以根据预色调压缩像素强度的直方图，以类似于根据色调压缩像素强度的直方图来计算第一cdf的方式(如上文参考步骤1010所讨论的)，来计算第二cdf，cdf
p
。
[0087]
步骤1030确定色调压缩像素强度与预色调压缩像素强度之间的对应关系，使得对于色调压缩像素强度和预色调压缩像素强度的多个对应对中的每个对应对，在色调压缩像素强度下评估的第一cdf等于在预色调压缩像素强度下评估的第二cdf。换句话说，对于色调压缩像素强度的任何实例uc(i)，对应的预色调压缩像素强度v
p
被确定为满足以下等式的预色调压缩像素强度：
[0088]
cdfc(uc(i))＝cdf
p
(v
p
)。
[0089]
通过步骤1030确定的对应关系是对应关系522的示例。
[0090]
图12提供了根据cdf 1210和1220确定的该对应关系的可视化示例图1200。对于多个色调压缩像素强度中的每个色调压缩像素强度，步骤1030试图确定与相同的cdf值相关联的预色调压缩像素强度。图1200考虑色调压缩hdr图像284的色调压缩像素强度1212。在色调压缩像素强度1212下的cdf 1210的值是cdf值1224。在知道了cdf值1224的情况下，可
以通过跟随虚线箭头从图1200读取与达到cdf值1224的cdf 1220相对应的预色调压缩hdr图像282的预色调压缩像素强度1222。作为示例，如果色调压缩像素强度1212是第574个最亮的色调压缩像素强度，则预色调压缩像素强度1222至少大约是第574个最亮的预色调压缩像素强度。直方图1100中的有限装仓分辨率可能导致与色调压缩像素强度1212和预色调压缩像素强度1222之间的精确匹配的偏差。应当理解，图1200旨在用于解释目的，并且步骤1030可以以数值计算方式执行而无需可视化地读取图。应当进一步理解，与平滑方式相反，cdf 1210和/或cdf 1220可以以步进方式增加。例如，cdf 1220可以针对每个仓1110具有一个步进。在这种情况下，cdf 1220的相邻步进之间的内插可以用于确定预色调压缩像素强度1222，例如下文参考图15所讨论的。继续以图1200作为可视化示例，步骤1030考虑若干个不同色调压缩像素强度1212并找到对应的预色调压缩像素强度1222。
[0091]
当方法1000用于单色图像处理时，贯穿方法1000的像素强度是灰度强度。当方法1000用于彩色图像处理时，在方法1000中处理的像素强度可以是(a)颜色特定像素强度(例如，红色、绿色和蓝色像素强度)，(b)通过组合不同类型的颜色特定像素强度形成的光亮度，或者(c)颜色特定像素强度和光亮度的组合。在一个示例中，cdf 1210和1220两者表示光亮度。在另一个示例中，cdf 1210和1220表示同一单个颜色分量(例如，绿色)的颜色特定像素强度。在又另一个示例中，cdf 1210表示单个颜色分量的颜色特定像素强度，而cdf 1220表示光亮度。下文参考图16至图19讨论了方法1000的某些实施例，其具体地定制为彩色图像处理。
[0092]
图13是在步骤1030中确定的示例对应关系1310的图1300，所述图1300示出了作为色调压缩像素强度的函数的预色调压缩像素强度。在该示例中，预色调压缩像素强度通常大于色调压缩像素强度，其中对应关系1310在虚线1330所指示的1:1对应关系之上。
[0093]
步骤1030可以包括步骤1032、1034和1036之一。步骤1032将对应关系生成为查找表。查找表列出了对应的色调压缩像素强度和预色调压缩像素强度的多个对，例如，与相同的cdf值相对应的色调压缩像素强度1212和预色调压缩像素强度1222的对。步骤1034将对应关系生成为多项式函数。步骤1034可以通过拟合对应的色调压缩像素强度和预色调压缩像素强度的多个对来确定该多项式函数。步骤1036将对应关系生成为具有多个多项式段的样条表示。多项式段可以是二次的或三次的。步骤1036可以通过对应的色调压缩像素强度和预色调压缩像素强度的多个对之间的样条内插来确定该样条表示。
[0094]
步骤1050根据在步骤1030中确定的对应关系来线性化第一色调压缩hdr图像或后续色调压缩hdr图像的帧的有源像素数据的至少一部分。步骤1050可以包括将第一色调压缩hdr图像或后续色调压缩hdr图像映射到预色调压缩位深度(或者映射到超过预色调压缩位深度的另一个位深度)的步骤1052。
[0095]
在包括步骤1032的方法1000的实施例中，步骤1050包括步骤1054。步骤1054在查找表中搜索第一色调压缩hdr图像或后续色调压缩hdr图像的每个色调压缩像素强度并读取对应的预色调压缩像素强度，从而至少近似地重新线性化像素强度。步骤1054可以包括当第一后续色调压缩hdr图像的有源像素数据的色调压缩像素强度不等于查找表中列出的色调压缩像素强度时在查找表中的条目之间进行内插的步骤1056。
[0096]
在包括步骤1034的方法1000的实施例中，步骤1050包括将多项式函数应用于色调压缩像素强度的步骤1058。步骤1050由此确定对应的预色调压缩像素强度，从而至少近似
地重新线性化像素强度。在包括步骤1036的方法1000的实施例中，步骤1050包括将样条表示应用于色调压缩像素强度的步骤1059。步骤1050由此确定对应的预色调压缩像素强度，从而至少近似地重新线性化像素强度。
[0097]
图14和图15是方法1000的步骤1030的另一个示例的可视化图。在以下描述中最好一起观看图14和图15。在该示例中，在步骤920中获得的预色调压缩像素强度的直方图是以对数方式装仓的，使得每个仓与log2(v)相对应，其中，v是预色调压缩像素强度。图14示出了具有对数仓1410的示例直方图1400。直方图1400具有与位深度为14位的hdr图像282相对应的14个仓。图15是概念上类似于图1200的图1500，除了其部分地基于对数装仓直方图1400之外。图1500绘制了(a)色调压缩hdr图像284的有源像素数据310的色调压缩像素强度的cdf 1510和(b)直方图1400的cdf 1520。由于直方图1400的对数装仓，cdf 1520具有明显的步进行为。色调压缩像素强度和预色调压缩像素强度的对应对可以以类似于上文参考图12所讨论的方式来确定。给定的色调压缩像素强度1512与cdf 1510的cdf值1524相对应。
[0098]
对应的预色调压缩像素强度1522可以被确定为跨cdf值1524的cdf 1520的步进的范围1526内的预色调压缩像素强度。例如，对应的预色调压缩像素强度1522被设置为范围1526的中间值。在替代性示例中，预色调压缩像素强度在范围1526内的分布被假设为是线性的，如线1528所指示的，并且对应的预色调压缩像素强度1522被确定为线1528与cdf值1524相匹配处的预色调压缩像素强度。在一个实施方式中，使用这种线性内插，cdf 1520的包围cdf值1524的最近节点1530和1532被找到。下节点1530的坐标为(v
p，0
，cdf
p，0
)，并且上节点1532的坐标为(v
p，1
，cdf
p，1
)。与色调压缩像素强度1512uc(i)相对应的预色调压缩像素强度v
p
然后可以根据以下表达式进行内插：
[0099][0100]
图16图示了用于基于光亮度来线性化色调压缩hdr彩色图像的一种自适应方法1600。方法1600是方法1000的实施例。方法1600包括步骤1610、1612、1620、1630和1650。步骤1610、1612、1620和1630协作以形成方法900的步骤930的实施例，所述步骤可以被编码在对应关系取得指令834中。步骤1650是方法900的步骤950的实施例并且可以被编码在线性化指令836中。
[0101]
步骤1610组合色调压缩hdr彩色图像的色调压缩颜色特定像素强度，以形成表示光亮度的色调压缩像素强度。在步骤1610的一个示例中，色调压缩hdr图像284的红色、绿色和蓝色像素强度被组合，以形成与色调压缩hdr光亮度图像相对应的光亮度值。
[0102]
步骤1612将在步骤1610中生成的光亮度值作为输入并利用表示光亮度的色调压缩像素强度来执行方法1000的步骤1010，以形成第一cdf。在步骤1612的一个示例中，处理在步骤1610中生成的光亮度像素值，以生成cdf 1210的基于光亮度的版本。
[0103]
步骤1620生成光亮度直方图的第二cdf。在步骤1620的一个示例中，hdr图像传感器110被配置为输出预色调压缩直方图864作为光亮度直方图，并且步骤1620形成该光亮度直方图的cdf 1220。在步骤1620的另一个示例中，hdr图像传感器110被配置为输出hdr图像传感器110的若干个颜色分量中的每个颜色分量的预色调压缩直方图864，并且步骤1620在形成光亮度直方图的cdf 1220之前组合这些颜色特定的直方图以形成光亮度直方图。
[0104]
步骤1630将在步骤1612和1620中生成的cdf作为输入并利用表示光亮度的像素强
度来执行方法1000的步骤1030。步骤1630由此生成色调压缩光亮度与预色调压缩光亮度之间的对应关系(例如，对应关系522)。步骤1650使用每种颜色的同一对应关系对每种颜色分别执行方法1000的步骤1050。换句话说，将色调压缩光亮度与预色调压缩光亮度之间的对应关系应用于色调压缩hdr彩色图像的每个颜色特定像素强度。在步骤1650的一个示例中，(a)色调压缩hdr图像284的色调压缩红色像素强度ur被缩放以根据以下表达式生成线性化红色像素强度vr：
[0105]
vr＝ur×
(l
p
×
lc)，
[0106]
其中，lc是色调压缩光亮度，并且l
p
是根据在步骤1630中确定的对应关系的对应的预色调压缩光亮度，(b)色调压缩hdr图像284的色调压缩绿色像素强度ug被缩放以根据以下表达式生成线性化绿色像素强度vg：
[0107]
vg＝ug×
(l
p
/lc)，
[0108]
并且(c)色调压缩hdr图像284的色调压缩蓝色像素强度ub被缩放以根据以下表达式生成线性化蓝色像素强度vb：
[0109]
vb＝ub×
(l
p
/lc)。
[0110]
参考图10，在步骤1032中生成的查找表(例如，对应关系522)可以根据lc将比率l
p
/lc制成表格。
[0111]
图17图示了用于基于预色调压缩光亮度和色调压缩hdr彩色图像的单个颜色分量来线性化色调压缩hdr彩色图像的一种自适应方法1700。方法1700是方法1000的实施例。方法1700包括步骤1710、1620、1730和1650。方法1700类似于方法1600，除了替换步骤1610和1612的步骤1710以及替换步骤1630的步骤1730之外。
[0112]
步骤1710利用作为表示色调压缩hdr彩色图像的单个颜色分量的颜色特定像素强度的色调压缩像素强度来执行方法1000的步骤1010，以形成第一cdf。在步骤1710的一个示例中，处理色调压缩hdr图像284的有源像素数据310的绿色像素强度，以生成cdf 1210的单个颜色版本。
[0113]
步骤1730将在步骤1710和1620中生成的cdf作为输入并利用表示单个颜色的色调压缩像素强度和表示光亮度的预色调压缩像素强度来执行方法1000的步骤1030。步骤1730由此生成(a)针对单个颜色分量的颜色特定的色调压缩像素强度与(b)预色调压缩光亮度之间的对应关系(例如，对应关系522)。在方法1700中，步骤1650将同一对应关系应用于色调压缩hdr彩色图像的所有颜色分量，即使已经基于色调压缩hdr彩色图像的单个颜色分量确定了对应关系。
[0114]
图18图示了用于基于每个颜色分量的单独考虑来线性化色调压缩hdr彩色图像的一种自适应方法1800。方法1800是方法1000的实施例。方法1800可以被编码在机器可读指令830中。方法1800包括步骤1810的三个实例。步骤1810的每个实例根据仅从与该颜色分量相关联的图像数据得到的对应关系来线性化色调压缩hdr彩色图像的相应颜色分量。
[0115]
步骤1810(1)基于第一颜色色调压缩像素强度和预色调压缩像素强度的第一颜色直方图对第一颜色(例如，红色)执行方法1000。步骤1810(2)基于第二颜色色调压缩像素强度和预色调压缩像素强度的第二颜色直方图对第二颜色(例如，绿色)执行方法1000。步骤1810(3)基于第三颜色色调压缩像素强度和预色调压缩像素强度的第三颜色直方图对第三颜色(例如，蓝色)执行方法1000。方法1800依赖于为每个颜色分量提供预色调压缩直方图
864的hdr图像传感器。
[0116]
图19图示了用于部分地基于单个颜色分量的预色调压缩像素强度来线性化色调压缩hdr彩色图像的一种自适应方法1900。方法1900是方法1000的实施例。方法1900包括步骤1710、1920、1930和1650。方法1900类似于方法1700，除了替换步骤1620的步骤1920以及替换步骤1730的步骤1930之外。步骤1920类似于步骤1620，除了基于特定于单个颜色分量(例如，绿色)的预色调压缩直方图之外。步骤1930将在步骤1710和1920中生成的cdf作为输入并使用色调压缩像素强度和表示单个颜色的预色调压缩像素强度来执行方法1000的步骤1030。
[0117]
图20和图21图示了用于通过得到色调压缩像素强度与预色调压缩像素强度之间的直接匹配的部分对应关系并且然后外推直接匹配的对应关系来确定色调压缩像素强度与预色调压缩像素强度之间的对应关系的一种自适应方法2000。方法2000是方法1000的步骤1030的实施例并且可以被编码在线性化指令836中。图20是方法2000的流程图，并且图21是图示了方法2000的某些元素的示例图。在以下描述中最好一起观看图20和图21。
[0118]
可以例如在hdr图像传感器仅提供预色调压缩像素强度的部分直方图的情况下和/或在较高像素强度受到饱和度影响并且因此不适合于对应关系取得的情况下有利地采用方法2000。方法2000包括步骤2010和2020。步骤2010确定色调压缩像素强度与预色调压缩像素强度之间的直接匹配的部分对应关系，并且步骤2020外推直接匹配的部分对应关系。
[0119]
对于色调压缩hdr图像的色调压缩像素强度的不包括色调压缩像素强度的最高范围的部分范围，步骤2010确定色调压缩像素强度与预色调压缩像素强度之间的直接匹配的对应关系。在图21中所图示的一个示例中，步骤2010确定色调压缩hdr图像284的有源像素数据310的色调压缩像素强度的cdf(例如，cdf 1210)与预色调压缩直方图864的cdf(例如，cdf 1220)之间的直接匹配的对应关系2112。直接匹配的对应关系2112仅针对低于截止像素强度2120的色调压缩像素强度来确定。
[0120]
步骤2020经由所述最高范围外推在步骤2010中确定的直接匹配的对应关系以生成色调压缩像素强度与预色调压缩像素强度之间的全部对应关系。在图21中所图示的步骤2020的一个示例中，步骤2020将直接匹配的对应关系2112外推至截止像素强度2120之外以确定外推的对应关系2114。直接匹配的对应关系2112和外推的对应关系2114一起形成对应关系2110。对应关系2110覆盖了色调压缩像素强度的全部范围。步骤2020可以包括方法1000的步骤1032和1034中的任何一个步骤。步骤2020可以使用直接匹配的对应关系2112或截止像素强度2120附近的直接匹配的对应关系2112的一部分的多项式拟合或样条表示来确定外推的对应关系2114。
[0121]
在一个实施例中，步骤2010包括步骤2012和2013。步骤2012评估第一色调压缩图像(例如，色调压缩hdr图像284)和第一累积分布函数(例如，cdf 1210)中的至少一者，以确定不包括饱和色调压缩像素强度的截止色调压缩像素强度(例如，截止像素强度2120)。步骤2013将该部分范围定义为不大于截止色调压缩像素强度(例如，截止像素强度2120)的色调压缩像素强度的范围。
[0122]
在另一个实施例中，步骤2010包括步骤2014和2018。步骤2014评估仅表示全动态范围的较低子集的预色调压缩像素强度的直方图(例如，预色调压缩直方图864)，以确定截
止预色调压缩像素强度。步骤2018将色调压缩像素强度的该部分范围定义为最低色调压缩像素强度的数量，所述最低色调压缩像素强度的数量与不大于在步骤2014中确定的截止预色调压缩像素强度的预色调压缩像素强度的数量相等。
[0123]
步骤2014可以包括步骤2015。步骤2015将截止预色调压缩像素强度设置为直方图的最大像素强度(例如，具有非零计数的预色调压缩直方图864的最高的仓，或者具有非零计数的直方图1100或对数直方图1400的最高的仓)。在一个示例中，直方图是对数的并且具有n个仓bi，i＝0,1,...,n-1。每个仓bi与预色调压缩像素强度2i相对应，并且具有非零计数的最高仓是其中，n
max
是不大于n-1的正整数。在该示例中，截止预色调压缩像素强度设置为
[0124]
图22图示了用于确定取得色调压缩像素强度与预色调压缩像素强度之间的直接匹配的部分对应关系的范围的一种方法2200。方法2200可以在方法2000的步骤2010中实施。方法2200利用预色调压缩像素强度的对数直方图，如直方图1400。方法2200包括步骤2210、2220、2230和2240。
[0125]
步骤2210对色调压缩hdr图像(例如，色调压缩hdr图像284)中的饱和像素的数量n
sat
进行计数。步骤2220识别包含n
sat
个最高预色调压缩像素强度的对数预色调压缩直方图(例如，直方图1400)的仓。例如，从对数预色调压缩直方图的最高的仓开始，步骤2220可以以下述方式通过这些仓下降。对于对数预色调压缩直方图的每个仓，计数变量被设置为n
sat，i
＝min(n
sat
，ni)，其中，ni是第i个仓的计数，并且n
sat
被重置为n
sat
＝n
sat-ni。这个过程一直持续到n
sat
小于或等于零。
[0126]
步骤2230将对数预色调压缩直方图的仓作为输入并计算其平均仓。步骤2230可以计算在步骤2220中识别的仓的几何平均值。在一个示例中，将平均仓计算为：
[0127][0128]
其中，bini是第i个仓的仓数量。然后，步骤2240将取得色调压缩像素强度与预色调压缩像素强度之间的直接匹配的部分对应关系的范围限制到对数预色调压缩直方图的不大于平均仓的仓。
[0129]
图23图示了用于根据色调压缩像素强度与预色调压缩像素强度之间的空间变化的对应关系来线性化色调压缩hdr图像的一种自适应方法2300。方法2300是方法900的步骤920、930和950的实施例，并且可以在hdr图像传感器被配置为针对预色调压缩hdr图像282的多个非重叠空间图像区域中的每个非重叠空间图像区域输出单独的预色调压缩直方图时采用。方法2300可以被编码在机器可读指令830中。
[0130]
方法2300将上文参考图9所讨论的第一色调压缩图像和第二色调压缩图像中的每一个分隔成多个非重叠空间图像区域2310。图23示出了空间图像区域2310的6
×
6网格。应当理解，空间图像区域2310的形状和/或数量可以不同于图23中所示出的形状和/或数量。方法2300然后对每个空间图像区域2310重复方法900的步骤920、930和950，以针对每个空间图像区域2310确定色调压缩像素强度与预色调压缩像素强度之间的单独的对应关系。方法2300可以在执行步骤930和950时实施方法1000。
[0131]
在某些实施例中，方法2300被配置为平滑针对相邻空间图像区域2310确定的对应关系之间的过渡。在一个这种实施例中，方法2300在执行步骤950时包括，至少对于在相邻
空间图像区域2310之间的边界的阈值距离内的每个像素，基于像素的位置对针对相邻空间图像区域确定的对应关系进行空间内插。例如，对于空间图像区域2310(1,3)的小于距空间图像区域2310(1,4)的距离2330的区域内的像素，可以通过根据像素的精确位置对针对空间图像区域2310(1,3)和2310(1,4)确定的两个对应关系之间的空间内插来找到可应用于该像素的对应关系。
[0132]
在另一个实施例中，被配置为平滑针对相邻空间图像区域2310确定的对应关系之间的过渡，空间内插被应用于所有像素。在该实施例中，针对每个空间图像区域2310确定的对应关系被分配到其中心位置2316。对于色调压缩hdr图像的每个像素，当方法2300执行步骤950时，方法2300对针对具有与该像素最接近的相应中心位置的四个空间图像区域确定的对应关系进行空间内插。例如，对于像素2320，方法2300将针对空间图像区域2310(5,5)、2310(5,6)、2310(6,5)和2310(6,6)确定的四个对应关系从中心位置2316空间内插到像素2320的位置。
[0133]
特征组合
[0134]
在不脱离其范围的情况下，上述特征以及以下要求保护的特征可以以各种方式组合。例如，应当理解，本文所描述的一个具有自适应图像数据线性化的系统或用于自适应图像数据线性化的方法的各方面可以结合或交换本文所描述的另一个具有自适应图像数据线性化的系统或用于自适应图像数据线性化的方法的特征。以下示例说明了以上所描述的实施例的一些可能的非限制性组合。应当清楚的是，在不脱离本发明的精神和范围的情况下，可以对本文的方法、产品和系统进行许多其他改变和修改：
[0135]
(a1)一种具有自适应图像数据线性化的高动态范围(hdr)相机模块包括hdr图像传感器，所述hdr图像传感器用于生成场景的色调压缩hdr图像并且被配置为将所述色调压缩hdr图像输出为包括有源像素数据和元数据的相应帧。所述hdr相机模块还包括所述hdr图像传感器外部的处理器和所述hdr图像传感器外部的存储器。所述存储器存储机器可读指令，所述机器可读指令在由处理器执行时控制所述处理器执行以下步骤：(a)从由所述hdr图像传感器生成的第一色调压缩hdr图像的帧提取(i)来自所述帧的有源像素数据的色调压缩像素强度和(ii)来自所述帧的元数据的预色调压缩像素强度的直方图；(b)从所述色调压缩像素强度和所述直方图得到色调压缩像素强度与预色调压缩像素强度之间的对应关系；以及(c)根据所述对应关系来线性化第二色调压缩hdr图像的有源像素数据的至少一部分以产生线性化hdr图像，所述第二色调压缩hdr图像选自由所述第一色调压缩hdr图像和后续色调压缩hdr图像构成的组。
[0136]
(a2)在如(a1)所述的hdr相机模块中，所述处理器和所述存储器可以在数字信号处理器中实施，并且所述hdr相机模块可以进一步包括图像信号处理器，所述图像信号处理器通信地耦接到所述数字信号处理器以用于由所述数字信号处理器进一步处理所述线性化hdr图像。
[0137]
(a3)在如(a2)所述的hdr相机模块中，所述图像信号处理器可以被配置为对所述线性化hdr图像应用选自由以下各项构成的组中的一个或多个程序：白平衡、颜色校正、伽马校正、去马赛克、降噪和图像锐化。
[0138]
(a4)在如(a1)至(a3)所述的hdr相机模块中的任何一种hdr相机模块中，所述第一色调压缩hdr图像和所述第二色调压缩hdr图像可以是由所述hdr图像传感器输出的hdr视
频流的两个连续图像。
[0139]
(a5)在如(a4)所述的hdr相机模块中，所述处理器和所述存储器可以在数字信号处理器中实施，所述数字信号处理器包括缓冲器，并且所述机器可读指令可以进一步被配置为控制所述处理器对所述第二色调压缩图像的连续存储在所述缓冲器中的有源像素数据的子集执行线性化步骤。
[0140]
(a6)在如(a1)至(a3)所述的hdr相机模块中的任何一种hdr相机模块中，所述第一色调压缩hdr图像和所述第二色调压缩hdr图像可以是同一静止图像，并且所述机器可读指令可以进一步被配置为控制所述处理器将所述静止图像的有源像素数据存储在图像存储装置中，至少直到所述线性化步骤完成为止。
[0141]
(a7)在如(a1)至(a6)所述的hdr相机模块中的任何一种hdr相机模块中，所述hdr图像传感器可以包括输出接口，所述输出接口受限于输出位深度，所述hdr图像传感器可以被配置为(i)在超过所述输出位深度的第一位深度产生线性hdr图像，以及(ii)对所述线性hdr图像进行色调压缩以在所述输出位深度产生所述色调压缩hdr图像，并且所述机器可读指令可以被配置为控制所述处理器在所述线性化步骤中将所述有源像素数据从所述输出位深度映射到所述第一位深度。
[0142]
(a8)在如(a1)至(a7)所述的hdr相机模块中的任何一种hdr相机模块中，所述机器可读指令可以被配置为使得所述得到步骤包括：生成所述色调压缩像素强度的第一累积分布函数；生成所述直方图的第二累积分布函数；以及确定所述对应关系，使得对于色调压缩像素强度和预色调压缩像素强度的多个对应对中的每个对应对，在所述色调压缩像素强度处评估的所述第一累积分布函数等于在所述预色调压缩像素强度处评估的所述第二累积分布函数。
[0143]
(a9)在如(a8)所述的hdr相机模块中，所述机器可读指令可以被配置为使得所述确定步骤包括将列出所述对应对的查找表存储到所述存储器中，并且使得所述线性化步骤包括当所述第二色调压缩hdr图像的有源像素数据的色调压缩像素强度不等于所述查找表中列出的色调压缩像素强度时，在所述查找表中的条目之间进行内插。
[0144]
(a10)在如(a8)所述的hdr相机模块中，所述机器可读指令可以被配置为使得所述确定步骤包括将所述对应关系确定为多项式函数，所述多项式函数将所述预色调压缩像素强度指定为所述色调压缩像素强度的函数，并且将所述多项式函数的参数存储到所述存储器中。
[0145]
(a11)在如(a8)所述的hdr相机模块中，所述机器可读指令可以被配置为使得所述确定步骤包括将所述对应关系确定为样条表示，所述样条表示将所述预色调压缩像素强度指定为所述色调压缩像素强度的函数，并且将所述样条表示的参数存储到所述存储器中。
[0146]
(a12)在如(a8)至(a11)所述的hdr相机模块中的任何一种hdr相机模块中，所述hdr图像传感器可以是彩色图像传感器，所述直方图可以是光亮度直方图，并且所述机器可读指令可以被配置为使得(i)提取所述色调压缩像素强度的步骤包括：(a)提取色调压缩颜色特定像素强度的多个集合，所述集合中的每个集合特定于相应颜色，以及(b)组合所述集合以形成所述色调压缩像素强度，使得所述色调压缩像素强度中的每个色调压缩像素强度表示相应像素光亮度；并且(ii)所述线性化步骤包括根据所述对应关系单独地线性化所述第二色调压缩hdr图像的有源像素数据的每种颜色。
[0147]
(a13)在如(a8)至(a12)所述的hdr相机模块中的任何一种hdr相机模块中，所述机器可读指令可以被配置为使得确定所述对应关系的步骤包括：(a)对于色调压缩像素强度的不包括所述色调压缩像素强度的最高范围的部分范围，确定所述色调压缩像素强度与所述预色调压缩像素强度之间的直接匹配的对应关系，使得对于与所述部分范围相关联的所述色调压缩像素强度和所述预色调压缩像素强度的对应对，在所述色调压缩像素强度处评估的所述第一累积分布函数等于在所述预色调压缩像素强度处评估的所述第二累积分布函数，以及(b)经由所述最高范围外推所述直接匹配的对应关系以生成所述对应关系。
[0148]
(a14)在如(a13)所述的hdr相机模块中，所述机器可读指令可以被配置为使得确定所述对应关系的步骤进一步包括：(a)评估所述第一色调压缩图像和所述第一累积分布函数中的至少一者以确定截止色调压缩像素强度，所述截止色调压缩像素强度不包括饱和色调压缩像素强度，以及(b)将所述部分范围定义为不大于所述截止色调压缩像素强度的色调压缩像素强度的范围。
[0149]
(a15)在如(a13)所述的hdr相机模块中，所述直方图可以是仅表示部分动态范围的部分直方图，所述部分动态范围形成所述第一色调压缩hdr图像在色调压缩之前的全动态范围的较低子集，并且所述机器可读指令可以被配置为使得确定所述对应关系的步骤进一步包括评估所述直方图以确定截止预色调压缩像素强度，以及将所述部分范围定义为最低色调压缩像素强度的数量，所述最低色调压缩像素强度的数量与不大于所述截止预色调压缩像素强度的预色调压缩像素强度的数量相等。
[0150]
(a16)在如(a1)至(a15)所述的hdr相机模块中的任何一种hdr相机模块中，所述机器可读指令可以被配置为在由所述处理器执行时控制所述处理器：(a)将所述第一色调压缩hdr图像和所述第二色调压缩hdr图像中的每一个分成多个非重叠空间图像区域，以及(b)对于所述多个空间图像区域中的每个空间图像区域，重复执行提取所述色调压缩像素强度、生成所述第一累积分布函数、提取所述直方图、生成所述第二累积分布函数、确定所述对应关系以及线性化的步骤。
[0151]
(a17)在如(a16)所述的hdr相机模块中，所述机器可读指令可以被配置为使得所述线性化步骤包括：至少对于所述空间图像区域中的不同空间图像区域之间的边界的阈值距离内的每个像素，基于所述像素的位置，对针对所述空间图像区域中的不同空间图像区域所确定的所述对应关系进行空间内插。
[0152]
(a18)在如(a16)所述的hdr相机模块中，所述空间图像区域中的每个空间图像区域可以具有相应中心位置，并且所述机器可读指令可以被配置为使得所述线性化步骤包括：对于每个像素并且基于所述像素的位置，对针对具有与所述像素最接近的相应中心位置的四个空间图像区域所确定的所述对应关系进行空间内插。
[0153]
(b1)一种用于线性化色调压缩hdr图像的自适应方法包括：(i)从hdr图像传感器接收第一色调压缩hdr图像的帧；(ii)从所述帧提取(a)来自所述帧的有源像素数据的色调压缩像素强度和(b)来自所述帧的元数据的预色调压缩像素强度的直方图；(iii)从所述色调压缩像素强度和所述直方图得到色调压缩像素强度与预色调压缩像素强度之间的对应关系；(iv)从所述hdr图像传感器接收第二色调压缩hdr图像的帧，所述第二色调压缩hdr图像选自由所述第一色调压缩hdr图像和后续色调压缩hdr图像构成的组；以及(v)根据所述对应关系来线性化所述第二色调压缩hdr图像的帧的有源像素数据的至少一部分以产生线
性化hdr图像。
[0154]
(b2)在如(b1)所述的方法中，所述第一色调压缩hdr图像和所述第二色调压缩hdr图像可以是hdr视频流的连续图像。
[0155]
(b3)如(b2)所述的方法可以进一步包括：在所述线性化步骤之前，限制所述对应关系与针对所述hdr视频流的先前捕获的图像对所得到的先前对应关系之间的偏差。
[0156]
(b3)在如(b1)所述的方法中，所述第一色调压缩hdr图像和所述第二色调压缩hdr图像可以是同一静止图像。
[0157]
(b4)在如(b1)至(b3)所述的方法中的任何一种方法中，所述色调压缩像素强度可以受限于压缩位深度，所述压缩位深度小于预色调压缩位深度，所述线性化步骤包括将所述有源像素数据映射到所述预色调压缩位深度。
[0158]
(b5)在如(b1)至(b4)所述的方法中的任何一种方法中，所述得到步骤可以包括：生成所述色调压缩像素强度的第一累积分布函数；生成所述直方图的第二累积分布函数；以及确定所述对应关系，使得对于色调压缩像素强度和预色调压缩像素强度的多个对应对中的每个对应对，在所述色调压缩像素强度处评估的所述第一累积分布函数等于在所述预色调压缩像素强度处评估的所述第二累积分布函数。
[0159]
(b6)如(b5)所述的方法可以包括：(a)在所述确定步骤中，将所述对应关系生成为列出所述对应对的查找表，以及(b)在所述线性化步骤中，当所述第二色调压缩hdr图像的有源像素数据的色调压缩像素强度不等于所述查找表中列出的色调压缩像素强度时，在所述查找表中的条目之间进行内插。
[0160]
(b7)如(b5)所述的方法可以包括：在所述确定步骤中，将所述对应关系生成为多项式函数，所述多项式函数将所述预色调压缩像素强度指定为所述色调压缩像素强度的函数。
[0161]
(b8)如(b5)所述的方法可以包括：在所述确定步骤中，将所述对应关系生成为样条表示，所述样条表示将所述预色调压缩像素强度指定为所述色调压缩像素强度的函数。
[0162]
(b9)在如(b5)至(b8)所述的方法中的任何一种方法中，所述第一色调压缩hdr图像和所述第二色调压缩hdr图像可以是彩色图像，并且所述直方图可以是光亮度直方图。
[0163]
(b10)如(b9)所述的方法可以进一步包括：(a)在提取所述色调压缩像素强度的步骤中，提取色调压缩颜色特定像素强度的多个集合，所述集合中的每个集合特定于相应颜色；(b)组合所述集合以形成所述色调压缩像素强度，使得所述色调压缩像素强度中的每个色调压缩像素强度表示相应像素光亮度；以及(c)在所述线性化步骤中，根据所述对应关系单独地线性化所述第二色调压缩hdr图像的有源像素数据的每种颜色。
[0164]
(b11)如(b9)所述的方法可以进一步包括：(a)在提取所述色调压缩像素强度的步骤中，提取特定于单个颜色的色调压缩颜色特定像素强度，所述单个颜色是构成所述第一色调压缩hdr图像的多种颜色中的一种颜色；(b)在所述生成步骤中，生成关于所述单个颜色的所述第一累积分布函数；以及(c)在所述线性化步骤中，根据所述对应关系单独地线性化所述第二色调压缩hdr图像的有源像素数据的每种颜色。
[0165]
(b12)在如(b5)至(b8)所述的方法中的任何一种方法中，所述第一色调压缩hdr图像和所述第二色调压缩hdr图像可以是彩色图像，并且所述方法可以包括对所述第一色调压缩hdr图像和所述第二色调压缩hdr图像的每种颜色单独地执行提取所述色调压缩像素
强度、生成所述第一累积分布函数、提取所述直方图、生成所述第二累积分布函数、确定所述对应关系以及线性化所述第二色调压缩hdr图像的有源像素数据的至少一部分的步骤。
[0166]
(b13)在如(b5)至(b8)所述的方法中的任何一种方法中，所述第一色调压缩hdr图像和所述第二色调压缩hdr图像可以是彩色图像，并且所述方法可以进一步包括：(a)在提取所述色调压缩像素强度的步骤中，提取特定于单个颜色的色调压缩颜色特定像素强度，所述单个颜色是构成所述第一色调压缩hdr图像的多种颜色中的一种颜色；(b)在所述生成步骤中，生成关于所述单个颜色的所述第一累积分布函数；(c)在提取所述直方图的步骤中，提取特定于所述单个颜色的颜色特定的直方图；(d)在所述生成步骤中，生成关于所述颜色特定的直方图的所述第二累积分布函数；以及(e)在所述线性化步骤中，根据所述对应关系单独地线性化所述第二色调压缩hdr图像的有源像素数据的每种颜色。
[0167]
(b14)在如(b5)至(b13)所述的方法中的任何一种方法中，所述确定步骤可以包括：(a)对于色调压缩像素强度的不包括所述色调压缩像素强度的最高范围的部分范围，确定所述色调压缩像素强度与所述预色调压缩像素强度之间的直接匹配的对应关系，使得对于与所述部分范围相关联的所述色调压缩像素强度和所述预色调压缩像素强度的对应对，在所述色调压缩像素强度处评估的所述第一累积分布函数等于在所述预色调压缩像素强度处评估的所述第二累积分布函数，以及(b)经由所述最高范围外推所述直接匹配的对应关系以生成所述对应关系。
[0168]
(b15)在如(b14)所述的方法中，确定所述对应关系的步骤可以进一步包括：评估所述第一色调压缩图像和所述第一累积分布函数中的至少一者以确定截止色调压缩像素强度，所述截止色调压缩像素强度不包括饱和色调压缩像素强度，以及将所述部分范围定义为不大于所述截止色调压缩像素强度的色调压缩像素强度的范围。
[0169]
(b16)在如(b14)所述的方法中，所述直方图可以是仅表示部分动态范围的部分直方图，所述部分动态范围形成所述第一色调压缩hdr图像在色调压缩之前的全动态范围的较低子集，并且确定所述对应关系的步骤可以进一步包括评估所述直方图以确定截止预色调压缩像素强度，以及将所述部分范围定义为最低色调压缩像素强度的数量，所述最低色调压缩像素强度的数量与不大于所述截止预色调压缩像素强度的预色调压缩像素强度的数量相等。
[0170]
(b17)在如(b16)所述的方法中，所述截止预色调压缩像素强度可以是所述直方图的最大像素强度。
[0171]
(b18)在如(b1)至(b17)所述的方法中的任何一种方法中，所述直方图的仓可以在对数标度上。
[0172]
(b19)如(b1)至(b18)所述的方法中的任何一种方法可以进一步包括：(a)将所述第一色调压缩hdr图像和所述第二色调压缩hdr图像中的每一个分成多个非重叠空间图像区域；以及(b)对于所述多个空间图像区域中的每个空间图像区域，重复执行提取所述色调压缩像素强度、生成所述第一累积分布函数、提取所述直方图、生成所述第二累积分布函数、确定所述对应关系以及线性化的步骤。
[0173]
(b20)在如(b19)所述的方法中，所述线性化步骤可以包括：至少对于所述空间图像区域中的不同空间图像区域之间的边界的阈值距离内的每个像素，基于所述像素的位置，对针对所述空间图像区域中的不同空间图像区域所确定的所述对应关系进行空间内
插。
[0174]
(b21)在如(b19)所述的方法中，所述空间图像区域中的每个空间图像区域可以具有相应中心位置，并且所述线性化步骤可以包括：对于每个像素并且基于所述像素的位置，对针对具有与所述像素最接近的相应中心位置的四个空间图像区域所确定的所述对应关系进行空间内插。
[0175]
在不脱离其范围的情况下，可以对以上系统和方法进行改变。因此，应当注意，包含在以上说明书中并且在附图中示出的内容应当被解释为说明性的而不是限制性的意义。以下权利要求旨在涵盖本文所描述的一般特征和特定特征以及本系统和方法的范围的所有陈述，所述陈述在语言上可以被说成落入其间。
[0176]
可以从以下枚举的示例实施例(eee)中理解本发明的各个方面：
[0177]
eee 1.一种具有自适应图像数据线性化的高动态范围(hdr)相机模块，所述高动态范围相机模块包括：
[0178]
hdr图像传感器，所述hdr图像传感器用于生成场景的色调压缩hdr图像并且被配置为将所述色调压缩hdr图像输出为包括有源像素数据和元数据的相应帧；
[0179]
处理器，所述处理器在所述hdr图像传感器外部；以及
[0180]
存储器，所述存储器在所述hdr图像传感器外部并且存储机器可读指令，所述机器可读指令在由所述处理器执行时控制所述处理器执行以下步骤：
[0181]
(a)从由所述hdr图像传感器生成的第一色调压缩hdr图像的帧提取(i)来自所述帧的有源像素数据的色调压缩像素强度和(ii)来自所述帧的元数据的预色调压缩像素强度的直方图；
[0182]
(b)从所述色调压缩像素强度和所述直方图得到色调压缩像素强度与预色调压缩像素强度之间的对应关系；以及
[0183]
(c)根据所述对应关系来线性化第二色调压缩hdr图像的所述有源像素数据的至少一部分以产生线性化hdr图像，所述第二色调压缩hdr图像选自由所述第一色调压缩hdr图像和后续色调压缩hdr图像构成的组。
[0184]
eee 2.如eee 1所述的hdr相机模块，所述处理器和所述存储器在数字信号处理器中实施，所述hdr相机模块进一步包括图像信号处理器，所述图像信号处理器通信地耦接到所述数字信号处理器，以用于由所述数字信号处理器进一步处理所述线性化hdr图像。
[0185]
eee 3.如eee 2所述的hdr相机模块，所述图像信号处理器被配置为对所述线性化hdr图像应用选自由以下各项构成的组中的一个或多个程序：白平衡、颜色校正、伽马校正、去马赛克、降噪和图像锐化。
[0186]
eee 4.如eee 1所述的hdr相机模块，所述第一色调压缩hdr图像和所述第二色调压缩hdr图像是由所述hdr图像传感器输出的hdr视频流的两个连续图像。
[0187]
eee 5.如eee 4所述的hdr相机模块，所述处理器和所述存储器在数字信号处理器中实施，所述数字信号处理器包括缓冲器，所述机器可读指令进一步被配置为控制所述处理器对所述第二色调压缩图像的连续存储在所述缓冲器中的有源像素数据的子集执行线性化步骤。
[0188]
eee 6.如eee 1至5中任一项所述的hdr相机模块，所述第一色调压缩hdr图像和所述第二色调压缩hdr图像是同一静止图像，所述机器可读指令进一步被配置为控制所述处
理器将所述静止图像的有源像素数据存储在图像存储装置中，至少直到所述线性化步骤完成为止。
[0189]
eee 7.如eee 1至6中任一项所述的hdr相机模块，所述hdr图像传感器包括输出接口，所述输出接口受限于输出位深度，所述hdr图像传感器被配置为(i)在超过所述输出位深度的第一位深度处产生线性hdr图像，以及(ii)对所述线性hdr图像进行色调压缩以在所述输出位深度处产生所述色调压缩hdr图像，所述机器可读指令被配置为控制所述处理器在所述线性化步骤中将所述有源像素数据从所述输出位深度映射到所述第一位深度。
[0190]
eee 8.如eee 1至7中任一项所述的hdr相机模块，所述机器可读指令被配置为使得所述得到步骤包括：
[0191]
生成所述色调压缩像素强度的第一累积分布函数；
[0192]
生成所述直方图的第二累积分布函数；
[0193]
确定所述对应关系，使得对于色调压缩像素强度和预色调压缩像素强度的多个对应对中的每个对应对，在所述色调压缩像素强度处评估的所述第一累积分布函数等于在所述预色调压缩像素强度处评估的所述第二累积分布函数。
[0194]
eee 9.如eee 8所述的hdr相机模块，所述机器可读指令被配置为使得：
[0195]
所述确定步骤包括将列出所述对应对的查找表存储到所述存储器中；并且
[0196]
所述线性化步骤包括当所述第二色调压缩hdr图像的有源像素数据的色调压缩像素强度不等于所述查找表中列出的色调压缩像素强度时，在所述查找表中的条目之间进行内插。
[0197]
eee 10.如eee 8或eee 9所述的hdr相机模块，所述机器可读指令被配置为使得所述确定步骤包括：
[0198]
将所述对应关系确定为多项式函数，所述多项式函数将所述预色调压缩像素强度指定为所述色调压缩像素强度的函数；以及
[0199]
将所述多项式函数的参数存储到所述存储器中。
[0200]
eee 11.如eee 8或eee 9所述的hdr相机模块，所述机器可读指令被配置为使得所述确定步骤包括：
[0201]
将所述对应关系确定为样条表示，所述样条表示将所述预色调压缩像素强度指定为所述色调压缩像素强度的函数；以及
[0202]
将所述样条表示的参数存储到所述存储器中。
[0203]
eee 12.如eee 1至11中任一项所述的hdr相机模块，所述hdr图像传感器是彩色图像传感器，所述直方图是光亮度直方图，所述机器可读指令被配置为使得：
[0204]
提取所述色调压缩像素强度的步骤包括：
[0205]
(a)提取色调压缩颜色特定像素强度的多个集合，所述集合中的每个集合特定于相应颜色，以及
[0206]
(b)组合所述集合以形成所述色调压缩像素强度，使得所述色调压缩像素强度中的每个色调压缩像素强度表示相应像素光亮度；并且
[0207]
所述线性化步骤包括根据所述对应关系单独地线性化所述第二色调压缩hdr图像的有源像素数据的每种颜色。
[0208]
eee 13.如eee 8至12中任一项所述的hdr相机模块，所述机器可读指令被配置为
使得确定所述对应关系的步骤包括：
[0209]
对于色调压缩像素强度的不包括所述色调压缩像素强度的最高范围的部分范围，确定所述色调压缩像素强度与所述预色调压缩像素强度之间的直接匹配的对应关系，使得对于与所述部分范围相关联的所述色调压缩像素强度和所述预色调压缩像素强度的对应对，在所述色调压缩像素强度处评估的所述第一累积分布函数等于在所述预色调压缩像素强度处评估的所述第二累积分布函数；以及
[0210]
经由所述最高范围外推所述直接匹配的对应关系以生成所述对应关系。
[0211]
eee 14.如eee 13所述的hdr相机模块，所述机器可读指令被配置为使得确定所述对应关系的步骤进一步包括：
[0212]
评估所述第一色调压缩图像和所述第一累积分布函数中的至少一者以确定截止色调压缩像素强度，所述截止色调压缩像素强度不包括饱和色调压缩像素强度；以及
[0213]
将所述部分范围定义为不大于所述截止色调压缩像素强度的色调压缩像素强度的范围。
[0214]
eee 15.如eee 13所述的hdr相机模块，所述直方图是仅表示部分动态范围的部分直方图，所述部分动态范围形成所述第一色调压缩hdr图像在色调压缩之前的全动态范围的较低子集，所述机器可读指令被配置为使得确定所述对应关系的步骤进一步包括：
[0215]
评估所述直方图以确定截止预色调压缩像素强度；以及
[0216]
将所述部分范围定义为最低色调压缩像素强度的数量，所述最低色调压缩像素强度的数量与不大于所述截止预色调压缩像素强度的预色调压缩像素强度的数量相等。
[0217]
eee 16.如eee 1至15中任一项所述的hdr相机模块，所述机器可读指令被配置为在由所述处理器执行时控制所述处理器：
[0218]
将所述第一色调压缩hdr图像和所述第二色调压缩hdr图像中的每一个分成多个非重叠空间图像区域；以及
[0219]
对于所述多个空间图像区域中的每个空间图像区域，重复执行提取所述色调压缩像素强度、生成所述第一累积分布函数、提取所述直方图、生成所述第二累积分布函数、确定所述对应关系以及线性化的步骤。
[0220]
eee 17.如eee 16所述的hdr相机模块，所述机器可读指令被配置为使得所述线性化步骤包括：至少对于所述空间图像区域中的不同空间图像区域之间的边界的阈值距离内的每个像素，基于所述像素的位置，对针对所述空间图像区域中的不同空间图像区域所确定的所述对应关系进行空间内插。
[0221]
eee 18.如eee 16或17所述的hdr相机模块，所述空间图像区域中的每个空间图像区域具有相应中心位置，所述机器可读指令被配置为使得所述线性化步骤包括：对于每个像素并且基于所述像素的位置，对针对具有与所述像素最接近的相应中心位置的四个空间图像区域所确定的所述对应关系进行空间内插。
[0222]
eee 19.一种用于线性化色调压缩高动态范围(hdr)图像的自适应方法，所述自适应方法包括：
[0223]
从hdr图像传感器接收第一色调压缩hdr图像的帧；
[0224]
从所述帧提取(a)来自所述帧的有源像素数据的色调压缩像素强度和(b)来自所述帧的元数据的预色调压缩像素强度的直方图；
[0225]
从所述色调压缩像素强度和所述直方图得到色调压缩像素强度与预色调压缩像素强度之间的对应关系；
[0226]
从所述hdr图像传感器接收第二色调压缩hdr图像的帧，所述第二色调压缩hdr图像选自由所述第一色调压缩hdr图像和后续色调压缩hdr图像构成的组；以及
[0227]
根据所述对应关系来线性化所述第二色调压缩hdr图像的帧的有源像素数据的至少一部分以产生线性化hdr图像。
[0228]
eee 20.如eee 19所述的方法，所述第一色调压缩hdr图像和所述第二色调压缩hdr图像是hdr视频流的连续图像。
[0229]
eee 21.如eee 20所述的方法，进一步包括：在所述线性化步骤之前，限制所述对应关系与针对所述hdr视频流的先前捕获的图像对所得到的先前对应关系之间的偏差。
[0230]
eee 22.如eee 19至21中任一项所述的方法，所述第一色调压缩hdr图像和所述第二色调压缩hdr图像是同一静止图像。
[0231]
eee 23.如eee 19至22中任一项所述的方法，所述色调压缩像素强度受限于压缩位深度，所述压缩位深度小于预色调压缩位深度，所述线性化步骤包括将所述有源像素数据映射到所述预色调压缩位深度。
[0232]
eee 24.如eee 19至23中任一项所述的方法，所述得到步骤包括：
[0233]
生成所述色调压缩像素强度的第一累积分布函数；
[0234]
生成所述直方图的第二累积分布函数；以及
[0235]
确定所述对应关系，使得对于色调压缩像素强度和预色调压缩像素强度的多个对应对中的每个对应对，在所述色调压缩像素强度处评估的所述第一累积分布函数等于在所述预色调压缩像素强度处评估的所述第二累积分布函数。
[0236]
eee 25.如eee 24所述的方法，包括：
[0237]
在所述确定步骤中，将所述对应关系生成为列出所述对应对的查找表；以及
[0238]
在所述线性化步骤中，当所述第二色调压缩hdr图像的有源像素数据的色调压缩像素强度不等于所述查找表中列出的色调压缩像素强度时，在所述查找表中的条目之间进行内插。
[0239]
eee 26.如eee 24或eee 25所述的方法，包括：在所述确定步骤中，将所述对应关系生成为多项式函数，所述多项式函数将所述预色调压缩像素强度指定为所述色调压缩像素强度的函数。
[0240]
eee 27.如eee 24或eee 25所述的方法，包括：在所述确定步骤中，将所述对应关系生成为样条表示，所述样条表示将所述预色调压缩像素强度指定为所述色调压缩像素强度的函数。
[0241]
eee 28.如eee 24至27中任一项所述的方法，所述第一色调压缩hdr图像和所述第二色调压缩hdr图像是彩色图像，所述直方图是光亮度直方图。
[0242]
eee 29.如eee 19至eee 28中任一项所述的方法，进一步包括：
[0243]
在提取所述色调压缩像素强度的步骤中，提取色调压缩颜色特定像素强度的多个集合，所述集合中的每个集合特定于相应颜色；
[0244]
组合所述集合以形成所述色调压缩像素强度，使得所述色调压缩像素强度中的每个色调压缩像素强度表示相应像素光亮度；以及
[0245]
在所述线性化步骤中，根据所述对应关系单独地线性化所述第二色调压缩hdr图像的有源像素数据的每种颜色。
[0246]
eee 30.如eee 19至eee 28中任一项所述的方法，进一步包括：
[0247]
在提取所述色调压缩像素强度的步骤中，提取特定于单个颜色的色调压缩颜色特定像素强度，所述单个颜色是构成所述第一色调压缩hdr图像的多种颜色中的一种颜色；
[0248]
在所述生成步骤中，生成关于所述单个颜色的所述第一累积分布函数；以及
[0249]
在所述线性化步骤中，根据所述对应关系单独地线性化所述第二色调压缩hdr图像的有源像素数据的每种颜色。
[0250]
eee 31.如eee 24至eee 30中任一项所述的方法，所述第一色调压缩hdr图像和所述第二色调压缩hdr图像是彩色图像，所述方法包括对所述第一色调压缩hdr图像和所述第二色调压缩hdr图像的每种颜色单独地执行提取所述色调压缩像素强度、生成所述第一累积分布函数、提取所述直方图、生成所述第二累积分布函数、确定所述对应关系以及线性化所述第二色调压缩hdr图像的有源像素数据的至少一部分的步骤。
[0251]
eee 32.如eee 24至eee 31中任一项所述的方法，所述第一色调压缩hdr图像和所述第二色调压缩hdr图像是彩色图像，所述方法进一步包括：
[0252]
在提取所述色调压缩像素强度的步骤中，提取特定于单个颜色的色调压缩颜色特定像素强度，所述单个颜色是构成所述第一色调压缩hdr图像的多种颜色中的一种颜色；
[0253]
在所述生成步骤中，生成关于所述单个颜色的所述第一累积分布函数；
[0254]
在提取所述直方图的步骤中，提取特定于所述单个颜色的颜色特定的直方图；
[0255]
在所述生成步骤中，生成关于所述颜色特定的直方图的所述第二累积分布函数；以及
[0256]
在所述线性化步骤中，根据所述对应关系单独地线性化所述第二色调压缩hdr图像的有源像素数据的每种颜色。
[0257]
eee 33.如eee 24至eee 32所述的方法，所述确定步骤包括：
[0258]
对于色调压缩像素强度的不包括所述色调压缩像素强度的最高范围的部分范围，确定所述色调压缩像素强度与所述预色调压缩像素强度之间的直接匹配的对应关系，使得对于与所述部分范围相关联的所述色调压缩像素强度和所述预色调压缩像素强度的对应对，在所述色调压缩像素强度处评估的所述第一累积分布函数等于在所述预色调压缩像素强度处评估的所述第二累积分布函数；以及
[0259]
经由所述最高范围外推所述直接匹配的对应关系至以生成所述对应关系。
[0260]
eee 34.如eee 33所述的方法，确定所述对应关系的步骤进一步包括：
[0261]
评估所述第一色调压缩图像和所述第一累积分布函数中的至少一者以确定截止色调压缩像素强度，所述截止色调压缩像素强度不包括饱和色调压缩像素强度；以及
[0262]
将所述部分范围定义为不大于所述截止色调压缩像素强度的色调压缩像素强度的范围。
[0263]
eee 35.如eee 33或eee 34所述的方法，所述直方图是仅表示部分动态范围的部分直方图，所述部分动态范围形成所述第一色调压缩hdr图像在色调压缩之前的全动态范围的较低子集，确定所述对应关系的步骤进一步包括：
[0264]
评估所述直方图以确定截止预色调压缩像素强度；以及
[0265]
将所述部分范围定义为最低色调压缩像素强度的数量，所述最低色调压缩像素强度的数量与不大于所述截止预色调压缩像素强度的预色调压缩像素强度的数量相等。
[0266]
eee 36.如eee 35所述的方法，所述截止预色调压缩像素强度是所述直方图的最大像素强度。
[0267]
eee 37.如eee 33至eee 36中任一项所述的方法，所述直方图的仓在对数标度上。
[0268]
eee 38.如eee 19至eee 37中任一项所述的方法，进一步包括：
[0269]
将所述第一色调压缩hdr图像和所述第二色调压缩hdr图像中的每一个分成多个非重叠空间图像区域；以及
[0270]
对于所述多个空间图像区域中的每个空间图像区域，重复执行提取所述色调压缩像素强度、生成所述第一累积分布函数、提取所述直方图、生成所述第二累积分布函数、确定所述对应关系以及线性化的步骤。
[0271]
eee 39.如eee 38所述的方法，所述线性化步骤包括：至少对于所述空间图像区域中的不同空间图像区域之间的边界的阈值距离内的每个像素，基于所述像素的位置，对针对所述空间图像区域中的不同空间图像区域所确定的所述对应关系进行空间内插。
[0272]
eee 40.如eee 38或eee 39所述的方法，所述空间图像区域中的每个空间图像区域具有相应中心位置，所述线性化步骤包括：对于每个像素并且基于所述像素的位置，对针对具有与所述像素最接近的相应中心位置的四个空间图像区域所确定的所述对应关系进行空间内插。
[0273]
eee 41.如eee 1至eee 18中任一项所述的hdr相机模块，其中，所述hdr图像传感器被配置为将所述色调压缩hdr图像输出为包括有源像素数据和元数据的相应帧，所述元数据包括预色调压缩像素强度的直方图。
[0274]
eee 42.如eee 1至eee 18或eee 41中任一项所述的hdr相机模块，其中，在所述第一色调压缩hdr图像的帧的元数据中提供从由所述hdr图像传感器生成的所述第一色调压缩hdr图像提取的预色调压缩像素强度的直方图。
[0275]
eee 43.一种电子设备，包括如eee 1至eee 18或eee 41至eee 42中任一项所述的hdr相机模块。
[0276]
eee 44.一种移动设备，包括如eee 1至eee 18或eee 41至eee 42中任一项所述的hdr相机模块。
[0277]
eee 45.如eee 43所述的电子设备或eee 44所述的移动设备，进一步包括壳体，其中，所述hdr相机模块布置在所述壳体中。
[0278]
eee 46.如eee 19至eee 40中任一项所述的方法，其中，在所述第一色调压缩hdr图像的帧的元数据中提供从所述第一色调压缩hdr图像的帧提取的预色调压缩像素强度的直方图。
[0279]
eee 47.一种非暂态计算机可读存储介质，其上存储有指令，所述指令在由处理器执行时控制所述处理器执行如eee 19至eee 40或eee 46中任一项所述的方法。