用于逆色调映射的方法和装置与流程

用于逆色调映射的方法和装置
1.技术领域
1.本发明实施方案中的至少一个实施方案整体涉及高动态范围成像领域，并且具体地讲涉及一种用于扩展低或标准动态范围图像的动态范围的方法和装置。
2.

背景技术：

2.显示技术的最新进展开始允许要显示的图像中颜色、亮度和对比度的扩展的动态范围。术语图像这里是指例如可以是视频或静态图片或图像的图像内容。
3.允许图像的亮度或明度的扩展的动态范围的技术称为高动态范围(hdr)成像。尽管已经出现了许多hdr显示设备，还有能够以增大的动态范围捕获图像的图像相机，但可用的hdr内容的数量仍然非常有限。需要允许扩展现有内容的动态范围以使得这些内容可高效地显示在hdr显示设备上的解决方案。
4.为了制备用于hdr显示设备的常规(这里称为低动态范围ldr或标准动态范围sdr)内容，可采用反或逆色调映射算子(itmo)。itmo允许通过使用处理图像中的像素的亮度信息的算法来从常规(ldr或sdr)图像生成hdr图像，其目的是回收或重新创建对应原始场景的外观。通常，itmo采用常规图像作为输入，以全局方式扩展该图像的颜色的亮度范围，并且随后局部处理高亮区或亮区以增强图像中的颜色的hdr外观。
5.尽管存在若干itmo解决方案，但它们通常聚焦于感知地再现原始场景的外观并依赖于关于内容的严格呈现。另外，文献中提出的大多数扩展方法针对动态范围的极端增大优化。
6.通常，hdr成像通过颜色的亮度的暗值与亮值之间的动态范围的扩展结合量化步骤的数量的增加来限定。为了实现动态范围的更极端的增加，许多方法将全局扩展与增强图像的高亮区和其他亮区的外观的局部处理步骤结合。文献中提出的已知全局扩展步骤从反s形变化到线性或分段线性。
7.为了增强图像中的亮局部特征，已知创建亮度扩展图，其中图像的每个像素与扩展值相关联以应用于该像素的亮度。在最简单情况下，可检测图像中的裁剪区，并且然后使用更陡的扩展曲线扩展，然而，此类解决方案不会对图像的外观提供足够的控制。
8.期望克服以上缺点。
9.特别是期望改善逆色调映射方法，从而允许改善对从常规(ldr或sdr)图像生成的hdr图像的外观的控制。还特别地期望设计具有合理的复杂性的新颖itmo。
3.

技术实现要素：

10.在第一方面，本发明实施方案中的一个或多个实施方案提供了一种方法，该方法包括：
11.获得表示称为ldr图像的低动态范围图像的柱状图；获得称为itmo函数的逆色调映射算子函数，从而允许从该ldr图像的像素值和取决于该ldr图像的该像素值的增益函数获得称为hdr图像的高动态范围图像的像素值；使用所获得的柱状图来应用搜索过程以识
别当在该ldr图像上应用该itmo函数时该ldr图像的在该hdr图像中产生亮区的区，该搜索过程包括：定义该柱状图的称为带的子部分，以及计算每个带的称为群体的贡献和像素数量，每个贡献表示在应用由该带所表示的像素发射的该itmo函数之后的光能；在该贡献中识别至少一个局部最大值，并且对于每个局部最大值，将称为候选的对应带与相邻带聚合；在该群体中识别至少一个局部最大值，并且对于每个局部最大值，将称为候选群体的对应带与相邻带聚合；创建来自每个聚合候选群体的独立于任何聚合候选的聚合候选；根据表示每个聚合候选的信息从该聚合候选中选择至少一个最终候选，该信息包括表示由该聚合候选所表示的像素发射的光能和表示由该聚合候选所表示的像素数量的信息；以及，使用该最终聚合候选应用确定过程来确定何时修改该增益函数以确保该hdr图像遵守至少一个预定义光能约束。
12.在实施方案中，像素值是亮度值。
13.在实施方案中，该至少一个预定义光约束包括maxfall约束和/或漫射白色约束。
14.在一个实施方案中，选择该至少一个最终聚合候选包括：选择与表示光能的信息的最高值相关联的聚合候选子集，从表示最高数量的像素的该子集的该聚合候选中选择该至少一个最终聚合候选。
15.在实施方案中，该确定过程包括：
16.确定称为最终像素值的表示该至少一个最终聚合候选的像素值；使用该itmo函数从该最终像素值计算表示扩展像素值的值；以及，执行适于当该扩展像素值高于表示预定义漫射白色约束值的光能约束时修改该增益函数的修改过程。
17.在实施方案中，sdr图像是图像序列中的当前图像，并且该最终像素值使用针对在该图像序列中的该当前图像之前的至少一个图像计算的至少一个最终像素值在时间上进行滤波。
18.在实施方案中，该确定过程包括：
19.执行适于当表示该hdr图像的maxfall的值高于表示预定义maxfall约束的光能约束时修改该增益函数的修改过程。
20.在实施方案中，表示该hdr图像的maxfall的该值是所计算的贡献的和。
21.在第二方面，本发明实施方案中的一个或多个实施方案提供了一种设备，其中该设备包括电子电路系统，该电子电路系统适于：
22.获得表示称为ldr图像的低动态范围图像的柱状图；获得称为itmo函数的逆色调映射算子函数，从而允许从该ldr图像的像素值和取决于该ldr图像的该像素值的增益函数获得称为hdr图像的高动态范围图像的像素值；使用所获得的柱状图来应用搜索过程以识别当在该ldr图像上应用该itmo函数时该ldr图像的在该hdr图像中产生亮区的区，该搜索过程包括：定义该柱状图的称为带的子部分，以及计算每个带的称为群体的贡献和像素数量，每个贡献表示在应用由该带所表示的像素发射的该itmo函数之后的光能；在该贡献中识别至少一个局部最大值，并且对于每个局部最大值，将称为候选的对应带与相邻带聚合；在该群体中识别至少一个局部最大值，并且对于每个局部最大值，将称为候选群体的对应带与相邻带聚合；创建来自每个聚合候选群体的独立于任何聚合候选的聚合候选；根据表示每个聚合候选的信息从该聚合候选中选择至少一个最终候选，该信息包括表示由该聚合候选所表示的像素发射的光能和表示由该聚合候选所表示的像素数量的信息；以及，使用
该最终聚合候选应用确定过程来确定何时修改该增益函数以确保该hdr图像遵守至少一个预定义光能约束。
23.在实施方案中，像素值是亮度值。
24.在实施方案中，该至少一个预定义光约束包括maxfall约束和/或漫射白色约束。
25.在实施方案中，为了选择至少一个最终聚合候选，该设备还适于：选择与表示光能的信息的最高值相关联的聚合候选子集，从表示最高数量的像素的该子集的该聚合候选中选择该至少一个最终聚合候选。
26.在实施方案中，为了应用该确定过程，该设备还适于：确定称为最终像素值的表示该至少一个最终聚合候选的像素值；使用该itmo函数从该最终像素值计算表示扩展像素值的值；以及，执行适于当该扩展像素值高于表示预定义漫射白色约束值的光能约束时修改该增益函数的修改过程。
27.在实施方案中，sdr图像是图像序列中的当前图像，并且该最终像素值使用针对在该图像序列中的该当前图像之前的至少一个图像计算的至少一个最终像素值在时间上进行滤波。
28.在实施方案中，为了应用该确定过程，该设备还被配置成：执行适于当表示该hdr图像的maxfall的值高于表示预定义maxfall约束的光能约束时修改该增益函数的修改过程。
29.在实施方案中，表示该hdr图像的maxfall的该值是所计算的贡献的和。
30.在第三方面，本发明实施方案中的一个或多个实施方案提供了一种装置，该装置包括根据第二方面的设备。
31.在第四方面，本发明实施方案中的一个或多个实施方案提供了一种信号，该信号通过第一方面的方法或通过第二方面的设备或第三方面的装置生成。
32.在第五方面，本发明实施方案中的一个或多个实施方案提供了一种计算机程序，该计算机程序包括用于实现根据第一方面的方法的程序代码指令。
33.在第六方面，本发明实施方案中的一个或多个实施方案提供了一种信息存储装置，该信息存储装置存储用于实现根据第一方面的方法的程序代码指令。
4.附图说明
34.图1示出了其中可实现以下描述的实施方案的上下文的示例；
35.图2示意性地示出了能够实现各个方面和实施方案的处理模块的硬件架构的示例；
36.图3示出了其中实现了各个方面和实施方案的系统的示例的框图；
37.图4示意性地示出了改善逆色调映射的方法的各种第一实施方案的高级表示；
38.图5示意性地示出了改善逆色调映射的方法的第一方面的细节；
39.图6示意性地示出了改善逆色调映射的方法的第二方面的细节；
40.图7示意性地示出了改善逆色调映射的方法的第三方面的细节；
41.图8示意性地示出了改善逆色调映射的方法的第三方面的细节；
42.图9a、图9b和图9c表示三个不同itm曲线；并且，
43.图10示意性地示出了改善逆色调映射的方法的各种第二实施方案的高级表示；
5.具体实施方式
44.存在不同种类的逆色调映射方法。例如，在局部色调映射算法领域中，专利申请wo2015/096955公开了一种方法，该方法对于图像的每个像素p包括获得像素扩展指数值e(p)的步骤并且然后是将像素p的亮度y(p)的逆色调映射到如下扩展亮度值y
exp
(p)的步骤：
45.y
exp(p)
＝y(p)
e(p)
×
[y
enhance
(p)]
ꢀꢀ
(方程1)
[0046]
其中：
[0047]
·yexp
(p)是像素p的扩展亮度值。
[0048]
·
y(p)是sdr(或ldr)输入图像内的像素p的亮度值。
[0049]
·yenhance(p)
是sdr(或ldr)输入图像内的像素的亮度增强值p。
[0050]
·
e(p)是像素p的像素扩展指数值。
[0051]
图像的所有像素的一组值e(p)形成图像的扩展指数图或扩展图或扩展函数或增益函数。可通过不同方法生成该扩展指数图。例如，方法包括低通滤波每个像素p的亮度值y(p)以获得低通滤波亮度值y
low
(p)并将二次函数应用于低通滤波亮度值，该二次函数根据以下方程由参数a、b和c定义：
[0052]
e(p)＝a[y
low
(p)]2 b[y
low
(p)] c
[0053]
基于wo2015/096955的促成硬件具体实施的另一种方法使用以下方程：
[0054][0055]
以上方程可如下表达：
[0056][0057]
其中参数d可例如设置为d＝1.25。y
enhance(p)
在这种情况下是图像亮度值y(p)和该亮度值的低通版本y
low(p)
两者的函数。
[0058]
文档itu-r bt.2446-0揭露了用于通过使用以下相同种类的公式将sdr内容转换为hdr内容的方法：
[0059]y′
exp
(p)＝y
″
(p)
e(y
″
(p))
[0060]
其中
[0061]
·y′
在[0
……
1]范围内
[0062]
·y″
＝255.0
×y′
[0063]
·
当y
″
≤t时，e＝α1y
″2 b1y
″
c1，
[0064]
·
当y
″
》t时，e＝α2y
″2 b2y
″
c2[0065]
·
t＝70
[0066]
·
α1＝1.8712e-5，b1＝-2.7334e-3，c1＝1.3141
[0067]
·
α2＝2.8305e-6，b2＝-7.4622e-4，c2＝1.2528
[0068]
如可从以上看出，扩展是基于幂函数，其指数取决于当前像素的亮度值或取决于该亮度值的滤波版本。
[0069]
更一般地，所有全局扩展方法可表达为不同于零的所有输入值的以下形式的itm函数(对于在输入处为零，输出逻辑上为零)：
[0070]yexp
＝y
g(y)
ꢀꢀꢀ
(方程2)
[0071]
其中g()是y的增益函数。
[0072]
以相同方式，所有局部扩展方法可针对不同于零的所有输入值以以下方式表达：
[0073][0074]
其中yf是y的滤波版本，g()是yf的增益函数，并且y
enhance
是y及其周围像素ysi的函数。
[0075]
在两种情况下(全局或局部)，扩展函数是单调的，以便与输入sdr图像一致。
[0076]
一些逆色调映射方法基于预定扩展参数(如例如itu-r bt.2446-0文档中所述)来使用增益函数g()(也称为扩展函数)，而无需对图像内容的任何适配。专利申请ep3249605公开了一种用于图像的逆色调映射的方法，该方法可自动适应于图像内容到色调图。该方法使用形成模板的一组配置文件。这些配置文件在作为离线处理的学习阶段中预定。每个配置文件由与增益函数相关联的视觉特征诸如亮度柱状图限定。
[0077]
在学习阶段中，从由手动设置逆色调映射参数的比色师手动分级并生成这些图像的增益函数的大量参考图像确定配置文件。然后，基于这些生成的增益函数来对参考图像进行集群。处理每个集群，以便提取表示性亮度柱状图和与其相关联的表示性增益函数，从而形成从该集群发出的配置文件。
[0078]
当接收到新sdr内容时，确定sdr内容的sdr图像的柱状图。然后，将每个计算的柱状图与从学习阶段发出的保存在模板中的柱状图中的每个柱状图进行比较，以便找到模板的最佳匹配柱状图。例如，计算在所计算的柱状图与保存在模板中的柱状图中的每个柱状图之间的距离。然后，选择与模板的给出与所计算的柱状图的最佳匹配的柱状图相关的增益函数，并且将其用于对对应于所计算的柱状图的图像(或多个图像)执行逆色调映射。以此方式，应用适于sdr图像的模板的最佳增益函数来输出对应hdr图像。
[0079]
尽管如此，即使在最佳增益函数的情况下，并且更不用说在固定增益函数的情况下，也会获得一些特定图像中的一些亮度范围的不良分级。具体地，sdr图像中的宽区上的高亮部分或亮部分可能使hdr图像中产生过亮的区。因此，一些hdr显示设备可能能够正确显示这些hdr图像，因为它们超过其功率容量。要处置这种hdr图像，一些显示设备应用或多或少高效的算法来局部或全局减小hdr图像的亮度。显示器的这种容量称为显示器的maxfall，以尼特为单位表达(即，坎德拉/m2(cd/m2))，并且可被定义为最大帧平均光级(即，图像的最大平均亮度水平)。maxfall也可被认为是查看者侧：大亮区可使查看者感到目眩或至少使其hdr图像查看体验令人不愉快。
[0080]
在另一侧，已经做出一些推荐，如文档itu-r bt.2408-1中的推荐，这些推荐尤其引入在受控的工作室照明下在“1000”cd/m2(标称峰亮度)显示器上的基于pq(感知量化)方法的生产和基于hlg(混合对数伽玛)方法的生产的“203”尼特的参考水平或漫射白色的概念。读取器可指用于在hlg和pq方法上的更高精度的推荐itu-r bt.2100。hdr参考白色的信号水平指定与sdr“峰白色”的信号水平不相关。在另一侧，文档itu-r bt.2408-1的目的是在从基于hlg的实况广播提取的第一组图像中以及在第二组测试图像中的参考水平的分析的附录“2”总结出：
[0081]“该报告的表1中203cd/m2的hdr参考白色水平与在本附录中分析的内容中测量的平均漫射白色一致。然而，在两种不同内容源中的漫射白色的标准偏差大，这表明漫射白色
在均值周围的显著扩散。”[0082]
这些标准偏差(对于所假定的“1000”cd/m2信号)对于第一组，转变到在约“123”与“345”cd/m2(即，均值
±
一个标准偏差)之间的范围，并且对于第二组，转变到在约“80”与“700”cd/m2(即，均值
±
一个标准偏差)之间的范围。这意味着漫射白色的这种概念是要解决的困难概念，并且其水平值可在很大程度上根据内容而变化。
[0083]
以下实施方案中的至少一个实施方案旨在通过以下方式改善至少一个输入sdr图像的逆色调映射：
[0084]
1.确保扩展输出hdr图像的maxfall或maxfall的至少明区部分将不超过(或将接近)预定义maxfall值；以及/或者
[0085]
2.一直在输出hdr图像中跟踪可能是漫射白色区的大亮区，并且(如果是)根据其大小确保其平均亮度值接近预定义目标漫射白色值，只要是该平均亮度值高于预定义目标漫射白值即可。
[0086]
maxfall约束和漫射白色约束可被视为输出hdr图像的光能限制。
[0087]
因此，本发明旨在根据扩展hdr图像的内容减小其总体亮度，而不会升高该总体亮度。
[0088]
图1示出了其中可实现以下描述的实施方案的上下文的示例。
[0089]
在图1中，可以是相机的设备1、存储设备、计算机或能够递送sdr内容的任何设备使用通信信道2将sdr内容传输到系统3。通信信道2可以是有线的(例如，以太网)或无线(例如wifi、3g、4g或5g)网络链路。
[0090]
sdr内容包括固定图像或视频序列。
[0091]
系统3将sdr内容转换为hdr内容，即，将逆色调映射应用于sdr内容以获得hdr内容。
[0092]
然后，使用可以是有线或无线网络的通信信道4将所获得的hdr内容传输到显示系统5。显示设备然后显示hdr内容。
[0093]
在实施方案中，系统3被包括在显示系统5中。
[0094]
在实施方案中，设备1、系统3和显示设备5全部被包括在同一系统中。
[0095]
在实施方案中，显示系统5由存储hdr内容的存储设备替换。
[0096]
图2示意性地示出了被包括在系统3中并能够实现不同方面和实施方案的处理模块30的硬件架构的示例。作为非限制性示例，处理模块30包括由通信总线305连接的以下项：包含一个或多个微处理器的处理器或cpu(中央处理单元)300、通用计算机、专用计算机和基于多核心架构的处理器；随机存取存储器(ram)301；只读存储器(rom)302；存储单元303，该存储单元可包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(eeprom)、只读存储器(rom)、可编程只读存储器(prom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、磁盘驱动器和/或光盘驱动器，或者存储介质读取器，诸如sd(安全数字)卡读取器和/或硬盘驱动器(hdd)和/或网络可访问存储设备；至少一个通信接口304，该至少一个通信接口用于与其他模块、设备、系统或装备交换数据。通信接口304可包括但不限于被配置成通过通信信道发射和接收数据的收发器。通信接口304可包括但不限于调制解调器或网卡。
[0097]
通信接口304使得例如处理模块30能够接收sdr内容并提供hdr内容。
[0098]
处理器300能够执行从rom 302、外部存储器(未示出)、存储介质或通信网络加载到ram 301中的指令。当处理模块30上电时，处理器300能够从ram 301读取指令并执行这些指令。这些指令形成计算机程序，该计算机程序致使例如处理器300实现以下关于图4描述的逆色调映射方法。
[0099]
该逆色调映射方法的全部或部分算法和步骤可通过由诸如dsp(数字信号处理器)或微控制器的可编程机器执行一组指令而以软件形式实现，或者可通过诸如fpga(现场可编程门阵列)或asic(专用集成电路)的机器或专用部件而以硬件形式实现。
[0100]
图3示出了其中实现了各个方面和实施方案的系统3的示例的框图。系统3可体现为包括以下描述的各种部件的设备，并且被配置成执行本文档描述的一个或多个方面和实施方案。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视机接收器、个人视频录制系统、连接的家用电器和服务器。系统3的元件可单独地或组合地体现在单个集成电路(ic)、多个ic和/或分立部件中。例如，在至少一个实施方案中，系统3包括实现逆色调映射方法的一个处理模块30。在各种实施方案中，系统3经由例如通信总线或通过专用输入和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。
[0101]
处理模块30的输入可通过如框32所示的各种输入模块来提供。此类输入模块包括但不限于：(i)射频(rf)模块，其接收例如由广播器通过空中传输的rf信号；(ii)分量(comp)输入模块(或一组comp输入模块)；(iii)通用串行总线(usb)输入模块；和/或(iv)高清晰度多媒体接口(hdmi)输入模块。图3中未示出的其他示例包括复合视频。
[0102]
在各种实施方案中，框32的输入模块具有如本领域所已知的相关联相应输入处理元件。例如，rf模块可与适用于以下的元件相关联：(i)选择所需的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据包流。各种实施方案的rf模块包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。rf部分可包括执行这些功能中的各种功能的调谐器，这些功能包括例如下变频接收信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，rf模块及其相关联的输入处理元件接收通过有线(例如，电缆)介质发射的rf信号，并且通过滤波、下变频和再次滤波至所需的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模数变换器。在各种实施方案中，rf模块包括天线。
[0103]
另外，usb和/或hdmi模块可包括用于跨usb和/或hdmi连接将系统3连接到其他电子设备的相应接口处理器。应当理解，输入处理(例如reed-solomon纠错)的各个方面可根据需要例如在单独的输入处理ic内或在处理模块30内实现。类似地，usb或hdmi接口处理的各方面可根据需要在单独的接口ic内或在处理模块30内实现。解调、纠错和解复用的流被提供给处理模块30。
[0104]
系统3的各种元件可设置在集成壳体内。在集成壳体内，各种元件可使用合适的连接布置(例如，本领域已知的内部总线，包括ic间(i2c)总线、布线和印刷电路板)互连并且
在这些元件之间传输数据。例如，在系统3中，处理模块30通过总线305与该系统3的其他元件互连。
[0105]
处理模块30的通信接口304允许系统3在通信信道2上通信。例如，可在有线和/或无线介质中实现通信信道2。
[0106]
在各种实施方案中，使用诸如wi-fi网络，例如ieee 802.11(ieee是指电气和电子工程师协会)之类的无线网络将数据流式发射或以其他方式提供给系统3。这些实施方案中的wi-fi信号通过适用于wi-fi通信的通信信道2和通信接口304进行接收。这些实施方案的通信信道3通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以用于允许流式应用和其他云上通信。其他实施方案使用通过输入块32的hdmi连接传递数据的机顶盒向系统3提供流式数据。还有其他实施方案使用输入块32的rf连接向系统3提供流式数据。如上所述，各种实施方案以非流式的方式提供数据。另外，各种实施方案使用除了wi-fi以外的无线网络，例如蜂窝网络或蓝牙网络。
[0107]
系统3可将输出信号提供到各种输出设备，包括显示器5、扬声器6和其他外围设备7。各种实施方案的显示器5包括例如触摸屏显示器、有机发光二极管(oled)显示器、曲面显示器和/或可折叠显示器中的一者或多者。显示器5可用于电视机、平板电脑、膝上型计算机、蜂窝电话(移动电话)或其他设备。显示器5还可与其他部件集成在一起(例如，如在智能电话中)，或者是单独的(例如，笔记本电脑的外部监视器)。显示设备5是hdr内容兼容的。在实施方案的各种示例中，其他外围设备7包括独立数字视频光盘(或数字通用光盘，两个术语都是dvr)、光盘播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用提供基于系统3的输出的功能的一个或多个外围设备7。例如，盘播放器执行播放系统3的输出的功能。
[0108]
在各种实施方案中，控制信号使用诸如av.link、消费电子产品控制(cec)或其他通信协议的信令在系统3与显示器5、扬声器6或其他外围设备7之间传送，该其他通信协议使得能够在有或没有用户干预的情况下进行设备到设备控制。输出设备可通过相应接口33、34和35经由专用连接通信地耦接到系统3。另选地，输出设备可使用通信信道2经由通信接口304连接到系统3。显示器5和扬声器6可与电子设备(诸如电视机)中的系统3的其他部件集成在单个单元中。在各种实施方案中，显示器接口5包括显示驱动器，诸如例如定时控制器(tcon)芯片。
[0109]
例如，如果输入32的rf部分是单独机顶盒的一部分，则显示器5和扬声器6可另选地与其他部件中的一个或多个部件分开。在显示器5和扬声器6为外部部件的各种实施方案中，输出信号可经由专用输出连接(包括例如hdmi端口、usb端口或comp输出)提供。
[0110]
各种实施方案涉及应用逆色调映射方法。如本技术中所用，逆色调映射可涵盖例如对所接收的sdr图像或视频流执行的过程的全部或部分，以便产生适于显示的最终hdr输出。在各种实施方案中，此类过程包括通常由图像或视频解码器执行的过程中的一个或多个过程，该图像或视频解码器例如由称为联合视频专家组(jvet)的itu-t和iso/iec专家联合协作组开发的jpeg解码器或h.264/avc(iiso/iec 14496-10
–
mpeg-4part 10、高级视频编码)、h.265/hevc(iso/iec 23008-2
–
mpeg-h part 2、高效视频编码/itu-t h.265)或h.266/vvc(通用视频编码)解码器。
[0111]
当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图
呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。
[0112]
本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实施，
[0113]
该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、手机、便携式/个人数字助理(“pda”)以及便于最终用户之间信息通信的其他设备。
[0114]
提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本技术通篇的各个地方的任何其他变型不一定都是指相同的实施方案。
[0115]
另外，本技术可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息、从存储器检索信息或例如从另一设备、模块或从用户获得信息中的一者或多者。
[0116]
此外，本技术可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。
[0117]
另外，本技术可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。
[0118]
应当理解，例如，在“a/b”、“a和/或b”以及“a和b中的至少一者”、“a和b中的一者或多者”的情况下，使用以下“/”、“和/或”以及“至少一种”、“一者或多者”中的任一种旨在涵盖仅选择第一列出的选项(a)，或仅选择第二列出的选项(b)，或选择两个选项(a和b)。作为进一步的示例，在“a、b和/或c”和“a、b和c中的至少一者”、“a、b和c中的一者或多者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(a)，或仅选择第二列出的选项(b)，或仅选择第三列出的选项(c)，或仅选择第一列出的选项和第二列出的选项(a和b)，或仅选择第一列出的选项和第三列出的选项(a和c)，或仅选择第二列出的选项和第三列出的选项(b和c)，或选择所有三个选项(a和b和c)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。
[0119]
对于本领域的普通技术人员将显而易见的是，具体实施或实施方案可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施或实施方案中的一个具体实施或实施方案产生的数据。例如，可格式化信号以携带所述实施方案的hdr图像或视频序列。可格式化此类信号例如为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如以编码视频流对hdr图像或视频序列进行编码以及使用编码流调制载波。信号携带的信息可以是例如模拟或数字信息。已知的是，信号可通过各种不同的有线或无线链路发射。信号可存储在处理器可读介质上。
[0120]
图4示意性地示出了逆色调映射方法的各种第一实施方案的高级表示。图4的实施
方案的目的是遵守漫射白色约束。
[0121]
在图4中，逆色调映射方法由处理模块30执行。
[0122]
在步骤40中，处理模块30获得当前输入sdr图像。当前输入sdr图像是视频序列的静止图像或图像。以下，假设增益函数g()(如方程2和3中所示)已经针对当前输入sdr图像定义。以下实施方案中的至少一个实施方案的目标是修改对应于该增益函数g()的增益曲线(或等同地修改增益函数g())以使其适于漫射白色约束。
[0123]
在步骤41中，处理模块30计算表示当前输入sdr图像的柱状图(例如在当前输入sdr图像上或在当前输入sdr图像的滤波版本上直接计算柱状图)。当前输入sdr图像的柱状图用于识别感兴趣亮区，以下，该感兴趣亮区称为瓣。当前输入sdr图像假定为γ化的(非线性)。
[0124]
在实施方案中，柱状图包括数量为nbofbins的箱，nbofbins为整数，例如“64”的倍数。例如，nbofbins＝256。
[0125]
作为示例，在文档的其余部分中，itmo的目标lmax(即，目标最高亮度值)是“1000”尼特，并且当前输入sdr图像假定为“10”位图像，其中值“1023”对应于100尼特。需注意，已经选择“10”位以说明方法，但是如果使用“8”位图像，则应当应用“4”倍简单缩放。
[0126]
在这种情况下，itmo函数可写成如下：
[0127][0128]
其中y
′
sdr
是当前输入sdr图像的亮度值，并且y
′
hdr
是输出hdr图像的亮度值。亮度值y
′
sdr
(无论其位数如何)都在范围[0；255]内归一化。以相同方式，如果lmax为“1000”尼特，则亮度值y
′
hdr
(无论其位数如何)都在范围[0；1000]内归一化。
[0129]y′
sdr
和y
′
hdr
两者是γ化的，并且y
sdr
和y
hdr
两者是线性的，例如：
[0130]ysdr
＝(y
sdr
'/255)
2.4
×
100
[0131]yhdr
＝(y
hdr
'/1000)
2.4
×
1000
[0132]
在步骤42中，处理模块30获得增益函数g()。一旦获得，增益函数g()允许从方程4的itmo函数获得itm曲线。
[0133]
图9a、图9b和图9c表示目标为用方程4获得的“1000”尼特显示器的itm曲线的三个示例。sdr输入处于范围[0
……
255](这意味着它必须在范围[0；255]内归一化，如果它不是“8”位图像的话)，并且输出在范围[0；1000]内。图9a的曲线示出了最大输入值“255”(对应于“100”尼特sdr)产生等于在线性化时是“1000”尼特的“1000”的输出。图9b的曲线示出了最大值为约“700”，其对应于在线性化时的“425”尼特，并且图9c的曲线示出了约“1200”的最大值，其对应于在线性化时的“1550”尼特。
[0134]
可从图9a、图9b和图9c中看出，如果sdr图像是白色图像(如果sdr图像是“10”位图像，则所有像素的亮度值为“1023”)，则对应于图9a的hdr图像的maxfall为“1000”尼特，对应于图9b的hdr图像的maxfall为“425”尼特，并且对应于图9c的hdr图像的maxfall为“1550”尼特。
[0135]
在步骤43中，处理模块30应用搜索过程，该搜索过程旨在识别当前输入sdr图像的产生通过逆色调映射方法生成的输出hdr图像中的瓣(即，感兴趣亮区)的区。
[0136]
可观察到，输出hdr图像中的大量光可由当前输入sdr图像的亮度值是中等(例如“180”与最大输入亮度“255”)的大量输入像素或亮度值高(即，约“250”)的更少量的输入像素产生。例如(使用lmax＝“1000”尼特)，如果假定增益函数g()＝1.25(无论输入亮度如何)：
[0137]
·yhdr
(180)＝368尼特；
[0138]
·yhdr
(255)＝1046尼特。
[0139]
然后，以“255”为中心的区将产生与以“180”为中心的区相同量的光，但是其像素数量至多大三倍(实际上1046＝2.8*368)。这意味着该方法必须在柱状图中搜索输出hdr图像中的瓣还有像素的瓣(或群体瓣)。
[0140]
下文关于图5详述步骤43。
[0141]
在步骤400中，处理模块确定是否遵守漫射白色约束。步骤400包括子步骤44、45和46。
[0142]
在步骤44中，处理模块30计算表示当前输入sdr图像的所识别的区中的至少一个所识别的区的亮度值yposdw。下文关于图6详述步骤44的实施方案。
[0143]
在步骤45中，处理模块30计算亮度值yposdw的扩展亮度值yexpdw。下文关于图7详述步骤45。
[0144]
在步骤46中，处理模块使用扩展亮度值yexpdw确定是否遵守漫射白色约束。为此，将扩展亮度值yexpdw与漫射白色约束值dwtarget进行比较。漫射白色约束值dwtarget例如是取决于旨在显示对应于当前输入sdr图像的hdr图像的显示设备和/或该hdr图像显示的房间中的环境光和/或由预期所显示的hdr图像的用户给出的参数的预定义值。
[0145]
如果扩展亮度值yexpdw低于或等于漫射白色约束值dwtarget，则不修改对应于增益函数g()的增益曲线(或等同地是增益函数g())并且在步骤47中使用方程4的itmo函数生成输出hdr图像。否则，如果扩展亮度值yexpdw高于漫射白色约束值dwtarget，则在步骤48中定义经修改增益曲线(即，用增益函数g()获得的增益曲线g的修改版本或等同地是用经修改增益曲线g'()获得的经修改增益曲线g
′
)并使用该经修改增益曲线修改通过方程4的itmo函数获得的亮度值y
′
hdr
来生成输出hdr图像。下文关于图8详述步骤48。
[0146]
图5示意性地示出了逆色调映射方法的步骤43的详细实施方案。
[0147]
在步骤4300中，处理模块计算柱状图的每个带的贡献(下文也称为contrib或能量)。带是柱状图的一组连续箱。在包括“256”个箱的柱状图的示例中，每个带包括四个箱，因此柱状图被划分为相等大小的“64”个带。如果当前输入sdr图像按“10”位编码，则每个箱包含四个亮度值y
′
sdr
。柱状图的第一带收集从“0”至“15”的输入亮度值y
′
sdr
，第32带收集从“496”至“511”的输入亮度值y
′
sdr
，并且第64带收集从“1008”至“1023”的输入亮度值y
′
sdr
。带的贡献表示在应用由对应于该贡献的像素发射的方程4的itmo函数之后的光能，即，由该带表示的像素发射的能量。第ncontrib然后定义为：
[0148]
contrib[n]＝(∑i(∑jy
hdr
(j))
×
histo[i])/(sumofbins
×
a)
ꢀꢀꢀꢀ
(方程5)
[0149]
其中n从“0”至“63”变化，并且其中：
[0150]
·
i是从n
×
nbofbins/64至(n 1)
×
nbofbins/64-1变化的整数。
[0151]
·
a＝(ymax 1)/(nbofbins)，ymax是输入图像的最大可能的代码值；
[0152]
·
j在范围[a*i；a*(i 1)
–
1]内；
[0153]
·
nbofbins是柱状图的箱数量(在示例中，＝256)。
[0154]
·yhdr
是用方程4计算的输出亮度值y
′
hdr
的线性化版本。
[0155]
·
sumofbins＝∑histo[k]其中k是从0至nbofbins-1变化的整数。
[0156]
sumofbins表示已经计算了柱状图的像素的总数。
[0157]
在输入按“8”位编码的情况下，以上方程5可如下简化：
[0158]
contrib[n]＝∑y
hdr
(j)
×
histo[i]/sumofbins
ꢀꢀꢀ
(方程5’)
[0159]
其中n从“0”至“63”变化。
[0160]
在步骤4300的变体中，仅针对柱状图的带的子集(例如针对两个带中的一个带或三个带中的一个带)计算贡献。
[0161]
在步骤4301中，处理模块30计算每个贡献的群体(contribpop)：
[0162]
contribpop[n]＝∑histo[i]
ꢀꢀꢀ
(方程6)
[0163]
其中i是从n
×
nbofbins/64至(n 1)
×
nbofbins/64-1变化的整数。
[0164]
在步骤4302中，处理模块30识别表示一组贡献集中的高能量区的局部最大值。带n的贡献contrib[n]在其值大于其两个相邻带(即，通常是带n-1和带n 1)的贡献的值的情况下被认为是局部最大值。换句话说，如果是以下条件的话，则贡献contrib[n]为局部最大值：
[0165]
contrib[n]》contrib[n-1]且contrib[n]》contrib[n 1]
[0166]
需注意，对于排名最高的贡献(这里是contrib[63]，则条件是contrib[63]》contrib[62]。在下文中，对应于表示局部最大值的贡献的带称为候选。
[0167]
在步骤4303中，处理模块30将聚合过程应用于候选。在聚合过程期间，如下将对应于每个候选的带与在左侧的ln个相邻带的最大值和在右侧的rn个相邻带的最大值聚合(这使最大总宽度为ln rn 1)：
[0168]
·
对于在左侧的ln个相邻带，处理模块30在[1；ln]中搜索最小ln值，
[0169]
其满足：
[0170]
οcontrib[n-ln]》0.2
×
contrib[n]，并且；
[0171]
οcontrib[n-ln]《1.025
×
contrib[n-ln 1]。
[0172]
如果未找到该值，则ln＝0。
[0173]
·
类似地，对于在右侧的rn个相邻带，处理模块30在[1；rn]中搜索最小rn值，其满足：
[0174]
οcontrib[n rn]》0.2
×
contrib[n]，并且；
[0175]
οcontrib[n rn]《1.025
×
contrib[n rn-1]。
[0176]
其中ln rn≤63。如果未找到该值，则rn＝0。
[0177]
在n-ln与n rn之间进行聚合。
[0178]
在实施方案中，ln＝rn＝5。
[0179]
在候选周围的带的聚合通过以下事实促成：大亮区(如天空中的云、书中的页面的特写、穿亮色衣服的人物、白色动物等)是不均匀地白色的，但是通常表现出围绕中间值的一些分散，这可通过具有一定宽度的瓣表征。
[0180]
需注意，值“0.2”和“1.025”是示例，并且可改变为其他密切值。
[0181]
在步骤4304中，处理模块30存储表示该候选的每个候选信息。在一个实施方案中，
所述存储的信息包括柱状图中的聚合带的最低位置和最高位置，以及聚合带的命名为候选的能量的贡献的和。
[0182]
在步骤4305中，处理模块30搜索与贡献相关联的群体contribpop(在步骤4301中计算)中的局部最大值。群体contribpop[n]在其遵守以下条件的情况下为局部最大值：
[0183]
contribpop[n]》contribpop[n-1]并且contribpop[n]》contribpop[n 1]
[0184]
需注意，对于排名最高的群体(这里是contribpop[63]，则条件是contribpop[63]》contribpop[62]。
[0185]
在步骤4306中，处理模块30将聚合过程应用于对应于在群体contribpop中识别出的局部最大值的带(称为candidatepop)。在步骤4306期间应用在candidatepop上的聚合过程与在步骤4303期间应用在候选上的聚合过程相同。
[0186]
在步骤4307中，处理模块30验证至少一个聚合候选群体candidatepop是否独立于任何识别的聚合候选。独立意味着该聚合候选群体不与任何识别的聚合候选共享任何贡献位置。
[0187]
如果存在至少一个独立聚合候选群体candidatepop，则在步骤4308中，处理模块30通过指定每个独立聚合候选群体candidatepop是聚合候选来终止聚合候选识别，即，对于每个独立聚合候选群体，处理模块30从该独立聚合候选群体创建聚合候选。这可在能量略微增加到就更高亮度值来说定位得更远的能量最大值时发生。然而，该区可嵌入在候选群体candidatepop周围并潜在地表示大量能量的大量像素。
[0188]
在步骤4309中，一旦已经识别出所有聚合候选，处理模块30就从所识别的聚合候选中选择具有最高能量的数量n_cand个聚合候选。换句话说，在步骤4309中，处理模块选择包括发射最多光能的像素的n_cand个聚合候选。在实施方案中，数量n_cand＝5。对于n_cand个所选择的聚合候选中的每个所选择的聚合候选，处理模块30存储表示该所选择的聚合候选的信息，包括例如：
[0189]
·
聚合候选的最低位置，其命名为lopos(即，对应于以上定义的值n-nr)；
[0190]
·
聚合候选的最高位置，其命名为hipos(即，对应于以上定义的值n h)；
[0191]
·
聚合候选的中心的位置，其命名为maxenergypos，即，候选本身的位置(即，如以上所定义的值n)；
[0192]
·
表示聚合候选的能量的信息，其命名为能量(即，聚合候选中的所有贡献的和)；
[0193]
·
聚合候选的群体(即，从位置lopos到位置hipos的聚合候选中包括的柱状图的所有箱的和除以sumofbins)，其命名为群体。
[0194]
在步骤4310中，处理模块30在一组n_cand个所选择的聚合候选中选择具有最大群体的n_cand_max_pop(n_cand_max_pop》1且n_cand_max_pop《n_cand)个聚合候选。
[0195]
在实施方案中，n_cand_max_pop＝2。在这种情况下，如果在步骤4310中选择的两个聚合候选(下文表示为cp1和cp2)重叠，即：
[0196]
·
lopos[cp1]《hipos[cp2]，如果maxenergypos[cp1]》maxenergypos[cp2]；或者，
[0197]
·
lopos[cp2]《hipos[cp1]，如果maxenergypos[cp1]《maxenergypos[cp2]；
[0198]
合并两个聚合候选(即，合并能量和群体)，并且处理模块30在n_cand个所选择的聚合候选中选择具有第三群体的聚合候选。
[0199]
如可看出，处理模块30在应用图5的过程时在就能量方面的n_cand个最大区中就
群体(即，像素数量)方面选择n_cand_max_pop个最大区：这遵循输出hdr图像中的大量光可由大量输入像素产生的以上构思。通过找到就能量方面的n_cand个第一聚合候选，处理模块30获得n_cand个主瓣，并且然后选择收集最大数量的像素的n_cand_max_pop个主瓣。需注意，n_cand个第一能量瓣可以很小(并甚至不存在)以及n_cand_max_pop个第一群体：如果输入图像是暗图像，就将是这种情况。
[0200]
如下文将描述，如果具有增益函数g()的tmo函数应用于当前输入sdr图像，则n_cand_max_pop个聚合候选用于确定输出hdr图像是否不遵守漫射白色约束风险。因此，n_cand_max_pop个聚合候选用于确定何时修改增益函数g()(或等同地，使用增益函数获得的增益曲线)以确保输出hdr图像遵守预定义光能约束(漫射白色)。
[0201]
图6示意性地示出了逆色调映射方法的步骤44的详细实施方案。
[0202]
在步骤4400中，处理模块30确定表示具有最大群体的所选择的n_cand_max_pop候选的亮度值yposdw。
[0203]
当n_cand_max_pop＝2时，处理模块30应用以下算法以确定亮度值yposdw：
[0204]
·
在对应于cp1(其在其中柱状图包括“64”个相等大小的连续带和“256”个箱的先前示例中含有四个箱)的位置maxenergypos的带中，搜索柱状图中的箱最高的输入亮度值y
in
，并且将该输入亮度值命名为firstpopy。
[0205]
·
在对应于cp2的位置maxenergypos的带中，搜索柱状图中的箱最高的输入亮度值y
in
，并且将该输入亮度值命名为secondpopy。
[0206]
·
如下确定亮度值yposdw：
[0207]
yposdw＝firstpopy enbypopcoef
×
(secondpopy-firstpopy)(方程7)
[0208]
其中
[0209]
οenbypopcoef＝
[0210]
secondenbypop/(firstenbypop secondenbypop)；
[0211]
οfirstenbypop＝(energy[cp1]
×
population[cp1])
0.5
；
[0212]
οsecondenbypop＝(energy[cp2]
×
population[cp2])
0.5
；
[0213]
因此，亮度值yposdw位于具有最高能量的像素区中的两个最大像素区之间的某处。
[0214]
在步骤4400的以上实施方案中，参数enbypopcoef(以及因此亮度值yposdw)取决于能量与n_cand_max_pop(＝2)个候选的群体的乘积的平方根。在以上方程7中，群体和能量具有相同权重。
[0215]
在步骤4400的另一个实施方案中，如下给予群体更多权重：
[0216]
·
firstenbypop＝energy[cp1]
0.25
×
population[cp1]
0.75
；
[0217]
·
secondenbypop＝energy[cp2]
0.25
×
population[cp2]
0.75
；
[0218]
在步骤4400的另一个实施方案中，如下给予能量更多权重：
[0219]
·
firstenbypop＝energy[cp1]
0.75
×
population[cp1]
0.25
；
[0220]
·
secondenbypop＝energy[cp2]
0.75
×
population[cp2]
0.25
；
[0221]
当n_cand_max_pop＝1，即在一组n_cand个所选择的候选中确定仅一个具有最大群体的候选cp1时，处理模块30应用以下算法来确定亮度值yposdw：
[0222]
·
在对应于cp1的位置maxenergypos的带中，搜索柱状图中的箱最高的输入亮度
值y
in
，并且将该输入亮度值命名为firstpopy。
[0223]
·
如下确定亮度值yposdw：
[0224]
yposdw＝firstpopy
ꢀꢀ
(方程7bis)
[0225]
任选地(例如，在适于从视频序列提取的当前输入sdr图像的实施方案中)，在步骤4401中，处理模块30将时间滤波器应用于亮度值yposdw。任选步骤4401的目的是衰减(或甚至抵消)在两个连续hdr图像之间的小亮度变化(或振荡)。时间滤波过程包括计算亮度值yposdw与表示针对在当前输入sdr图像之前的图像计算的亮度值yposdw并标示为recursiveyposdw的亮度值之间的加权平均值。亮度值yposdw和recursiveyposdw如下计算：
[0226]
recursiveyposdw＝dwfeedback
×
recursiveyposdw (1
–
dwfeedback)
×
yposdw；
ꢀꢀꢀ
(方程8)
[0227]
yposdw＝recursiveyposdw；
[0228]
其中dwfeedback是范围[0；1]内的权重。在实施方案中，dwfeedback＝0.9。在另一个实施方案中，dwfeedback取决于视频序列的帧速率。帧速率越高，权重dwfeedback越高。例如，对于“25”个图像/秒(im/s)的帧速率，dwfeedback＝0.95，而对于“100”im/s的帧速率，dwfeedback＝0.975。
[0229]
需注意，如果当前输入sdr图像对应于场景切换(即，视频序列的就内容方面与在当前输入sdr图像之前的图像不均匀的部分)，则不应用滤波。
[0230]
需注意，在步骤4400(或步骤4401，如果适用的话)中获得的亮度值yposdw是在范围[0；255]内的浮点数并可容易地缩放为当前输入sdr图像的位数：
[0231]
yposdw＝yposdw
×
(ymax/255)
[0232]
其中输入视频的ymax＝2
n-1按n位编码(即，如果n＝10，则ymax＝1023)。
[0233]
图7示意性地示出了逆色调映射方法的步骤45的细节。
[0234]
在步骤4500中，处理模块30如下计算对应于亮度值yposdw的扩展值y
′
hdr
：
[0235][0236]
并且，在步骤4501中，将线性化应用于所获得的值：
[0237]
yexpdw＝(y
′
hdr
(yposdw)/lmax)
2.4
×
lmax
[0238]
图8示意性地示出了逆色调映射方法的步骤48的细节。作为提醒，当处理模块在步骤46中确定使用增益函数g()将逆色调映射应用到当前输入sdr图像有生成包括太亮的区的输出hdr图像的风险时，执行步骤48。步骤48的目的是减小hdr图像的此类区的亮度。
[0239]
在步骤4800中，处理模块30确定具有最大群体的所选择的n_cand_max_pop个候选的群体dwpopulation。
[0240]
当n_cand_max_pop＝2时，dwpopulation＝population(cp1) population(cp2)(方程10)。
[0241]
当n_cand_max_pop＝1时，dwpopulation＝population(cp1)(方程10bis)。
[0242]
dwpopulation越高，yexpdw必须越接近dwtarget。例如，必须忽略大小为图像大小的“1％”的天空中的明亮太阳(实际上在这种情况下，例如，不存在使观看视频的用户感到目眩的风险)，而大小为图像大小的“60％”的明亮溜冰场可锁定在dwtarget上。
[0243]
然后引入两个参数：
[0244]
·
参数lothresholdpop：如果dwpopulation《lothresholdpop，则在yposdw处的增益保持原样。这意味着如果dwpopulation表示小于像素总数的lothresholdpop％，则不修改增益曲线(或等同地是增益函数g())并应用步骤47。在实施方案中，lothresholdpop是预定义值。例如，lothresholdpop＝5％。
[0245]
·
在范围[0
…
1]内的参数dwsensitivity：dwsensitivity定义另一个阈值hithresholdpop高于该阈值，则修改在亮度值yposdw处的增益曲线(或等同地是增益函数g())，以便使yexpdw＝dwtarget。
[0246]
变量lothresholdpop和dwsensitivity用于计算变量moddwpopulation：
[0247]
moddwpopulation＝(dwpopulation
–
lothresholdpop)/(0.65
–
0.4
×
dwsensitivity)
ꢀꢀꢀ
(方程11)其中moddwpopulation限于范围[0；1]。
[0248]
如可看出，如果dwpopulation《lothresholdpop，则moddwpopulation＝0。因此，moddwpopulation＝0指示不需要修改增益曲线(或等同地是增益函数g())就能从当前输入sdr图像获得hdr图像。
[0249]
关于dwsensitivity：
[0250]
·
dwsensitivity＝0引起hithresholdpop＝0.7：dwpopulation必须表示图像的像素的至少70％最终达成yexpdw＝dwtarget。在该情况下，逆色调映射方法并特别是修改增益曲线(或等同地是增益函数g())的过程对dwpopulation具有低反应性。
[0251]
·
dwsensitivity＝0.5引起hithresholdpop＝0.5。dwpopulation必须表示图像的像素的至少50％最终达成yexpdw＝dwtarget。
[0252]
·
dwsensitivity＝1引起hithresholdpop＝0.3。dwpopulation必须表示图像的像素的至少30％最终达成yexpdw＝dwtarget。在该情况下，逆色调映射方法并特别是修改增益曲线(或等同地是增益函数g())的过程对dwpopulation具有高反应性。
[0253]
在步骤4801中，处理模块30从变量moddwpopulation导出变量dwrate：
[0254]
dwrate＝moddwpopulation
1/p
，其中p≥1.
ꢀꢀ
(方程12)
[0255]
在步骤4802中，处理模块30如下确定值yexpdwtarget：
[0256]
yexpdwtarget＝dwrate*dwtarget (1
–
dwrate)*yexpdw
ꢀꢀꢀ
(方程13)
[0257]
其中yexpdwtarget和yexpdw是线性值。
[0258]
因此，dwpopulation越高，亮度值yposdw的扩展值越接近漫射白色目标dwtarget。
[0259]
当n_cand_max_pop＝2时，如果cp1的群体远高于cp2的群体，则亮度值yposdw更接近位置firstpopy，并且然后在瓣cp1内部的像素的hdr值更接近漫射白色目标dwtarget，这具体取决于瓣cp1的大小。
[0260]
如可看出：
[0261]
·
如果dwrate＝0，则yexpdwtarget等于亮度值yexpdw，这意味着无需修改增益曲线(或等同地是增益函数g())。在这种情况下，步骤47由处理模块30执行。
[0262]
·
如果dwrate＝1，则yexpdwtarget等于漫射白色目标dwtarget，这意味着必须修改增益曲线(或等同地是增益函数g())才能获得亮度值yposdw的dwtarget。
[0263]
在步骤4803中，处理模块30将值yexpdwtarget转换为γ化值：
[0264]
yexpdwtarget
′
＝(yexpdwtarget/lmax)
1/2.4
×
lmax
[0265]
在步骤4804中，处理模块计算对应于亮度值yposdw的增益gainatdwtarget：
[0266]
gainatdwtarget＝log(yexpdwtarget’)/log(255/ymax
×
yposdw)
ꢀꢀ
(方程14)
[0267]
在步骤4805中，处理模块将用增益函数g()得到的增益曲线作为整体进行修改以得到新增益曲线步骤4805的若干变体是可能的：
[0268]
1.仅就高输入亮度值修改增益曲线同时确保y
′
hdr
曲线(用方程4获得)是单调的。然而，如果多个高输入亮度值取相同输出亮度值，则本实施方案可在y
′
hdr
曲线的高亮度值中引入一种裁剪；
[0269]
2.通过从增益曲线中减去常数来修改所有输入值的增益曲线同时确保y
′
hdr
曲线不产生太暗图像；
[0270]
3.两种第一解决方案的混合。
[0271]
变体1可视为是就高水平y
in
对增益曲线的压缩，从而仅产生针对最高y
′
hdr
水平产生压缩。在步骤4805的实施方案1中，可使用以下方程获得经修改增益曲线
[0272]
gainmod(y
′
)＝g(y
′
)-hlcoef
×
y’/(ymax)
hlexp
ꢀꢀꢀ
(方程15)
[0273]
gainmod(y’)意味着“γ化输入亮度值y’的经修改增益”，hlexp称为高水平指数，并且hlcoef称为高水平系数。
[0274]
在实施方案中，高水平指数hlexp＝6，但其可降低，同时保持高于“2”。在实施方案中，高水平系数hlcoef在范围[0；0.3]内。hlcoef＝0意味着不应用压缩。在hlexp＝6的情况下，通过在方程15中使用已知增益值g(yposdw)和gainmod(yposdw)来计算hlcoef。
[0275]
然后，以压缩增益曲线的方式引入对比度的概念。
[0276]
·
在变体1中，对比度为“0”(最小对比度)。应用方程15，前提条件是在压缩之后，并且对于“10”位当前输入sdr图像，亮度值“1023”的扩展输出高于亮度值“1020”的扩展输出：
[0277][0278]
如果不是这种情况，则使用给定减小参数redparam(例如redparam＝0.05)递归地减小方程15中的hlexp，这使hlcoef产生更高的值，直到方程16为真。然后，如果hlexp《2，则hlexp裁剪为“2”，或者如果hlcoef《0.3，则hlcoef裁剪为“0.3”，并且值c0计算为使得：
[0279]
gainmod(yposdw)＝g(yposdw)-hlcoef
×
(yposdw/ymax)^hlexp c0
ꢀꢀꢀ
(方程17)
[0280]
c0必须为负数。如果hlexp≥2且hlcoef≥0.3，则c0等于“0”。需注意，可针对hlcoef的最大值和针对hlexp的起始值和最小值选择其他值。
[0281]
·
在变体2中，对比度为1(最大对比度)。应用方程15，前提条件是在压缩之后，并且对于“10”位当前输入sdr图像，亮度值“1023”的增益高于亮度值“1020”的扩展输出：
[0282]
gainmod(1020)《gainmod(1023)
ꢀꢀꢀ
(方程18)
[0283]
如果不是这种情况，则使用方程15找到新值hlcoef1，对于该值，gainmod(1020)＝
gainmod(1023)。hlcoef1低于前一值hlcoef。然后在以下方程19中使用hlcoef1和yposdw计算值c1(hlexp1＝6)：
[0284]
gainmod(yposdw)＝g(yposdw)-[0285]
hlcoef1
×
(yposdw/ymax)
hllexp1
c1
ꢀꢀꢀ
(方程19)
[0286]
c1是负数。如果验证了方程18，则c1等于“0”。
[0287]
通过引入对比度contrast的在范围]0...1[中的新值，可使用对比度“0”和“1”来实现变体3。然后，如下计算c和hlcoef(方程20)：
[0288]
c＝contrast
×
c1 (1-contrast)
×
c0
[0289]
hlcoef＝contrast
×
hlcoef1 (1-contrast)
×
hlcoef0
[0290]
并且然后可使用方程17在位置yposdw处找到hlexp：
[0291]
gainmod(yposdw)＝g(yposdw)-hlcoef
×
(yposdw/ymax)
hlexp
c
[0292]
并且然后：
[0293]
c＝log((g(yposdw) c-gainmod(yposdw))/hlcoef)/log(yposdw/ymax)(方程21)
[0294]
前提条件是yposdw不是ymax。如果yposdw＝ymax，则可找到ymax-1的值。
[0295]
为了避免泵浦效应，hlcoef、hlexp和c可以与yposdw相同的方式(即，在步骤4401中)(但可能具有不同的反馈值)在时间上进行滤波。另一种且甚至更好的时间滤波方式是在增益函数g()本身上应用反馈。在两种情况下，时间滤波以与yposdw相同的方式在每个剪切位置处重置。
[0296]
到目前为止，已经关于图4至图8描述了处置遵守漫射白色约束的目标的实施方案。在下文中，示出了可处置遵守maxfall约束的目标的类似的实施方案。
[0297]
图像的maxfall mf可定义如下：
[0298]
mf＝(∑max(rp,gp,bp))/nbofpixelsintheimage
[0299]
其中rp、gp和bp是像素p的三个线性颜色分量值，并且nbofpixelsintheimage是图像中的像素数量。
[0300]
在下文中，该定义用以下公式(其相当正确，因为本发明处置亮区，然后是亮度高或非常高的区，这假定了三个rgb颜色分量值中的至少两个是接近的)近似：
[0301]
mf＝(∑y
p
)/nbofpixelsintheimage
[0302]
其中y
p
是像素p的从像素p的γ化亮度y
′
p
获得的线性化亮度：
[0303][0304]
其中y
′
p
是在范围[0；1]内的值，并且lmax是目标显示器的峰值尼特。y
′
p
也可以是就n位编码的码值，并且在这种情况下：
[0305]
其中y
′
max
＝2
n-1
[0306]
例如，按“8”位编码的sdr输入γ化亮度值y
′
p
＝100具有“10.6”尼特的线性值。按“10”位编码并针对“1000”cd/m2(标称峰亮度)显示设备产生的hdr输出亮度值yexp
′
p
＝400具有“105”尼特的线性值。
[0307]
在下文中，值mftarget表示扩展图像的maxfall可采取的最大值。这意味着扩展图像的所计算的maxfall必须低于mftarget。如果所计算的maxfall高于mftarget，则修改增
益函数以达到该值。maxfall约束值mftarget例如是取决于旨在显示对应于当前输入sdr图像的hdr图像的显示设备和/或该hdr图像显示的房间中的环境光和/或由预期所显示的hdr图像的用户给出的参数的预定义值。
[0308]
通过使用柱状图的内容来简化扩展图像的maxfall的计算，即maxfallout：
[0309]
maxfallout＝(∑i(∑jy
hdr
(j))
×
histo[i])/(sumofbins
×
a)
ꢀꢀ
(方程22)
[0310]
其中：
[0311]
·
i在范围[0；nbofbins]内；
[0312]
·
a＝(ymax 1)/(nbofbins)，ymax是输入图像的最大可能的代码值；
[0313]
·
j在范围[a*i；a*(i 1)
–
1]内；
[0314]
·yhdr(j)
是线性亮度(以尼特表达)。
[0315]
如可看到，maxfallout等于“64”contrib[n]的和(标示为方程5中定义的(∑contrib[n]))(即maxfallout＝∑contrib[n])。
[0316]
图10示意性地示出了逆色调映射方法的各种第二实施方案的高级表示。图10的实施方案的目的是关于maxfall约束。
[0317]
图10的方法由处理模块30执行。
[0318]
图10的方法与图4的方法的不同之处在于步骤43、400和48分别由步骤43bis、400bis和48bis替代。其他步骤保持相同。
[0319]
与步骤43相比，在步骤43bis中，不执行步骤4301、4305、4306、4307、4308和4310。在步骤4309中，处理模块30从所识别的聚合候选中选择具有最高能量的聚合候选。
[0320]
在步骤400bis中，处理模块30将表示扩展hdr图像的maxfall的值与maxfall约束mftarget进行比较。在步骤400bis中，认为在步骤4300期间计算的贡献contrib[n]的和∑contrib[n]表示扩展hdr图像的maxfall。
[0321]
如果所有贡献的和∑contrib[n]低于或等于mftarget，则无需修改增益函数g()(或等同地是增益曲线)(即，执行步骤47)。
[0322]
相比之下，如果所有贡献的和∑contrib[n]高于mftarget，则在步骤48bis期间，处理模块30使用具有最高能量的候选cp1(如关于图5所定义)在候选cp1中搜索具有最高能量的亮度值y
in
(下文称为y
pos
)，并且如下修改对应于亮度值y
pos
的扩展增益：
[0323]
gainatmftarget＝g(y
pos
) log(mftarget/maxfallout)/(2.4*log(255
×ypos
/ymax))
ꢀꢀ
(方程23)
[0324]ypos
和ymax是然后γ化的码字。如果柱状图含有“256”个箱，则y
pos
是cp1的maxenergypos中的箱中的最高输入亮度值y
in
(其含有最大能量)。
[0325]
处理模块30然后使用方程15在y
pos
位置处找到经修改增益gainmodmf(y
pos
)：
[0326]
gainatmftarget＝g(y
pos
)-hlcoef
×
(y
pos
/ymax)
glexp
＝gainatmftarget
[0327]
然后，处理模块应用与用于遵守关于增益曲线或等同地是增益函数g()的修改的漫射白色约束的策略相同的策略(即，使用相同的对比度概念)，使用方程16至22并分别用gainmodmf和ypos替换gainmod和yposdw来得到hlcoef、hlexp和c这三者的值。
[0328]
在实施方案中，在当前输入sdr图像的逆色调映射期间，仅应用图4的着重于漫射白色约束的方法。
[0329]
在实施方案中，在当前输入sdr图像的逆色调映射期间，仅应用图10的着重于
maxfall约束的方法。
[0330]
在实施方案中，在当前输入sdr图像的逆色调映射期间，应用图4和图10的两种方法。在实施方案中，在图10的方法之前应用图4的方法。实际上，如果在当前输入sdr图像上应用图4的意图遵守漫射白色约束的方法，则所得图像仍然可具有高于mftarget的maxfall。在这种情况下，已经得到如下三元组(hlcoef,hlexp,c)：
[0331]
gainatdwtarget＝g(yposdw)
–
hlcoef
×
(yposdw/ymax)
hlexp
c
[0332]
然后，将(hlcoef,hlexp,c)修改为(hlcoef’,hlexp’,c’)，以便得到：
[0333]
gainatmftarget＝g(y
pos
)
–
hlcoef’*(y
pos
/ymax)
hlexp
′
c’[0334]
同时遵循以上关于对比度的规则。
[0335]
上述实施方案处置亮区。尽管如此，maxfall检测可扩展到大饱和蓝色或红色区，这可产生大maxfall值，同时其对应亮度值y相对低。这可通过使用蓝色和红色柱状图来解决(可从y、u和v值计算出蓝色和红色值)。当使用709颜色空间(如推荐uit-r bt 709中所定义)时，r(红色)、b(蓝色)和g(绿色)分量的分布如下进行：
[0336]
·
r是y的21％
[0337]
·
g是y的72％
[0338]
·
b是y的7％
[0339]
大发白区产生亮度(y)柱状图中的瓣。它们还应产生大致位于r和b柱状图中的相同位置处的瓣。相比之下，在r和/或b柱状图的高值上具有大的瓣而在y柱状图中的相同位置处没有任何瓣(这意味着对于y的更低值存在等同大小的y瓣)将产生rgb maxfall的大的值(rgb maxfall这里是maxfall的实际定义)，而在y上计算的maxfall小或至少更小。用于在y上找到候选群体的方法可在r和b上使用，并且然后可完成y聚合群体与位于不同位置处的r和/或b聚合群体之间的匹配。然后，可通过考虑它们缺乏绿色这一事实来高估那些匹配的群体候选的能量，并且然后，可对整组标准y候选和所高估的y候选进行排序。然后，在具有最高能量的候选处进行maxfall计算。
[0340]
以上描述了多个实施方案。这些实施方案的特征可以单独提供或以任何组合形式提供。此外，实施方案可包括以下特征、设备或方面中的一个或多个，单独地或以任何组合，跨各种权利要求类别和类型：
[0341]
·
执行所描述的实施方案中的至少一个实施方案的电视机、机顶盒、移动电话、平板电脑或其他电子设备。
[0342]
·
执行所描述的实施方案中的至少一个实施方案并(例如，使用监视器、屏幕或其他类型的显示器)显示所得图像的电视机、机顶盒、移动电话、平板电脑或其他电子设备。
[0343]
·
调谐(例如，使用调谐器)信道以接收包括编码图像或视频流的信号并执行所描述的实施方案中的至少一个实施方案的电视机、机顶盒、移动电话、平板电脑或其他电子设备。
[0344]
·
通过空中(例如，使用天线)接收包括编码图像或视频流的信号并执行所描述的实施方案中的至少一个实施方案的电视机、机顶盒、移动电话、平板电脑或其他电子设备。