视频编解码器中的质量与计算复杂度之间的可调整的折衷的制作方法

视频编解码器中的质量与计算复杂度之间的可调整的折衷
1.相关申请的交叉引用
2.本技术要求2019年10月17日提交的美国临时专利申请no.62/916,579和2019年10月17日提交的欧洲专利申请no.19203773.7的优先权，这些专利申请中的每一个特此通过引用整体并入。
技术领域
3.本公开总体上涉及图像。更特别地，本公开的实施例涉及视频编解码器中的质量与计算复杂度之间的可调整的折衷。


背景技术：

4.如本文所使用的，术语“动态范围”(dr)可以涉及人类视觉系统(hvs)感知图像中的强度(例如，亮度)的范围(例如从最暗的黑(暗)到最明亮的白(高亮))的能力。在这个意义上，dr涉及“参考场景的”强度。dr还可以涉及显示设备充分地或近似地渲染特定宽度的强度范围的能力。在这个意义上，dr涉及“参考显示的”强度。除非在本文的描述中的任何点明确地指定特定的意义具有特定的重要性，否则应当推断该术语可以在任一意义上(例如，可互换地)使用。
5.如本文所使用的，术语高动态范围(hdr)涉及跨越人类视觉系统(hvs)的大约14-15或更多个数量级的dr宽度。在实践中，人类可以同时感知强度范围中的广泛宽度的dr相对于hdr可能稍微被截短。如本文所使用的，术语增强动态范围(edr)或视觉动态范围(vdr)可以单独地或可互换地涉及包括眼睛运动的人类视觉系统(hvs)在场景或图像内可感知的dr，这允许场景或图像上的一些光适应变化。如本文所使用的，edr可以涉及跨越5至6个数量级的dr。因此，虽然相对于真实的参考场景的hdr可能稍微变窄，但是edr仍然表示宽的dr宽度并且也可以被称为hdr。
6.在实践中，图像包括颜色空间的一个或多个颜色分量(例如，亮度y以及色度cb和cr)，其中每个颜色分量由每像素n位(例如，n＝8)的精度表示。使用非线性亮度编码(例如，伽玛编码)，其中n≤8的图像(例如，彩色24位jpeg图像)被视为标准动态范围的图像，而其中n》8的图像可以被视为增强动态范围的图像。
7.对于给定显示器的参考电光传递函数(eotf)表征输入视频信号的颜色值(例如，亮度)与由显示器产生的输出屏幕颜色值(例如，屏幕亮度)之间的关系。例如，通过引用整体并入本文的itu rec.itu-r bt.1886，“reference electro-optical transfer function for flat panel displays used in hdtv studio production”(2011年3月)定义了对于平板显示器的参考eotf。给定视频流，关于其eotf的信息可以作为(图像)元数据嵌入在位流中。本文中的术语“元数据”涉及作为编码的位流的一部分传送的任何辅助信息并且帮助解码器渲染解码的图像。这样的元数据可以包括但不限于如本文描述的颜色空间或色域信息、参考显示参数和辅助信号参数。
8.如本文所使用的术语“pq”是指感知亮度幅度量化。人类视觉系统以非常非线性的
方式响应增加的光级别。人类看见刺激的能力受那个刺激的亮度、刺激的大小、构成刺激的空间频率和眼睛在查看刺激的特定时刻已适应的亮度级别影响。在一些实施例中，感知量化器函数将线性输入灰度级别映射到更好地匹配人类视觉系统中的对比灵敏度阈值的输出灰度级别。示例pq映射函数在通过引用整体并入本文的smpte st 2084:2014“high dynamic range eotf of mastering reference displays”(下文中称为“smpte”)中被描述，其中给定固定的刺激大小，对于每个亮度级别(例如，刺激级别等)，根据最灵敏的适应级别和最灵敏的空间频率(根据hvs模型)选择在那个亮度级别下的最小可见对比度步长。
9.支持200至1,000cd/m2或尼特的亮度的显示器代表相对于edr(或hdr)的较低动态范围(ldr)，也称为标准动态范围(sdr)。edr内容可以显示在支持较高动态范围(例如，从1,000尼特到5,000尼特或更多)的edr显示器上。这样的显示器可以使用支持高亮度能力(例如，0至10,000或更多尼特)的替代eotf来定义。这样的eotf的示例在smpte 2084和rec.itu-r bt.2100，“image parameter values for high dynamic range television for use in production and international programme exchange，”(06/2017)中定义。如发明人在此意识到的，期望用于合成可以被用于支持各种各样的sdr和hdr显示设备的显示能力的视频内容数据的改进技术。
10.本节中描述的方法是可以追寻的方法，但不一定是以前已被构想或追寻的方法。因此，除非另外指示，否则不应当仅仅由于它们包括在本节中而认为本节中描述的方法中的任何一个有资格作为现有技术。类似地，不应当基于本节而认为针对一个或多个方法识别的问题已在任何现有技术中被认识到，除非另外指示。
附图说明
11.在附图的图中通过示例的方式而非通过限制的方式图示了本发明的实施例，并且在这些附图中同样的附图标记是指类似的元素，并且其中：
12.图1a描绘了视频递送流水线的示例处理；图1b图示了重构的图像的质量与生成映射以创建重构的图像的计算复杂度之间的示例折衷；
13.图2a至图2c图示了示例编解码器；
14.图3a图示了示例预测误差；图3b图示了生成不同的颜色等级的示例多组图像处理操作；图3c图示了可应用到不同的颜色等级的示例颜色校正；图3d图示了结合映射表更新操作执行的示例颜色校正；图3e图示了具有亮度更新、备用查找表修改和颜色校正的示例后向整形映射生成；
15.图4a至图4c图示了示例处理流程；以及
16.图5图示了可以在其上实现如本文描述的计算机或计算设备的示例硬件平台的简化框图。
17.示例实施例的描述
18.在以下描述中，出于解释的目的，阐述了众多的具体细节以便提供对本公开的透彻理解。然而，将清楚的是，本公开可以在没有这些具体细节的情况下实践。在其它情况下，没有详尽地描述众所周知的结构和设备，以便避免不必要地遮挡、模糊或混淆本公开。
19.概述
20.相对窄的动态范围的(例如，相对低的位深度，8位、10位等的)基础层(bl)图像数
据可以与用于从bl图像数据生成/重构hdr图像数据的图像元数据一起被编码在编码的位流中。bl图像数据和图像元数据可以提供给接收方解码和回放设备，该接收方解码和回放设备可以在相对低的动态范围显示器(例如，sdr显示器等)上直接渲染解码之后的bl图像数据(例如，sdr图像数据等)或者可以从解码的bl图像数据和图像元数据重构hdr图像数据并且在相对高的动态范围显示器(例如，hdr显示器等)上渲染hdr图像数据。
21.在示例(例如，高保真等)方法中，可以以显著增加计算成本和视频递送延迟的代价使重构的hdr图像数据的质量最大化。在另一个示例(例如，高效率等)方法中，可以以显著降低重构的hdr图像数据的质量的代价使生成用于重构hdr图像数据的图像元数据的计算成本最小化。在解码器侧渲染重构的hdr图像的质量和编码器侧计算成本(或效率)方面，在高保真与高效率方法之间存在相对大的差距。在2019年5月9日提交的pct专利申请no.pct/us2019/031620中描述了示例高保真和高效率图像元数据生成，该pct专利申请no.pct/us2019/031620的全部内容特此通过引用并入，就好像在本文中完整地阐述一样。
22.为了更好地利用各种编解码器和媒体处理系统的能力并且为了在及时支持具有最大可行质量的各种媒体消费应用中更好地提供灵活性，在如本文描述的技术下提供实现质量与计算复杂度之间的折衷的编码工具以填补前面提到的高保真与高效率方法之间的相对大的差距。例如，这些编码工具可以被用于提供解码器侧可实现的重构的hdr图像数据的质量与编码器侧生成要用于生成重构的hdr图像的图像元数据的计算成本之间的折衷。
23.内容提供者和/或内容消费者可以基于资源预算(例如，计算成本预算、端到端或个体系统时延预算、端到端或个体延迟预算等)以及重构的hdr图像数据的视觉质量目标或目的选择编码工具中的一些或全部。
24.这些编码工具中的一些或全部可以实现用于实现bl以及重构的hdr图像数据两者中的颜色准确度的技术。此外，可选地或替代地，这些编码工具中的一些或全部可以实现减轻或降低在一些操作场景中(例如，在sdr图像数据等中)可能易于发生的条带伪影的风险的技术。这些技术可以被用于进一步改善条带减少，诸如在2019年8月13日提交的美国临时专利申请no.62/885,921中描述的技术，其也对于pct/us2019/054299被公布为wo/2020/072651，这些专利申请的全部内容特此通过引用并入，就好像在本文中完整地阐述一样。
25.前向映射表(例如，包括将hdr码字映射到对应的sdr码字的映射对等)，诸如动态的(例如，图像相关的、图像特定的、场景相关的、场景特定的等)三维映射表(d3dmt)，可以被用于生成前向整形映射(例如，前向整形函数/曲线或多项式集、前向查找表或flut、前向整形多变量多元回归(mmr)系数等)以将源hdr图像前向整形成sdr图像(或bl图像数据)。
26.后向映射表(例如，包括将sdr码字映射到对应的hdr码字的映射对等)，诸如后向d3dmt，可以被用于生成后向整形映射(例如，后向整形函数/曲线或多项式集、后向查找表或blut、后向整形mmr系数等)以将sdr图像后向整形成逼近源hdr图像的hdr图像(或重构的hdr图像数据)。
27.前向整形的sdr图像和指定后向整形映射的图像元数据可以被编码到编码的位流中，以使得接收方解码/回放设备能够直接渲染sdr图像或渲染从sdr图像和后向整形映射构造的(后向整形的)hdr。
28.后向d3dmt可以从对应的前向映射表(前向d3dmt)以计算高效的方式构造。此外，可选地或替代地，可以使用源hdr图像和前向整形的sdr图像(一旦前向整形的sdr图像可
用)直接构建后向d3dmt以改善整形映射准确度。
29.在被用于生成后向整形映射之前，如本文描述的d3dmt可以在以下中的一个中被更新：颜色空间的所有通道或平面的集合中的通道或平面的适当子集。在一些操作场景中，d3dmt可以仅在颜色空间的亮度通道/平面中更新，从而在一定程度上改善bl和/或重构的hdr图像数据中的颜色准确度。在一些操作场景中，可以在(例如，所有的等)亮度和色度通道/平面中更新d3dmt，从而在相对显著的程度上改善bl和/或重构的hdr图像数据中的颜色准确度。
30.因此，可以通过仅更新前向d3dmt的亮度通道/平面、或通过更新前向d3dmt的亮度平面和色度平面两者、或通过从源hdr图像和前向整形的sdr图像直接构建后向d3dmt来使得包括但不限于颜色准确度的整形映射准确度和对应的计算成本可调整。
31.为了减轻条带伪影，可以执行噪声注入、blut修改等中的一些或全部。示例噪声注入和/或blut修改在前面提到的美国临时专利申请no.62/885,921中被描述。
32.观察到修改/更新诸如亮度blut的亮度后向整形映射可能影响重构的hdr图像中的颜色准确度以造成重构的hdr图像中的颜色外观的非意图的改变。
33.可以实现或执行如本文描述的颜色校正操作以校正受blut修改(例如，用于减轻条带伪影等)影响的像素的颜色，使得重构的hdr图像(例如，在减轻条带伪影等之后)中的颜色比不这样做看起来更接近源hdr图像中的那些。此外，可选地或替代地，噪声注入操作被改善以使注入的噪声比不这样做在视觉上更令人喜欢。
34.本文描述的示例实施例涉及生成和编码后向整形映射以用于图像重构。后向整形映射表最初作为前向整形映射表的逆生成。前向整形表被用于生成前向整形映射以从第二动态范围的源图像生成第一动态范围的前向整形的图像。第一动态范围低于第二动态范围。前向整形映射表包括第二动态范围的采样的亮度码字、第二动态范围的采样的色度码字、与第二动态范围的采样的亮度码字对应的第一动态范围的内容映射的亮度码字、以及与第二动态范围的采样的色度码字对应的第一动态范围的内容映射的色度码字。后向整形映射表通过利用前向整形的亮度码字替换内容映射的亮度码字来更新。前向整形的亮度码字通过对第二动态范围的采样的亮度码字应用亮度前向映射来生成。亮度前向映射从前向整形映射表构造。后向整形映射表和亮度前向映射被用于生成后向整形映射以用于从第一动态范围的前向整形的图像创建第二动态范围的重构的图像。前向整形的图像与指定后向整形映射的图像元数据一起被编码在视频信号中。视频信号的接收方设备对前向整形的图像应用后向整形映射以创建第二动态范围的重构的图像。
35.本文描述的示例实施例涉及解码后向整形映射以用于图像重构和渲染。从视频信号解码第一动态范围的前向整形的图像。从视频信号解码包括后向整形映射的图像元数据。后向整形映射由上游图像处理设备从后向整形映射表和亮度前向映射生成。后向整形映射表由上游图像处理设备最初作为前向整形映射表的逆生成，该前向整形映射表生成亮度前向映射。后向整形映射表中的内容映射的亮度码字被利用前向整形的亮度码字更新。前向整形的亮度码字通过对源图像中的采样的源亮度码字应用亮度前向映射来生成。后向整形映射被应用到前向整形的图像以生成重构的图像。显示图像被使得从重构的图像导出以利用显示设备渲染。
36.示例视频递送处理流水线
37.图1a描绘了示出从视频捕获到视频内容显示的各个级的视频递送流水线(100)的示例处理。使用图像生成块(105)捕获或生成视频帧(102)的序列。视频帧(102)可以被数字地捕获(例如，由数字相机)或由计算机生成(例如，使用计算机动画)以提供视频数据(107)。此外，可选地或替代地，视频帧(102)可以由胶片相机捕获在胶片上。胶片被转换成数字格式以提供视频数据(107)。在制作级(110)，视频数据(107)被编辑以提供视频制作流(112)。
38.制作流(112)的视频数据然后被提供给处理器以用于后期制作编辑(115)。后期制作编辑(115)可以包括根据视频创作者的创作意图调整或修改图像的特定区域中的颜色或明亮度以增强图像质量或实现图像的特定外观。这有时被称为“颜色调整”或“颜色分级”。可以在后期制作编辑(115)处执行其它编辑(例如，场景选择和排序、手动和/或自动场景剪辑信息生成、图像裁剪、计算机生成的视觉特效的添加等)以产生hdr图像(117-1)或sdr(或相对窄的动态范围)图像(117)(例如，sdr等)的发布版本。在一些实施例中，在后期制作编辑(115)期间，正在对hdr图像(117-1)执行后期制作编辑操作的调色师在支持高动态范围的参考hdr显示器上查看hdr图像(117-1)。此外，可选地或替代地，在后期制作编辑(115)期间，正在对sdr图像(117)执行后期制作编辑操作的调色师在支持标准动态范围(或相对窄的动态范围)的参考显示器(125)上查看sdr图像(117)。此外，可选地或替代地，sdr图像(117)可以是从hdr图像(117-1)映射的内容。
39.在一些实施例中，编码块(120)可以实现解码器侧重构的hdr图像数据的质量与编码器侧后向整形映射的计算复杂度之间的各种可调整的折衷中的一些或全部。编码块(120)从后期制作编辑(115)接收hdr图像(117-1)，并且将hdr图像(117-1)前向整形成(前向)整形的sdr图像。
40.整形的sdr图像可以由编码块(120)压缩/编码成编码的位流(122)，例如在单层中。示例单层视频编码操作在2017年3月22日提交并且公布为美国专利申请公开序列no.2019/0110054的美国专利申请no.16/087,241中被描述，该美国专利申请no.16/087,241的全部内容特此通过引用并入，就好像在本文中完整地阐述一样。
41.在一些实施例中，编码块(120)可以包括音频和视频编码器，诸如由atsc、dvb、dvd、蓝光和其它递送格式定义的那些，以生成编码的位流(122)。
42.整形的sdr图像可以被编码成与各种各样的sdr显示设备(例如，sdr显示器等)后向兼容的视频信号(例如，8位sdr视频信号、10位sdr视频信号等)中的视频数据。在非限制性示例中，编码有整形的sdr图像的视频信号可以是单层后向兼容的视频信号。这里，“单层后向兼容的视频信号”可以指在单个信号层中携载针对sdr显示器专门优化或颜色分级的sdr图像的视频信号。
43.在一些实施例中，由编码块(120)输出的编码的位流(122)可以表示具有图像元数据的输出的8位sdr视频信号，该图像元数据包括但不限于由编码块(120)生成的后向整形映射。在如本文描述的技术下，后向整形映射(或合成器元数据)基于解码器侧重构的hdr图像数据的质量与编码器侧后向整形映射的计算复杂度之间的特定的一组可调整的折衷选项生成
–
这些可调整的折衷选项例如由包括编码块(120)的端到端单层后向兼容的编码流水线的内容提供者和/或内容消费者做出或选择。
44.下游解码器可以使用后向整形映射以对整形的sdr图像执行后向整形(例如，逆色
调映射等)以便生成后向整形的图像，该后向整形的图像可以被优化以用于在hdr(例如，参考等)显示器上渲染。在一些实施例中，可以至少部分地基于后向整形映射(或合成器元数据)使用实现逆色调映射的一个或多个sdr到hdr转换工具从整形的sdr图像(或其解码版本)生成后向整形的图像。如本文所使用的，后向整形是指将再量化的图像转换回原始的eotf域(例如，伽玛、pq、混合对数伽玛或hlg等)以用于进一步的下游处理(诸如显示管理)的图像处理操作。2015年3月20日提交的美国临时申请序列no.62/136,402(也在2018年1月18日被公布为美国专利申请公开序列no.2018/0020224)中描述了示例后向整形操作，该美国临时申请序列no.62/136,402的全部内容特此通过引用并入，就好像在本文中完整地阐述一样。
45.此外，可选地或替代地，编码的位流(122)被编码有附加的图像元数据编码，包括但不限于显示管理(dm)元数据，该显示管理(dm)元数据可以被下游解码器使用以对用于hdr参考显示器的后向整形的图像执行显示管理操作以生成被优化以用于在其它显示器(诸如非参考hdr显示器等)上渲染的显示图像。
46.编码的位流(122)然后被向下游递送到接收器，诸如解码和回放设备、媒体源设备、媒体流传输客户端设备、电视机(例如，智能tv等)、机顶盒、电影院等。在接收器(或下游设备)中，编码的位流(122)由解码块(130)解码以生成解码的图像182，其可以与整形的sdr图像相同，遭受在由编码块(120)执行的压缩和由解码块(130)执行的解压缩中生成的量化误差。
47.在接收器与支持标准动态范围或者与标准动态范围相当或小于标准动态范围的相对窄的动态范围的目标显示器140一起操作(或附接到目标显示器140)的操作场景中，解码块(130)可以从编码的位流(122)(例如，其中的单层等)解码整形的sdr图像，并且直接或间接使用解码的整形的sdr图像以用于在目标显示器(140)上渲染。在目标显示器(140)具有与sdr参考显示器(125)类似的特性的实施例中，可以在目标显示器(140)上直接观看整形的sdr图像。
48.在一些实施例中，接收器与支持高动态范围(例如，400尼特、1000尼特、4000尼特、10000尼特或更多等)的hdr目标显示器140-1一起操作(或附接到hdr目标显示器140-1)，可以从编码的位流(122)(例如，其中的元数据容器等)提取合成器元数据，使用后向整形元数据(合成器元数据)以通过基于后向整形元数据(合成器元数据)对整形的sdr图像进行后向整形来从整形的sdr图像合成后向整形的图像132-1，并且直接或间接使用后向整形的图像(132-1)以用于在hdr目标显示器(140-1)上渲染。
49.后向整形的图像(132-1)可以被优化以用于在与hdr目标显示器(140-1)不相同而是与hdr目标显示器(140-1)相当-例如，支持大于hdr目标显示器(140-1)的最大或峰亮度值的hdr(例如，参考等)显示器上查看。显示管理块(例如，135-1等)-其可以位于接收器中、hdr目标显示器(140-1)中、或单独的设备中-进一步通过生成适于hdr目标显示器(140-1)的特性的显示映射信号(137-1)来将后向整形的图像(132-1)调整到hdr目标显示器(140-1)的特性。
50.视频编解码器和质量与复杂度之间的折衷
51.图1b图示了解码器侧重构的hdr图像的质量与编码器侧后向整形映射的生成的计算复杂度之间的示例折衷。如本文描述的编码块(例如，视频编码器、视频转码器、媒体流传
输系统、内容提供系统等)可以(例如，动态地、静态地、自适应地、调度为、独立地等)配置有由与包括编码块的视频处理系统一起操作的内容提供者和/或内容消费者选择的特定的一组折衷选项。
52.如图1b中所示，示例折衷可以包括但不必仅限于启用或禁用(打开或关闭)以下中的任何一个：(a)噪声注入，(b)blut修改，(c)颜色校正等，以及(d)在更新(或构建)d3dmt中选择不同的选项。在一些操作场景中，启用blut修改和颜色校正可以减轻条带伪影，改善颜色外观，并且因此改善重构的hdr图像的总体质量。
53.更新(或构建)d3dmt中的示例折衷选项(例如，在编码块等中可选择或可调整)可以包括但不必仅限于(1)对前向d3dmt不更新，(2)更新前向d3dmt中的亮度通道/平面，(3)更新前向d3dmt中的亮度和色度通道/平面，(4)基于源hdr图像和前向整形的sdr图像构建后向d3dmt，等等。如图1b中所示，这些不同的选项提供了解码器侧重构的hdr图像的质量的不同颜色等级和/或编码器侧后向整形映射的生成的不同计算复杂度(或效率)。
54.图2a和图2b图示了端到端视频递送流水线中的示例视频编解码器，诸如视频编码器(例如，图1a的编码块(120)等)。如本文描述的端到端视频递送流水线或其中的设备可以利用一个或多个计算设备通过比本文所示的处理块多或少的处理块以软件、硬件、软件和硬件的组合等实现。通过说明而非限制的方式，一些或全部处理流和/或数据流利用括号中的数字或字母标记。如图2a和图2b中所示，这些处理块中的任何一个、一些或全部可以是可选的，这取决于(例如，由内容提供者用户、由内容消费者用户等)选择或做出的那个特定的一组折衷选项(例如，如图1b中所示等)被用于配置端到端视频递送流水线中的视频编码。
55.如图2a和图2b中所示，如本文描述的视频编码器包括用于生成hdr到sdr映射信息的“映射信息”块、用于生成可恢复的sdr图像(或前向整形的sdr图像)的“前向整形”块、用于生成可以包括要由接收方设备使用以重构看起来尽可能接近输入或参考hdr图像的hdr图像(例如，从可恢复的sdr后向整形等)的后向整形映射的图像元数据(被表示为“rpu”或“rpu”)的“后向整形”块。
56.在图2a的视频编码器中，可以启用如图1b中所示的(a)噪声注入、(b)blut修改和(c)颜色校正中的一些或全部，并且选择如图1b中所示的更新d3dmt的选项(d)(2)或(d)(3)中的一个。如前面提到的，图1b的选项(d)(2)与更新(例如，仅更新等)前向d3dmt中的亮度通道/平面对应，而图1b的选项(d)(3)与更新前向d3dmt中的亮度和色度通道/平面对应。
57.图2a的“映射信息”块包括从参考hdr图像采样(或抽取)hdr颜色样本，对这些hdr颜色样本应用内容映射(cm；例如，基于艺术或调色意图执行的操纵/操作、颜色分级操作等)以生成对应的sdr颜色样本等。用于从源或参考hdr图像采样hdr颜色样本的示例采样策略可以包括但不必仅限于以下中的任何一个：对参考hdr图像的每个像素进行采样，对参考hdr图像的相对小的集合(例如，1/2、1/4、1/8、1/16等)进行采样，在参考hdr图像的空间维度上均匀地或非均匀地进行采样，在参考hdr图像中的亮度码字/值的亮度分布上均匀地或非均匀地进行采样，等等。
58.在映射信息级，至少部分地基于采样策略，可以构造3d采样网格(例如，直线3d网格、稀疏3d网格、具有顶点的均一或非均一分布/密度的3d网格等)。在各种实施例中，可以或可以不基于3d采样网格选择样本点。在一些实施例中，可以基于密度分布选择样本点；例如，可以根据图片中存在的颜色是否如密度分布所指示的那样选择样本点。cm可以被用于
生成(例如，仅生成等)从hdr样本点到对应的sdr样本点的内容映射。内容映射可以包括在相对小数量的样本点(例如，10,000个样本点等)处的一组内容映射，而不是从所有hdr像素(例如，1920x1080空间分辨率的图像的2百万像素或更多等)到所有对应的sdr像素的内容映射，因此比所有像素的所有内容映射生成轻得多。
59.hdr(例如，颜色、码字等)样本和对应的sdr(例如，颜色、码字等)样本被用于形成映射对，其被用作构造或填充前向d3dmt(例如，多维映射表、直方图等)的样本。图2a的“映射信息”块还可以包括从hdr图像收集文字框信息，包括但不限于在hdr图像中是否存在文字框，并且如果存在，则为文字框的像素值。
60.视频编码器可以实现如pct/us2019/031620中描述的高效减少参考(herr)编解码器架构以降低计算复杂度。映射边信息-而不是包括(例如，所有、基本上所有等)各个像素的(例如，所有、基本上所有等)像素值的参考sdr图像-可以从视频编码器的映射信息级发送到后续处理级，诸如前向整形级、后向整形级等。在herr编码操作中，源(或参考)hdr图像和与源(或参考)hdr图像相关联的映射边信息被后续处理级使用以构造前向整形函数(例如，flut、mmr系数等)，以通过基于前向整形函数对源hdr图像进行前向整形来生成(前向)整形的sdr图像，生成要被接收方设备(或接收方视频解码器)使用以生成密切地逼近源hdr图像的重构的hdr图像的后向整形图像元数据，以利用slbc视频信号中的后向整形图像元数据对整形的sdr图像进行编码，等等。在一些操作场景中，映射边信息可以包括与在完整的参考sdr图像中表示的颜色相比数量减少的颜色。
61.在pct/us2019/031620中描述的高保真全参考(hffr)模式中，参考sdr图像通过对源hdr图像的每个像素应用内容映射(例如，颜色映射等)来生成，用于构建用于色度前向整形的d3dmt。在hffr模式中，参考sdr图像不被编码到slbc视频信号中，而是用作用于构建用于色度前向整形的d3dmt的近似参考。因此，在hffr模式中，存在在每个个体像素级别(例如，对于图像中的数百万像素中的每一个等)执行的许多编码相关的操作。
62.相比之下，在pct/us2019/031620中描述的herr模式中，d3dmt可以以减少数量(例如，10,000，比数百万少得多等)的点从诸如内容映射信息(例如，颜色映射信息等)的映射边信息生成，而不需要在每个个体像素级别利用完整的参考sdr图像生成或操作。作为结果，可以节省或避免大量计算或编码相关的操作。
63.与在全参考模式中一样，为了在减少参考模式中在映射信息级生成映射边信息，源hdr图像(表示为帧t)中的码字可以基于每个通道中的最小和最大码字值对于每个这样的颜色通道被分成q个区间。总共存在q
×q×
q个3d区间。将未规范化的最小码字值表示为并且将未规范化的最大码字值表示为其中通道ch＝{y,c0,c1}。区间j的范围被如下给出：
[0064][0065]
其中并且j∈{0,1,
…
,q-1}，并且其中b
edr
是hdr(或edr)的位深度。
[0066]
hdr像素值(或码字值)的3d直方图(表示为)被收集，其中3d直方图中的每个
3d区间由区间索引指定。分别计算每个3d区间中的hdr像素值的通道特定的总和(表示为的总和(表示为和)。对于具有非零数量的像素的(3d直方图的)非空区间，可以分别对所有颜色通道计算通道特定的平均hdr像素值(或码字值)(表示为)；也可以分别使用所有颜色通道的平均hdr像素值处的内容映射确定或计算在非空区间中表示的hdr像素值的映射的sdr像素值。将{q0,q1,...,q
kt-1
}表示为k
t
个区间，其中表示映射的sdr像素值和用于收集映射统计(诸如通道特定的平均hdr像素值和映射的sdr像素值和)的示例过程在下面的表1中示出。
[0067]
表1
[0068]
[0069]
[0070][0071]
如上面的表1中可以看到的，与全参考模式不同，减少参考模式中的映射的sdr像素值通过在采样的点处对hdr像素值应用内容映射(例如，颜色映射等)、而不是对参考sdr图像中的各个sdr像素值进行平均来获得。这样的内容映射可以仅应用到表示d3dmt的3d直方图的非零区间。由包括采样的hdr和sdr码字统计的3d直方图表示的d3dmt、与直方图一起可以作为映射边信息从映射信息级发送到前向整形级和/或后向整形级并且用于在前向整形级和后向整形级中构造前向和后向整形函数。
[0072]
图2a的“前向整形”块包括使用前向d3dmt以构造从前向d3dmt获得的hdr亮度样本(例如，hdr样本的亮度分量等)和sdr亮度样本(例如，对应的sdr样本的亮度分量等)的(例如，1d等)亮度直方图，应用累积密度函数(cdf)匹配以形成或生成亮度通道/平面的前向查找表(flut)等。示例cdf匹配操作在2017年9月11日提交的pct申请no.pct/us2017/50980；2016年10月5日提交的美国临时申请序列no.62/404,307(也在2018年4月5日公布为美国专利申请公开序列no.2018/0098094)中被描述，这些专利申请的全部内容特此通过引用并入，就好像在本文中完整地阐述一样。
[0073]
在一些实施例中，可以采用cdf匹配以构建前向整形查找表(flut)。1d亮度直方图可以使用在采样的点(例如，hdr和sdr图像帧中的每一个中的采样网格等)从源hdr码字值和sdr码字值、而不是在每个未采样的像素级别从源hdr图像和参考sdr图像生成的d3dmt构造。由于表示d3dmt的3d直方图已经在来自映射信息级的映射边信息中可用，因此前向整形级可以通过在3d直方图中将其亮度值与1d亮度直方图中的相同亮度区间对应的所有3d区间求和来构建1d亮度直方图。
[0074]
cdf匹配可以由cdf匹配块执行以基于1d亮度直方图生成插值的flut。插值的flut可以被平滑以生成平滑的flut。此外，后向整形lut(blut)可以由blut构造块456使用在平滑的flut中表示的码字映射或曲线(例如，8段二阶多项式等)来构造。
[0075]
以不同的计算成本构建1d亮度直方图的两个示例方法或过程在下面的表2和表3中示出。在如表2中所示的第一方法中，计算每个区间的质心。使用质心执行cdf匹配。这要求相对高成本的计算，但是以相对高的精度生成映射。在如表3中所示的第二方法中，每个区间由它的中点表示，其可以以相对低成本的计算容易地确定。以下展现这两种方法。
[0076]
表2
[0077]
[0078]
[0079]
[0080][0081]
表3
[0082]
[0083]
[0084][0085]
在一些操作场景中，块标准偏差(表示为“blkstd”)从hdr图像计算。从blkstd(如从hdr图像计算)和flut(如利用cdf匹配构造)估计条带伪影的风险。其强度取决于hdr图像的亮度级别和/或条带伪影的风险的噪声可以被注入(在“(a)噪声注入”子块中)到hdr图像的hdr亮度通道/平面的暗部分或子范围中。
[0086]
在美国专利10,032,262中描述了示例块标准偏差计算和条带伪影风险估计，该美国专利10,032,262的全部内容特此通过引用并入，就好像在本文中完整地阐述一样。
[0087]
此外，可选地或替代地，可以执行文字框处置操作以处置可能存在于参考hdr图像中的任何文字框来帮助确保前向整形的sdr图像和/或重构的hdr图像中的正确颜色。在前面提到的pct专利申请no.pct/us2019/031620中描述了示例文字框处置操作。
[0088]
可以通过对hdr图像的抖动的(或噪声注入的)hdr亮度通道/平面应用flut来生成对应的前向整形的sdr图像的bl亮度通道/平面/分量。
[0089]
可以通过对hdr图像的hdr色度通道/平面应用前向mmr系数来生成对应的前向整形的sdr图像的bl色度通道/平面/分量。前向mmr系数(表示色度前向整形映射)可以从前向d3dmt和文字框信息计算。
[0090]
来自映射信息级的d3dmt可以由前向整形级中的无约束的mmr矩阵构造接收。可以制定无约束的最小二乘问题以求解mmr系数，这些mmr系数要被用于将源hdr图像中的色度码字(包括任何文字框源hdr色度码字，如果适用的话)前向整形成整形的sdr图像中的整形的色度码字(包括任何文字框整形的sdr色度码字，如果适用的话)。
[0091]
从映射边信息中提供的d3dmt，可以如下使用表示d3dmt的3d直方图的非零区间(或非空区间)的sdr色度值构造两个向量：
[0092][0093]
另外，可以如下使用非零区间的平均hdr像素值构造矩阵：
[0094][0095]
其中
[0096][0097]
其包含所有支持的mmr项。
[0098]
令
[0099][0100]
可以如下通过使用无约束的mmr矩阵求解无约束的最小二乘问题来以闭合形式获得无约束的mmr系数：
[0101][0102]
图2a的“后向整形”块包括使用基于直方图的方法(诸如在前面提到的pct专利申请no.pct/us2019/031620中描述的直方图加权的blut构造方法)从flut构造亮度通道/平面的后向查找表(blut)，执行blut修改(表示为“(b)”)以修改blut的明亮部分或子范围来减轻或降低从对前向整形的sdr图像进行后向整形而生成的重构的hdr图像中的条带伪影的风险。
[0103]
由图2a的“前向整形”块生成的flut和前向mmr系数被用于(在“(d)d3dmt更新”子块中)更新从前向d3dmt生成(例如，作为逆等)的后向d3dmt的(亮度和/或色度通道/平面中的)sdr码字/样本。经修改的blut(如在“(b)blut修改”子块中生成)在“(c)颜色校正”子块中被用于修改后向d3dmt中的hdr色度码字(例如，值、样本等)以对颜色进行校正，从而改善重构的hdr图像的颜色外观。后向整形mmr系数可以从更新的后向d3dmt和文字框信息计算。
[0104]
d3dmt可以由后向整形级中的无约束的mmr矩阵构造接收。可以制定无约束的最小二乘问题以求解mmr系数，这些mmr系数要被用于将整形的sdr图像中的色度码字(包括任何文字框整形的sdr色度码字，如果适用的话)后向整形成重构的hdr图像中的重构的色度码字(包括任何文字框重构的hdr色度码字，如果适用的话)。
[0105]
从d3dmt，可以如下使用表示d3dmt的3d直方图的非零区间(或非空区间)的平均hdr色度值构造两个向量：
[0106][0107]
另外，可以如下使用非零区间的sdr像素值构造矩阵：
[0108][0109]
其中
[0110][0111]
其包含所有支持的mmr项。
[0112]
令
[0113][0114][0115]
可以如下通过使用无约束的mmr矩阵求解无约束的最小二乘问题来以闭合形式获得无约束的mmr系数：
[0116][0117]
包括(或指定)blut和后向整形mmr系数的后向整形映射可以作为伴随整形的sdr图像的图像元数据(例如，“rpu”等)的一部分在编码的位流中输出。
[0118]
出于实现解码器侧重构的hdr图像的质量与编码器侧计算成本(或效率)之间的特定可调整的折衷的目的，如图1b中所示的一些或全部折衷选项中的每一个可以被单独地选择或做出以配置视频编码器。可以做出第一折衷选项以启用/禁用噪声注入：通过保留/移除图2a中的处理子块(a)来启用/禁用。可以做出第二折衷选项以通过保留/移除图2a中的处理子块(b)来启用/禁用blut修改。可以做出第三折衷选项以通过保留/移除图2a中的处理子块(c)来启用/禁用颜色校正。针对d3dmt更新，可以做出多个折衷选择。例如，可以做出第四折衷选项以启用/禁用图2a中的处理子块(d)。可以做出第五折衷选项以保留图2a中的数据流(2)和处理子块(d)。可以做出第六折衷选项以保留图2a中的数据流(3)和处理子块(d)。
[0119]
图2b中图示了第七折衷选项。在这个选项下，用于生成后向整形映射的后向d3dmt从在图2b的指示为(4)的数据流中提供的前向整形的sdr图像和参考hdr图像构成。
[0120]
总之，如本文描述的可调整的折衷技术可以用于生成后向整形映射并且支持视频编解码器之间的端到端视频递送。可以选择或做出各种折衷选项以配置视频编码器来实现符合编码器侧计算资源的可用性的最优的解码器侧重构的hdr图像的质量。
[0121]
编码器侧和/或解码器侧计算资源的可用性可以用于(例如，动态地、静态地、自适应地等)选择或做出特定可调整的折衷选项。如本文描述的示例计算资源可以包括但不限于cpu消耗、dsp处理能力、存储器大小、高速缓存、数据存储库、网络资源、时延、端到端视频递送流水线中的延迟等。
[0122]
图2c图示了示例视频编解码器，诸如视频解码器(例如，图1a的解码块(130)等)，其也可以利用下游视频解码器(例如，接收器等)中的一个或多个计算处理器等实现。
[0123]
在诸如图2c中所示的一些操作场景中，编码有单层144中的(前向)整形的sdr图像和图像元数据152(其包括但不必仅限于由上游视频编码器生成的后向整形映射)的视频信
号作为视频解码器的输入。
[0124]
解压缩块154(例如，图1a的解码块(130)的一部分等)将视频信号的单层(144)中的压缩的视频数据解压缩/解码成解码的sdr图像(182)。解码的sdr图像(182)可以与整形的sdr图像相同，遭受编码块(120)中和解压缩块(154)中的量化误差，这可能已针对sdr显示设备进行了优化。解码的sdr图像(182)可以在输出的sdr视频信号156中(例如，通过hdmi接口、通过视频链路等)输出到sdr显示设备并且在sdr显示设备上渲染。
[0125]
此外，后向整形块158从输入的视频信号提取后向整形映射，基于在图像元数据(152)中的提取的后向整形映射构造最优的后向整形函数，并且基于最优的后向整形函数对整形的sdr图像执行后向整形操作以生成重构的hdr图像(例如，逼近hdr参考图像的图1a的后向整形的hdr图像132-1等)。
[0126]
在一些实施例中，后向整形的hdr图像表示针对hdr目标/参考显示设备优化的制作质量或接近制作质量的hdr图像。后向整形的hdr图像可以在输出的hdr视频信号160中(例如，通过hdmi接口、通过视频链路等)输出到hdr显示设备并且在hdr显示设备上渲染。在一些操作中，dm可能不在接收器中实现以降低成本或时延。
[0127]
此外，可选地或替代地，在一些操作场景中，dm元数据可以在图像元数据(152)和整形的sdr图像中被传送到接收器。特定于hdr显示设备的显示管理操作可以至少部分地基于图像元数据(152)中的dm元数据对后向整形的hdr图像执行，例如以生成要在hdr显示设备上渲染的hdr显示图像。
[0128]
出于说明的目的，已描述了单层编解码器架构。应当注意的是，如本文描述的技术可以在除了图2a至图2c中所示的那些以外的不同的单层编解码器架构中使用。此外，可选地或替代地，这些技术可以在多层编解码器架构中使用。因此，单层或多层编解码器架构的这些和其它变体可以与如本文描述的技术中的一些或全部一起操作。
[0129]
更新d3dmt以用于后向整形
[0130]
在解码器侧重构的hdr图像的质量和编码器侧计算成本(或效率)方面如前面提到的pct专利申请no.pct/us2019/031620中描述的高保真与高效率方法之间的许多相对大的差距可以归因于用于计算或生成诸如用于在色度通道/平面中后向整形sdr图像的后向整形mmr系数的后向整形映射(或函数)的方法。
[0131]
一方面，高效率方法直接从前向d3dmt计算后向整形mmr系数，从而引入显著影响解码器侧重构的hdr图像的质量的误差。这是因为前向d3dmt对于前向整形可以足够准确，但是对于后向整形可能不足够准确。
[0132]
在颜色空间的单个(亮度)通道/平面中执行亮度整形可以易于在某种程度上在整形的码字/值中产生误差。对于色度整形的mmr预测可以生成进一步的误差。
[0133]
图3a图示了对于前向d3dmt中的每个条目的前向整形造成的y、cb(表示为c0或c0)和cr(表示为c1或c1)的示例预测误差。这些预测误差表示前向d3dmt中的原始码字/值与flut/mmr预测的码字/值之间的差异或偏差。亮度预测误差可以比色度预测误差更突出。这些预测误差可以进一步传播到后向整形，从而在重构的hdr图像中产生相对显著的误差。
[0134]
另一方面，高保真方法从参考(或源)hdr和对应的sdr图像(例如，前向整形的sdr图像等)构造新的后向d3dmt，从而引发显著的计算成本和时延。
[0135]
用于预测亮度通道/平面中的sdr码字/值的flut和用于预测色度通道/平面中的
sdr码字/值的前向mmr系数被首先求解/获得。为了纠正或最小化后向整形映射中的前向整形引入的预测误差，然后可以通过利用flut预测的亮度sdr码字/值和前向mmr预测的色度码字/值替换或纠正前向d3dmt的sdr条目中的内容映射的sdr码字/值(其在图2a或图2b的“映射信息”块中由内容映射hdr码字/值/样本生成)来生成与前向d3dmt对应的后向d3dmt。
[0136]
如下表示从第t个hdr参考图像(或帧)的hdr样本(或y、c0和c1通道/平面中的源hdr值)和通过对hdr样本进行内容映射生成的对应的sdr样本(或内容映射的sdr值)生成的前向d3dmt中的映射对如下：
[0137][0138]
其中k是前向d3dmt中的条目或行的总数；和分别表示映射表中的第k个条目的y、c0和c1通道/平面中的源hdr值；通道/平面中的源hdr值；和分别表示前向d3dmt中的第k个条目的y、c0和c1通道/平面中的内容映射的sdr值；k是0与(k
–
1)之间的整数。
[0139]
如本文描述的映射表中的映射对是指hdr值和的条目(例如，在上面的表达式(1)的左侧等)与sdr值和的对应条目(例如，在上面的表达式(1)的右侧等)的对。在如本文描述的技术下，可以出于生成相对高质量的后向整形映射的目的更新映射对中的这些值。
[0140]
令flut
t
(
·
)表示用于在亮度通道/平面中从hdr码字/值预测sdr码字/值的前向flut(从前向d3dmt生成)。令和分别如下表示用于在色度通道/平面c0和c1中从hdr码字/值预测sdr码字/值的前向mmr系数(从前向d3dmt生成)：
[0141][0142]
其中m表示基于mmr的前向整形映射中的项的总数。
[0143]
包括从sdr到hdr的映射对的后向d3dmt可以最初作为前向d3dmt的逆生成。例如，出于将后向d3dmt最初作为前向d3dmt的逆进行构造的目的，前向d3dmt中映射到sdr值的hdr值可以用作后向d3dmt中sdr值被映射到的对应hdr值。
[0144]
在亮度通道/平面中在后向d3dmt中利用利用flut预测的前向整形的sdr码字/值替换内容映射的sdr码字/值的示例过程在下面的表4中示出。
[0145]
表4
[0146][0147]
在一些操作场景中，在更新最初作为前向d3dmt的逆生成的后向d3dmt中的sdr亮度码字/值之后，可以如下生成从hdr到sdr的经修改的后向d3dmt：
[0148][0149]
如前面提到的，为了构造这个后向d3dmt，前向d3dmt中映射到sdr值的hdr值可以用作后向d3dmt中sdr值被映射到的对应hdr值。
[0150]
在色度通道/平面中在后向d3dmt中利用利用前向mmr系数预测的前向整形的sdr码字/值替换内容映射的sdr码字/值的示例过程在下面的表5中示出。
[0151]
表5
[0152][0153]
在一些操作场景中，在更新最初作为前向d3dmt的逆生成的后向d3dmt中的sdr色度码字/值之后，可以如下生成从sdr到hdr的经修改的后向d3dmt：
[0154][0155]
此外，可选地或替代地，在更新后向d3dmt中的sdr亮度和色度码字/值之后，可以如下生成从sdr到hdr的经修改的后向d3dmt：
[0156]
[0157]
用于预测重构的hdr码字/值的后向mmr系数可以从表达式(3)至(5)中表示的经修改的后向d3dmt计算。以表达式(5)中的更新的后向d3dmt为例。构造矩阵为：
[0158][0159]
其中包含mmr预测操作支持的所有(m个)项。
[0160]
令
[0161][0162][0163][0164][0165][0166]
用于后向整形的后向mmr系数可以如下计算：
[0167][0168][0169]
在一些操作场景中，亮度通道/平面中的后向整形中的预测误差比色度通道/平面中的后向整形中的预测误差显著。此外，在更新/修改后向d3dmt中生成和更新sdr亮度码字或值在计算上比生成和更新sdr色度码字或值高效。在这些操作场景中，如表4中指示的处理可以被给予比如表5中指示的处理高的优先级。
[0170]
图4a图示了用于解码器侧重构的hdr图像的质量与编码器侧更新或构建d3dmt以用于生成后向整形映射的计算成本之间的可调整的折衷的示例处理流程。在一些实施例中，利用一个或多个计算设备实现的视频编码器可以执行这个处理流程。
[0171]
块402包括确定(例如，视频编码器的、编码块的、涉及将视频数据递送到解码器/回放设备的一个或多个视频编解码器的等)计算资源是否可用于支持更新/构建前向d3dmt(或更新/构建最初作为其逆生成的对应的后向d3dmt)。
[0172]
块404包括响应于确定计算资源不可用于支持更新/构建前向d3dmt(或后向d3dmt)，避免对前向d3dmt做出改变，直接使用前向d3dmt的逆作为后向d3dmt以计算后向mmr系数。重构的hdr图像的第一颜色等级可以由接收前向整形的sdr图像和至少部分地通过后向mmr系数生成的对应的后向整形映射的视频解码器生成。
[0173]
为了生成第一颜色等级，如图3b中所示，视频编码器首先从每个源(或输入)hdr图像的hdr样本和与源hdr图像对应的内容映射的sdr图像的对应的sdr样本构建前向d3dmt。视频编码器然后计算后向整形映射，其包括但不限于由从作为前向d3dmt的逆的后向d3dmt(没有对前向或后向d3dmt进行任何进一步的更新)导出的后向整形mmr系数表示的色度后向整形函数。
[0174]
如本文所使用的，可以生成不同的颜色等级以描绘同一视觉语义内容。颜色等级可以指描绘同一视觉语义内容的重构的hdr图像的特定(例如，编码器生成的等)版本。
[0175]
块406包括响应于确定计算资源可用于支持更新/构建前向d3dmt(或后向d3dmt)，确定可用的计算资源的特定级别。
[0176]
在一些操作场景中，多个计算资源级别阈值可以对视频编码器配置并且可以由视频编码器使用以与可用的计算资源的特定级别进行比较。
[0177]
块408包括基于可用的计算资源的特定级别和多个计算资源级别阈值确定多个折衷选项当中用于更新/构建d3dmt的对应的特定折衷选项。
[0178]
例如，响应于确定可用的计算资源的特定级别高于第一计算资源级别阈值但低于第二计算资源级别阈值(其高于第一计算资源级别阈值)，视频编码器可以如表4中所示更新前向d3dmt(或对应的后向d3dmt)的sdr亮度码字/值。重构的hdr图像的第二颜色等级可以由接收前向整形的sdr图像和至少部分地通过从更新的d3dmt导出的后向mmr系数生成的对应的后向整形映射的视频解码器生成。
[0179]
为了生成第二颜色等级，如图3b中所示，视频编码器首先从每个源(或输入)hdr图像的hdr样本和与源hdr图像对应的内容映射的sdr图像的对应的sdr样本构建前向d3dmt。视频编码器基于前向d3dmt生成亮度前向整形函数并且使用亮度前向整形函数以更新前向d3dmt或最初作为前向d3dmt的逆生成的后向d3dmt中的亮度码字/值(但不更新色度码字/值)。视频编码器然后计算后向整形映射，其包括但不限于由从更新的后向d3dmt导出的后向整形mmr系数表示的色度后向整形函数。
[0180]
响应于确定可用的计算资源的特定级别高于第二计算资源级别阈值但低于第三计算资源级别阈值(其高于第二计算资源级别阈值)，视频编码器可以如表4和5中所示更新前向d3dmt(或对应的后向d3dmt)的sdr亮度和色度码字/值。重构的hdr图像的第三颜色等级可以由接收前向整形的sdr图像和至少部分地通过从更新的d3dmt导出的后向mmr系数生成的对应的后向整形映射的视频解码器生成。
[0181]
为了生成第三颜色等级，如图3b中所示，视频编码器首先从每个源(或输入)hdr图像的hdr样本和与源hdr图像对应的内容映射的sdr图像的对应的sdr样本构建前向d3dmt。视频编码器基于前向d3dmt生成亮度前向整形函数以及基于前向d3dmt生成色度前向整形函数(例如，前向整形mmr系数等)。视频编码器使用亮度和色度前向整形函数以更新前向d3dmt或最初作为前向d3dmt的逆生成的后向d3dmt中的亮度码字/值以及色度码字/值。视频编码器然后计算后向整形映射，其包括但不限于由从更新的后向d3dmt导出的后向整形
mmr系数表示的色度后向整形函数。
[0182]
响应于确定可用的计算资源的特定级别高于第三计算资源级别阈值，视频编码器可以使用hdr源(或参考)图像和对应的前向整形的sdr图像以构造(新的)后向d3dmt(例如，不使用前向d3dmt的逆等)用于后向整形，并且继续基于构造的后向d3dmt计算后向mmr系数。重构的hdr图像的第四颜色等级可以由接收前向整形的sdr图像和至少部分地通过从构造的后向d3dmt导出的后向mmr系数生成的对应的后向整形映射的视频解码器生成。
[0183]
为了生成第四颜色等级，如图3b中所示，视频编码器首先从每个源(或输入)hdr图像的hdr样本和与源hdr图像对应的内容映射的sdr图像的对应的sdr样本构建前向d3dmt。视频编码器基于前向d3dmt生成亮度前向整形函数以及基于前向d3dmt生成色度前向整形函数(例如，前向整形mmr系数等)。视频编码器使用亮度和色度前向整形函数以生成前向整形的sdr图像。视频编码器然后计算后向整形映射，其包括但不限于由从直接基于源hdr图像和前向整形的sdr图像构建的后向d3dmt导出的后向整形mmr系数表示的色度后向整形函数。
[0184]
blut修改
[0185]
在一些操作场景中，示例折衷选项是如图1b中所示的blut修改。使用blkstd估计没有示出条带伪影的、可以由sdr区间的可用码字表示的最大亮度范围。从blut计算由可用码字表示的实际亮度范围(例如，可能示出条带伪影等)。可以基于最大亮度范围与实际亮度范围之间的比率修改特定的亮度码字/值(例如，表示为y～等)以上的(例如，最明亮的、上限亮度码字/值以下最明亮的等)blut部分。此外，可选地或替代地，作为噪声注入操作的一部分可以改变暗的(例如，最暗的、下限亮度码字/值以上最暗的等)blut部分。示例blut修改和噪声注入在前面提到的美国临时专利申请no.62/885,921中被描述。
[0186]
如本文描述的在视频编码器中启用blut修改可以减轻或减少重构的hdr图像的明亮区域中的条带伪影，从而显著改善这些重构的hdr图像的视觉质量。
[0187]
针对blut修改的颜色校正
[0188]
在一些操作场景中，虽然blut修改可以减轻明亮区域中的条带伪影，但是观察到受影响的像素(例如，它们的亮度码字/值因blut修改而改变)的颜色外观会改变。例如，当通过blut修改从重构的hdr图像中太阳周围的天空移除条带伪影时，重构的hdr图像中的天空的颜色可以看起来比没有blut修改的重构的hdr图像饱和。
[0189]
一般地，当像素的色度值保持相同时，减小像素的亮度值可以使像素的颜色看起来更饱和，而增加像素的亮度值可以使像素看起来不那么饱和。
[0190]
这可能不意味着饱和度实际改变，而是观看者视觉感知的像素的颜色外观对于相同的色度值在不同的亮度值下是不同的。
[0191]
在一些操作场景中，与因blut修改而改变的像素的亮度值对应的像素的对应色度值可以被修改，使得这些像素的颜色外观看起来相对接近源(例如，参考、输入等)hdr图像中的颜色外观。经修改的blut与原始的blut(没有通过blut修改被改变)之间的比率用作去饱和(或色度缩放)函数以调谐色度值。
[0192]
令blut
orig
(
·
)表示原始的blut。令blut
mod
(
·
)表示抑制条带伪影的经修改的blut。blut将(例如，规范化的、未规范化的等)sdr亮度值映射到(例如，规范化的、未规范化的等)hdr亮度值。
[0193]
仅出于说明的目的，色度值在包括但不限于ycbcr、ictcp、iptpq等的颜色空间中表示，其中规范化的域[0 1]中的色度值利用偏移0.5表示。因此，0.5的色度值意味着中性色(灰度级)。为了调谐色度值(或其饱和度/颜色外观)，可以从色度值移除偏移。
[0194]
在色度通道/平面中在后向d3dmt中利用去饱和的hdr码字/值替换输入(或参考)hdr色度码字/值的示例过程在下面的表6中示出。这使得通过如本文描述的后向整形映射生成的重构的hdr码字/值逼近去饱和的hdr码字/值、而不是输入(或参考)hdr色度码字/值。
[0195]
表6
[0196][0197]
在一些操作场景中，在更新最初作为前向d3dmt的逆生成的后向d3dmt中的hdr色度码字/值(以及利用前向整形的sdr码字/值替换内容映射的sdr码字/值)之后，可以如下生成从hdr到sdr的经修改的后向d3dmt：
[0198][0199]
后向整形映射中的后向mmr系数然后可以从后向d3dmt计算。
[0200]
如表6中所示的去饱和函数中的参数β表示调谐参数，其实际值可以通过原始(例如，训练等)hdr图像以及具有去饱和的色度值和不具有去饱和的色度值的对应的重构的hdr图像的颜色外观的实证研究来确定或调谐。参数β的示例值可以包括但不必仅限于1.5、2、2.5、3、3.5等中的一个。
[0201]
如表6中所示，c0或cb通道中的去饱和的色度值包括两项。第一项表示去饱和的色度值与中性灰度值0.5的偏差。因此，当c0或cb通道中的去饱和的色度值的第一项相对小时，去饱和的色度值被调谐到相对接近中
性灰度值0.5。作为结果，具有被调谐到相对接近中性灰度值0.5的这个去饱和的色度值的像素的颜色比具有对应的调谐前的色度值的像素更去饱和。
[0202]
类似地，c1或cr通道中的去饱和的色度值包括两项。第一项表示去饱和的色度值与中性灰度值0.5的偏差。因此，当c1或cb通道中的去饱和的色度值的第一项相对小时，去饱和的色度值被调谐到相对接近中性灰度值0.5。作为结果，具有被调谐到相对接近中性灰度值0.5的这个去饱和的色度值的像素的颜色比具有对应的调谐前的色度值的像素更去饱和。
[0203]
图3c图示了可应用到各种颜色等级(例如，如图3b中所示的颜色等级2-4等)中的任何颜色等级的示例颜色校正。通过示例的方式，视频编码器基于如本文描述的后向d3dmt生成亮度后向整形函数，诸如(例如，修改前的等)blut。视频编码器然后修改blut以减少条带伪影(例如，其风险等)。视频编码器使用修改前的blut和经修改的blut以生成去饱和函数(例如，作为上面的表6中所示的比率等)来更新后向d3dmt中的hdr色度码字/值。视频编码器然后计算后向整形映射，其包括但不限于由从更新的后向d3dmt导出的后向整形mmr系数表示的色度后向整形函数。
[0204]
图3d图示了结合针对颜色等级2的d3dmt更新操作(如图3b中所示)执行的示例颜色校正。视频编码器首先从每个源(或输入)hdr图像的hdr样本和与源hdr图像对应的内容映射的sdr图像的对应的sdr样本构建前向d3dmt。视频编码器基于前向d3dmt构造或生成亮度前向整形函数。视频编码器使用亮度前向整形函数以更新前向d3dmt或最初作为前向d3dmt的逆生成的后向d3dmt中的亮度码字/值。视频编码器然后基于后向d3dmt构造或生成亮度后向整形函数。视频编码器进一步修改blut以减少条带伪影。视频编码器使用修改前的blut和经修改的blut以生成去饱和函数(例如，作为上面的表6中所示的比率等)来更新后向d3dmt中的hdr色度码字/值。视频编码器随后计算后向整形映射，其包括但不限于由从更新的后向d3dmt导出的后向整形mmr系数表示的色度后向整形函数。
[0205]
后向整形映射和时间稳定性
[0206]
图3e图示了具有亮度更新、blut修改和颜色校正的示例后向整形映射生成。块302包括使用源hdr图像的采样的hdr码字和对应的内容映射的sdr码字以构造d3dmt，每个d3dmt包括给定源hdd图像的hdr码字与sdr码字之间的多个映射对。块304包括基于每个d3dmt中的多个映射对构造对应的亮度前向整形函数，诸如前向查找表(flut)。块306包括基于每个d3dmt中的多个映射对构造由前向mmr系数表示的对应的前向色度映射。块308包括通过利用利用flut预测的前向整形的sdr码字替换内容映射的sdr亮度码字来更新每个d3dmt中的多个映射对中的sdr亮度码字。块310包括从flut构造亮度后向整形函数(blut)。块312包括修改blut以减轻或降低条带伪影的风险。块314包括通过利用基于原始的和经修改的blut生成的去饱和的hdr色度码字替换采样的hdr色度码字来校正每个d3dmt中的多个映射对中的hdr色度码字。块316包括对于与源hdr图像中的一个对应的每个前向整形的sdr图像基于包括具有更新的亮度sdr码字和更新的色度hdr码字的多个映射对的更新的d3dmt
计算色度后向整形映射(例如，色度后向整形函数、后向(整形)mmr系数等)。
[0207]
在一些操作场景中，出于维持图像元数据的时间稳定性的目的，在计算/生成/包括图像元数据中的后向整形映射中可以使用基于线性段的结构。示例基于线性段的结构在2018年1月4日公布的美国专利申请no.2018/0007356中被描述，该美国专利申请no.2018/0007356的全部内容特此通过引用并入，就好像在本文中完整地阐述一样。
[0208]
如本文描述的一些或全部技术可以作为实时操作的部分实现和/或执行，以产生对于广播视频应用、实时流传输应用等的合适的视频内容的颜色等级。此外，可选地或替代地，如本文描述的一些或全部技术可以作为时间延迟或离线操作的部分实现和/或执行，以产生对于非实时流传输应用、影院应用等的合适的视频内容的颜色等级。
[0209]
示例处理流程
[0210]
图4b图示了根据实施例的示例处理流程。在一些实施例中，一个或多个计算设备或组件(例如，编码设备/模块、转码设备/模块、解码设备/模块、逆色调映射设备/模块、色调映射设备/模块、媒体设备/模块、反向映射生成和应用系统等)可以执行这个处理流程。在块422中，图像处理系统生成最初作为前向整形表的逆的后向整形映射表。
[0211]
前向整形表被用于生成前向整形映射以从第二动态范围的源图像生成第一动态范围的前向整形的图像。第一动态范围低于第二动态范围。前向整形映射表包括第二动态范围的采样的亮度码字、第二动态范围的采样的色度码字、与第二动态范围的采样的亮度码字对应的第一动态范围的内容映射的亮度码字、以及与第二动态范围的采样的色度码字对应的第一动态范围的内容映射的色度码字。
[0212]
在块424中，图像处理系统通过利用前向整形的亮度码字替换内容映射的亮度码字来更新后向整形映射表。前向整形的亮度码字通过对第二动态范围的采样的亮度码字应用亮度前向映射来生成。亮度前向映射从前向整形映射表构造。
[0213]
在块426中，图像处理系统使用后向整形映射表和亮度前向映射生成后向整形映射以用于从第一动态范围的前向整形的图像创建第二动态范围的重构的图像。
[0214]
在块428中，图像处理系统将前向整形的图像与指定后向整形映射的图像元数据一起编码在视频信号中。视频信号的接收方设备对前向整形的图像应用后向整形映射以创建第二动态范围的重构的图像。
[0215]
在实施例中，图像处理系统还被配置为执行：确定端到端视频递送流水线中可用的计算资源；使用可用的计算资源以确定解码器侧第二动态范围的重构的图像的质量与编码器侧生成后向整形映射的计算复杂度之间的特定的一组折衷选项；根据特定的一组折衷选项执行特定的一组图像处理操作以生成后向整形映射。
[0216]
在实施例中，图像处理系统还被配置为使显示图像从重构的图像导出并且利用视频信号的接收方设备渲染。
[0217]
在实施例中，图像处理系统还被配置为通过利用前向整形的色度码字替换内容映射的色度码字来更新后向整形映射表。前向整形的色度码字通过对第二动态范围的采样的亮度和色度码字应用多变量多元回归(mmr)色度前向映射来生成。mmr色度前向映射从前向整形映射表构造。
[0218]
在实施例中，图像处理系统还被配置为通过利用去饱和的色度码字替换采样的色度码字来更新后向整形映射表。
[0219]
在实施例中，去饱和的色度码字通过对采样的色度码字应用去饱和函数来生成；去饱和函数被构造为经修改的亮度后向整形映射与原始的亮度后向整形映射之间的比率。
[0220]
在实施例中，图像处理系统还被配置为使后向查找表修改被应用以减少重构的图像中的条带伪影。
[0221]
在实施例中，后向映射表和前向映射表中的至少一个表示至少部分地从源图像和前向整形的图像动态地构造的三维映射表(3dmt)。
[0222]
在实施例中，亮度前向映射通过亮度查找表表示。
[0223]
在实施例中，第二动态范围的重构的图像逼近第二动态范围的源图像。
[0224]
在实施例中，视频信号表示单层后向兼容的视频信号。
[0225]
图4c图示了根据本发明的实施例的示例处理流程。在一些实施例中，一个或多个计算设备或组件(例如，编码设备/模块、转码设备/模块、解码设备/模块、逆色调映射设备/模块、色调映射设备/模块、媒体设备/模块、预测模型和特征选择系统、反向映射生成和应用系统等)可以执行这个处理流程。在块442中，视频解码系统从视频信号解码第一动态范围的前向整形的图像。
[0226]
在块444中，视频解码系统从视频信号解码包括后向整形映射的图像元数据。
[0227]
后向整形映射由上游图像处理设备从后向整形映射表和亮度前向映射生成。后向整形映射表由上游图像处理设备最初作为前向整形映射表的逆生成，该前向整形映射表生成亮度前向映射。后向整形映射表中的内容映射的亮度码字被利用前向整形的亮度码字更新。前向整形的亮度码字通过对源图像中的采样的源亮度码字应用亮度前向映射来生成。
[0228]
在块446中，视频解码系统对前向整形的图像应用后向整形映射以生成重构的图像。
[0229]
在块448中，视频解码系统使从重构的图像导出的显示图像被利用显示设备渲染。
[0230]
在实施例中，计算设备(诸如显示设备、移动设备、机顶盒、多媒体设备等)被配置为执行前述方法中的任何一个。在实施例中，一种装置包括处理器并且被配置为执行前述方法中的任何一个。在实施例中，一种非暂态计算机可读存储介质存储软件指令，这些软件指令在由一个或多个处理器执行时使得执行前述方法中的任何一个。
[0231]
在实施例中，一种计算设备包括一个或多个处理器和存储指令集的一个或多个存储介质，该指令集在由一个或多个处理器执行时使得执行前述方法中的任何一个。
[0232]
注意的是，尽管本文中讨论了单独的实施例，但是可以组合本文讨论的实施例和/或部分实施例的任何组合以形成另外的实施例。
[0233]
示例计算机系统实现
[0234]
本发明的实施例可以利用计算机系统，以电子电路和组件配置的系统，集成电路(ic)设备，诸如微控制器、现场可编程门阵列(fpga)、或者另一种可配置或可编程逻辑器件(pld)、离散时间或数字信号处理器(dsp)、专用ic(asic)，和/或包括这样的系统、设备或组件中的一个或多个的装置实现。计算机和/或ic可以执行、控制或执行与具有增强的动态范围的图像的自适应感知量化相关的指令，诸如本文描述的那些。计算机和/或ic可以计算与本文描述的自适应感知量化处理相关的各种参数或值中的任何一个。图像和视频实施例可以以硬件、软件、固件及其各种组合实现。
[0235]
本发明的某些实现包括执行使处理器执行本公开的方法的软件指令的计算机处
理器。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行处理器可访问的程序存储器中的软件指令来实现与上述hdr图像的自适应感知量化相关的方法。本发明的实施例也可以以程序产品的形式提供。程序产品可以包括携载包括指令的一组计算机可读信号的任何非暂态介质，这些指令在由数据处理器执行时使数据处理器执行本发明的实施例的方法。根据本发明的实施例的程序产品可以是各种各样的形式中的任何一种。程序产品可以包括例如物理介质，诸如包括软盘、硬盘驱动器的磁性数据存储介质，包括cd rom、dvd的光学数据存储介质，包括rom、闪存ram的电子数据存储介质等。程序产品上的计算机可读信号可以可选地被压缩或加密。
[0236]
在上面提及组件(例如，软件模块、处理器、组装件、设备、电路等)时，除非另外指示，否则对那个组件的提及(包括对“手段”的提及)应当被解释为包括那个组件的等同物，执行描述的组件的功能(例如，在功能上等同)的任何组件，包括在结构上不等同于公开的结构但是执行本发明的说明性示例实施例中的功能的组件。
[0237]
根据一个实施例，本文描述的技术由一个或多个专用计算设备实现。专用计算设备可以硬连线以执行这些技术，或者可以包括数字电子设备(诸如被持久地编程以执行这些技术的一个或多个现场可编程门阵列(fpga)或专用集成电路(asic))，或者可以包括被编程以根据固件、存储器、其它存储装置或组合中的程序指令执行这些技术的一个或多个通用硬件处理器。这样的专用计算设备还可以将定制的硬连线逻辑、asic或fpga与定制编程组合以实现这些技术。专用计算设备可以是桌面式计算机系统、便携式计算机系统、手持式设备、联网设备或者并入硬连线和/或程序逻辑以实现这些技术的任何其它设备。
[0238]
例如，图5是图示可以在其上实现本发明的实施例的计算机系统500的框图。计算机系统500包括用于传送信息的总线502或其它通信机制、以及与总线502耦合以用于处理信息的硬件处理器504。硬件处理器504可以是例如通用微处理器。
[0239]
计算机系统500还包括耦合到总线502以用于存储要由处理器504执行的指令和信息的主存储器506，诸如随机存取存储器(ram)或其它动态存储设备。主存储器506还可以用于在执行要由处理器504执行的指令期间存储临时变量或其它中间信息。这样的指令在存储在处理器504可访问的非暂态存储介质中时使计算机系统500成为被定制以执行指令中指定的操作的专用机器。
[0240]
计算机系统500进一步包括耦合到总线502以用于对处理器504存储静态信息和指令的只读存储器(rom)508或其它静态存储设备。存储设备510(诸如磁盘或光盘)被提供并且耦合到总线502以用于存储信息和指令。
[0241]
计算机系统500可以经由总线502耦合到显示器512(诸如液晶显示器)以用于向计算机用户显示信息。包括字母数字键和其它键的输入设备514耦合到总线502以用于将信息和命令选择传送到处理器504。另一种类型的用户输入设备是用于将方向信息和命令选择传送到处理器504并且用于控制显示器512上的光标移动的光标控件516，诸如鼠标、轨迹球或光标方向键。这种输入设备通常在两个轴(第一轴(例如，x)和第二轴(例如，y))上具有两个自由度，这允许设备指定平面中的位置。
[0242]
计算机系统500可以使用定制的硬连线逻辑、一个或多个asic或fpga、固件和/或程序逻辑(其与计算机系统组合，使计算机系统500成为或者将计算机系统500编程为专用机器)实现本文描述的技术。根据一个实施例，响应于处理器504执行包含在主存储器506中
的一个或多个指令的一个或多个序列，计算机系统500执行本文描述的技术。这样的指令可以从另一个存储介质(诸如存储设备510)读入到主存储器506中。包含在主存储器506中的指令的序列的执行使处理器504执行本文描述的处理步骤。在替代实施例中，可以使用硬连线的电路以代替软件指令或与软件指令组合。
[0243]
本文使用的术语“存储介质”是指存储使机器以特定方式操作的数据和/或指令的任何非暂态介质。这样的存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘或磁盘，诸如存储设备510。易失性介质包括动态存储器，诸如主存储器506。存储介质的常见形式包括例如软盘、柔性盘、硬盘、固态驱动器、磁带或任何其它磁性数据存储介质、cd-rom、任何其它光学数据存储介质、具有孔的图案的任何物理介质、ram、prom和eprom、flash-eprom、nvram、任何其它存储器芯片或磁片盒。
[0244]
存储介质不同于传输介质但是可以与传输介质结合使用。传输介质参与在存储介质之间传递信息。例如，传输介质包括同轴电缆、铜线和光纤，包括包含总线502的导线。传输介质也可以采用声波或光波的形式，诸如在无线电波和红外数据通信期间生成的那些。
[0245]
各种形式的介质可以涉及将一个或多个指令的一个或多个序列携载到处理器504以供执行。例如，指令可以最初携载在远程计算机的磁盘或固态驱动器上。远程计算机可以将指令加载到它的动态存储器中并且使用调制解调器通过电话线发送指令。计算机系统500本地的调制解调器可以在电话线上接收数据并且使用红外发射器将数据转换成红外信号。红外检测器可以接收红外信号中携载的数据，并且适当的电路可以将数据放置在总线502上。总线502将数据携载到主存储器506，处理器504从该主存储器506检索并且执行指令。由主存储器506接收的指令可以可选地在由处理器504执行之前或之后存储在存储设备510上。
[0246]
计算机系统500还包括耦合到总线502的通信接口518。通信接口518提供耦合到网络链路520的双向数据通信，该网络链路520连接到本地网络522。例如，通信接口518可以是综合业务数字网(isdn)卡、线缆调制解调器、卫星调制解调器或者提供与对应类型的电话线的数据通信连接的调制解调器。作为另一个示例，通信接口518可以是提供与兼容的lan的数据通信连接的局域网(lan)卡。还可以实现无线链路。在任何这样的实现中，通信接口518发送和接收携载表示各种类型的信息的数字数据流的电信号、电磁信号或光信号。
[0247]
网络链路520通常通过一个或多个网络向其它数据设备提供数据通信。例如，网络链路520可以通过本地网络522向主计算机524或者向由互联网服务提供商(isp)526运营的数据设备提供连接。isp526继而通过全球分组数据通信网络(现在通常称为“互联网”528)提供数据通信服务。本地网络522和互联网528两者使用携载数字数据流的电信号、电磁信号或光信号。将数字数据携载到计算机系统500和从计算机系统500携载数字数据的通过各种网络的信号以及网络链路520上并且通过通信接口518的信号是传输介质的示例形式。
[0248]
计算机系统500可以通过网络、网络链路520和通信接口518发送消息和接收数据，包括程序代码。在互联网示例中，服务器530可能通过互联网528、isp 526、本地网络522和通信接口518传送对于应用程序的请求代码。
[0249]
接收的代码可以在它被接收时由处理器504执行，和/或存储在存储设备510或其它非易失性存储装置中以供稍后执行。
[0250]
等同物、扩展、替代和杂项
[0251]
在前面的说明书中，已参考众多的具体细节描述了本发明的实施例，这些具体细节可能在实现之间变化。因此，何为本发明的要求保护的实施例以及申请人意图作为本发明的要求保护的实施例的唯一且排他的指示是从本技术发布的一组权利要求，这样的权利要求以特定的形式发布，包括任何后续的更正。对于这样的权利要求中包含的术语在本文中明确阐述的任何定义将决定在权利要求中使用的这样的术语的含义。因此，在权利要求中没有明确记载的限制、元素、性能、特征、优点或属性不应当以任何方式限制这样的权利要求的范围。因此，说明书和附图要被以说明性的而不是限制性的意义看待。
[0252]
从以下列举的示例实施例(eee)可以理解本发明的各个方面：
[0253]
eee 1.一种方法，包括：
[0254]
生成最初作为前向整形映射表的逆的后向整形映射表，其中所述前向整形映射表被用于生成前向整形映射以从第二动态范围的源图像生成第一动态范围的前向整形的图像，其中所述第一动态范围低于所述第二动态范围，其中所述前向整形映射表包括所述第二动态范围的采样的亮度码字、所述第二动态范围的采样的色度码字、与所述第二动态范围的采样的亮度码字对应的所述第一动态范围的内容映射的亮度码字、以及与所述第二动态范围的采样的色度码字对应的所述第一动态范围的内容映射的色度码字；
[0255]
通过利用前向整形的亮度码字替换所述内容映射的亮度码字来更新所述后向整形映射表，其中所述前向整形的亮度码字通过对所述第二动态范围的采样的亮度码字应用亮度前向映射来生成，其中所述亮度前向映射从所述前向整形映射表构造；
[0256]
使用所述后向整形映射表和所述亮度前向映射生成后向整形映射以用于从所述第一动态范围的前向整形的图像创建所述第二动态范围的重构的图像；
[0257]
将所述前向整形的图像与指定所述后向整形映射的图像元数据一起编码在视频信号中。
[0258]
eee 2.如eee 1所述的方法，其中所述视频信号的接收方设备对所述前向整形的图像应用所述后向整形映射以创建所述第二动态范围的重构的图像。
[0259]
eee 3.如eee 1或2的方法，还包括：
[0260]
确定端到端视频递送流水线中可用的计算资源；
[0261]
使用所述可用的计算资源以确定解码器侧所述第二动态范围的重构的图像的质量与编码器侧生成所述后向整形映射的计算复杂度之间的特定的一组折衷选项；
[0262]
根据所述特定的一组折衷选项执行特定的一组图像处理操作以生成所述后向整形映射。
[0263]
eee 4.如eee 2或3所述的方法，还包括：使显示图像从所述重构的图像导出并且利用所述视频信号的接收方设备渲染。
[0264]
eee 5.如eee 1-4中的任一项所述的方法，还包括：
[0265]
通过利用前向整形的色度码字替换所述内容映射的色度码字来更新所述后向整形映射表，其中所述前向整形的色度码字通过对所述第二动态范围的采样的辉度和色度码字应用多变量多元回归(mmr)色度前向映射来生成，其中所述mmr色度前向映射从所述前向整形映射表构造。
[0266]
eee 6.如eee 1-5中的任一项所述的方法，还包括：
[0267]
通过利用去饱和的色度码字替换所述采样的色度码字来更新所述后向整形映射
表。
[0268]
eee 7.如eee 6所述的方法，其中所述去饱和的色度码字通过对所述采样的色度码字应用去饱和函数来生成，并且其中所述去饱和函数被构造为经修改的亮度后向整形映射与原始的亮度后向整形映射之间的比率。
[0269]
eee 8.如eee 1-7中的任一项所述的方法，还包括：
[0270]
使后向查找表修改被应用以减少所述重构的图像中的条带伪影。
[0271]
eee 9.如eee 1-8中的任一项所述的方法，其中所述后向映射表和所述前向映射表中的至少一个表示至少部分地从所述源图像和所述前向整形的图像动态地构造的三维映射表(3dmt)。
[0272]
eee 10.如eee 1-9中的任一项所述的方法，其中所述亮度前向映射通过亮度查找表表示。
[0273]
eee 11.如eee 1-10中的任一项所述的方法，其中所述第二动态范围的重构的图像逼近所述第二动态范围的源图像。eee 12.如eee 1-11中的任一项所述的方法，其中所述视频信号表示单层后向兼容的视频信号。
[0274]
eee 13.一种方法，包括：
[0275]
从视频信号解码第一动态范围的前向整形的图像；
[0276]
从所述视频信号解码包括后向整形映射的图像元数据；
[0277]
其中所述后向整形映射由上游图像处理设备从后向整形映射表和亮度前向映射生成；
[0278]
其中所述后向整形映射表由所述上游图像处理设备最初作为前向整形映射表的逆生成，所述前向整形映射表生成所述亮度前向映射；
[0279]
其中所述后向整形映射表中的内容映射的亮度码字被利用前向整形的亮度码字更新；
[0280]
其中所述前向整形的亮度码字通过对所述源图像中的采样的源亮度码字应用所述亮度前向映射来生成；
[0281]
对所述前向整形的图像应用所述后向整形映射以生成重构的图像；
[0282]
使从所述重构的图像导出的显示图像被利用显示设备渲染。
[0283]
eee 14.一种计算机系统，所述计算机系统被配置为执行eee1-13中所述的方法中的任何一个。
[0284]
eee 15.一种装置，所述装置包括处理器并且被配置为执行eee1-13中所述的方法中的任何一个。
[0285]
eee 16.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质具有存储在其上的计算机可执行指令以用于利用一个或多个处理器根据eee 1-13中所述的方法中的任一个执行方法。