张量乘积的B平滑曲线预测器的制作方法

张量乘积的b平滑曲线预测器
1.相关申请案的交叉引用
2.本技术要求2019年10月1日申请的第62/908,770号美国临时专利申请案及2019年10月1日申请的第19200793.8号欧洲专利申请案的优先权，所述申请案的全部内容特此以引用的方式并入本文中。
技术领域
3.本公开大体上涉及图像。更特定来说，本公开的实施例涉及张量乘积的b平滑曲线预测器。


背景技术：

4.如本文中所使用，术语“动态范围(dr)”可与人类视觉系统(hvs)感知图像的强度(例如亮度、明度)的范围(例如从最暗黑色(黑暗)到最亮白色(强光))的能力相关。在此意义上，dr与“场景参考”强度相关。dr也可与显示装置适当或大致再现特定宽度的强度范围的能力相关。在此意义上，dr与“显示参考”强度相关。除非在本文描述中的任何点明确说明特定意义具有特定含义，否则应推断，可以两种意义中的任一者(例如，可互换地)使用术语。
5.如本文中所使用，术语“高动态范围(hdr)”与跨越人类视觉系统(hvs)的约14个到15个或更多个数量级的dr宽度相关。实际上，可相对于hdr略微缩小人类可在其内同时感知强度范围的广泛宽度的dr。如本文中所使用，术语“增强动态范围(edr)”或“视觉动态范围(vdr)”可个别或可互换地与可由包含眼睛移动的人类视觉系统(hvs)在场景或图像中感知以允许跨场景或图像的一些光适应改变的dr相关。如本文中所使用，edr可与跨越5个到6个数量级的dr相关。因此，尽管可相对于真实场景参考hdr略微变窄，但edr仍表示宽dr宽度且也可称为hdr。
6.实际上，图像包括色彩空间的一或多个色彩分量(例如明度y及彩度cb及cr)，其中每一色彩分量由每像素n个位(例如n＝8)的精度表示。使用非线性亮度编码(例如γ编码)，其中n≤8的图像(例如彩色24位jpeg图像)被视为标准动态范围的图像，而其中n》8的图像可被视为增强动态范围的图像。
7.给定显示器的参考电光转移函数(eotf)特征化输入视频信号的色彩值(例如亮度)与由显示器产生的输出屏幕色彩值(例如屏幕亮度)之间的关系。例如，itu rec.itu-r bt.1886的“在hdtv演播室制作中使用的用于平板显示器的参考电光转移函数(reference electro-optical transfer function for flat panel displays used in hdtv studio production)”(2011年3月)(其全文以引用的方式并入本文中)界定平板显示器的参考eotf。鉴于视频流式传输，关于其eotf的信息可作为(图像)元数据嵌入于位流中。术语“元数据”在本文中与作为编码位流的部分传输的任何辅助信息相关且促进解码器再现解码图像。此元数据可包含(但不限于)色彩空间或色域信息、参考显示参数及辅助信号参数，如本文中所描述。
8.本文中所使用的术语“pq”指感知亮度振幅量化。人类视觉系统以非常非线性方式响应增大亮度。人类看见刺激的能力受所述刺激的亮度、刺激的大小、组成刺激的空间频率及眼睛在人类观看刺激的特定时刻已适应的亮度水平影响。在一些实施例中，感知量化函数将线性输入灰度映射到更好地匹配人类视觉系统的对比敏感度阈值的输出灰度。smpte st 2084:2014的“掌握参考显示器的高动态范围eotf(high dynamic range eotf of mastering reference displays)”(下文中称为“smpte”)(其全文以引用的方式并入本文中)中描述实例性pq映射函数，其中鉴于固定刺激大小，针对每一亮度水平(例如刺激水平等)，根据最敏感适应水平及最敏感空间频率(根据hvs模型)来选择所述亮度水平处的最小可见对比步阶。
9.支持200cd/m2或尼特到1,000cd/m2或尼特的亮度的显示器代表相对于edr(或hdr)的较低动态范围(ldr)，也称为标准动态范围(sdr)。edr内容可显示于支持较高动态范围(例如从1,000尼特到5,000尼特或更大)的edr显示器上。此类显示器可使用支持高亮度能力(例如0尼特到10,000或更大尼特)的替代eoft界定。smpte 2084及rec.itu-r bt.2100的“用于在制作及国际节目交换中使用的高动态范围电视的图像参数值(image parameter values for high dynamic range television for use in production and international programme exchange)”(06/2017)中界定此eoft的实例。本发明人应了解，我们期望得到可用于支持各种sdr及hdr显示装置的显示能力的用于组合视频内容数据的改进技术。
10.本章节中所描述的方法为可追寻的方法，但未必为先前已设想或追寻的方法。因此，除非另有指示，否则不应认为本章节中所描述的任何方法仅因其包含在本章节中而被视为现有技术。类似地，除非另有指示，否则相对于一或多个方法所识别的问题不应基于本章节来认为已在任何现有技术中被认定。
附图说明
11.附图中以举例而非限制方式说明本发明的实施例且在附图中相同元件符号是指类似元件，且其中：
12.图1a描绘视频传送管线的实例性过程；图1b说明tpb交叉通道预测的实例性处理块；图1c及图1d说明tpb基产生运算的实例性实施方案；图1e及图1f说明tpb交叉乘积运算的实例性实施方案；图1g及图1h说明用于应用tpb预测的实例性流程图；
13.图2a到图2c说明实例性编解码器构架；
14.图3a到图3d说明均匀分布结的b平滑曲线基函数的实例性全集；
15.图4a及图4b说明实例性过程流程；及
16.图5说明其上可实施本文中所描述的计算机或计算装置的实例性硬件平台的简化框图。
具体实施方式
17.在以下描述中，为了解释而阐述许多特定细节以提供本公开的透彻理解。然而，应明白，可在无这些特定细节的情况下实践本公开。在其它例子中，未详尽描述众所周知的结构及装置以免不必要地妨碍、模糊或混淆本公开。
18.概述
19.本文中描述张量乘积的b平滑曲线(tpb)预测器。本文中所描述的技术可用于执行视频内容处理管线中的预测运算且使用上游视频内容处理器来产生组合器元数据以使下游视频内容处理器能够从载送于视频信号中的第二动态范围(例如sdr、hdr等)的解码视频内容重建第一不同动态范围(例如hdr、sdr等)的视频内容。在一些操作方案中，可使用单通道明度预测器及单件式(例如可应用于一些或所有可能输入亮度及色度码字等)多通道多元回归(mmr)彩度预测器来产生组合器元数据。单通道明度预测器可限制具有相同亮度的像素的色彩饱和度。单件式mmr通过强加全局映射来限制局部色彩预测。所述限制可使重建或映射图像的色彩精度更小及色彩不准确度更大且产生比色图表(例如含有待表示或测量的一些或所有可能色彩等)的一些部分(例如鲜艳色彩或高饱和色彩等)的相对较大色差。2018年12月18日申请的第62/781,185号美国临时专利申请案中描述实例性单通道明度预测及mmr彩度预测运算，所述申请案的全部内容以宛如全文阐述引用的方式并入本文中。
20.在一些操作方案中，本文中所描述的tpb预测器可用于视频内容处理管线中以由上视频内容处理器产生组合器元数据以使下游视频内容处理器能够以更好图像质量及相对较高色彩精度重建图像。
21.b平滑曲线使用具有特定阶的连续性约束的多项式来处理用于近似表示给定曲线或其分段的性质。可通过仅对b平滑曲线模型的顶部执行数据拟合来将b平滑曲线用于回归过程中。为在视频处理中捕获相对较高维度的多个输入变量，可通过使多个b平滑曲线函数相乘来指定张量乘积的b平滑曲线(或tpb)以实现映射、曲线等的相对较高维近似表示以使多个输入变量与目标值(或输出变量)相互关联。与组合单通道亮度预测器及单件式mmr以产生组合器元数据相比，使用tpb来产生组合器元数据提供好得多的工具来建模可能不同动态范围的不同色彩等级之间的变换。另外、任选地或替代地，tpb可用于提供自然连续曲线(其固有能力确保高达特定阶的连续性)以借此避免或显著减少最初产生预测、变换及/或映射之后的曲线拟合运算。例如，可根据本文中所描述的技术来避免应用于单通道亮度预测器的用于确保多个多项式段的连续性的计算密集型多项式近似算法。
22.tpb预测可用于例如基于场景及基于线性的情况的不同编码方案中。三维映射表(3dmt)可结合tpb预测使用以减少视觉可感知的色彩假影。实验结果表明，明度的预测准确度可提高10倍到40倍且彩度的预测准确度可提高1倍到4倍。
23.本文中所描述的实例性实施例涉及产生及编码tpb预测参数用于图像重建。确定一组张量乘积的b平滑曲线(tpb)基函数。产生与所述组tpb基函数一起使用的一组选定tpb预测参数以从源色彩等级的一或多个源图像中的源图像数据产生一或多个映射图像中的预测图像数据。通过最小化所述一或多个映射图像中的所述预测图像数据与参考色彩等级的一或多个参考图像中的参考图像数据之间的差来产生所述组选定tpb预测参数。所述一或多个参考图像对应于所述一或多个源图像且描绘与由所述一或多个源图像描绘的视觉内容相同的视觉内容。使所述组选定tpb预测参数作为图像元数据的一部分与所述一或多个源图像中的所述源图像数据一起编码于视频信号中。使所述一或多个映射图像由所述视频信号的接收装置重建及再现。
24.本文中所描述的实例性实施例涉及解码tpb预测参数用于图像重建及再现。从视频信号解码第一色彩等级的一或多个第一图像。从所述视频信号解码包括用于与一组张量
乘积的b平滑曲线(tpb)基函数相乘的一组选定tpb预测参数的图像元数据。所述组选定tpb预测参数由上游视频内容处理器产生。所述组选定tpb预测参数与所述组tpb基函数一起用于从第一色彩等级的一或多个第一图像中的第一图像数据产生一或多个映射图像中的预测图像数据。所述上游视频内容处理器通过最小化所述一或多个映射图像中的所述预测图像数据与参考色彩等级的一或多个参考图像中的参考图像数据之间的差来产生所述组选定tpb预测参数。所述一或多个参考图像对应于所述一或多个第一图像且描绘与由所述一或多个第一图像描绘的视觉内容相同的视觉内容。所述组tpb预测参数与所述组tpb基函数一起用于从所述一或多个第一图像产生所述一或多个映射图像。使从所述一或多个映射图像导出的一或多个显示图像由显示装置再现。
25.实例性视频传送处理管线
26.图1a描绘展示从视频捕获/产生到hdr或sdr显示的各种阶段的视频传送管线(100)的实例性过程。实例性hdr显示器可包含(但不限于)结合tv、移动装置、家庭影院等来操作的图像显示器。实例性sdr显示器可包含(但不限于)sdr tv、移动装置、家庭影院显示器、头戴式显示装置、穿戴式显示装置等。
27.使用图像产生块(105)来捕获或产生视频帧(102)。可(例如由数码相机)数字捕获或由计算机(例如使用计算机动画等)产生视频帧(102)以提供视频数据(107)。另外、任选地或替代地，可由胶卷相机在胶卷上捕获视频帧(102)。将胶卷转换成数字格式以提供视频数据(107)。在一些实施例中，视频数据(107)可在传递到视频传送管线(100)的下一处理阶段/时期之前(例如自动无人为输入、手动、自动带人为输入等)编辑或变换成图像序列。
28.接着，将视频数据(107)提供到处理器用于后期制作编辑(115)。后期制作编辑(115)可包含根据视频创作者的创作意图来调整或修改图像的特定区域的色彩或亮度以提高图像质量或实现图像的特定外观。此有时称为“色彩调整”或“色彩分级”。可在后期制作编辑(115)处执行其它编辑(例如场景选择及定序、手动及/或自动场景剪辑信息产生、图像剪裁、计算机产生的视觉特效添加等)以产生hdr图像(117-1)或sdr(或相对较窄动态范围)图像(117)(例如sdr等)的修订版本。
29.在一些实施例中，在后期制作编辑(115)期间，由对hdr图像(117-1)执行后期制作编辑操作的调色师在支持高动态范围的参考hdr显示器上观看hdr图像(117-1)。
30.在一些其它实施例中，在后期制作编辑(115)期间，由对sdr图像(117)执行后期制作编辑操作的调色师在支持标准动态范围(或相对较窄动态范围)的参考显示器(125)上观看sdr图像(117)。
31.在一些实施例中，编码块(120)可实施例如图2a或图2b中所说明的编解码器构架。在其中编码块(120)从后期制作编辑(115)接收hdr图像(117-1)的操作方案中，hdr图像(117-1)可由编码块(120)正向重塑成sdr图像(例如117)。
32.sdr图像(117)由编码块(120)压缩成(例如)单层中的编码位流(122)。在一些实施例中，编码块(120)可包含用于产生编码位流(122)的音频及视频编码器，例如由atsc、dvb、dvd、blu-ray及其它传送格式界定的音频及视频编码器。
33.在一些实施例中，使用保留在后期制作编辑(115)中产生sdr图像(117)的艺术意图的sdr图像(117)来编码经编码位流(122)。另外、任选地或替代地，在一些实施例中，使用保留在后期制作编辑(115)中产生hdr图像(117-1)(其被正向重塑成sdr图像(117))的艺术
意图的sdr图像(117)来编码经编码位流(122)。
34.编码块(120)可将sdr图像(117)编码成视频信号(例如8位sdr视频信号、10位sdr视频信号等)中的视频数据，其与各种sdr显示装置(例如sdr显示器等)回溯兼容(或替代地，非回溯兼容)。在非限制实例中，使用sdr图像(117)所编码的视频信号可为单层回溯兼容(或替代地，非回溯兼容)视频信号。
35.在一些实施例中，编码位流(122)是符合与由编码块(120)接收的输入sdr ycbcr视频信号相同的视频信号格式的视频信号。例如，在其中由编码块(120)接收的输入sdr ycbcr视频信号是8位sdr ycbcr视频信号的情况中，由编码块(120)输出的编码位流(122)可表示具有图像元数据(其包含(但不限于)由编码块(120)及/或后期制作块(115)产生的组合器元数据)的输出8位sdr ycbcr视频信号。组合器元数据(或反向重塑映射)可由下游解码器用于对sdr图像(117)执行反向重塑(例如逆色调映射等)以产生可相对准确地再现于(例如多个目标等)hdr参考显示器上的反向重塑图像。
36.在一些实施例中，可使用一或多个sdr转hdr转换工具至少部分基于组合器元数据来实施逆色调映射以从sdr图像(117)(或其解码版本)产生反向重塑图像。如本文中所使用，反向重塑是指将再量化图像转换回原始eotf域(例如γ或pq)或不同eotf域以用于进一步下游处理(例如显示管理)的图像处理操作。另外、任选地或替代地，本文中所描述的重塑(例如正向重塑、反向重塑等)可指在不同eotf、不同色彩空间、不同动态范围等之间转换的图像处理操作。
37.使用包含(但不限于)显示管理(dm)元数据的图像元数据来进一步编码经编码位流(122)，图像元数据可由下游解码器用于对hdr参考显示器的反向重塑图像执行显示管理操作以产生再现于(例如多个等)装置特定hdr显示器上的显示图像。
38.接着，将编码位流(122)向下游传送到接收器，例如解码及播放装置、媒体源装置、媒体流式传输客户端装置、电视(例如智能tv等)、视频转换器、电影院及其类似者。在接收器(或下游装置)中，编码位流(122)由解码块(130)解码以产生可与sdr图像(117)相同的解码图像182，其经受由编码块(120)执行的压缩及由解码块(130)执行的解压缩中所产生的量化误差。
39.由sdr图像(117)或其解码版本表示的实例性sdr视频内容可为(但未必仅限于为)sdr 视频内容、sdr图像、sdr电影版本、sdr 图像、sdr媒体程序等。如本文中所使用，术语“sdr ”表示sdr图像数据及元数据的组合，sdr图像数据及元数据在组合在一起时允许产生对应高动态范围(hdr)图像数据。sdr 图像元数据可包含用于产生反向重塑映射(例如tpb反向重塑映射等)的组合器数据，反向重塑映射在应用于输入sdr图像时产生对应hdr图像。sdr 图像允许与可忽略sdr 图像元数据且仅显示sdr图像的旧型sdr显示器回溯兼容。
40.与sdr视频内容一起传输到接收装置的图像元数据可包含根据本文中所描述的技术(例如自动、实时、在脱机处理中等)产生的组合器元数据。在一些实施例中，将视频数据(107)提供到处理器用于组合器元数据产生(115)。组合器元数据产生(115)可在无或很少人机交互的情况下自动产生组合器元数据。自动产生的组合器元数据可由(若干)接收装置用于执行反向重塑操作以从视频数据(107)中的sdr图像产生对应高动态范围(hdr)图像。
41.组合器元数据产生(115)可用于提供使视频内容可用于各种显示装置的一或多个有价值服务。由组合器元数据产生(115)提供的有价值服务是在其中描绘于sdr图像中的视
频内容的hdr图像不可用但描绘视频内容的sdr图像可用的操作方案中从sdr图像产生hdr图像，如上文所提及。因此，本文中所描述的技术可用于在其中sdr图像可用的操作方案中产生或组合hdr显示器的hdr视频内容。
42.由组合器元数据产生(115)提供的另一有价值服务是在不依赖调色师的一些或所有手动操作(称为“色彩调整”或“色彩分级”)的情况下(例如完全或部分等)产生hdr显示器的hdr视频内容。
43.另外、任选地或替代地，图像元数据中的dm元数据可由下游解码器用于对反向重塑图像执行显示管理操作以产生用于再现于hdr参考显示装置或其它显示装置(例如非参考hdr显示装置等)上的显示图像(例如hdr显示图像等)。
44.在其中接收器与支持标准动态范围或相对较窄动态范围的sdr显示器140一起操作(或附接到sdr显示器140)的操作方案中，接收器可使解码sdr图像直接或间接再现于目标显示器(140)上。
45.在其中接收器与支持高动态范围(例如400尼特、1000尼特、4000尼特、10000尼特或更大等)的hdr显示器140-1一起操作(或附接到hdr显示器140-1)的操作方案中，接收器可从编码位流(122)(例如编码位流(122)中的元数据容器等)提取组合器元数据(例如tpb组合器元数据等)且使用组合器元数据来组合hdr图像(132)，其可为从反向重塑sdr图像基于组合器元数据产生的反向重塑图像。另外，接收器可从编码位流(122)提取dm元数据且基于dm元数据将dm操作(135)施加于hdr图像(132)以产生用于再现于hdr(例如非参考等)显示装置(140-1)上的显示图像(137)且使显示图像(137)再现于hdr显示装置(140-1)上。
46.编解码器构架
47.在一些操作方案中，sdr 可用于增强用于再现于hdr显示装置上的sdr内容。可使用例如组合器元数据的图像元数据来单独映射sdr图像的明度及彩度通道(或色彩空间分量)以产生(映射)hdr图像的对应明度及彩度通道。
48.然而，应注意，在各种实施例中，本文中所描述的技术可用于单层逆显示管理(slidm)或非slidm编解码器构架。例如，本文中所描述的tpb元数据产生、传输及消耗可结合包括两个或更多个编码层(其包括sdr或hdr内容)的多层视频信号使用。
49.另外、任选地或替代地，本文中所描述的tpb元数据产生、传输及消耗可结合例如hdr信号的非sdr(或非sdr )视频信号使用。例如，不是包含由接收装置用于反向重塑解码sdr内容以产生重建hdr内容的tpb反向重塑元数据，而是hdr信号可包含由接收装置用于正向重塑解码hdr内容以产生重建sdr内容的tpb正向重塑元数据。
50.因此，尽管可仅为了说明而使用实例性编解码器构架或视频信号来描述本文中所描述的技术，但这些技术不受限于实例性编解码器构架或视频信号，而是可使用其它编解码器构架或视频信号实施。
51.图2a到图2c说明实例性编解码器构架。更具体来说，图2a说明可使用上游视频编码器等中的一或多个计算处理器来实施的第一编码器侧编解码器架构的实例。图2b说明可使用上游视频编码器等中的一或多个计算处理器来实施的第二编码器侧编解码器架构的实例。图2c说明也可使用下游视频解码器(例如接收器等)等中的一或多个计算处理器来实施的解码器侧编解码器架构的实例。
52.在第一构架中，如图2a中所说明，回溯兼容sdr图像(例如sdr图像(117)等)作为输
入接收于编解码器构架的编码器侧上。
53.以说明而非限制方式，逆动态范围映射(dm)模块162(其可表示sdr转hdr转换工具等)用于将sdr图像(117)转换成hdr图像148用于观看于参考hdr显示器上。在一些实施例中，逆dm模块也可称为逆色调映射工具。
54.在图2b所说明的第二构架中，用于参考hdr显示器等的hdr图像(148)作为输入接收于编解码器构架的编码器侧上。在此，“用于参考hdr显示器的hdr图像”可指特别针对hdr(参考)显示器来色彩分级的hdr图像。
55.以说明而非限制方式，正向重塑模块164(其可表示hdr转sdr转换工具等)用于将hdr图像(148)转换成sdr图像(117)用于观看于sdr显示器上。在一些实施例中，正向重塑模块也可称为色调映射工具。
56.在第一编码器侧编解码器架构及第二编码器侧编解码器架构两者中，图像元数据产生器150(例如编码块(120)的一部分等)接收sdr图像(117)及hdr图像(148)两者作为输入，产生图像元数据152，例如tpb组合器元数据、dm元数据等。可通过使用tpb组合器元数据中所指定的反向重塑函数/曲线反向重塑sdr图像(117)来产生用于hdr(例如参考、目标等)显示器的反向重塑图像(132)。
57.在一些实施例中，反向重塑图像(132)表示用于hdr显示器的制作质量或接近制作质量hdr图像。反向重塑图像(132)可以输出hdr视频信号160输出到hdr显示装置(例如通过hdmi接口、通过视频链路等)且再现于hdr显示装置上。在这些实施例中，接收器可检索tpb组合器元数据且重建及再现通过基于tpb计算机元数据反向重塑sdr图像(117)所重建的hdr图像。
58.在第一编码器侧架构及第二编码器侧架构两者中，压缩块142(例如图1a的编码块(120)的一部分等)将sdr图像(117)压缩/编码于视频信号的单层144中。实例性视频信号可为(但未必仅限为)图1a的编码位流(122)。由图像元数据产生器(150)产生的图像元数据(152)(表示为“rpu”)可(例如由图1a的编码块(120)等)编码成视频信号(例如编码位流等)。
59.在第一编码器侧架构及第二编码器侧架构两者中，图像元数据(152)可与其中将sdr图像编码于视频信号中的单层分开载送于视频信号中。例如，图像元数据(152)可编码于编码位流的一组成流式传输中，所述组成流式传输可或可不与其中编码sdr图像(117)的(编码位流的)单层分离。
60.在第一编码器侧架构及第二编码器侧架构两者中，视频信号中的图像元数据(152)中的tpb组合器元数据可用于使下游接收器能够将sdr图像(117)(其可编码于视频信号中)反向重塑成用于hdr目标显示器的重建图像(或反向重塑图像)。实例性hdr目标显示器可包含(但未必仅限为)以下中的任一者：具有类似于hdr参考显示器的显示能力的显示能力的hdr目标显示器、具有不同于hdr参考显示器的显示能力的显示能力的hdr目标显示器、使用额外dm操作来将hdr参考显示器的重建视频内容映射到hdr目标显示器的显示视频内容的hdr目标显示器等。
61.在一些操作方案中，在第一编码器侧架构及第二编码器侧架构两者中，sdr内容由实施编码器侧编解码器架构的上游编码装置编码及传输于视频信号(例如编码位流(122)等)的单层中。sdr内容由实施解码器侧编解码器架构的下游解码装置(或接收器)接收及解
码于视频信号的单层中。tpb组合器元数据也与sdr内容一起编码及传输于视频信号中，使得接收装置可基于sdr内容及tpb组合器元数据来重建hdr内容。
62.在一些实施例中，如图2c中所说明，使用单层(144)中的sdr图像(117)来编码的视频信号及作为总图像元数据的一部分的tpb反向重塑元数据(152)作为输入接收于第一编码器侧架构及第二编码器侧架构的解码器侧上。
63.解压缩块154(例如图1a的解码块(130)的一部分等)将视频信号的单层(144)中的压缩视频数据解压缩/解码成解码sdr图像(182)。解码sdr图像(182)可与经受压缩块(142)及解压缩块(154)中的量化误差的sdr图像(117)相同。解码sdr图像(182)可以输出sdr视频信号156(例如通过hdmi接口、通过视频链路等)输出到sdr显示装置且再现于sdr显示装置上。
64.另外，反向重塑块158从输入视频信号提取图像元数据(152)(例如tpb组合器元数据(或反向重塑元数据))，基于图像元数据中的提取tpb组合器元数据来建构反向重塑函数，且基于反向重塑函数来对解码sdr图像(117)执行反向重塑操作以产生特定hdr目标显示器的反向重塑图像(132)(或重建hdr图像)。
65.在一些实施例中，反向重塑图像表示hdr参考显示器的制作质量或接近制作质量hdr图像。反向重塑图像(132)可以输出hdr视频信号160(例如通过hdmi接口、通过视频链路等)输出到具有类似于hdr参考显示器的显示能力的显示能力的hdr显示器且再现于所述hdr显示器上。因此，在这些实施例中，dm功能可不由接收器实施以简化装置操作及降低装置成本。
66.另外、任选地或替代地，在一些实施例中，dm元数据可与tpb组合器元数据及sdr图像(117)一起传输到接收器。可至少部分基于(例如)图像元数据(152)中的dm元数据来对反向重塑图像(132)执行专针对具有不同于hdr参考显示器的显示能力的显示能力的hdr目标显示器的显示管理操作以产生再现于hdr目标显示器上的显示hdr图像。
67.基于b平滑曲线的预测
68.tpb(基于tpb)预测可用于导出描绘相同视觉语义内容的不同色彩等级之间或其中的映射或变换的选定操作参数。如本文中所使用，色彩等级可指视频图像的(例如修订、经专业色彩分级、由用户或视频专业人员分级色彩、重建、待预测等)版本。
69.描绘相同视觉语义内容的两个色彩等级之间的映射或变换可指正向重塑映射或变换、反向重塑映射或变换等。2015年3月20日申请的第62/136,402号美国临时专利申请案(也作为第2018/0020224号美国专利公开申请案在2018年1月18日公开)、2018年5月11日申请的第62/670,086号美国临时专利申请案中描述实例性重塑操作，所述申请案的全部内容以宛如全文阐述引用的方式并入本文中。
70.在一些操作方案中，正向重塑是指从较高动态范围的视频图像(描绘相同视觉语义内容)产生相同或较低动态范围的视频图像。
71.在一些操作方案中，正向重塑是指从动态范围的输入或源视频图像(描绘相同视觉语义内容)产生相同或不同动态范围的待编码视频图像(例如在从上游视频内容处理器传送到(若干)下游视频内容处理器的输出视频信号中)。
72.在一些操作方案中，反向重塑是指从相对较低动态范围的视频图像(描绘相同视觉语义内容)产生较高动态范围的视频图像。
73.在一些操作方案中，反向重塑是指从动态范围的接收视频图像(描绘相同视觉语义内容)(例如编码于从上游视频内容处理器传送到(若干)下游视频内容处理器的接收视频信号中)产生相同或不同动态范围的视频图像。
74.本文中所描述的tpb预测技术可用于产生表示正向重塑映射/变换及/或反向重塑映射/变换的图像元数据或组合器元数据。可通过张量乘积的b平滑曲线来对单个变量(例如色彩空间的单个色彩通道、色彩空间的单个色彩分量、r、g、b通道中的通道、y、cb、cr通道中的通道等)及多个变量(例如色彩空间的两个或更多个色彩通道、色彩空间的两个或更多个色彩分量、r、g、b通道中的两个或更多个通道、y、cb、cr通道中的两个或更多个通道等)执行基于b平滑曲线的预测。在一些操作方案中，可在sdr到hdr或hdr到sdr的预测过程中实施tpb预测。
75.下表1说明实例性多项式平滑曲线。
76.表1
[0077][0078]
可从在结(例如连接相邻分段多项式的断点等)处平滑融合的分段多项式建构b平滑曲线基函数以实现所要平滑度或连续性约束。b平滑曲线基函数由n次(或n阶)的(n 1)个多项式段组成，(n 1)个多项式段与高达且包含(n-1)阶连续性或可微性的结接合。使用b平滑曲线基(或基函数)的全集，给定函数f(z)(例如映射、曲线等)可通过d＝t n-1个b平滑曲线基函数(t表示结的数目)的线性组合表示如下：
[0079][0080]
应注意，b平滑曲线基函数仅为正的或支持于基于(例如t个、n 2个等)结中的两个相邻结的区间上。
[0081]
b平滑曲线基函数的0阶(零阶)可指定如下：
[0082][0083]
b平滑曲线基函数的较高阶(n阶)可递归地指定如下：
[0084][0085]
除内部结k0、k1、
…
、k
t-1
之外，外部结(例如2n个外结)也可放置于[a,b](其为其中分布内部结的范围)外。
[0086]
图3a到图3d说明一组均匀分布结(或结点)的0阶(零阶)到3阶b平滑曲线基函数的四个实例性全集。可使用上述表达式(3)来递归地建构不同阶的b平滑曲线基函数的额外全
集。
[0087]
在其中内部结的数目t＝8个结且使用2阶b平滑曲线基函数的全集的操作方案中，集中的基函数的总数d是9。9个系数的对应集{m
t
}可用于预测或近似表示(例如)用于表示视频内容的色彩空间的亮度通道的单通道预测的一维(1d)映射或曲线。
[0088]
仅为了说明，应用9个2阶b平滑曲线基函数的全集来预测或近似表示hdr与sdr之间的1d映射或曲线。
[0089]
假定sdr图像(例如第j sdr图像等)及对应hdr图像(例如描绘与sdr图像相同的视觉语义内容但具有相对较高动态范围的第j hdr图像等)中的每一者包括p个像素。使三元组及分别表示第j sdr及hdr图像中的第i像素的正规化y、c0(例如cb等)及c1(例如cr等)值。单通道b平滑曲线预测器可用于从明度或亮度通道的预测
[0090]
一组特定结或结点可经选择且用于建构表示为的dy(＝t n-1)个b平滑曲线基函数的全集。可使用一组对应系数来执行来自hdr亮度码字值的sdr亮度码字值的单通道预测如下：
[0091][0092]
鉴于sdr及hdr图像中的每一者中的p个像素，可将所有p个待预测(或目标)sdr亮度码字值、对应系数及b平滑曲线基函数收集成矩阵形式以从对应(输入)hdr亮度码字值预测(目标)sdr亮度码字值如下：
[0093][0094]
其中
[0095][0096]
[0097][0098]
其中表达式(8)中的左手侧(lhs)表示设计矩阵。
[0099]
将包括所有p个实际(例如目标、参考等)sdr码字值的地表实况向量表示如下：
[0100][0101]
可经由封闭形式中的最小平方解算来获得系数的解如下：
[0102][0103]
为解决此最小平方问题，可训练特别照护以(例如)考虑其中b平滑曲线矩阵相对较稀疏的方案。在其中不管信号或像素数据分布的种类如何均可预选或固定结点的操作方案中，相邻结之间的结区间中可存在空像素或不存在像素。因为b平滑曲线基函数仅为正的或支持于相对较小区间及区间外的零上，所以其中可不存在像素的空区间可促成中的一些或所有零列(其中的每一者包括全零)。此类零列会使矩阵的计算含混不清或遭遇奇异性。在一些操作方案中，为解决或改善此问题，针对中具有全零或全相对较小值(例如与以程序、凭经验或由用户等设置的数值阈值相比)的列，可将对应系数设置为零。
[0104]
将中的每一元素表示为且将第α列表示为下表2中说明用于重建除全零值或全相对较小值的列(例如低于数值阈值的列的和、低于数值阈值的列中的每一矩阵元素等)之外的设计矩阵的实例性过程。
[0105]
表2
[0106][0107]
在一些操作方案中，不是使用上述表达式(10)，而是可使用上表2中所获得的来解决最小平方问题如下：
[0108][0109]
因为已将列的总数dy减少到c(其中c表示除每一者包括全零或全相对较小数目的(d
y-c)个列之外的列的新总数)，所以表达式(11)的解可缺少对应于(若干)排除列的系数或参数。使用下表3中所说明的实例性过程，可通过使用0(零)填充对应于移除(d
y-c)个列的参数/系数来建构包括所有列的参数/系数的参数/系数向量如下：
[0110][0111]
表3
[0112][0113]
在一些操作方案中，预选或固定结或结点的位置。然而，应注意，在各种实施例中，可或可不预选或固定结或结点的位置(及/或总数)。例如，在一些操作方案中，因为结或结点的位置(及/或总数)会影响解的最佳性，所以结或结点的位置(及/或总数){k
l
}及参数/系数可适应性确定为总体最小化(或优化)问题或解的一部分。
[0114]
尽管适应性选择结点可进一步提高视频内容的不同色彩等级之间或其中的映射或变换的性能及准确度，但预设或预选均匀分布的结点带来实例性优点，其包含(但不限于)：(1)无需由上游视频内容处理器将图像元数据中的b平滑曲线基函数的结位置用信号传递或发送到下游视频内容处理器，其降低用于载送及编码图像元数据的位流负担；(2)无需响应于原本可逐帧适应性改变的不同结点而重新计算解码器侧处的基函数；等。换句话说，具有预设或固定结点的b平滑曲线基函数可在解码器侧处硬布线于逻辑中或存储在数据存储器中以降低运行时间运算负载及/或硬件复杂性。
[0115]
tpb交叉色彩通道预测器
[0116]
在一些操作方案中，使用单通道预测器(例如单通道(或1d)b平滑曲线预测器)来产生hdr与sdr(反之亦然)之间的映射可存在相对较大限制。1d b平滑曲线预测器可提供与其它方法(例如基于累积密度函数或cdf的方法、基于最小均方差或mmse的方法等)相当的预测性能及准确度，可能具有额外计算复杂性。视频内容的不同色彩等级的映射问题存在于多维色彩空间(例如3d色彩空间(例如rgb、ipt、ydzdx及ycbcr)、色彩空间中的三个或更多个通道等)中，1d函数或预测会在一些操作方案中受到限制。例如，hdr与sdr之间的(来回)相对较准确映射可涉及交叉色彩操作(例如类似于由色彩分级专家等手动执行的交叉色彩操作)，例如色彩变换及饱和度控制。因此，使用1-d预测器来解决涉及不同亮度水平处的色彩、色相及饱和度的人类感知的多维色彩空间中的此映射问题可能不是最佳的。
[0117]
为提高预测性能及准确度，可根据本文中所描述的技术来采用能够探究视频内容的不同色彩等级之间的局部及/或全局交叉色彩通道关系的tpb预测。
[0118]
与其中交叉通道预测表示全局映射操作子的一些方法相比，tpb交叉通道预测可灵活地建模色彩空间或色域中的每一局部分区中的映射(例如将区域特定映射一直应用于许多局部单维或多维码字区域中的每一者而非将全局映射应用于所有码字或色彩等)以胜过不实施本文中所描述的技术的其它方法。
[0119]
可应用tpb交叉通道预测来预测从hdr到sdr(或反之亦然)的亮度或明度通道中的码字。在色彩空间y、c0(或cb)及c1(或cr)的先前实例中，在每一色彩通道或维度中独立提供b平滑曲线基函数的全集。因此，存在分别用于y、c0及c1色彩通道或维度的三组b平滑曲线基函数及在此，j表示第j sdr及hdr图像，ty表示明度或亮度y维度的b平滑曲线基函数指数(鉴于沿y维度的一组结点)；t
c0
表示彩度或色度c0维度的b平滑曲线基函数指数(鉴于沿c0维度的一组结点)；t
c1
表示彩度或色度c1维度的b平滑曲线基函数指数(鉴于沿c1维度的一组结点)；i表示sdr及hdr图像中的每一者中的p个像素中的像素指数。
[0120]
将b平滑曲线基函数及的这些三个全集中的b平滑曲线基函数的总数分别表示为及鉴于3个维度中的每一者中的相应组结点，可使用上述表达式(3)来建构b平滑曲线基函数及的三个全集中的每一集。
[0121]
可通过取得所有三个色彩通道或维度的b平滑曲线基函数及的三个全集的向量乘积来建构用于预测亮度及明度通道中的码字的tpb基函数。具有表示ty、t
c0
及t
c1
的唯一组合的(3d)tpb指数的tpb基函数可给出或计算如下：
[0122][0123]
可使用一组对应系数来执行来自hdr亮度及色度码字值及的sdr亮度码字值的交叉通道预测如下：
[0124][0125]
可将3d tpb指数(ty、t
c0
及t
c1
)向量化成1d指数(表示为t)以简化此处表达式。先前具有3d tpb指数(ty、t
c0
及t
c1
)的tpb基函数可重写如下：
[0126][0127]
使上述表达式(14)中的tpb交叉通道预测可重写如下：
[0128][0129]
鉴于sdr及hdr图像中的每一者中的p个像素，可将所有p个待预测(或目标)sdr亮度码字值、对应系数及交叉通道tpb函数收集成矩阵形式以从对应(输入)hdr亮度及色度码字值预测(目标)sdr亮度码字值如下：
[0130][0131]
其中
[0132][0133][0134]
其中表达式(18)的lhs表示设计矩阵。
[0135]
可经由封闭形式中的最小平方解算来获得系数的解如下：
[0136][0137]
其中表示上述表达式(9)中的地表实况向量。
[0138]
为促进讨论，可使用矩阵及向量来重写表达式(20)如下：
[0139][0140][0141]
因此，
[0142][0143]
类似地，可针对两个彩度通道或维度来构建tpb交叉通道预测器。以说明方式将彩度通道c0及c1表示为c。鉴于y、c0及c1维度中的三组已知点，可针对y、c0及c1维度来构建b平滑曲线基函数的三个全集及用于彩度通道c中的码字的tpb预测(其中c可为c0或c1)。b平滑曲线基函数的三个全集的总数可分别为及通过给出3个维度中的一组结点，我们具有3个个别基函阵列个别基函阵列及
[0144]
类似于y通道中的码字的tpb交叉通道预测，针对彩度通道c，可使用指数张量元素来构建tpb交叉通道基函数如下：
[0145][0146]
类似地，可将3d tpb指数(ty、t
c0
及t
c1
)向量化成1d指数(表示为t)以简化此处表达式。使彩度通道c中的码字的tpb交叉通道预测可给出如下：
[0147][0148]
鉴于sdr及hdr图像中的每一者中的p个像素，可将所有p个待预测(或目标)sdr色度码字值、对应系数及交叉通道tpb函数收集成矩阵形式以从对应(输入)hdr亮度及色度码字值预测(目标)sdr亮度码字值如下：
[0149][0150]
其中
[0151][0152][0153]
其中表达式(27)的lhs表示基于tpb的矩阵。
[0154]
可经由封闭形式中的最小平方解算来获得系数的解如下：
[0155][0156]
为促进讨论，可使用矩阵及向量来重写表达式(29)如下：
[0157][0158][0159]
因此，
[0160][0161]
在一些操作方案中，预选或固定结或结点的位置。然而，应注意，在各种实施例中，可或可不预选或固定结或结点的位置(及/或总数)。例如，在一些操作方案中，因为结或结点的位置(及/或总数)会影响解的最佳性，所以结或结点{k
t
}的位置(及/或总数)及参数/系数可适应性确定为总体最小化(或优化)问题或tpb交叉通道预测解的一部分。
[0162]
尽管适应性选择结点可进一步提高视频内容的不同色彩等级之间或其中的映射或变换的性能及准确度，但预设或预选用于多维tpb张量中的均匀分布的结点带来实例性优点，其包含(但不限于)：(1)无需由上游视频内容处理器将用于图像元数据中的多维tpb基函数中的结位置用信号传递或发送到下游视频内容处理器，其降低用于载送及编码图像
元数据的位流负担；(2)无需响应于原本可逐帧适应性改变的不同结点而重新计算解码器侧处的b平滑曲线或tpb基函数；等。换句话说，具有预设或固定结点的tpb基函数可在解码器侧处硬布线于逻辑中或存储在数据存储器中以降低运行时间计算负载及/或硬件复杂性。
[0163]
在其中所有三个通道或维度每一者具有相同tpb基函数的操作方案中，不同通道的s矩阵相同如下：
[0164][0165]
在解码器侧处，计算相同矩阵，无需计算不同通道或维度的不同s矩阵。接着，可通过使相同s矩阵与对应预测参数/系数相乘来获得每一通道的交叉通道预测码字值如下：
[0166][0167][0168][0169]
在另一实例中，两个彩度通道使用相同s矩阵，而不同s矩阵用于明度通道。例如，明度通道的s矩阵具有大于彩度通道的s矩阵的维度。在此情形中，明度通道的预测器系数的数目将大于明度通道中的每一者的预测器系数的数目。
[0170]
高效解码器架构
[0171]
当均匀分布包含外部结点的结或结点时，b平滑曲线基函数可由截断多项式的线性组合表示。n阶截断多项式可界定如下：
[0172][0173]
将结点表示为通道y、c0及c1的及当均匀分布结点当均匀分布结点及时，每两个连续(或相邻)结点之间的距离可分别表示为hy、h
c0
及h
c1
。为简单起见，每一通道的结点可分别表示为{k
t
}及h。
[0174]
可使用截断多项式的线性组合来建构t阶b平滑曲线基函数的1阶如下：
[0175][0176]
其中仅为正的或支持于[k
t-1kt 1
]的范围之间或2h区间上及否则此范围外的零(0)。如表达式(36)中所展示，1阶b平滑曲线基函数包括三个项，其中的每一者包括与输入值(例如用于预测近似表示参考码字的目标码字的输入或源码字等)与相应结点之间的差相乘的相应结乘法因子(表示为ci，其中i表示0到2之间的整数)。例如，表达式(36)中的第一项的第一结乘法因子是表达式(36)中的第二项的第二结乘法因子是表达式
(36)中的第三项的第三结乘法因子是
[0177]
可使用截断多项式的线性组合来建构t阶b平滑曲线基函数的2阶如下：
[0178][0179]
其中仅为正或支持于[k
t-1 k
t 2
]的范围之间或3h区间上及否则此范围外的零(0)。如表达式(37)中所展示，2阶b平滑曲线基函数包括四个项，其中的每一者包括与输入值(例如用于预测近似表示参考码字的目标码字的输入或源码字等)与相应结点之间的差相乘的相应结乘法因子(表示为ci，其中i表示0到3之间的整数)。例如，表达式(37)中的第一项的第一结乘法因子是表达式(37)中的第二项的第二结乘法因子是表达式(37)中的第三项的第三结乘法因子是表达式(37)中的第四项的第四结乘法因子是
[0180]
可使用截断多项式的线性组合来建构t阶b平滑曲线基函数的3阶如下：
[0181][0182]
其中仅为正的或支持于[k
t-2kt 2
]的范围之间或4h区间上及否则此范围外的零(0)。如表达式(38)中所展示，3阶b平滑曲线基函数包括五个项，其中的每一者包括与输入值(例如用于预测近似表示参考码字的目标码字的输入或源码字等)与相应结点之间的差相乘的相应结乘法因子(表示为ci，其中i表示0到4之间的整数)。例如，表达式(38)中的第一项的第一结乘法因子是表达式(38)中的第二项的第二结乘法因子是表达式(38)中的第三项的第三结乘法因子是表达式(38)中的第四项的第四结乘法因子是表达式(38)中的第五项的第五结乘法因子是
[0183]
具有b平滑曲线基函数的这些多项式表达式允许例如编码器、解码器、编解码器等的视频内容处理器使用b平滑曲线基函数的多项式且避免递归地获得b平滑曲线基函数。这简化硬件实施，因为实施递归b平滑曲线表达式会相对较复杂。递归表达式也可能耗费相对较长时间及相对较大存储器空间来计算及存储。截断多项式表达式可用于通过权衡具有不均匀(例如适应性等)结点的灵活性来节省计算。
[0184]
另外、任选地或替代地，n阶b平滑曲线基函数因使(n 1)h个区间交叉而为正的。鉴于点x，仅(n 1)个基函数包括覆盖点x的范围内的支持或可能正值。因此，仅这些(n 1)个基函数针对给定点x启动。剩余基函数在给定点x处为零(0)，因为给定点x在其中剩余基函数是非零的范围外。为建构三个色彩通道或维度的tpb基函数，并非启动所有b平滑曲线基函数，而是仅启动(n 1)3个b平滑曲线基函数。这从b平滑曲线基函数的(原始)总数
显著减少潜在许多乘法。
[0185]
解码器实施方案
[0186]
图1b说明用于tpb交叉通道预测的实例性处理块，其可实施于具有一或多个计算机处理器的视频内容处理器(例如解码器、编码器、编解码器等)中。一些或所有这些处理块可在硬件、软件或硬件及软件的组合中实施。
[0187]
块192包括tpb基产生运算，其准备每一通道或维度中的b平滑曲线基函数从y通道或维度中的每一基函数输出dy个不同值，从cb通道或维度中的每一基函数输出d
cb
个不同值，从cr通道或维度中的每一基函数输出d
cr
个不同值，等。因为每一通道或维度中仅存在(n 1)个非零值，所以如果我们仅输出非零信号或值，那么存在来自3个通道或维度的仅3*(n 1)个非零信号或值。只要b平滑曲线基函数的结点经预配置、固定或否则可用，那么可在无需等待接收视频内容或图像元数据的情况下预配置、固定及/或预执行此块中的运算。
[0188]
块194包括tpb交叉乘积运算，其执行与1维b平滑曲线基函数的交叉乘积乘法以建构较高维tpb基函数如下：
[0189]
明度：
[0190]
彩度：
[0191]
因为每一通道或维度中存在(n 1)个非零值，所以存在来自块194的(n 1)3个乘法及(n 1)3个输出。此块中的运算可为固定的，但需要追踪用于tpb预测的指数。
[0192]
块196包括tpb系数乘法运算，其使从块194输出的非零值与从接收视频信号中的与视频内容一起传送的图像元数据(例如组合器元数据)读取的预测参数/系数相乘。存在用于加权每一高维基函数的(n 1)3个乘法及用于加总所有值的加法以产生最终预测值及如下：
[0193]
明度：
[0194]
彩度：
[0195]
其中c表示c0或c1。
[0196]
块196中的运算可动态识别及/或分配基指数及参数指数。
[0197]
图1c及图1d说明图1b的块192中的tpb基产生运算的实例性实施方案。
[0198]
图1c说明b平滑曲线基函数输出的产生的实例性基于等式的实施方案，其接着可用于产生表示tpb基函数输出的张量乘积。在一些操作方案中，图1c的基于等式的实施方案可基于1阶到3阶b平滑曲线基函数的表达式(36)到(38)中的任一者。在一些操作方案中，图1c的基于等式的实施方案可基于除1阶到3阶之外的阶的b平滑曲线基函数的类似于表达式(36)到(38)的截断多项式表达式。
[0199]
如图1c中所说明，可使用输入x(例如至少部分基于其来预测近似表示色彩空间的
通道或维度中的参考码字的目标码字的输入或源码字等)及b平滑曲线基函数参数(例如(例如固定等)结点k
i，j
及结乘法参数ci)来计算t阶b平滑曲线基函数的输出值(其可用于形成具有上述表达式(24)的tpb基函数)。接着，可产生对应tpb基函数的输出值作为b平滑曲线基函数的输出值的张量乘积。
[0200]
在一些操作方案中，可将图1c的基于等式的实施方案样例化成并行运行的相对较多例子或线程。在一些操作方案中，图1c的基于等式的实施方案可通过在硬件(例如实施此基于等式的方法的处理逻辑或处理器等)以相对较高频率操作时加载不同基函数参数来再用于(例如)单个线程或相对较少线程中。
[0201]
如图1d中所说明，每一b平滑曲线基函数的输出可存储在本地寄存器中。如之前所提及，存在来自对应数目个b平滑曲线基函数的仅(n 1)个非零输出。因此，针对给定输入值x，仅需完成(n 1)个基函数输出。
[0202]
如果内部结点的数目是2的幂加上1，那么可使用最高有效位或msb来快速索引选定(n 1)个非零输出。接着，两个(例如连续、相邻等)内部结点{k
t,i
}之间的区间仅为2的幂。可仅使用msb位来识别非零输出的特定输出及数目。
[0203]
另外、任选地或替代地，除基于等式的实施方案之外或替代基于等式的实施方案，b平滑曲线基函数的输出可基于查找表(lut)。例如，在一些操作方案中，可针对每一1-d b平滑曲线基函数来构建1d-lut。例如，可分别针对每一通道或维度来存储数个lut表值(例如总共等)。如果高速缓存或存储器空间相对足够大，那么可同时存储所有dy个基函数的所有表值。还应注意，使用均匀分布的结点，仅每一通道或维度的b平滑曲线基函数是b平滑曲线基函数中的一者的简单移位版本，如图3a到图3d中所说明。此性质可用于实现硬件及软件两种设计及存储器空间及运算两者中的相对高效解算。可通过基于多个偏移将移位计算应用于输入来产生b平滑曲线函数的输出。因此，1d-lut可仅需覆盖(n 1)h个区间而非整个输入值(例如信号、码字等)范围以借此极大减少所需lut表值的数目。待添加或实施的唯一额外逻辑可为偏移的移位运算。如果硬件或处理器可以相对较高频率操作，那么在相同通道或维度中产生不同b平滑曲线基函数的输出可共享(例如)具有不同偏移的相同处理逻辑。
[0204]
图1e及图1f说明图1b的块194中的tpb交叉乘积运算的实例性实施方案。
[0205]
图1e说明并行模式中的实例性tpb交叉乘积运算。如图1e中所说明，针对每一通道或维度，从每一通道的b平滑曲线基函数产生(n 1)个输出。针对每一通道或维度，块194中的tpb交叉乘积运算对相应(n 1)个输出执行(n 1)3个乘法且使乘法(或张量乘积)结果作为tpb交叉乘积输出(例如表达式(24)等中所展示)存储在(例如)输出寄存器中。接着，将tpb交叉乘积输出提供到块196以使用表达式(34)来与(例如)来自接收于视频信号中或从视频信号解码的图像元数据的(例如编码器产生、由上游视频内容处理器产生等)预测系数(例如等)相乘。
[0206]
图1f说明串行或循序模式中的实例性tpb交叉乘积运算。如图1f中所说明，如果可使用相对较高频率的处理逻辑以相对较高速度完成tpb交叉乘积运算，那么可将块194中的tpb交叉乘积运算及块196中的tpb系数乘法运算合并在一起。取决于硬件能力及占用面积，可将(n 1)3个项分割成n个群组，其中n是正整数；n个群组中的每一者自身具有乘数以(例
如)通过在“for”循环中重复(n 1)3/n次来完成tpb交叉乘积运算及对应tpb系数乘法。n表示用于实现特定设计性能目标(其包含(但不限于)速度、晶粒大小、时钟频率等)的硬件设计参数。
[0207]
图1g及图1h说明用于将tpb预测应用于视频内容的输入或源色彩等级158以产生目标或映射色彩等级(其包括近似表示视频内容的参考码等级160中的参考码字的tpb预测(例如目标、映射等)码字)的实例性流程图。可在解码器侧上实施类似于图1g及图1h的流程图的流程图以产生近似表示视频内容的参考码等级(160)的从输入或源色彩等级(158)预测的目标或映射色彩等级。一些或所有这些流程图可在软件、硬件、软件及硬件的组合等中实施且可由一或多个计算机处理器执行。
[0208]
仅以说明方式，色彩等级(158)及(160)可以子取样格式(例如ycbcr色彩空间中的4:2:0)编码。在4:2:0子取样格式中，彩度或色度码字(cb及cr)是明度或亮度码字的1/4大小。为执行交叉色彩通道预测(例如tpb交叉通道预测)，可使所有输入或源色彩通道的码字的大小(或尺寸)对准(例如任选地升取样、任选地降取样等)。
[0209]
如图1g中所说明，针对tpb明度预测，源色彩等级(158)的彩度或色度码字(cb/cr)可由处理块164升取样。经升取样彩度码字由处理块(164)输出到tpb亮度预测块166。相同大小(或尺寸)的源码等级(158)的明度或亮度码字(y)的组合中的经升取样彩度码字可由tpb亮度预测块(166)用于预测近似表示参考色彩等级(160)中的明度或亮度码字的映射或重塑明度或亮度码字。
[0210]
如图1g中所说明，针对tpb彩度cb预测，源色彩等级(158)的明度码字(y)可由处理块162降取样。经降取样明度码字由处理块(162)输出到tpb彩度cb预测块168。相同大小(或尺寸)的源码等级(158)的彩度码字的组合中的经降取样明度码字可由tpb彩度cb预测块(168)用于预测近似表示参考色彩等级(160)中的彩度cb码字的映射或重塑彩度cb码字。
[0211]
如图1g中所说明，针对tpb彩度cr预测，经降取样明度码字由处理块(162)输出到tpb彩度cr预测块170。相同大小(或尺寸)的源码等级(158)的彩度码字的组合中的经降取样明度码字可由tpb彩度cr预测块(170)用于预测近似表示参考色彩等级(160)中的彩度cr码字的映射或重塑彩度cr码字。
[0212]
在一些操作方案中，如图1h中所说明，仅从源色彩等级(158)的明度码字降取样(例如使用处理块162-1及162-2等)导出的经降取样明度码字由总体tpb预测块172用于获得所有通道的tpb预测及tpb预测参数或系数。这显著降低存储器消耗，因为仅使用亮度降取样。
[0213]
在一些操作方案中，在编码器侧上，tpb预测参数或系数可由tpb预测块(例如166、168、170、172等)产生为最小化映射或重塑明度/彩度码字与参考色彩等级(160)的对准(例如任选地升取样、任选地降取样等)明度/彩度码字之间的差的解。tpb预测参数或系数可作为图像元数据的一部分(例如组合器元数据)编码于到下游视频内容处理器的视频信号中。
[0214]
在一些操作方案中，在解码器侧上，tpb预测参数或系数可由下游接收装置从视频信号解码为图像元数据的一部分。源色彩等级(158)的解码版本也可由装置从视频信号解码。tpb预测参数或系数可由装置用于产生表示非常近似表示参考色彩等级(160)的重建色彩等级的映射或重塑图像。映射或重塑图像可作为不同于源色彩等级(158)的解码版本的色彩等级再现于显示装置上。
[0215]
另外、任选地或替代地，在一些操作方案中，明度及彩度两种通道的结点总数及b平滑曲线阶相同，甚至可进一步减少计算。例如，在图1b所说明的三阶段实施方案中，所有三个通道或维度的两个阶段(即，tpb基产生及tpb交叉乘积)相同。因此，通道之间的唯一差异是单个阶段中用于tpb系数乘法的不同tpb预测参数/系数。应注意，在一些其它实施例或实施方案中，不同色彩通道的结的数目可不同以提供实现性能及/或准确度的额外灵活性或权衡。
[0216]
基于3dmt的tpb预测
[0217]
在一些操作方案中，可使用基于3-d映射表(3dmt)技术所产生的码字直方图或分布来实施tpb预测。
[0218]
使成为第一3d阵列，其包括来自视频内容的第一色彩等级的第一图像(例如输入或源图像等)(例如hdr图像)的第i像素的第一明度及彩度码字。使成为第二3d阵列，其包括来自视频内容的第二色彩等级的第二图像(其对应于第一图像或描绘与第一图像相同的视觉内容，例如参考图像等)(例如sdr图像)的第i像素的第二明度及彩度码字。
[0219]
可将用于表示第一色彩等级的图像内容的三个通道明度及彩度码字值(y、c0及c1)分别量化或计数成每一通道或分量的1d仓(bin)的固定数目(例如明度仓的第一固定数目qy、彩度cb仓的第二固定数目q
c0
、彩度cb仓的第三固定数目q
c1
等)。可使用第一色彩等级的1d仓来建构具有固定数目个3d仓的3d直方图表示为ω
q，v
(其中)。在一些操作方案中，可将包括用于编码第一色彩等级的所有可能明度及彩度码字值的第一三通道明度及码字彩度空间均匀分割成固定数目个3d仓，其中每一通道被均匀分割成固定数目个1d仓(例如第一固定数目qy个亮度仓、第二固定数目q
c0
个彩度cb仓、第三固定数目q
c1
个彩度cb仓等)。
[0220]
因此，3d直方图ω
q,v
含有总共个仓，使得每一3d仓可由相应仓指数指定；仓表示或保持具有落于3d仓的边界内的三通道量化值的(第一色彩等级的)第一图像中的像素的数目的计数。
[0221]
另外，第二图像(第二色彩等级的第二图像，例如由第一图像的映射图像近似表示的参考图像等)中的每一色彩分量之和可维持于3d直方图ω
q,v
的每一3d仓中或针对3d直方图ω
q,v
的每一3d仓。使及分别为第二图像域中的(参考)明度及彩度码字值之和，使得每一3d仓含有第二图像中的像素的明度及彩度(c0及c1)码字值之和，其中第二图像中的像素对应于其计数存储在相同3d仓中的第一图像的像素。
[0222]
假定第一图像及第二图像中的每一者具有p个像素。下表4中说明用于产生具有第一色彩等级的第一图像的像素的计数及第二色彩等级的第二图像的像素(对应于第一图像的像素)的码字值之和的3d仓的实例性过程。
[0223]
表4
[0224][0225]
使表示3d直方图ω
q,v
的第q sdr仓的中心。第一色彩等级的所有图像的这些中心值固定且可预计算。可使用下表5中所说明的实例性过程来获得近似表示其中心值的对应参考或目标hdr值。
[0226]
表5
[0227][0228]
在一些操作方案中，在3d直方图ω
q,v
中，识别及保持每一者具有第一色彩等级的第一图像中的像素的非零像素计数的3d仓，同时舍弃每一者具有第一色彩等级的第一图像中的像素的零像素计数(或低于给定像素计数阈值的相对较小像素计数)的所有其它3d仓。使q0、q1、
…
、q
k-1
为k个此类仓，其中可使用下表6中所说明的实例性过程来计算及的平均值。
[0229]
表6
[0230][0231][0232]
针对给定有效仓指数(例如具有非零像素计数的仓指数等)，包括第一色彩等级的
第一图像的待映射明度及彩度码字值(如由具有仓指数的3d仓的中心值所表示)及由映射图像近似表示的第二色彩等级的第二图像的参考明度及彩度码字值(如由对应像素的明度及彩度码字值之和的平均值所表示)的映射对可获得如下：
[0233][0234][0235]
基于3dmt(或根据其所产生的3d仓)，从表达式(41-1)中所表示的3d仓的中心值tpb交叉通道预测映射值及以近似表示表达式(41-2)中所表示的参考值可执行如下：
[0236]
明度：
[0237]
彩度：
[0238]
可经由类似于基于个别像素的解算中的处理的处理来获得tpb预测器参数或系数可通过从包括所有有效3d仓的所有映射对(例如上述表达式41等)的映射表取得输入值来建构设计矩阵及目标向量。
[0239]
针对tpb明度预测，设计矩阵及目标向量可建构如下：
[0240][0241][0242]
针对tpb彩度预测，设计矩阵及目标向量可建构如下：
[0243][0244][0245]
可经由最小平方解算来获得tpb预测参数或系数的解如下：
[0246][0247][0248]
基于3dmt的tpb预测技术可用于提供相对较快计算速度。不是从每一图像对的所有p个个别像素建构b及a矩阵，而是可使用来自包括基于3d仓的映射对的映射表的k个表值。在一些操作方案中，k可保持或约束或选择于数千的范围内，远小于可在数百万或甚至更大的范围内的p。节省计算的数量级可为3。
[0249]
另外、任选地或替代地，基于3dmt的tpb预测技术可用于缓解或防止多数及少数问题，其可以图像中的相对较小图像区域/面积为代价促进或过度加权于相同图像中的相对较大图像区域/面积。在由3d仓表示的每一色彩方块中具有相对合理权重可有助于减少色彩假影且提高色彩精度。
[0250]
基于场景/分段/线性的tpb预测
[0251]
可使用基于场景、基于分段及/或基于线性的编码架构来执行本文中所描述的tpb预测。
[0252]
假定视频信号的视频内容中所描绘的场景中存在f个图像/帧，使用基于场景的架构，来自此场景内的所有帧的所有b及a可加总如下：
[0253][0254][0255]
应注意，在各种实施例中，可从视频内容的不同色彩等级之间的基于像素或基于3dmt的映射数据建构表达式(49)或(50)中的b及a。
[0256]
当b矩阵可处于其中行(及列)包括全零(或个别或共同低于阈值的相对较小值)的含混条件中时，可(例如)使用下表7中所说明的实例性过程来自b矩阵移除这些列(及行)。
[0257]
表7
[0258][0259]
类似地，当矩阵a可处于其中列对应于从矩阵b识别及排除的列(及行)的含混条件中时，可移除矩阵a中的这些元。下表8中说明用于识别矩阵a中的这些表值的实例性过程。
[0260]
表8
[0261][0262]
基于场景的tpb预测的解可求出如下：
[0263][0264]
下表9中说明用于产生所有tpb预测参数或系数(其包含对应于从b矩阵识别及排除的列/行的tpb预测参数或系数)的实例性过程。
[0265]
表9
[0266][0267]
在一些实施例中，此基于场景的tpb预测法可应用于群体的训练图像对以确定或导出静态tpb映射。
[0268]
另外、任选地或替代地，基于分段及/或基于线性的编码架构可用于执行tpb预测。例如，在一些操作方案中，滑动窗口法用于基于分段/线性的架构中，其中技术类似于用于上述基于场景的tpb预测技术中的技术。可通过仅将“场景”视作滑动窗口(或反之亦然)来将基于场景的tpb预测技术或其类似者应用于滑动窗口中。
[0269]
图像元数据编码/解码语法及语义
[0270]
各种语法及语义可用于编码及/或解码包含tpb预测参数或系数的图像元数据。下表10中说明用于编码/解码包括tpb参数或系数的图像元数据的实例性语法及语义。
[0271]
表10
[0272][0273]
在表10中，“x”及“y”表示图像/帧分割成的(若干)图像块的二维指数，且“cmp”表示与tpb参数相关联的色彩空间分量或通道的数目。
[0274]
用于表10中的编码语法中的一些循环变量界定如下：
[0275]
tpb_num_basis[y][x][cmp][0]＝(tpb_num_knot_minus1[y][x][cmp][0] tpb_order_minus1[y][x][cmp][0] 1)
[0276]
tpb_num_basis[y][x][cmp][1]＝(tpb_num_knot_minus1[y][x][cmp][1] tpb_order_minus1[y][x][cmp][1] 1)
[0277]
tpb_num_basis[y][x][cmp][2]＝(tpb_num_knot_minus1[y][x][cmp][2] tpb_order_minus1[y][x][cmp][2] 1)
[0278]
使用表10的编码语法来编码/解码的一些元素(例如在差分编码中表示为指数哥伦布码等)的语义界定如下：
[0279]-tpb_num_knot_minus1[y][x][cmp][k]指定第k通道中的结数减去1
[0280]-tpb_order_minus1[y][x][cmp][k]指定tpb阶减去1
[0281]-tpb_zero_coef[y][x][cmp][i][j][k]指定系数是否为零。
[0282]-当coefficient_data_type等于0时，tpb_int[y][x][cmp][i][j][k]指定fp_tpb_coef[y][x][cmp][i][j][k]的整数部分。如果coefficient_data_type等于1，那么不存在tpb_int[y][x][cmp][i][j][k]。(例如，当coefficient_data_type等于0时，fp_tpb_coef[y][x][cmp][i][j][k]用于导出与mapping_idc[y][x][cmp]相关联的对应tpb基函数i的加权系数(例如m
tpb，y，(opt)
、m
tpb，c0，(opt)
、m
tpb，c1，(opt)
等)。
[0283]-当coefficient_data_type等于0时，tpb_coef[y][x][cmp][i]指定fp_tpb_coef[y][x][cmp][i][j][k]的分数部分。如果coefficient_data_type等于1，那么tpb_coef[y][x][cmp][i][j][k]用于导出与mapping_idc[y][x][cmp]相关联的加权系数或增益系数的值。如果coefficient_data_type等于0，那么tpb_coef[y][x][cmp][i][j][k]语法元素的长度是coefficient_log2_denom个位。如果coefficient_data_type等于1，那么tpb_coef[y][x][cmp][i][j][k]语法元素的长度是32个位。与mapping_idc[y][x][cmp]相关联的正规化中的加权系数或增益系数的值导出如下：
[0284]
ο如果coefficient_data_type等于0，那么加权系数或增益系数的值等于fp_tpb_coef[y][x][cmp][i][j][k]＝(tpb_int[y][x][cmp][i][j][k]《《coefficient_log2_denom) tpb_coef[y][x][cmp][i][j][k]，其中“《《”表示移位运算。
[0285]
ο如果coefficient_data_type等于1，那么加权系数或增益系数的值等于tpb_coef[y][x][cmp][i][j][k]。
[0286]
实例性过程流程
[0287]
图4a说明根据本发明的实施例的实例性过程流程。在一些实施例中，一或多个计算装置或组件(例如编码装置/模块、转码装置/模块、解码装置/模块、逆色调映射装置/模块、色调映射装置/模块、媒体装置/模块、反向映射产生及应用系统等)可执行此过程流程。在框402中，图像处理系统确定一组张量乘积的b平滑曲线(tpb)基函数。
[0288]
在框404中，图像处理系统产生与tpb基函阵列一起用于从源色彩等级的一或多个源图像中的源图像数据产生一或多个映射图像中的预测图像数据的一组选定tpb预测参数。通过最小化一或多个映射图像中的预测图像数据与参考色彩等级的一或多个参考图像中的参考图像数据之间的差来产生选定tpb预测参阵列。一或多个参考图像对应于一或多个源图像且描绘与由一或多个源图像描绘的视觉内容相同的视觉内容。
[0289]
在框406中，图像处理系统使选定tpb预测参阵列作为图像元数据的一部分与一或多个源图像中的源图像数据一起编码于视频信号中。
[0290]
在框408中，图像处理系统使一或多个映射图像由视频信号的接收装置重建及再现。
[0291]
在实施例中，源图像数据或参考图像数据中的至少一者以色彩空间的子取样格式表示。
[0292]
在实施例中，一或多个源图像表示以下一者：构成媒体程序中的视觉场景的图像、在滑动窗口内选择的图像、在线性分段内选择的图像等。
[0293]
在实施例中，tpb基函阵列由一或多组b平滑曲线基函数的张量乘积产生；一或多组b平滑曲线基函数中的每一组b平滑曲线基函数对应于色彩空间的一或多个色彩通道中的相应色彩通道。
[0294]
在实施例中，一或多组b平滑曲线基函数中的至少一组b平滑曲线基函数表示特定阶的b平滑曲线基函数的全集。
[0295]
在实施例中，一或多组b平滑曲线基函数包括由截断多项式及一组均匀分布结点产生的一组b平滑曲线基函数。
[0296]
在实施例中，选定tpb预测参阵列及tpb基函阵列的组合表示用于产生一或多个映射图像中的预测图像数据的交叉通道预测器。
[0297]
在实施例中，使用多个映射对来产生tpb预测参阵列，多个映射对中的每一者包括从源图像数据产生的一或多个源码字的第一阵列及从参考图像数据产生的一或多个参考码字的第二阵列。
[0298]
在实施例中，基于三维映射表(3dmt)来产生多个映射对。
[0299]
图4b说明根据本发明的实施例的实例性过程流程。在一些实施例中，一或多个计算装置或组件(例如编码装置/模块、转码装置/模块、解码装置/模块、逆色调映射装置/模块、色调映射装置/模块、媒体装置/模块、预测模块及特征选择系统、反向映射产生及应用系统等)可执行此过程流程。在框452中，视频解码系统从视频信号解码第一色彩等级的一或多个第一图像。
[0300]
在框454中，视频解码系统从视频信号解码包括用于与一组张量乘积的b平滑曲线(tpb)基函数相乘的一组选定tpb预测参数的图像元数据。
[0301]
选定tpb预测参阵列由上游视频内容处理器产生，其中选定tpb预测参阵列与tpb基函阵列一起用于从第一色彩等级的一或多个第一图像中的第一图像数据产生一或多个映射图像中的预测图像数据。上游视频内容处理器通过最小化一或多个映射图像中的预测图像数据与参考色彩等级的一或多个参考图像中的参考图像数据之间的差来产生选定tpb预测参阵列。一或多个参考图像对应于一或多个第一图像且描绘与由一或多个第一图像描绘的视觉内容相同的视觉内容。
[0302]
在框456中，视频解码系统使tpb预测参阵列与tpb基函阵列一起用于从一或多个第一图像产生一或多个映射图像。
[0303]
在框458中，视频解码系统使从一或多个映射图像导出的一或多个显示图像由显示装置再现。
[0304]
在实施例中，视频解码系统经进一步配置以执行：产生多个b平滑曲线基函数输出值；将交叉乘积运算应用于多个b平滑曲线基函数输出值以产生多个tpb基函数输出值以借此产生一组多个tpb基函数输出值；使从视频信号解码的tpb预测参阵列与多个tpb基函数输出值组相乘以产生预测码字组。
[0305]
在实施例中，将选定tpb预测参阵列编码为编码语法中的多个加权系数，编码语法支持针对tpb基函阵列中的对应tpb基函数来载送多个加权系数中的相应加权系数。
[0306]
在实施例中，计算装置(例如显示装置、移动装置、视频转换器、多媒体装置等)经配置以执行任何上述方法。在实施例中，设备包括处理器且经配置以执行任何上述方法。在实施例中，非暂时性计算机可读存储媒体存储软件指令，软件指令在由一或多个处理器执行时执行任何上述方法。
[0307]
在实施例中，计算装置包括一或多个处理器及存储一组指令的一或多个存储媒体，指令在由一或多个处理器执行时执行任何上述方法。
[0308]
应注意，尽管本文中讨论单独实施例，但本文中所讨论的实施例的任何组合及/或部分实施例可经组合以形成进一步实施例。
[0309]
实例性计算机系统实施方案
[0310]
可使用以下每一者来实施本发明的实施例：计算机系统、配置于电子电路系统及组件中的系统、集成电路(ic)装置(例如微控制器、场可编程门阵列(fpga)或另一可配置或可编程逻辑装置(pld))、离散时间或数字信号处理器(dsp)、专用ic(asic)及/或包含此类
系统、装置或组件中的一或多者的设备。计算机及/或ic可执行(perform)、控制或执行(execute)与具有增强动态范围的图像的适应性感知量化相关的指令，例如本文中所描述的指令。计算机及/或ic可运算与本文中所描述的适应性感知量化程序相关的各种参数或值中的任一者。图像及视频实施例可在硬件、软件、固件及其各种组合中实施。
[0311]
本发明的特定实施方案包括执行软件指令的计算机处理器，软件指令使处理器执行本公开的方法。例如，显示器、编码器、视频转换器、编解码器或其类似者中的一或多个处理器可通过执行处理器可存取的程序存储器中的软件指令来实施与上述hdr图像的适应性感知量化相关的方法。本发明的实施例也可以程序产品的形式提供。程序产品可包括载送包括指令的一组计算机可读信号的任何非暂时性媒体，指令在由数据处理器执行时使数据处理器执行本发明的实施例的方法。根据本发明的实施例的程序产品可呈各种形式中的任一者。程序产品可包括(例如)物理媒体，例如磁性数据存储媒体(其包含软盘片、硬盘驱动器)、光学数据存储媒体(其包含cd rom、dvd)、电子数据存储媒体(其包含rom、快闪存储器ram)或其类似者。可任选地压缩或加密程序产品上的计算机可读信号。
[0312]
当参考上述组件(例如软件模块、处理器、组合件、装置、电路等)时，除非另有指示，否则所述组件的参考(其包含参考“构件”)应被解译为包含执行描述组件的功能(例如功能等效)的任何组件(其包含与执行本发明的说明实例性实施例中的功能的公开结构不结构等效的组件)作为所述组件的等效物。
[0313]
根据实施例，本文中所描述的技术由一或多个专用计算装置实施。专用计算装置可经硬布线以执行技术，或可包含经持久编程以执行技术的数字电子装置(例如一或多个专用集成电路(asic)或场可编程门阵列(fpga))，或可包含经编程以根据固件、存储器、其它存储器或组合中的程序指令来执行技术的一或多个通用硬件处理器。此类专用计算装置也可组合定制硬布线逻辑、asic或fpga与定制程式化以完成技术。专用计算装置可为桌面计算机系统、便携计算机系统、手持式装置、网络装置或并入硬布线及/或程序逻辑以实施技术的任何其它装置。
[0314]
例如，图5是说明其上可实施本发明的实施例的计算机系统500的框图。计算机系统500包含总线502或用于传送信息的其它通信机构及与总线502耦合以处理信息的硬件处理器504。硬件处理器504可为(例如)通用微处理器。
[0315]
计算机系统500还包含耦合到总线502以存储由处理器504执行的信息及指令的主存储器506，例如随机存取存储器(ram)或其它动态存储。主存储器506也可用于在执行由处理器504执行的指令的执行期间存储临时变量或其它中间信息。此类指令在存储在处理器504可存取的非暂时性存储媒体中时使计算机系统500变成经定制以执行指令中所指定的操作的专用机。
[0316]
计算机系统500进一步包含耦合到总线502以存储处理器504的静态信息及指令的只读存储器(rom)508或其它静态存储装置。提供存储装置510(例如磁盘或光盘)且将其耦合到总线502以存储信息及指令。
[0317]
计算机系统500可经由总线502来耦合到显示器512(例如液晶显示器)以向计算机用户显示信息。输入装置514(其包含文数字及其它键)耦合到总线502以将信息及命令选择传送到处理器504。另一类型的用户输入装置是用于将方向信息及命令选择传送到处理器504及用于控制显示器512上的光标移动的光标控制516，例如鼠标、轨迹球或光标箭头键。
此输入装置通常具有两个轴线(第一轴线(例如x)及第二轴线(例如y))上的两个自由度以允许装置指定平面内的位置。
[0318]
计算机系统500可使用与计算机系统组合以使或编程计算机系统500成为专用机的定制硬布线逻辑、一或多个asic或fpga、固件及/或程序逻辑来实施本文中所描述的技术。根据实施例，本文中所描述的技术由计算机系统500响应于处理器504执行主存储器506中所含的一或多个指令的一或多个序列而执行。此类指令可从另一存储媒体(例如存储装置510)读取到主存储器506中。执行主存储器506中所含的指令序列致使处理器504执行本文中所描述的过程步骤。在替代实施例中，硬布线电路系统可代替或结合软件指令来使用。
[0319]
本文中所使用的术语“存储媒体”是指存储致使机器以特定方式操作的数据及/或指令的任何非暂时性媒体。此类存储媒体可包括非易失性媒体及/或易失性媒体。非易失性媒体包含(例如)光盘或磁盘，例如存储装置510。易失性媒体包含易失存储器，例如主存储器506。存储媒体的常见形式包含(例如)软盘、柔性盘、硬盘、固态驱动器、磁带或任何其它磁性数据存储媒体、cd-rom、任何其它光学数据存储媒体、具有孔图案的任何物理媒体，ram、prom及eprom、flash-eprom、nvram、任何其它存储器芯片或匣。
[0320]
存储媒体不同于传输媒体但可结合传输媒体使用。传输媒体参与存储媒体之间的信息传送。例如，传输媒体包含同轴电缆、铜线及光纤，其包含包括总线502的导线。传输媒体也可呈声波或光波的形式，例如无线电波及红外线数据通信期间所产生的声波或光波。
[0321]
媒体的各种形式可涉及将一或多个指令的一或多个序列载送到处理器504用于执行。例如，指令最初可载送于远程计算机的磁盘或固态驱动器上。远程计算机可将指令加载到其易失存储器中且使用调制解调器通过电话线来发送指令。计算机系统500本地的调制解调器可接收电话线上的数据且使用红外线传输器来将数据转换成红外线信号。红外线检测器可接收红外线信号中所载送的数据且适当电路系统可将数据放置在总线502上。总线502将数据载送到主存储器506，处理器504从主存储器506检索及执行指令。由主存储器506接收的指令可任选地在由处理器504执行之前或由处理器504执行之后存储在存储装置510上。
[0322]
计算机系统500还包含耦合到总线502的通信接口518。通信接口518提供耦合到连接到局部网络522的网络链路520的双向数据通信。例如，通信接口518可为集成服务数字网络(isdn)卡、电缆调制解调器、卫星调制解调器或用于提供数据通信连接到对应类型的电话线的调制解调器。作为另一实例，通信接口518可为用于提供数据通信连接到兼容局域络(lan)的lan卡。还可实施无线链路。在任何此实施方案中，通信接口518发送及接收载送表示各种类型的信息的数字数据流式传输的电、电磁或光学信号。
[0323]
网络链路520通常通过一或多个网络将数据通信提供到其它数据装置。例如，网络链路520可通过局部网络522将连接提供到主计算机524或由因特网服务提供商(isp)526操作的数据装置。isp 526又通过全球分组数据通信网络(现常称为“因特网”528)来提供数据通信服务。局部网络522及因特网528两者使用载送数字数据流式传输的电、电磁或光学信号。通过各种网络的信号及在网络链路520上且通过通信接口518的信号(其载送数字数据往返于计算机系统500)是传输媒体的实例性形式。
[0324]
计算机系统500可通过(若干)网络、网络链路520及通信接口518来发送消息及接收包含程序代码的数据。在因特网实例中，服务器530可通过因特网528、isp 526、局部网络
522及通信接口518来传输应用程序的请求码。
[0325]
所接收的码可在其被接收时由处理器504执行及/或存储在存储装置510或其它非易失性存储器中用于以后执行。
[0326]
等效物、扩展、替代及其它
[0327]
在以上说明中，已参考可随实施方案变动的许多具体细节来描述本发明的实施例。因此，本发明的实施例主张且申请者希望使其成为本发明的主张实施例的唯一且排它指标是以权利要求发布的特定方式(其包含任何后续校正)从本技术案发布的此类权利要求的组。本文针对此类权利要求中所含的术语明确阐述的任何界定将控制权利要求中所使用的此类术语的含义。因此，权利要求中未明确叙述的限制、元件、性质、特征、优点或属性绝不以任何方式限制此权利要求的范围。因此，说明书及图式应被视为旨在说明而非限制。
[0328]
所列举的示范性实施例
[0329]
本发明可以本文中所描述的任何形式体现，其包含(但不限于)描述本发明的实施例的一些部分的结构、特征及功能的以下所列举的实例性实施例(eee)。
[0330]
eee1.一种方法，其包括：
[0331]
确定一组张量乘积的b平滑曲线(tpb)基函数；
[0332]
产生与所述组tpb基函数一起用于从源色彩等级的一或多个源图像中的源图像数据产生一或多个映射图像中的预测图像数据的一组选定tpb预测参数，其中通过最小化所述一或多个映射图像中的所述预测图像数据与参考色彩等级的一或多个参考图像中的参考图像数据之间的差来产生所述组选定tpb预测参数，其中所述一或多个参考图像对应于所述一或多个源图像且描绘与由所述一或多个源图像描绘的视觉内容相同的视觉内容；
[0333]
使所述组选定tpb预测参数作为图像元数据的一部分与所述一或多个源图像中的所述源图像数据一起编码于视频信号中；
[0334]
使所述一或多个映射图像由所述视频信号的接收装置重建及再现。
[0335]
eee2.根据eee1所述的方法，其中所述源图像数据或所述参考图像数据中的至少一者以色彩空间的子取样格式表示。
[0336]
eee3.根据eee1或2所述的方法，其中所述一或多个源图像表示以下一者：构成媒体程序中的视觉场景的图像、在滑动窗口内选择的图像或在线性分段内选择的图像。
[0337]
eee4.根据eee1到3中任一项所述的方法，其中所述组tpb基函数由一或多组b平滑曲线基函数的张量乘积产生，且其中所述一或多组b平滑曲线基函数中的每一组b平滑曲线基函数对应于色彩空间的一或多个色彩通道中的相应色彩通道。
[0338]
eee5.根据eee4所述的方法，其中所述一或多组b平滑曲线基函数中的至少一组b平滑曲线基函数表示特定阶的b平滑曲线基函数的全集。
[0339]
eee6.根据eee4或5所述的方法，其中所述一或多组b平滑曲线基函数包括由截断多项式及一组均匀分布结点产生的一组b平滑曲线基函数。
[0340]
eee7.根据eee1到6中任一项所述的方法，其中所述组选定tpb预测参数及所述组tpb基函数的组合表示用于产生所述一或多个映射图像中的所述预测图像数据的交叉通道预测器。
[0341]
eee8.根据eee1到7中任一项所述的方法，其中使用多个映射对来产生所述组tpb预测参数，所述多个映射对中的每一者包括从所述源图像数据产生的一或多个源码字的第
一阵列及从所述参考图像数据产生的一或多个参考码字的第二阵列。
[0342]
eee9.根据eee8所述的方法，其中基于三维映射表(3dmt)来产生所述多个映射对。
[0343]
eee10.一种方法，其包括：
[0344]
从视频信号解码第一色彩等级的一或多个第一图像；
[0345]
从所述视频信号解码包括用于与一组张量乘积的b平滑曲线(tpb)基函数相乘的一组选定tpb预测参数的图像元数据；
[0346]
使所述组tpb预测参数与所述组tpb基函数一起用于从所述一或多个第一图像产生一或多个映射图像；
[0347]
使从所述一或多个映射图像导出的一或多个显示图像由显示装置再现。
[0348]
eee11.根据eee10所述的方法，其中所述组选定tpb预测参数由上游视频内容处理器产生，其中所述组选定tpb预测参数与所述组tpb基函数一起用于从第一色彩等级的一或多个第一图像中的第一图像数据产生一或多个映射图像中的预测图像数据，其中所述上游视频内容处理器通过最小化所述一或多个映射图像中的所述预测图像数据与参考色彩等级的一或多个参考图像中的参考图像数据之间的差来产生所述组选定tpb预测参数，其中所述一或多个参考图像对应于所述一或多个第一图像且描绘与由所述一或多个第一图像描绘的视觉内容相同的视觉内容。
[0349]
eee12.根据eee10所述的方法，其进一步包括：
[0350]
产生多个b平滑曲线基函数输出值；
[0351]
将交叉乘积运算应用于所述多个b平滑曲线基函数输出值以产生多个tpb基函数输出值以借此产生一组多个tpb基函数输出值；
[0352]
使从所述视频信号解码的所述组tpb预测参数与所述组多个tpb基函数输出值相乘以产生预测码字组。
[0353]
eee13.根据eee12所述的方法，其中产生多个b平滑曲线基函数输出值包括：
[0354]
针对多个b平滑曲线基函数中的每一b平滑曲线基函数，确定用于截断多项式中的结点及对应乘法因子以表示每一此b平滑曲线基函数；
[0355]
使用所述一或多个第一图像中的解码码字作为所述截断多项式的输入以产生每一此b平滑曲线基函数的输出值。
[0356]
eee14.根据eee12所述的方法，其进一步包括：
[0357]
将所述多个b平滑曲线基函数输出值存储在本地寄存器中；
[0358]
针对所述tpb基函数中的每一tpb基函数，在所述多个b平滑曲线基函数输出值中识别色彩空间的每一通道中的(n 1)个非零b平滑曲线基函数输出值，其中n指示所述多个b平滑曲线基函数的阶；
[0359]
使用所述(n 1)个非零b平滑曲线基函数输出值作为输入的部分以从所述一或多个第一图像中的解码码字产生每一此tpb基函数的输出值。
[0360]
eee15.根据eee12所述的方法，其进一步包括：
[0361]
针对所述一或多个第一图像中的每一解码码字，通过执行以下操作来产生所述一或多个映射图像中的输出码字：
[0362]
使所述输出码字初始化为零；
[0363]
针对所述tpb基函数中的每一tpb基函数，执行：
[0364]
产生色彩空间的三个通道中的每一通道的(n 1)个非零b平滑曲线基函数输出值以借此产生三组(n 1)个非零b平滑曲线基函数输出值，其中n指示所述多个b平滑曲线基函数的一阶；
[0365]
将交叉乘积运算应用于三组(n 1)个非零b平滑曲线基函数输出值以从所述一或多个第一图像中的所述解码码字产生tpb基函数输出值；
[0366]
通过使所述tpb基函数输出值与所述组tpb预测参数中的对应预测参数相乘来产生乘积；
[0367]
将所述乘积添加到所述输出码字。
[0368]
eee16.根据eee10到15中任一项所述的方法，其中将所述组选定tpb预测参数编码为编码语法中的多个加权系数，所述编码语法支持针对所述组tpb基函数中的对应tpb基函数来载送所述多个加权系数中的相应加权系数。
[0369]
eee17.一种计算机系统，其经配置以执行根据eee1到eee16所述的方法中的任一者。
[0370]
eee18.一种设备，其包括处理器且经配置以执行根据eee1到eee16所述的方法中的任一者。
[0371]
eee19.一种非暂时性计算机可读存储媒体，其上存储有用于执行根据根据eee1到eee16所述的方法中的任一者的方法的计算机可执行指令。