用于对图像进行压缩及解压缩的方法和系统与流程

用于对图像进行压缩及解压缩的方法和系统
1.相关申请的交叉引用
2.本技术要求于2020年8月7日提交的第63/063,004号美国临时申请(“具有正重建误差的压缩(compression with positive reconstruction error)”)以及于2020年8月7日提交的第63/062,963号美国临时申请(“具有重要灰度级的更高的重建质量的dpcm编解码器(dpcm codec with higher reconstruction quality on important gray levels)”)的优先权和权益，这两个临时申请的全部内容通过引用并入本文。
3.本技术还要求于2020年10月14日提交的第17/070,898号标题为“具有重要灰度级的更高的重建质量的dpcm编解码器(dpcm codec with higher reconstruction quality on important gray levels)”的美国正式专利申请的优先权和权益。
技术领域
4.本公开的实施例的方面总体上涉及图像处理系统和方法。


背景技术：

5.诸如液晶显示器(lcd)和发光二极管(led)显示器的平板显示器由于它们的小尺寸、优秀的图像质量以及更低的功耗而变得十分普遍。
6.显示面板中的像素具有特定的响应时间。提供给像素进行显示的数据的变化速度可能快于像素能够响应的速度。因此，可能发生诸如运动模糊或重影效应的不良效应。为了使显示的图像更令人满意，图像补偿技术是必要的。已经开发了过驱动算法，过驱动算法可以补偿图像数据，以便减少由显示像素呈现的运动模糊。
7.在本背景技术部分中公开的以上信息仅用于增强对本公开的理解，并且因此它可以包含不形成本领域普通技术人员已知的现有技术的信息。


技术实现要素：

8.本公开的实施例的方面涉及用于图像压缩、存储、解压缩的系统和方法，该系统和方法能够确保有界的和非负的重建误差。在一些实施例中，该系统通过部分地使用适当的量化带大小和添加的偏差对图像或帧进行编码来实现该目标。该系统和方法可以改善过驱动系统的图像补偿性能。
9.本公开的实施例的方面涉及用于图像压缩、存储、解压缩的系统和方法，该系统和方法能够确保针对特定的高优先级灰度值的零重建误差或针对特定的高优先级灰度值的相对于其它灰度值的至少更低的重建误差。
10.根据本发明的一些实施例，提供了一种用于在图像压缩和存储系统中对帧进行压缩的方法，该方法包括：对帧的原始样本的残差应用模加法，以基于原始样本的比特深度和最大允许误差生成偏置残差；基于最大允许误差对偏置残差进行量化，以生成量化的偏置残差；并且对与量化的偏置残差相对应的值进行编码，以生成具有非负重建误差的编码后的值。
11.在一些实施例中，对残差应用模加法包括将偏置残差计算为：
[0012][0013]
其中，e
′
表示偏置残差，e表示原始样本的残差，bitdepth表示原始样本的比特深度，并且δ表示最大允许误差，其中，原始样本对应于帧的像素的颜色值。
[0014]
在一些实施例中，偏置残差在被表示为-δ≤e
′
≤2
bitdepth-1的范围内。
[0015]
在一些实施例中，该方法进一步包括：接收原始样本；并且从原始样本中减去先前重建的样本的预测，以生成原始样本的残差。
[0016]
在一些实施例中，与量化的偏置残差相对应的值是与量化的偏置残差相对应的量化索引。
[0017]
在一些实施例中，对偏置残差进行量化基于等于最大允许误差加1的量化步长。
[0018]
在一些实施例中，对偏置残差进行量化包括将量化的偏置残差的量化索引计算为：
[0019][0020]
其中，i[e
′
]表示量化索引，ceiling(.)表示上限函数，e’表示偏置残差，并且δ表示最大允许误差。
[0021]
在一些实施例中，对偏置残差进行量化包括利用非均匀量化带。
[0022]
在一些实施例中，该方法进一步包括：对量化的偏置残差执行逆量化，以生成重建的偏置残差；以及将先前重建的样本的预测添加到重建的偏置残差，以生成重建的偏置样本；基于原始样本的比特深度和最大允许误差对重建的偏置样本应用模减法和限幅操作，以生成重建的样本；并且基于重建的样本生成后续重建的样本的预测。
[0023]
在一些实施例中，对重建的偏置样本应用模减法包括将重建的样本计算为：
[0024][0025]
其中，y表示重建的样本，x表示重建的偏置样本，bitdepth表示原始样本的比特深度，并且δ表示最大允许误差。
[0026]
在一些实施例中，执行逆量化基于等于最大允许误差的量化带大小并且进一步基于量化索引。
[0027]
在一些实施例中，对量化的偏置残差执行逆量化包括将重建的偏置残差计算为：
[0028]
q[e
′
]＝(δ 1)i[e
′
]
[0029]
其中，e’表示偏置残差，q[e’]表示与偏置残差相关联的重建的偏置残差，i[e
′
]表示量化索引，并且δ表示最大允许误差。
[0030]
在一些实施例中，对量化的偏置残差执行逆量化基于非均匀量化表。
[0031]
在一些实施例中，对与量化的偏置残差相对应的值进行编码包括：对与量化的偏置残差相对应的值执行熵编码，以生成编码后的值。
[0032]
在一些实施例中，该方法进一步包括：通过减小帧的像素的颜色值的比特深度来截断该帧，以生成原始样本，其中，该帧具有红色、绿色和蓝色(rgb)格式或者红色、绿色、蓝色和绿色(rgbg)格式。
[0033]
根据本发明的一些实施例，提供了一种用于在图像压缩和存储系统中对与帧相对应的存储的图像数据进行解压缩的方法，该方法包括：对与帧的原始样本相对应的编码后的值进行解码，以生成与量化的偏置残差相对应的解码后的值；对解码后的值执行逆量化，以生成重建的偏置残差；将先前重建的样本的预测添加到重建的偏置残差，以生成重建的偏置样本；并且基于原始样本的比特深度和最大允许误差对重建的偏置样本应用模减法，以生成重建的样本。
[0034]
在一些实施例中，该方法进一步包括：基于重建的样本生成后续重建的样本的预测。
[0035]
在一些实施例中，对重建的偏置样本应用模减法包括将重建的样本计算为：
[0036][0037]
其中，y表示重建的样本，x表示重建的偏置样本，bitdepth表示比特深度，并且δ表示最大允许误差。
[0038]
在一些实施例中，解码后的值是量化索引，并且对解码后的值执行逆量化包括将重建的偏置残差计算为：
[0039]
q[e
′
]＝(δ 1)i[e
′
]
[0040]
其中，q[e’]表示重建的偏置残差，i[e
′
]表示量化索引，e’表示偏置残差，并且δ表示最大允许误差。
[0041]
根据本发明的一些实施例，提供了一种图像压缩和存储系统，包括：处理器；和处理器本地的处理器存储器，其中，处理器存储器具有存储在处理器存储器上的指令，指令在由处理器执行时使处理器执行：对帧的原始样本的残差应用模加法，以基于原始样本的比特深度和最大允许误差生成偏置残差；基于最大允许误差对偏置残差进行量化，以生成量化的偏置残差；对与量化的偏置残差相对应的值进行编码，以生成用于存储在存储介质中的编码后的值；从存储介质检索编码后的值；对编码后的值进行解码，以生成与量化的偏置残差相对应的解码后的值；对解码后的值执行逆量化，以生成重建的偏置残差；将先前重建的样本的预测添加到重建的偏置残差，以生成重建的偏置样本；并且基于原始样本的比特深度和最大允许误差对重建的偏置样本应用模减法，以生成重建的样本，其中，原始样本与重建的样本之间的差仅是非负的。
附图说明
[0042]
附图与说明书一起图示了本公开的示例实施例，并且与描述一起用于解释本公开的原理。
[0043]
图1是根据本公开的一些实施例的利用图像压缩和存储系统的帧补偿系统的示意图。
[0044]
图2a是根据本公开的一些实施例的图像压缩和存储系统的编码器的示意图。
[0045]
图2b是根据本公开的一些实施例的图像压缩和存储系统的解码器的示意图。
[0046]
图3a是图示了根据本公开的一些实施例的编码器的一部分以及解码器的一部分的示意图。
[0047]
图3b是根据本公开的一些实施例的说明熵编码器和熵解码器的恒等操作
(identity operation)的图3a的简化图。
[0048]
图4a图示了根据本公开的一些实施例的由量化器利用的量化表。
[0049]
图4b图示了根据本公开的一些实施例的量化器的操作。
[0050]
图4c和图4d分别图示了根据本公开的一些实施例的由量化器利用的均匀量化表和非均匀量化表。
[0051]
图5a是根据本公开的一些实施例的具有在线/环路内映射的编码器的示意图。
[0052]
图5b是根据本公开的一些实施例的具有离线/环路外映射的编码器的示意图。
[0053]
图6a至图6b分别是根据本公开的一些实施例的具有在线/环路内映射的解码器和具有离线/环路外映射的解码器的示意图。
[0054]
图7a至图7b是图示了根据本公开的一些实施例的在给定最大允许误差δ和常数c的不同值的情况下针对不同样本值的潜在重建误差的数值示例的表。
[0055]
图8是图示了根据本公开的一些实施例的在给定非零样本值的重要性的情况下针对不同样本值的潜在重建误差的数值示例的表。
[0056]
图9a至图9b是图示了根据本公开的一些实施例的基于不能确保非负重建误差的图像压缩和存储系统的映射函数和逆映射函数的针对不同样本值的潜在重建误差的数值示例的表。
具体实施方式
[0057]
以下阐述的详细描述旨在作为根据本公开提供的用于图像压缩、存储和解压缩的系统和方法的示例实施例的描述，并且不旨在表示其中本公开可以被构造或被利用的唯一形式。该描述结合所图示的实施例阐述了本公开的特征。然而，将理解，相同或等同的功能和结构可以通过也旨在被涵盖在本公开的范围内的不同的实施例来实现。如在本文中其它地方所指出的，相同的元件标号旨在指示相同的元件或特征。
[0058]
图1是根据本公开的一些实施例的利用图像压缩和存储系统10的帧补偿系统1的示意图。
[0059]
在一些实施例中，图像压缩和存储系统10包括用于对数据进行编码(例如，压缩)以减小其大小的编码器100、用于存储编码后的数据的存储介质200以及用于对存储的编码后的数据进行解码(例如，解压缩)以重建数据的解码器300。诸如4k图像帧的特定数据的存储消耗大量的存储器空间。这里，编码器100和解码器300允许使用更小的存储介质200，这可以节省空间和成本。如图1中所图示的，在一些示例中，图像压缩和存储系统10可以形成帧补偿系统1的一部分，在帧补偿系统1中，过驱动系统20使用先前帧来补偿当前帧(例如，以减少重影效应或模糊)，以产生补偿后的当前帧。在一些示例中，截断和延迟电路30接收(例如，8比特每颜色(bpc)的)帧，即当前帧，截断该帧(即，将帧的像素值的bpc的数量减少到例如3bpc)，并且延迟该帧以产生截断的先前帧(3bpc)。图像压缩和存储系统10然后对截断的先前帧进行压缩并且将其存储以供过驱动系统20稍后使用。这里，截断和压缩可以使存储的帧在大小上显著小于原始(先前)帧。例如，在rgb(红色、绿色和蓝色)输入帧的情况下，其中每个颜色值用8比特(或者24比特每像素(bpp))表示，截断可以导致3bpc/9bpp的帧表示，并且由编码器100执行的1.5：1的压缩可以进一步将帧表示减小到2bpc/6bpp。然而，本公开的实施例不限于rgb输入帧，并且诸如(用于蜂窝(pentile)子像素排列的)rgbg(红
色、绿色、蓝色和绿色)的任何合适的输入帧格式可以被使用。例如，在rgbg输入帧的情况下，截断可以将帧大小从16bpp减小到6bpp，并且由编码器100执行的1.5：1的压缩可以进一步将帧大小减小到4bpp。此外，本公开的实施例不限于使用以上截断操作，并且在一些示例中，截断和延迟电路30可以用延迟块代替，并且截断操作可以从本文中描述的过程中省略。
[0060]
如果重建误差，也就是说，由图像压缩和存储系统10引入的误差(该误差中的全部都是量化误差)仅是非负的，则可以改善过驱动系统20的性能。相关技术的编码方案通常优化均方误差(mse)或者峰值信噪比(psnr)，这意味着重建的图像中的误差的极性可以是正的也可以是负的。根据一些实施例，图像压缩和存储系统10通过确保被定义为重建的帧与原始帧之间的差的重建误差(即，量化误差)总是非负的(即，大于或等于零)并且还被限制为设定的最大值，相对于相关技术改善过驱动系统20的性能。
[0061]
遍及本公开，帧是指包括多个像素的图像帧的数据。帧的每个像素可以用多个颜色值(例如，红、绿和蓝)来表示。帧的原始样本对应于帧的像素的颜色值。
[0062]
图2a是根据本公开的一些实施例的图像压缩和存储系统10的编码器100的示意图。图2b是根据本公开的一些实施例的图像压缩和存储系统10的解码器300的示意图。
[0063]
参考图2a，根据一些实施例，编码器100利用预测编码方案，在预测编码方案中对原始样本(例如，截断的帧)的残差进行编码，而不是对原始样本本身进行编码。残差(也称为误差e)被定义为原始样本与基于一个或多个相邻样本的预测(例如，先前(重建的)样本的预测)之间的差。在一些实施例中，样本预测器110生成先前样本的预测，并且减法器120基于原始样本和预测的样本来计算残差值。在一些实施例中，减法器120从原始样本中减去先前重建的样本的预测以生成原始样本的残差。计算的残差可以是正值或负值。模加法器130将偏置值加到残差以产生偏置残差值，以便减少1比特符号信息的信令成本。量化器140对偏置残差值进行量化以生成量化的偏置值(即，量化的偏置残差)，并且将与量化的偏置残差相对应的量化索引传递到熵编码器150以用于进一步压缩(例如，诸如熵编码的无损压缩)。该压缩后的数据(或编码后的值)被存储在存储介质200中。如下面将进一步解释的，在一些实施例中，偏置值是量化步长的函数。
[0064]
根据一些实施例，为了生成预测的样本，解码器300对与帧的原始样本相对应的编码后的值进行解码，以生成与量化的偏置残差相对应的解码后的值(即量化索引)。在一些实施例中，逆量化器160对解码后的值执行逆量化，以生成重建的偏置残差。
[0065]
在一些实施例中，逆量化器160对量化的偏置残差执行由量化器140执行的量化操作的逆操作，以生成重建的偏置残差，加法器170将先前重建的样本的预测添加到重建的偏置残差，以生成重建的偏置样本，并且模减法器180从重建的偏置样本中减去由模加法器130添加的偏置值，以生成重建的样本。在一些示例中，限幅函数可以被应用于重建的样本以确保其处于期望的动态范围内，对于给定的比特深度(bitdepth)，期望的动态范围可以被表示为[0,2
bitdepth-1]。该重建的样本(例如，限幅后的重建的样本)被样本预测器110使用以预测下一个样本。
[0066]
参考图2b，在一些实施例中，解码器300包括对从存储介质200接收的存储的样本(或，存储的编码后的值)进行解压缩的熵解码器310以及如以上所描述的相同的逆量化器160、加法器170、模减法器180和样本预测器110。除了熵解码器310之外，解码器300的剩余部件与编码器100中的那些部件相同并且以相同的方式配置。因此，为了简洁起见，这里将
不再重复其详细描述。
[0067]
因为解码器300不能访问原始样本，并且只能访问重建的样本，所以解码器300的样本预测器110使用重建的样本来生成先前样本的预测。此外，因为编码器100和解码器300的操作彼此镜像，所以编码器100的样本预测器110也使用相同的重建的样本来生成先前样本的预测，使得即使编码器100可以访问原始样本，编码器100也可以与解码器300同步。
[0068]
在一些实施例中，编码器100和解码器300对像素的单个颜色值进行操作。因此，多个编码器100和解码器300可以并行地操作(例如，并发地/同时地操作)以处理像素的各种颜色。
[0069]
图3a是图示了根据本公开的一些实施例的编码器100的一部分以及解码器300的一部分的示意图。图3b是根据本公开的一些实施例的说明熵编码器150和熵解码器310的恒等操作的图3a的简化图。
[0070]
根据一些实施例，由编码器100和解码器300的除了量化器140之外的部件执行的操作都是无损操作。例如，图3a中所示的熵编码器150和熵解码器310(作为块a)的顺序操作是恒等操作，并且因此可以被有效地省略，从而得到图3b。因此，被定义为解码器300的输出处的重建的样本与编码器100的输入处的原始样本之间的差的信号空间中的误差等同于残差空间中的误差：
[0071]
误差(残差)＝r
–
e’＝q[e’]
–e’ꢀꢀꢀ
等式(1)
[0072]
其中，e’是输入到量化器140的偏置残差，r是逆量化器160的输出，并且q[.]是量化器140和逆量化器160的组合量化和逆量化函数。
[0073]
因此，如果残差空间中的误差被保持为非负，则信号空间中的误差也将为非负。此外，如果残差空间中的误差是有界的，也就是说，如果r
–
e’≤δ，其中δ是表示最大允许误差的正整数，则信号空间中的误差也将被限制为δ。即使存在模加法器130和模减法器180，该关系也成立。相反，相关技术中使用的变换编解码(例如，高效视频编解码(hevc)、jpeg-2000或vesa显示压缩-m(vdc-m))可能不适于确保非负重建误差，因为变换域中的正误差不能确保信号空间中的非负重建误差。这可能是由于诸如离散余弦变换(dct)的变换保持原始系数与变换系数之间的l2范数(或能量)，而不是l1范数。
[0074]
因此，在一些实施例中，模加法器130和量化器140以确保残差空间中的误差保持非负并且是有界的(即，被限制为δ)的方式配置，这确保了信号空间中的误差是相同的。
[0075]
量化器140和逆量化器160通过适当地调整量化带大小和每个带中的重建点来确保非负的、有界的误差。在一些实施例中，给定最大允许误差δ，量化器140利用具有最大量化步长为δ 1的均匀量化带或非均匀量化带，并且使用在该带的右边缘处(即，最大值)的重建点。此外，在一些实施例中，值零在带(例如，索引1的第一量化带)的右边缘处，使得零出现在重建的值中。这可能是由于残差在零处达到峰值。
[0076]
图4a图示了根据本公开的一些实施例的由量化器140利用的量化表。图4b图示了根据本公开的一些实施例的量化器140的操作，输入为e’并且输出为r。图4c和图4d分别图示了根据本公开的一些实施例的由量化器140利用的均匀量化表和非均匀量化表。
[0077]
参考图4a，量化器140使用量化步长为δ 1的均匀量化带，其中重建点在每个带的右边缘处。在一些实施例中，第一量化带具有为零的右边缘(即，为零的重建点)。这里，偏置残差e’是整数。在一些实施例中，在使用等式(6)和等式(8)中定义的模加法和减法参数(也
称为优化的模加法和减法参数)时，带的数量nb可以被表示为：
[0078][0079]
其中，δ表示最大允许误差，并且ceiling(.)表示上限函数。这里，δ 1可以是最大允许步长，即更小的步长可以被选择。在一些其它实施例中，在使用未优化的模加法和减法参数(即，不是由等式(6)和等式(8)定义的参数)时，带的数量nb可以被表示为：
[0080][0081]
在一些实施例中，在对偏置残差进行量化时，量化器140将偏置残差的量化索引计算为：
[0082][0083]
其中，在使用由等式(6)和等式(8)定义的优化的模加法和减法参数时，-δ≤e
′
≤2
bitspth-1否则，在使用未优化的模加法和减法参数时，-δ≤e
′
≤2
bitdepth-1 δ。
[0084]
i[e
′
]表示量化索引，ceiling(.)表示上限函数，e’表示偏置残差，并且δ表示最大允许误差。
[0085]
类似地，对量化的偏置残差执行逆量化可以包括将重建的偏置残差计算为：
[0086][0087]
其中，q[e’]表示重建的偏置残差，i[e
′
]表示量化索引，并且e’表示偏置残差。等式(2)和等式(3)应用于利用均匀量化的实施例。在使用非均匀量化时，最大步长可以是δ 1。
[0088]
图4b图示了其中δ＝2并且比特深度(即，每颜色比特的数量)为3的示例。这里，比特深度是指存储在图像中的颜色信息，并且影响图像的动态范围。图像的比特深度越高，其可以存储的颜色越多。最简单的图像，即1比特图像，只能显示两种颜色，即黑色和白色。这是因为1比特只能存储两个值0(白色)和1(黑色)中的一个。随着比特深度增加，动态范围也增加，这增加了量化带的数量。
[0089]
如图4b的示例中所图示的，为1的偏置残差e’导致为3的重建值r。
[0090]
根据一些实施例，模加法器130将偏置残差e’计算为：
[0091][0092]
这意味着偏置残差e’在可以被表示为下式的范围内：
[0093]-δ≤e
′
≤2
bitdepth-1
ꢀꢀꢀ
等式(7)
[0094]
偏置残差e’的上限允许非均匀量化带，非均匀量化带可以减少针对特定偏置值的误差，并且因此改善性能。
[0095]
例如，当δ＝2并且比特深度＝3时，
–
2≤e’≤7，并且图4c中示出的均匀量化表和图4d中示出的非均匀量化表可以被量化器140利用。在其中均匀量化带大小2被使用的图4c中，针对四个带中的全部的量化误差以δ(即，2)为界。然而，本公开的实施例还允许图4d中示出的量化表的非均匀量化带，其中第三带和第四带具有以1(并且非2)为界的更小的量化
误差。在一些示例中，量化器140为在统计上更显著的那些带(例如，偏置残差中的多个所在的带，或者其值对过驱动系统20的性能具有更大影响的值的带)保留更窄的带。因此，通过模加法器130的操作实现的更小的量化误差可以改善过驱动系统20的性能。
[0096]
模减法器180可以通过去除由模加法器130添加到残差的偏置值来执行与模加法器130相反的操作。根据一些实施例，对于给定的输入x(重建的偏置样本)，模减法器180的输出y(重建的样本)被表示为：
[0097][0098]
如以上所提到的，在一些示例中，限幅函数可以被应用于重建的样本以确保其处于期望的动态范围内，对于给定的比特深度，期望的动态范围可以被表示为[0,2
bitdepth-1]。在8bpc的示例中，限幅函数可以将模减法器180的输出限制为[0,7]。
[0099]
因此，如以上所描述的，通过使用适当的量化带大小和添加的偏差，图像压缩和存储系统10确保(例如，保证)重建的图像上的非负的和有界的误差，这可以改善过驱动系统20的性能。
[0100]
除了确保有界的、非负的重建误差之外，根据一些实施例，还期望特定灰度级(例如，零灰度值)为零或至少小于其它灰度值的误差。例如，对于颜色深度3，灰度值的范围可以从0到7。在一些示例中，当灰度值从7下降到0时，过驱动补偿可以对灰度值设置更大的重要性(更高优先级)，其中0具有最大的重要性(最高优先级)。在这样的示例中，高重建误差对于诸如5、6和7的低优先级灰度值是可接受的。这与相关技术的编解码器相反，在相关技术的编解码器中，所有灰度级被同等地对待，并且重建误差与像素样本的幅度(或灰度级)无关。
[0101]
根据一些实施例，图像压缩和存储系统10被配置为确保针对重要灰度值的更小的重建误差，以及其它灰度级上的非负重建误差。在一些实施例中，编码器100修改原始的灰度值以便实现针对特定灰度级的更低的误差。这可能以其它非重要灰度级上的更高的误差为代价。
[0102]
图5a是根据本公开的一些实施例的具有在线/环路内映射的编码器400的示意图。图5b是根据本公开的一些实施例的具有离线/环路外映射的编码器400-1的示意图。图6a至图6b分别是根据本公开的一些实施例的具有在线/环路内映射的解码器500和具有离线/环路外映射的解码器500-1的示意图。
[0103]
根据一些实施例，编码器400/400-1包括在编码之前将原始样本的灰度值x映射到映射的值(也称为映射的样本)f(.)的第一映射器(例如，灰度值映射电路)202，并且进一步包括执行第一映射器202的逆操作g(.)的逆映射器(例如，逆灰度值映射电路)204。因此，编码器400/400-1在映射的空间而不是信号空间中对原始样本进行编码。这里，映射的空间的动态范围可以与原始空间的动态范围相同。换句话说，映射的空间和原始空间的比特深度可以相同。
[0104]
根据一些实施例，在图5a中所图示的在线/环路内实施方式中，编码器400包括在加法器170之前对原始样本进行操作的第一映射器202，以及对样本预测器110进行操作的第二映射器203，并且进一步包括对模减法器180的输出进行操作的逆映射器204。在这些实施例中，逆映射器204对由模减法器180生成的映射的重建的样本执行逆映射操作，并且生
成未映射的重建的样本，未映射的重建的样本被样本预测器110使用以产生未映射的先前重建的样本的预测。第二映射器203将该值(即未映射的先前重建的样本的预测)映射到映射的先前重建的样本，以便在减法器120处从映射的样本中减去该值。
[0105]
在一些实施例中，在图5b中所图示的离线/环路外实施方式中，逆映射器204不对样本预测器110的输入进行操作，并且因此，第二映射器203不需要对样本预测器110的输出进行操作。在这样的实施例中，映射操作完全在编码器环路之外执行。由于第一映射器202和逆映射器204的操作是在编解码器外部执行的，所以这种离线/环路外实施方式可以更容易地与现有的编解码器一起使用。此外，离线/环路外实施方式与在线/环路内实施方式相比具有更低的复杂度，因为更少的操作/计算被执行。然而，在线/环路内实施方式可以导致更高的性能。
[0106]
如图6a至图6b中所图示的，用于在线/环路内映射实施方式的解码器500利用第二映射器203和逆映射器204两者，并且用于离线/环路外映射实施方式的解码器500-1利用单个逆映射器204(不需要映射器)。
[0107]
在任一实施方式中，除了第一映射器202和第二映射器203以及逆映射器204之外，编码器400/400-1包括与编码器100相同的部件，具有与编码器100相同的配置。类似地，在在线/环路内实施方式和离线/环路外实施方式两者中，除了第二映射器203和逆映射器204之外，解码器500/500-1包括与解码器300相同的部件，具有与解码器300相同的配置。因此，为了简洁起见，将不再重复编码器400/400-1和解码器500/500-1中分别与编码器100和解码器300相同的元件的描述。虽然模加法器130、量化器140、逆量化器160和模减法器180确保有界的、非负的重建误差，但是编码器400和400-1以及解码器500和500-1不限于此。例如，在负重建误差可以(例如，被过驱动系统20)容忍时，任何合适的模加法器、量化器、逆量化器和模减法器可以被使用。
[0108]
根据一些实施例，在0灰度级是重要的时(例如，在0重建误差被期望时)，第一映射器202的映射函数f(.)被表示为：
[0109][0110]
其中，δ表示重建的样本与原始样本之间的最大正误差，c是小于δ(即，c＜δ)的恒定非负整数，并且maxval是针对给定的比特深度(或每颜色的比特)的映射器输入样本(例如，原始样本)x的最大值，maxval可以被表示为：
[0111]
maxval＝2
bitdept
h-1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
等式(10)
[0112]
此外，逆映射器204的逆映射函数g(.)可以被表示为：
[0113][0114]
其中，x
′
表示到逆映射器204的输入(例如，由模减法器180输出的映射的重建的样本)，并且clip(0，maxval，x
′‑
δ c)是将输出值x
′‑
δ c限制为最小值为0且最大值为maxval的限幅函数。换句话说，限幅函数针对x
′‑
δ c的小于零的所有值产生零，针对x
′‑
δ c的大于maxval的所有值产生maxval，并且在其它情况下产生x
′‑
δ c。
[0115]
如将在下面解释的，在常数c＝0时，在为0的原始样本值处没有重建误差，尽管这可能以增加针对超出最大允许误差δ的其它原始样本值的误差为代价。
[0116]
图7a至图7b是图示了根据本公开的一些实施例的在给定最大允许误差δ和常数c的不同值的情况下针对不同样本值的潜在重建误差的数值示例的表。在图7a至图7b中所图示的表中，值x’表示模减法器180在(图5a的)编码器400的在线/环路内实施方式中的可能输出，并且y表示在逆映射器204的输出处的重建的样本(即未映射的重建的样本)。
[0117]
在图7a中，假设比特深度为3(即，原始样本值(也称为原始样本或原始值)的范围从0到7)，最大允许误差δ＝1并且常数c＝0。在该表中，针对x的每个值的值x’根据预测的重建的样本可以具有一种或多种可能性。例如，在x＝3和f(x)＝4的情况下，可能有多种情形：1)在样本预测器110预测值3时，残差e’是1(＝4-3)，量化索引＝1，逆量化器160的输出r＝2，模减法器180的输出x’＝5(＝3 2)，这产生重建的值y＝4；2)在样本预测器110预测值2时，残差e’＝2(＝4-2)，量化索引＝1，r＝2，x’＝4(＝2 2)，这产生重建的值y＝3；以及3)在样本预测器110预测值5时，残差e’＝-1(＝4-5)，量化索引＝0，r＝0，x’＝5(＝0 5)，这再次产生重建的值y＝4。
[0118]
如从图7a中清楚可见的，在常数c＝0的情况下，针对原始样本0(例如，在统计上最重要的样本值)的重建误差(即图7a中所示的表中的可能的误差)为零。然而，针对原始样本5(例如，低优先级样本)的误差可以达到2，2大于为1的最大期望误差δ。
[0119]
在图7b中，假设比特深度为3，最大允许误差δ＝2并且常数c＝1。这里，在常数c大于零的情况下，不再保证针对原始样本0的可能的重建误差(即图7b中所示的表中的可能的误差)为零；然而，原始样本0处的最大误差仍低于或等于其它原始样本值的最大误差。
[0120]
根据一些实施例，在i》0的灰度级是重要的时，第一映射器202的映射函数f(.)被表示为：
[0121][0122]
而且，逆映射器204的逆映射函数g(.)可以被表示为：
[0123][0124]
图8是图示了根据本公开的一些实施例的在给定非零样本值的重要性的情况下针对不同样本值的潜在重建误差的数值示例的表。
[0125]
在图8的示例中，假设比特深度为3，最大允许误差δ＝1并且常数c＝0。在该示例中，原始样本4可能在统计上已经对过驱动系统20更重要，并且针对该样本的重建误差(即图8中所示的表中的可能的误差)为零。然而，这已经是以针对原始样本3和5的大于期望的最大误差的误差为代价的。
[0126]
在图7a至图7b以及图8的表中，编码器400/400-1和解码器500/500-1确保非负重建误差。然而，在负重建误差可以被容忍(例如，利用任何合适的模加法器/减法器以及量化器/逆量化器，并且不一定利用编码器400/400-1和解码器500/500-1的那些部件的实施例)并且最重要的原始值为零的示例中，可以代替函数f(.)和g(.)的映射函数f(.)和逆映射函数g(.)可以被表示为：
[0127]
f(x)＝maxval-x
ꢀꢀꢀ
等式(14)
[0128][0129]
在这样的示例中，映射函数f(.)和逆映射函数g(.)可以可替代地被表示为：
[0130][0131][0132]
图9a是图示了根据本公开的一些实施例的基于等式(9)和等式(11)的映射函数和逆映射函数的针对不同样本值的潜在重建误差的数值示例的表。图9b是图示了根据本公开的一些实施例的基于等式(12)和等式(13)的映射函数和逆映射函数的针对不同样本值的潜在重建误差的数值示例的表。在图9a至图9b的表中，假设比特深度＝3，并且最大允许误差δ＝1。这里，从过驱动系统20的角度来看，原始样本0是最重要的，并且在两个表中，针对该样本的重建误差(即图9a至图9b中所示的表中的可能的误差)为零。
[0133]
通常，在诸如dsc和dpcm的相关技术的图像/视频编码器中，不对具体的灰度值设置任何特定的重要性。因此，重建误差的量值通常与灰度值无关。此外，在诸如hevc、jpeg-2000和vdc-m的编解码器中使用的变换编解码不适于满足在量化被应用在相关技术中的变换系数上时的非负误差，并且变换域中的正误差不意味着信号空间中的正误差。
[0134]
相反，根据本公开的一些实施例，图像存储和压缩系统向特定灰度值提供更高的优先级，并且针对此类灰度值呈现更低的重建误差。这可以通过执行原始图像到另一空间的逐像素映射并且对映射的空间中的图像进行压缩来实现。除了为重要的灰度级保持更低的误差之外，在一些实施例中，图像存储和压缩系统的编码器和解码器还确保针对重建的图像的非负误差，这可以改善相应的过驱动系统的性能。
[0135]
由编码器100/400/400-1和解码器300/500/500-1的组成部件执行的操作可以由“处理电路”或“处理器”执行，“处理电路”或“处理器”可以包括用于处理数据或数字信号的硬件、固件和软件的任意组合。处理电路硬件可以包括例如专用集成电路(asic)、通用或专用中央处理单元(cpu)、数字信号处理器(dsp)、图形处理单元(gpu)以及诸如现场可编程门阵列(fpga)的可编程逻辑装置。在处理电路中，如在本文中所使用的，每个功能或者由被配置为执行该功能的硬件(即硬连线)来执行，或者由被配置为执行存储在非暂时性存储介质中的指令的诸如cpu的更通用的硬件来执行。处理电路可以被制造在单个印刷线路板(pwb)上或者被分布在若干个互连的pwb上。处理电路可以包含其它处理电路；例如，处理电路可以包括在pwb上互连的两个处理电路fpga和cpu。
[0136]
将理解，虽然术语“第一”、“第二”、“第三”等可以在本文中被使用以描述各种元件、部件、区域、层和/或部分，但是这些元件、部件、区域、层和/或部分不应受这些术语的限制。这些术语用来区分一个元件、部件、区域、层和/或部分与另一元件、部件、区域、层和/或部分。因此，以上讨论的第一元件、第一部件、第一区域、第一层和/或第一部分可以被称为第二元件、第二部件、第二区域、第二层和/或第二部分而不脱离本发明构思的范围。
[0137]
在本文中所使用的术语是用于描述特定实施例的目的，并不旨在限制本发明构思。如在本文中所使用的，单数形式“一”旨在也包括复数形式，除非上下文另外明确指示。
将进一步理解，当在本说明书中使用时，术语“包括”和/或“包含”表明所陈述的特征、整体、步骤、操作、元件和/或部件的存在，但不排除一个或多个其它特征、整体、步骤、操作、元件、部件和/或它们的组的存在或添加。如在本文中所使用的，术语“和/或”包括相关联的列出项中的一个或多个的任意组合和所有组合。此外，在描述本发明构思的实施例时，“可以”的使用是指“本发明构思的一个或多个实施例”。而且，术语“示例性”旨在指示例或图示。
[0138]
如在本文中所使用的，术语“使用”和“被使用”可以分别被认为与术语“利用”和“被利用”同义。
[0139]
为了本公开的目的，“x、y和z中的至少一个”和“从由x、y和z组成的组中选择的至少一个”可以被解释为仅x、仅y、仅z或x、y和z中的两个或更多个的任意组合(诸如，例如，xyz、xyy、yz和zz)。
[0140]
虽然已经具体参考本公开的说明性实施例详细描述了本公开，但在本文中描述的实施例并不旨在是详尽的或将本公开的范围限制为所公开的确切形式。本公开所属的领域和技术的技术人员将认识到，所描述的组件和操作的结构和方法的变更和改变可以被实践，而不会有意地脱离如在所附权利要求及其等同物中阐述的本公开的原理和范围。