基于亮度模板匹配的色度分量预测方法与流程

1.本发明涉及视频编码领域中的帧内编码优化技术问题，尤其是涉及一种基于亮度模板匹配的hevc色度分量帧内预测的方法。


背景技术：

2.随着人们对视频质量的要求日渐提高，高清和超高清分辨率视频越来越重要，新的视频类型及应用也开始出现在人们的生活中，同时视频数据量也在持续增加，给各种终端设备的存储能力和网络的传输能力均带来了巨大的挑战。为了有效地存储和传输数字视频，基于现有的视频编码标准，如何进一步提高视频编码的性能是一个值得深入研究和探讨的问题。基于此，iso和itu-t联合成立的视频编码小组jct-vc提出了高性能视频压缩标准hevc，其在h.264的基础上压缩效率提高了一倍。而在视频压缩编码标准中，帧内编码作为核心模块之一，优化其编码性能不仅在帧内预测模式下具有重要意义，更可在帧间预测时提供更为准确的参考帧。因此，如何有效地对帧内预测进行优化具有重要的意义，有利于整个视频编码性能的提升。
3.目前，ycbcr(或yuv)格式被广泛应用于主流的视频编码标准hevc中。尽管从原始的rgb格式转换到ycbcr格式大大降低了各分量间的冗余，在ycbcr格式中各个分量间仍存在较高的冗余，针对色度分量预测的改进存在较大空间。在hevc中，yuv4:2:0视频中色度分量的编码在某种程度上与亮度分量无关，忽略了各分量间的相关性。
4.鉴于hevc帧内预测编码中亮度分量和色度分量相对独立的编码，忽略了其相关性，存在冗余。为了充分利用亮度分量和色度分量之间的相关性，减少亮度分量与色度分量之间的冗余，提升编码性能，本课题组进行探索研究，通过在亮度平面内进行模板匹配，利用重建的亮度分量来帮助色度分量帧内预测的优化，以此来减少亮度分量和色度分量之间的冗余，在不明显降低亮度分量编码性能的前提下，提升色度分量的编码性能，这正是本发明的任务所在。


技术实现要素：

5.针对hevc帧内预测编码时各个颜色平面进行独立编码，没有充分利用亮度分量和色度分量间的相关性的特点，本发明旨在提出一种性能更高的hevc色度分量帧内预测的优化方法。该方法是hevc色度分量帧内预测时，通过在亮度平面内进行模板匹配，利用重建的亮度分量来帮助色度分量帧内预测的优化，以此来减少亮度分量和色度分量之间的冗余，从而达到在不明显降低亮度分量编码性能的前提下，提升色度分量的编码性能。
6.目前，ycbcr(或yuv)格式被广泛应用于主流的视频编码标准中。尽管从原始的rgb格式到ycbcr格式的转换大大降低了各个分量之间的冗余，在ycbcr格式中各个分量仍然存在较高冗余。hevc假定每个颜色平面是进行独立编解码的，因此，亮度和色度平面之间的相关性将被忽略，并没有充分利用。因此，本发明的基本思想是利用亮度分量和色度分量之间的相关信息，利用重建的亮度分量来帮助色度分量帧内预测，从而提升色度分量的编码性
能，进一步提高hevc帧内预测编码的性能。
7.本发明专利针对hevc色度分量帧内预测，提出了一种对色度分量帧内预测的优化方法。在进行色度分量帧内预测时，针对当前待预测的色度块，首先利用其重建的同位亮度块在亮度平面中进行模板匹配，寻找到最佳的预测候选块，再将最佳候选亮度块的同为色度块作为当前色度块的候选块，最后通过对候选块的自适应加权融合得到最终的预测块，具体包括以下过程步骤：
8.(1)改进dm模式，具体改进方法如下：获取当前色度预测块左边和上边pu的预测模式mode1、mode2；获取当前色度预测块对应亮度块左边和上边pu的预测模式mode3、mode4；选出以上四个模式出现概率最大的一个作为mode
best
,当dm模式与原有的四种帧内色度预测模式相同时，将其替换为mode
best
模式；若mode
best
仍与原有四种帧内色度预测模式相同，则才将dm模式替换为角度预测模式34；
9.(2)判断当前色度预测块是否为原始的5种帧内色度预测模式，若是，则按传统帧内预测得到其预测值；若不是，则在亮度平面进行模板匹配，得到n(n≥1)个候选块；
10.(3)获取当前色度预测块的大小，若其尺寸小于等于8
×
8，则需要4个候选块，根据以下公式(1)对这4个候选块进行自适应加权，生成最终的预测块；
[0011][0012]
其中，x,y为该预测块对应像素的位置，p(x,y)为当前预测块，bi(x,y)为候选块，n为候选块总数(这里n＝4)，wi为每个候选块的加权系数，其可通过以下公式(2)得到；
[0013][0014]
其中，为第i个候选块ti与待预测块t的平均误差和，m为模板t中的像素数；
[0015]
(4)若(3)中获取的当前色度预测块尺寸大于8
×
8，则选择一个最佳候选块，通过其与待预测块间的线性模型进行预测，该线性模型如下公式(3)所示：
[0016]
p(x,y)＝a
·bbest
(x,y) b
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0017]
其中，b
best
(x,y)为最佳候选块，a、b分别为线性预测的最佳系数；构建最佳候选块的模板与待预测块模板之间的线性关系，如下公式(4)所示：
[0018]
t'＝a
·
t
best
b
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0019]
其中，t
′
为预测得到的模板，t
best
为最佳候选块的模板，则系数a、b可通过以下公式(5)、(6)和(7)得到：
[0020]
argmin||t-t'||
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0021]
argmin||t-a
·
t
best-b||
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0022][0023]
其中，m为模板的像素数；
[0024]
(5)使用率失真代价函数rdcost选择最佳预测模式；
[0025]
(6)通过上述对dm模式的改进和新增的基于亮度模板匹配的色度帧内预测模式，最终获得最后的输出码流。
[0026]
本发明与现有技术相比所具有的优点及有益技术效果：
[0027]
(1)本发明提出的基于亮度模板匹配的色度分量预测方法，与传统的hevc标准编码相比，不明显降低亮度分量编码性能的前提下，本发明所提帧内色度预测方法的色度分量编码性能高于hevc标准算法对应的色度分量编码性能；
[0028]
(2)本发明提出的基于亮度模板匹配的色度分量预测方法，分析了hevc帧内色度预测dm模式中，角度模式34并不是在所有视频帧中使用率较高，针对性的优化改进dm模式，用邻近pu中出现概率最大的模式作为最佳模式，从而提升了帧内色度预测的精度，减小了预测残差数据量；
[0029]
(3)本发明提出的基于亮度模板匹配的色度分量预测方法，利用了亮度分量和色度分量的相关性，采用重建的亮度分量，通过在亮度平面内进行模板匹配来帮助色度分量的帧内预测优化，从而减小了亮度分量和色度分量间的冗余，降低了色度编码的码率，进一步提升了hevc帧内预测编码性能；
附图说明
[0030]
图1为视频序列racehorses的第一帧的cb、cr、y分量。
[0031]
图2为模板匹配预测(tmp)的具体过程。
[0032]
图3为亮度模板匹配示意图。
[0033]
图4候选块数n对小于8
×
8块编码性能的影响。
[0034]
图5为帧内预测中各模式使用率。
[0035]
图6为基于亮度模板匹配的色度分量预测方法的流程图。
[0036]
图7为basketballdrill和johny测试序列在u、v分量上的率失真曲线。
具体实施方式
[0037]
下面结合实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。
[0038]
(1)本发明所提方法是在hevc标准测试代码hm16.9平台上展开的。其中配置文件
选择encoder_intra_main.cfg，编码结构分别为全i帧编码，量化参数qp设置为22、27、32、37；
[0039]
(2)验证本发明所提方法编码性能的测试序列选取了分辨率为416
×
240、832
×
480、1280
×
720、1920
×
1080、2560
×
1600五种类型的官方标准测试序列。具体采用的标准测试序列为blowingbubbles、racehorses、bqsquare、basketballpass、racehorsec、partyscene、bqmall、basketballdrill、fourpeople、johny、kristenandsara、kimono1、parkscene、cactus、basketballdrive、bqterrace、peopleonstreet、traffic；
[0040]
(3)在本发明所提算法的程序中，对配置文件encoder_intra_main.cfg进行(1)中的参数设置，然后输入所有需要测试的视频标准序列，得到全i帧情况下本发明所提方法的结果，并对码率、编码时间和输出文件数据大小进行记录统计；
[0041]
(4)在hevc标准算法的程序中，对配置文件encoder_intra_main.cfg进行(1)中的参数设置，然后输入所有需要测试的视频标准序列，得到全i帧情况下hevc标准算法的结果，并对码率、编码时间和输出文件数据大小进行记录统计；
[0042]
(5)对上述两类的结果分别进行处理，其中编码性能的优劣通过客观评价标准bd-rate进行衡量，符号表示将本发明所提方法在psnr相等的情况下，相对于标准hevc的码率减少；将本发明所提方法所用的时间除以hevc标准算法下的时间作为本发明所提算法的时间复杂度指标；
[0043]
(6)从表1中可以看出，与hevc标准算法相比，在编码结构为全i帧时，本发明所提方法在色度分量u、v上最高能够降低3.9％、3.8％的编码码率，平均减少1.5％、1.7％的编码码率，而编码时间则为hevc编码标准的1.78倍，解码时间为1.34倍。亮度分量平均的码率改变为0.0％。综上所述，在编码复杂度可控的前提下，相对于hevc标准算法，本发明所提色度帧内预测方法的编码效率在两个色度分量上均有所提升；
[0044]
(7)图7为不同分辨率测试序列在u、v分量上的率失真曲线，横坐标表示编码比特率，单位为kbps，纵坐标表示psnr，单位是db，红线为hevc编码算法的率失真曲线，蓝线为本发明所提方法的率失真曲线。从图7可以看出，在具有相同编码是吗视频客观质量的前提下，本发明所提方法编码视频所需的码率均小于hevc标准算法编码视频所需码率，在全码率段均超过了hevc编码标准，且在johny、bsketballdrill等视频序列上较明显；
[0045]
(8)从表2可以看出，在选取的四个视频序列中，planar模式、dc模式、角度模式10、角度模式26、dm模式和本发明所提方法的平均利用率为4.81％、3.02％、4.47％、4.56％、74.20％、8.93％，其中本发明所提方法在视频序列johny上的利用率较高，达到了10.63％，进一步说明了本发明所提方法的有效性。
[0046]
表1编码结构为全i帧时编码性能实验对比结果
[0047][0048][0049]
表2模式的利用率
[0050]
视频序列planar模式dc模式模式10模式26dm模式所提算法basketballdrive4.76％3.06％6.48％5.15％72.04％8.50％basketballdrill3.95％3.89％3.28％3.44％75.55％9.88％johny4.85％2.01％3.57％4.49％74.45％10.63％kristenandsara5.68％3.12％4.54％5.17％74.78％6.70％平均4.81％3.02％4.47％4.56％74.20％8.93％