帧内色度预测模式的选择方法、图像处理设备及存储设备与流程

本申请涉及图像处理技术领域，特别是涉及一种帧内色度预测模式的选择方法、图像处理设备及存储设备。

背景技术

视频编码系统中，主要有预测、变换量化、熵编码等几大模块。预测模块可分为帧内预测和帧间预测，分别是为了消除空域冗余信息和时域冗余信息。帧内预测是一种利用临近像素间的强相关性来消除空间冗余的方法，帧内预测包括亮度预测和色度预测，其中色度预测和亮度预测均具有多种预测模式。视频帧压缩后的大小与编码器在编码过程中选择的预测模式及其产生的残差相关，残差越小，生成的码流也越小。为每个色度块选择最佳的预测模式，能够让其预测值与原始像素更接近，使残差和视频编码失真尽量减小，从而达到减小视频码率的目的。

然而，现有色度最佳预测模式选择过程采用的候选预测模式中，存在与亮度块的纹理趋势没有强相关性的预测模式，忽略了色度和亮度块的纹理相关性，编码器选择此类模式的可能性通常较小，这将导致编码器无法选择其他亮度模式强相关的预测模式作为候选模式，最终导致编码压缩率下降。

技术实现要素：

本申请主要解决的技术问题是提供一种帧内色度预测模式的选择方法、图像处理设备及存储设备，能够提升编码压缩率。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种帧内色度预测模式的选择方法，包括：构建色度预测模式的候选列表，该候选列表中包括多种色度预测模式；选择当前色度块对应的亮度块的部分亮度预测模式作为替换模式；利用替换模式替换候选列表中的至少一个色度预测模式；从替换后的候选列表中选择最佳预测模式，以利用最佳预测模式对当前色度块进行色度预测。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种图像处理设备，包括：相互连接的通信电路和处理器；通信电路用于获取当前色度块；处理器用于执行指令以实现如上所述的方法。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种存储设备，内部存储有指令，该指令用于执行以实现如上所述的方法。

本申请的有益效果是：区别于现有技术的情况，本申请的实施例中，通过构建包括多种色度预测模式的候选列表，选择当前色度块对应的亮度块的部分亮度预测模式作为替换模式，并利用替换模式替换候选列表中的至少一个色度预测模式，最终从替换后的候选列表中选择最佳预测模式，以利用最佳预测模式对当前色度块进行色度预测。通过上述方式，本申请能够提高替换后的候选列表中包含的色度预测模式与对应的亮度块的纹理趋势的相关性，从而提高编码器选择与亮度块的纹理趋势强相关的预测模式作为最佳预测模式的概率，进而能够使得预测值与原始像素更接近，使得残差和视频编码失真减少，最终达到提升编码压缩率的目的。

附图说明

图1是本申请一种帧内色度预测模式的选择方法第一实施例的流程示意图；

图2是色度块与对应的亮度块的划分结构示意图；

图3是本申请一种帧内色度预测模式的选择方法第二实施例的流程示意图；

图4是当前色度块对应的亮度块中包含的编码块的位置结构示意图；

图5是图3中步骤S131的具体流程示意图；

图6是本申请一种帧内色度预测模式的选择方法第三实施例的流程示意图；

图7是本申请一种图像处理设备一实施例的结构示意图；

图8是本申请一种存储设备一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

由于视频图像数据量比较大，通常需要对其进行编码压缩后，再进行传输或存储，编码后的数据称之为视频码流。受硬件和其他条件限制，如存储空间有限、传输带宽有限等，编码系统总是希望能让视频码流大小尽量减小。

在视频编码中，最常用颜色编码方法有YUV、RGB等。本申请中以颜色编码方法YUV为例进行说明。其中，Y表示明亮度，也就是图像的灰度值；U和V(即Cb和Cr)表示色度，作用是描述图像色彩及饱和度。视频编码就是对数个颜色分量(如Y、Cb、Cr)数据进行编码。

如图1所示，本申请一种帧内色度预测模式的选择方法第一实施例包括：

S11：构建色度预测模式的候选列表。

帧内预测的色度预测模式可以包括Planar(平面)模式、DC(直流)模式、角度预测模式，上述预测模式均可以用数字表示，其中0为Planar模式，1为DC模式，2～N表示角度预测模式。帧内色度预测模式还包括LM(Cross-component linear model prediction，跨组件线性模型预测)模式、LM_L(只使用左方参考的跨组件线性模型预测)模式、LM_T(只使用上方参考的跨组件线性模型预测)和DM(Derived mode，导出模式)等。其中，角度预测模式中包括垂直和水平两种默认模式，垂直和水平两种模式在不同协议中其具体角度编号可能不同。例如，在H.265标准中，角度预测模式中包括2～34号33种预测模式，10为水平角度模式，26为垂直角度模式；而在H.266标准中，角度预测模式则包括2～66号65种预测模式，18为水平角度模式，50为垂直角度模式。

本实施例中，该候选列表中包括多种色度预测模式。例如，该候选列表中可以包括Planar、垂直、水平、DC、LM_L、LM_T、LM和DM共8种模式。其中，当DM与Planar、垂直、水平、DC四种默认模式中任一个模式相同时，上述默认模式中与DM相同的模式被替换为L模式。该L模式为某种编码标准中角度预测模式编号最大的角度预测模式，例如H.265标准中，L模式为34；而H.266标准中，L模式为66。当然，在其他实施例中，该候选列表也可以包括其他色度预测模式，例如角度预测模式20，也可以包括更多或更少数量的预测模式。

S12：选择当前色度块对应的亮度块的部分亮度预测模式作为替换模式。

在亮度块与色度块分别独立编码时，需要对当前色度块进行色度预测时，其对应位置的亮度块通常已经完成编码，此时，可以获取当前色度块对应的亮度块的亮度预测模式。

具体地，在一个应用例中，如图2所示，在U或V平面上的色度块的划分和Y平面上亮度块的划分方式可能不同，但U或V平面上的色度块对应的Y平面上的亮度块的位置相同。例如，U或V平面上左上角64*64的色度块，同样对应Y平面上64*64的亮度块，其中色度块和亮度块包含的像素点可能根据YUV平面的采样比例等比例放大或缩小。例如图2中，YUV平面的采样比例关系为4:1:1，则U或V平面上的色度块201对应Y平面上的亮度块202，二者包含的像素点数量也成比例。

继续参阅图2，当前色度块201对应位置的亮度块202中包括多个编码块2021，可以从多个编码块2021中选择部分编码块2021对应的亮度预测模式，作为替换模式。例如，选择亮度块202中心点CR所在的编码块2021a对应的亮度预测模式作为替换模式。

当然，在其他实施例中，也可以根据实际需求选择其他位置的编码块的亮度预测模式，例如选择左上角TL和/或右上角TR所在的编码块的亮度预测模式等。

S13：利用该替换模式替换候选列表中的至少一个色度预测模式。

具体地，在一个应用例中，当该候选列表中可以包括Planar、垂直、水平、DC、LM_L、LM_T、LM和DM共8种模式时，其中垂直、水平、DC这3种默认模式与亮度块的纹理趋势并没有强相关性，编码器选择这3种模式中任一种作为最佳色度预测模式的可能性并不高。因此，优选地，被替换的色度预测模式为垂直、水平和DC模式三种默认模式中的至少一个，可以增强色度块与亮度块间纹理相似性对模式选择的影响，有效提高选出较优色度预测模式的概率，从而对色度块进行更精确的预测，进一步提升帧内编码的压缩率。其中，替换哪一种或哪几种默认模式可以任意选择，替换的次序也可以任意排序。例如，在选择出3种替换模式后，可以只替换垂直、水平和DC模式三种默认模式中的一个，两个，也可以全部替换。

本实施例中，当候选列表中包括垂直、水平和DC模式三种默认模式中至少一种时，优选替换上述默认模式，当然也可以利用替换模式替换其他色度预测模式如Planar、LM_L和LM_T。

S14：从替换后的候选列表中选择最佳预测模式，以利用最佳预测模式对当前色度块进行色度预测。

具体地，经过替换后的候选列表中，可以通过计算每个色度预测模式的率失真代价，选择率失真代价最小的色度预测模式作为当前色度块的最佳预测模式，即可利用最佳预测模式对当前色度块进行色度预测。

本实施例中，通过采用当前色度块对应的亮度块的部分亮度预测模式替换候选列表中的至少一个色度预测模式，能够提高替换后的候选列表中包含的色度预测模式与对应的亮度块的纹理趋势的相关性，更全面的反映了整个亮度块的纹理趋势，从而能够提高编码器选择与亮度块的纹理趋势强相关的预测模式作为最佳预测模式的概率，进而能够使得预测值与原始像素更接近，降低残差和视频编码失真，最终达到提升编码压缩率的目的。

如图3所示，本申请一种帧内色度预测模式的选择方法第二实施例是在第一实施例的基础上，进一步限定步骤S12包括：

S121：获取亮度块中的不同位置的N个编码块的亮度预测模式。

其中，在选择不同位置的编码块时，可以随机选择编码块，也可以选择某些特殊位置的编码块。优选地，该不同位置的N个编码块包括位于亮度块的角点位置处的编码块以及以亮度块的角点和亮度块的中心点为自身角点的子亮度块的中心点位置处的编码块中的至少部分，上述角点位置和子亮度块的中心点位置分布较为均匀，且比较具有代表性，有利于获取到合适的亮度预测模式。

具体地，参阅图4所示，亮度块40中所有可选的编码块包括位于亮度块40四个角点位置TL(左上角点)、BL(左下角点)、TR(右上角点)、BR(右下角点)处的编码块401a～401d，以及以亮度块40的角点TL、BL、TR、BR和亮度块40的中心点CR为自身角点的子亮度块402a～402d(如图4中虚线框划分出的4个子亮度块)的中心点TL1、BL1、TR1、BR1位置处的编码块403a～403d，共8个，因此1≤N≤8。根据实际需求，可以从上述8个编码块中选择其中一个或多个编码块对应的亮度预测模式，例如直接选择全部8个编码块对应的亮度预测模式。

S122：选择亮度预测模式中符合预设筛选规则的M个模式作为替换模式。

其中，由于待替换的模式最多有Planar、垂直、水平、DC、LM_L和LM_T六个，因此，1≤M≤6且M≤N。

当候选列表中包括DM时，该预设筛选规则为当DM不是Planar模式时，所选择的替换模式不能为Planar模式或DM，当DM与Planar模式相同时，由于Planar模式会被替代为角度模式L，此时所选择的替换模式不能为DM模式；而且无论DM是否为Planar模式，所选择的替换模式也不能与已选择的替换模式相同。

具体地，在上述实施例中，可以从符合上述预设筛选规则的亮度预测模式中随机选择M个亮度预测模式作为替换模式，也可以根据某种条件从符合上述预设筛选规则的亮度预测模式中选择M个亮度预测模式作为替换模式。

可选地，在一个应用例中，可以根据预设顺序规则从该亮度预测模式中依序选择满足预设筛选规则的前M个模式作为替换模式。

其中，该预设顺序规则为按照亮度预测模式对应的编码块的位置以从里到外方式、从左到右方式和/或从上到下方式进行选择。

具体地，结合图4所示，N＝8，M＝3，DM不等于任意一种默认模式，被替换的3种模式为垂直、水平和DC时，可以首先以从里到外方式、从左到右方式和从上到下方式这三种方式任意一种方式或其组合对8个亮度预测模式进行排序，得到符合预设顺序规则的亮度预测模式的排序，其中包括但不限于以下几种排序：

Ⅰ.TL1->BL1->TR1->BR1->TL->BL->TR->BR

Ⅱ.TL1->TR1->BL1->BR1->TL->TR->BL->BR

Ⅲ.TL1->TL->TR1->TR->BL1->BL->BR1->BR

Ⅳ.TL1->TL->BL1->BL->TR1->TR->BR1->BR

Ⅴ.TL1->TL->TR1->TR->BL1->BR1->BL->BR

Ⅵ.TL1->BL1->TL->BL->TR1->BR1->TR->BR

然后，可以从上述排序中的任一种排序依序选择满足预设筛选规则的前M个模式作为替换模式。例如，上述顺序I中依序获取的8个亮度预测模式为Planar、DC、3、3、4、5、垂直、水平；则满足预设筛选规则的前3个模式为DC、3和4，上述三个模式即作为替换模式，然后可以利用替换模式DC、3和4替换模式垂直、水平和DC。但DC和候选列表中的DC相同，则候选列表中的DC不被替换。最终的替换结果为3、4和DC，替换后的色度预测模式候选列表为Planar、3、4、DC、LM_L、LM_T、LM和DM。

可选地，在另一个应用例中，也可以通过统计所获取的亮度预测模式中每个亮度预测模式的出现次数，然后选择出现次数最多的M个模式作为替换模式。其中，当有模式出现次数相同时，可以选择任一种模式。

具体地，结合图4所示，N＝8，M＝6，DM等于Planar模式，被替换的6种模式为L、垂直、水平、DC、LM_L和LM_T时，从TL1、BL1、TR1、BR1和TL、BL、TR、BR共8个位置获取的亮度预测模式分别为Planar、3、3、4、4、4、6、DC，则满足预设筛选规则且出现次数最多的模式只有4、3、6和DC四个，则M＝4，替换模式为4、3、6和DC。然后，利用该替换模式4、3、6和DC随机或者按照预设替换顺序替换L、垂直、水平、DC、LM_L和LM_T。最终的替换结果为4、3、6、DC、LM_L和LM_T，则最终替换后的预测模式候选列表为4、3、6、DC、LM_L、LM_T、LM和DM。

本实施例中还在第一实施例的基础上，限定了步骤S13包括：

S131：利用M个替换模式一一替换M种被替换模式。

其中，M种被替换模式为候选列表中M种可以被替换的色度预测模式，可以预先定义需要进行替换的M种被替换模式的替换顺序，也可以随机进行替换。注意，如果Planar未被替换为L，则Planar不能被替换。

具体地，在一个应用例中，可以预先设定被替换模式的替换顺序，例如3种被替换模式的替换顺序设定为先垂直、后水平、最后DC。在获取替换模式时，可能获取到3种替换模式，此时可以利用该3种替换模式按替换顺序一一替换3种被替换模式。在获取替换模式时，也可能只获取到1种或2种替换模式，此时可以利用该获取的1种或2种替换模式按替换顺序一一替换前2种被替换模式。当然，在没有预先设定替换顺序时，也可以按照任一顺序进行替换。

可选地，为了不重复替换候选模式，同时使得候选列表中不出现相同的模式，在利用替换模式替换候选列表中的色度预测模式时，若已选替换模式为候选列表中包含的模式，则不进行替换。具体地，如图5所示，步骤S131包括：

S1311：判断M个替换模式中是否存在与候选列表中包含的模式相同的替换模式。

若存在与候选列表中包含的模式相同的替换模式，则执行步骤S1312，否则执行步骤S1313。

S1312：候选列表中保留该相同的模式，并利用其余的替换模式对候选列表中其余的被替换模式进行一一替换。

S1313：利用M个替换模式一一替换候选列表中的M种被替换模式。

其中，候选列表中包含的色度预测模式两两不同，被替换模式为候选列表中可以被替换的色度预测模式，因此，该其余的替换模式与候选列表中包含的模式不同。

具体地，在一个应用例中，在利用替换模式替换候选列表中的被替换模式(水平、垂直、DC模式)时，发现选取的3种替换模式DC、8和4中存在候选列表中包含的模式DC，此时，候选列表中保留该相同的DC模式，即该DC模式不进行替换，并利用其余的与候选列表中包含的被替换模式不同的替换模式8和4对候选列表中其余的被替换模式(水平和垂直模式)进行一一替换，即将水平和垂直模式分别替换为8和4。若选取的3种替换模式4、8和11中与候选列表中包含的模式均不相同，则只需要利用该3种替换模式一一替换候选列表中的3种被替换模式即可。当然，在其他应用例中，被替换模式还可以包括Planar、LM_L和LM_T，当替换模式数量(M种)少于可替换模式总数时，可以从可替换模式中随机或按顺序选择M种进行替换。

本实施例中，通过利用当前色度块对应的亮度块的部分亮度预测模式替换默认模式中至少一个，可以减少候选列表中与亮度块纹理趋势无强相关性的模式，增强色度块与亮度块间纹理相似性对模式选择的影响，有效提高选出较优色度预测模式的概率，从而对色度块进行更精确的预测，进一步提升帧内编码的压缩率。

如图6所示，本申请一种帧内色度预测模式的选择方法第二实施例是在第一实施例或第二实施例的基础上，进一步限定步骤S14包括：

S141：从替换后的候选列表中确定第一模式子集。

其中，第一模式子集包括经替换模式替换的色度预测模式。该第一模式子集是从候选列表中选择部分色度预测模式组成的模式子集。

具体地，在一个应用例中，当候选列表中包括DM、LM和6种经替换的预测模式时，可以从6种经替换的预测模式中选择T种组成该第一模式子集，2≤T≤6。

S142：分别计算第一模式子集中每个色度预测模式对应的第一率失真代价。

其中，该第一率失真代价可以采用低复杂度的SATD(Sum of Absolute Transformed Difference，哈达玛变换算法)值。

S143：保留第一模式子集中第一率失真代价相对较小的部分色度预测模式，并与排除在第一模式子集以外的其余色度预测模式形成第二模式子集。

其中，保留的部分色度预测模式的个数K可以根据实际需求设置，1≤K<T。该排除在第一模式子集以外的其余色度预测模式为候选列表中除去第一模式子集以外的剩余色度预测模式。

具体地，在上述应用例中，分别计算第一模式子集中每个色度预测模式对应的SATD值后，可以去掉SATD值最大的T-K个色度预测模式，保留SATD值相对较小的K个色度预测模式，与候选列表中剩余的色度预测模式LM和DM一起，共K 2种色度预测模式，组成第二模式子集。

S144：分别计算第二模式子集中每个色度预测模式对应的第二率失真代价。

其中，第一率失真代价的运算复杂度小于第二率失真代价的运算复杂度。例如，采用复杂度较高的SSE(Sum of Squares for Error，误差项平方和)获取失真(即原始图像和重建图像之间的差距)，并进一步求率失真代价。

S145：选择第二率失真代价最小的色度预测模式作为最佳预测模式。

具体地，在上述应用例中，分别利用第二模式子集中K 2个色度预测模式预测得到当前色度块的预测值后，采用SSE获取失真后，计算对应的率失真代价，即可以得到每个色度预测模式对应的第二率失真代价，然后选择第二率失真代价最小的色度预测模式作为当前色度块的最佳预测模式，以利用该最佳预测模式对当前色度块进行色度预测。

本实施例中，采用当前色度块对应的亮度块的部分亮度预测模式替换候选列表中的至少一个色度预测模式，能够提高替换后的候选列表中包含的色度预测模式与对应的亮度块的纹理趋势的相关性，从而提高编码器选择与亮度块的纹理趋势强相关的预测模式作为最佳预测模式的概率，进而能够使得预测值与原始像素更接近，使得残差和视频编码失真减少，最终达到提升编码压缩率的目的；同时利用复杂度较低的第一率失真代价先对第一模式子集进行粗选，然后再利用复杂度较高的第二率失真代价对第二模式子集进行细选，可以减少色度预测模式选择过程的计算量，提高编码速度。

如图7所示，本申请一种图像处理设备一实施例中，图像处理设备70包括：相互连接的通信电路701和处理器702。

其中，该图像处理设备70可以是摄像机、手机或计算机等具有图像处理功能的设备。

该通信电路701可以包括天线、输入/输出接口等，用于获取当前色度块或待编码图像数据。

处理器702还可以称为CPU(Central Processing Unit，中央处理单元)。处理器702可能是一种集成电路芯片，具有信号的处理能力。处理器702还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

该处理器用于执行指令以实现如本申请一种帧内色度预测模式的选择方法第一至第三实施例中任一实施例或其不冲突的组合所提供的方法。

本实施例中，该图像处理设备70还可以包括存储器703、显示器704等其他部件。

如图8所示，本申请一种存储设备一实施例中，存储设备80内部存储有处理器可运行的指令801，该指令801用于执行以实现如本申请一种帧内色度预测模式的选择方法第一至第三实施例中任一实施例或其不冲突的组合所提供的方法。

该存储设备80为U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储程序指令的介质，或者也可以为存储有该程序指令的服务器，该服务器可将存储的程序指令发送给其他设备运行，或者也可以自运行该存储的程序指令。

在一实施例中，存储设备80可以是如图所示的存储器。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。