一种基于帧内预测决策模式选取的编码方法与装置

1.本技术涉及视频编解码技术领域，更为具体来说，本技术涉及一种基于帧内预测决策模式选取的编码方法与装置。


背景技术：

2.avs3是最新一代视频编解码标准，主要负责制订数字音视频的压缩、解压缩、处理和表示等共性技术标准。avs3丰富和促进了编码单元(cu)的划分。avs3针对预测单元预设了65种预测模式，包括3种非角度预测模式和62种角度预测模式。
3.通过编码代价与性能的比较选出较优的部分模式，比较的依据是编码后残差的satd和编码模式信息的码流。然而，该过程占据了帧内编码的大部分时间，导致了编码速度瓶颈，存在较大的优化空间。


技术实现要素：

4.基于上述技术问题，本发明旨在基于预测单元的纹理方向决定进行帧内预测模式的决策，以实现快速选取最优模式，提升编码效率。
5.本发明第一方面提供了一种基于帧内预测决策模式选取的编码方法，所述方法包括：
6.获取待决策编码单元对应的预测单元；
7.提取所述待决策编码单元对应的预测单元的纹理方向；
8.将与所述纹理方向最接近的第一预设数目种角度预测模式添加至候选模式列表；
9.将非角度预测模式添加至候选模式列表；
10.检验所述候选模式列表中模式的预测性能，决策第二预设数目种最优模式；
11.使用决策后的编码单元对图像信息进行编码。
12.在本发明的一些实施例中，在所述检验所述候选模式列表中模式的预测性能，决策第二预设数目种最优模式之前，还包括：
13.获取所述待决策编码单元对应的预测单元的周边预测单元；
14.若所述周边预测单元已完成编码，则将所述周边预测单元作为最可能模式；
15.将所述最可能模式添加至所述候选模式列表。
16.在本发明的一些实施例中，所述提取所述待决策编码单元对应的预测单元的纹理方向，包括：
17.利用横向sobel算子和纵向sobel算子计算所述待决策编码单元对应的预测单元每个像素的水平方向上的梯度和垂直方向上的梯度；
18.针对任一像素，根据所述水平方向上的梯度和垂直方向上的梯度计算该像素在二维平面上的纹理方向。
19.在本发明的一些实施例中，所述根据所述水平方向上的梯度和垂直方向上的梯度计算该像素在二维平面上的纹理方向，包括：
20.将所述水平方向上的梯度和垂直方向上的梯度进行向量相加；
21.将向量相加结果作为该像素在二维平面上的纹理方向。
22.在本发明的一些实施例中，所述将与所述纹理方向最接近的第一预设数目种角度预测模式添加至候选模式列表，包括：
23.判定所述纹理方向对应的区域位置；
24.若所述纹理方向对应的区域位置处于两个角度预测模式之间，则分别沿该两个角度预测模式方向选取第三预设数目种角度预测模式；
25.将沿该两个角度预测模式方向上选取的所有角度预测模式作为第一预设数目种角度预测模式。
26.在本发明的一些实施例中，在所述检验所述候选模式列表中模式的预测性能，决策第二预设数目种最优模式之后，还包括：判定所述候选模式列表中所述第二预设数目种最优模式是否更新。
27.在本发明的一些实施例中，所述判定所述候选模式列表中所述第二预设数目种最优模式是否更新，包括：
28.若候选模式列表中所述第二预设数目种最优模式已更新，则将相邻角度预测模式加入所述候选模式列表；
29.若候选模式列表中所述第二预设数目种最优模式未更新，则将第二预设数目种最优模式作为决策结果。
30.本发明第二方面提供了一种基于帧内预测决策模式选取的编码装置，所述装置包括：
31.获取模块，用于获取待决策编码单元对应的预测单元；
32.提取模块，用于提取所述待决策编码单元对应的预测单元的纹理方向；
33.角度模块，用于将与所述纹理方向最接近的第一预设数目种角度预测模式添加至候选模式列表；
34.非角度模块，用于将非角度预测模式添加至候选模式列表；
35.周边模块，用于检验所述候选模式列表中模式的预测性能，决策第二预设数目种最优模式；
36.编码模块，用于使用决策后的编码单元对图像信息进行编码。
37.本发明第三方面提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序以实现以下步骤：
38.获取待决策编码单元对应的预测单元；
39.提取所述待决策编码单元对应的预测单元的纹理方向；
40.将与所述纹理方向最接近的第一预设数目种角度预测模式添加至候选模式列表；
41.将非角度预测模式添加至候选模式列表；
42.检验所述候选模式列表中模式的预测性能，决策第二预设数目种最优模式；
43.使用决策后的编码单元对图像信息进行编码。
44.本发明第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：
45.获取待决策编码单元对应的预测单元；
46.提取所述待决策编码单元对应的预测单元的纹理方向；
47.将与所述纹理方向最接近的第一预设数目种角度预测模式添加至候选模式列表；
48.将非角度预测模式添加至候选模式列表；
49.检验所述候选模式列表中模式的预测性能，决策第二预设数目种最优模式；
50.使用决策后的编码单元对图像信息进行编码。
51.本技术实施例中提供的技术方案，至少具有如下技术效果或优点：
52.本技术提出对图像信息进行编码之前提取待决策编码单元对应的预测单元的纹理方向，将与所述纹理方向最接近的第一预设数目种角度预测模式添加至候选模式列表，再将非角度预测模式添加至候选模式列表，检验所述候选模式列表中模式的预测性能，最后决策第二预设数目种最优模式，充分利用了预测单元自身的纹理特性，实现了帧内预测模式的快速选取，并在加快编码速度的同时保证了所选最优模式的准确性，进而提升了编码效率。
53.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
54.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
55.图1示出了本技术一示例性实施例中的基于帧内预测决策模式选取的编码方法步骤示意图；
56.图2示出了本技术一示例性实施例中的帧内模式决策算法架构示意图；
57.图3示出了本技术一示例性实施例中的sobel算子提取图像纹理示意图；
58.图4示出了本技术一示例性实施例中的角度预测模式选取示意图；
59.图5示出了本技术一示例性实施例中基于帧内预测决策模式选取的编码方法流程图；
60.图6示出了本技术一示例性实施例中的基于帧内预测决策模式选取的编码装置结构示意图；
61.图7示出了本技术一示例性实施例所提供的一种计算机设备的结构示意图；
62.图8示出了本技术一示例性实施例所提供的一种存储介质的示意图。
具体实施方式
63.以下，将参照附图来描述本技术的实施例。但是应该理解的是，这些描述只是示例性的，而并非要限制本技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本技术的概念。对于本领域技术人员来说显而易见的是，本技术可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本技术发生混淆，对于本领域公知的一些技术特征未进行描述。
64.应予以注意的是，这里所使用的术语仅是为了描述具体实施例，而非意图限制根
据本技术的示例性实施例。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。
65.现在，将参照附图更详细地描述根据本技术的示例性实施例。然而，这些示例性实施例可以多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施例。附图并非是按比例绘制的，其中为了清楚表达的目的，可能放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
66.下面结合说明书附图1-8给出几个实施例来描述根据本技术的示例性实施方式。需要注意的是，下述应用场景仅是为了便于理解本技术的精神和原理而示出，本技术的实施方式在此方面不受任何限制。相反，本技术的实施方式可以应用于适用的任何场景。
67.在本技术一些示例性实施例中，提供了一种基于帧内预测决策模式选取的编码方法，如图1所示，所述方法包括：
68.s1、获取待决策编码单元对应的预测单元；
69.s2、提取所述待决策编码单元对应的预测单元的纹理方向；
70.s3、将与所述纹理方向最接近的第一预设数目种角度预测模式添加至候选模式列表；
71.s4、将非角度预测模式添加至候选模式列表；
72.s5、检验所述候选模式列表中模式的预测性能，决策第二预设数目种最优模式；
73.s6、使用决策后的编码单元对图像信息进行编码。
74.相比于现有技术中，针对hevc标准提出了快速帧内预测模式选择算法，本技术具有节省时间的优势。在标准rmd(rough mode decision)过程之后，检查rmd给出的候选预测模式，根据预测单元尺寸给出两种不同的方案。如图2所示，若rmd最优的两个预测模式都是角度模式，那么其大概率已经能很好地拟合图像纹理，且很有可能是最优模式，在此基础上增加非角度预测模式以及最可能模式即mpm(most probable mode)进行率失真优化rdo(rate-distortion optimization)；如果rmd最优的是非角度预测模式，则当前预测单元可能纹理不清晰，应删除候选列表中的一些角度预测模式。然而该技术针对hevc标准提出，无法针对avs3标准应用。该方法针对面积较大的预测单元性能较差，因为大尺寸预测单元内部可能存在多个纹理方向，而该方法只能向一个主方向拟合。而本技术可以避免这些问题。
75.在一种具体的实现方式中，s4将非角度预测模式添加至候选模式列表中的非角度预测模式包括dc、plane、bilinear。
76.在一种具体的实现方式中，在s5检验候选模式列表中模式的预测性能，决策第二预设数目种最优模式之前，还包括：获取待决策编码单元对应的预测单元的周边预测单元；若周边预测单元已完成编码，则将周边预测单元作为最可能模式(most probable mode，mpm)；将最可能模式添加至候选模式列表。如果mpm对应的预测模式尚不在候选列表中，则将其加入；如果已经存在则跳过。
77.在一种具体的实现方式中，提取待决策编码单元对应的预测单元的纹理方向，如
图3所示，包括：利用横向sobel算子和纵向sobel算子计算待决策编码单元对应的预测单元每个像素的水平方向上的梯度和垂直方向上的梯度；针对任一像素，根据水平方向上的梯度和垂直方向上的梯度计算该像素在二维平面上的纹理方向。
78.在一种具体的实现方式中，根据水平方向上的梯度和垂直方向上的梯度计算该像素在二维平面上的纹理方向，包括：将水平方向上的梯度和垂直方向上的梯度进行向量相加；将向量相加结果作为该像素在二维平面上的纹理方向。再如图3所示，整体计算结果、水平方向和垂直方向上的计算结果均示意出。
79.在一种具体的实现方式中，将与纹理方向最接近的第一预设数目种角度预测模式添加至候选模式列表，包括：判定纹理方向对应的区域位置；若纹理方向对应的区域位置处于两个角度预测模式之间，则分别沿该两个角度预测模式方向选取第三预设数目种角度预测模式；将沿该两个角度预测模式方向上选取的所有角度预测模式作为第一预设数目种角度预测模式。具体而言，可参考图4，选取与纹理方向相近的角度预测模式，若当前预测单元pu的纹理方向对应的角度在avs3角度预测模式16和17对应的角度之间，因此向上取角度预测模式17、18、19，向下取角度预测模式16、15、14，共6种角度预测模式进入候选列表，这里的3就是第三预设数目，6就是第一预设数目。作为可变换的实施方式，若pu纹理角度恰与avs3的某一角度预测模式重合，则在选取该角度预测模式的基础上，向上取2个角度预测模式，向下取3个角度预测模式，共6个。同样以图4为例，假设纹理角度恰与模式17重合，则选取角度预测模式17，并向上取角度预测模式18、19，向下取角度预测模式16、15、14。
80.在一种具体的实现方式中，在检验候选模式列表中模式的预测性能，决策第二预设数目种最优模式之后，还包括：判定候选模式列表中第二预设数目种最优模式是否更新。参考图5，计算当前候选列表中每一种预测模式的性能。如果某一预测模式已经在前一次迭代过程中计算过，则相应结果可以复用，以减少计算量。首先按照模式对应的算法对pu进行预测，得到的预测值与真值做差得到残差值，对残差的绝对值求和；其次计算编码该预测模式标志位所需要的码流大小；计算残差绝对值和以及码流大小的加权和，从小到大排列对应的模式，保留最优的5个预测模式。如果检验后保留的5个预测模式与上次检验得到的前5个预测模式相同，则完成模式选取。
81.在一种具体的实现方式中，判定候选模式列表中第二预设数目种最优模式是否更新，若候选模式列表中第二预设数目种最优模式已更新，则将相邻角度预测模式加入候选模式列表。例如初始候选模式列表中的预测模式为：角度模式13、角度模式14、角度模式15、角度模式16、角度模式17、角度模式18、dc、plane、bilinear、角度模式6。假设根据计算，编码代价最小的前5种预测模式为：角度模式6、角度模式17、角度模式15、dc、bilinear。即候选列表中前5个预测模式发生了改变。对于现有的角度模式6、17、15，分别选取相邻的两个角度预测模式，即角度模式5、角度模式7、角度模式16、角度模式18、角度模式14、角度模式16，去重后加上非角度预测模式，形成新的候选列表：角度模式5、6、7、14、15、16、17、18，dc，bilinear。若候选模式列表中第二预设数目种最优模式未更新，则将第二预设数目种最优模式作为决策结果。
82.本技术提出对图像信息进行编码之前提取待决策编码单元对应的预测单元的纹理方向，将与所述纹理方向最接近的第一预设数目种角度预测模式添加至候选模式列表，再将非角度预测模式添加至候选模式列表，检验所述候选模式列表中模式的预测性能，最
后决策第二预设数目种最优模式，充分利用了预测单元自身的纹理特性，实现了帧内预测模式的快速选取，并在加快编码速度的同时保证了所选最优模式的准确性，进而提升了编码效率。
83.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
84.在一些示例性实施例中，本技术还提供了一种基于帧内预测决策模式选取的编码装置，如图6所示，所述装置包括：
85.获取模块601，用于获取待决策编码单元对应的预测单元；
86.提取模块602，用于提取所述待决策编码单元对应的预测单元的纹理方向；
87.角度模块603，用于将与所述纹理方向最接近的第一预设数目种角度预测模式添加至候选模式列表；
88.非角度模块604，用于将非角度预测模式添加至候选模式列表；
89.周边模块605，用于检验所述候选模式列表中模式的预测性能，决策第二预设数目种最优模式；
90.编码模块606，用于使用决策后的编码单元对图像信息进行编码。
91.优选地，基于帧内预测决策模式选取的编码装置还包括更新模块，用于对候选模式列表的更新。
92.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
93.还需要强调的是，本技术实施例中提供的系统可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
94.下面请参考图7，其示出了本技术的一些实施方式所提供的一种计算机设备的示意图。如图7所示，所述计算机设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本技术前述任一实施方式所提供的基于帧内预测决策模式选取的编码方法。
95.其中，存储器201可能包含高速随机存取存储器(ram：random access memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
96.总线202可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本技术实施例任一实施方式揭示的所述基于帧内预测决策模式选取的编码方法可以应用于处理器200中，或者由处理器200实现。
97.处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
98.本技术实施方式还提供一种与前述实施方式所提供的基于帧内预测决策模式选取的编码方法对应的计算机可读存储介质，请参考图8，图8示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的基于帧内预测决策模式选取的编码方法。
99.另外，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
100.本技术的上述实施例提供的计算机可读存储介质与本技术实施例提供的空分复用光网络中量子密钥分发信道分配方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
101.本技术实施方式还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现前述任意实施方式所提供的基于帧内预测决策模式选取的编码方法的步骤，包括：获取待决策编码单元对应的预测单元；提取所述待决策编码单元对应的预测单元的纹理方向；将与所述纹理方向最接近的第一预设数目种角度预测模式添加至候选模式列表；将非角度预测模式添加至候选模式列表；检验所述候选模式列表中模式的预测性能，决策第二预设数目种最优模式；使用决策后的编码单元对图像信息进行编码。
102.需要说明的是：在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本技术也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本技术的内容，并且上面对特定语言所做的描述是为了披露本技术的最佳实施方式。在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本技术的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
103.类似地，应当理解，为了精简本技术并帮助理解各个发明方面中的一个或多个，在上面对本技术的示例性实施例的描述中，本技术的各个特征有时被一起分组到单个实施例、图或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保
护的本技术要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本技术的单独实施例。
104.本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
105.本技术的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本技术实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本技术还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。实现本技术的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
106.以上所述，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。