用于视频编码的变换核选择方法、装置、存储介质及终端与流程

1.本发明涉及视频编码技术领域，更为具体来说，本发明涉及一种用于视频编码的变换核选择方法、装置、存储介质及终端。


背景技术：

2.视频编码是指通过特定的压缩技术，将某种视频格式的文件转换成另一种视频格式的文件。
3.在视频编码领域中引入的多种变换类型，提高了视频编码的编码性能，但是也存在着在视频编码时选择出的变换类型不具有最优性和自适应性的问题。
4.基于上述问题，本发明提出了一种用于视频编码的变换核选择方法、装置、存储介质及终端，能够根据输入残差的特性为残差块自适应的选择出较优的变换类型，规避了复杂的率失真优化rdo过程；在较小的性能损失下，减少了编码的时间和编码复杂度，提高了编码效率。


技术实现要素：

5.本技术实施例提供了一种用于视频编码的变换核选择方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
6.第一方面，本技术实施例提供了一种用于视频编码的变换核选择方法，该方法包括：获取视频图像中残差块的输入数据；根据输入数据和编码器中变换类型的基函数，获取残差块的变换类型的码率公式；将多个拉普拉斯矩阵进行加权求和，获取更新矩阵；根据变换类型的码率公式、多个拉普拉斯矩阵、更新矩阵以及残差块的拉普拉斯二次型公式，计算残差块变换后的变换类型的码率；选择码率最小的变换类型作为视频编码中残差块的变换类型。
7.可选的，根据输入数据和编码器中变换类型的基函数，获取残差块的变换类型的码率公式，包括：将输入数据和编码器中变换类型的基函数进行一维变换，得到残差块的一维变换结果；根据一维变换结果和惩罚力度，获取残差块的变换类型的码率公式。
8.可选的，根据变换类型的码率公式、多个拉普拉斯矩阵、更新矩阵以及残差块的拉普拉斯二次型公式，计算残差块变换后的变换类型的码率，包括：将更新矩阵代入残差块的拉普拉斯二次型公式，获取更新矩阵的二次型公式；
根据更新矩阵的二次型公式和变换类型的码率公式，获取更新矩阵对应的残差块的变换类型的码率公式。
9.可选的，所述方法还包括：根据更新矩阵对应的残差块的变换类型的码率公式，提取更新矩阵权重；根据惩罚力度和多个拉普拉斯矩阵，拟合更新矩阵权重。
10.可选的，所述方法还包括：通过线下调整的方式选择拟合后的更新矩阵权重，确定多个拉普拉斯矩阵对应的多个残差权重。
11.可选的，所述方法还包括：根据多个残差权重、多个拉普拉斯矩阵以及残差块的拉普拉斯二次型公式，获取残差块变换后的变换类型的码率。
12.可选的，变换类型包括：离散余弦ii型变换，离散余弦viii型变换和/或离散正弦vii型变换。
13.第二方面，本技术实施例提供了一种用于视频编码的变换核选择装置，该装置包括：残差数据获取模块，用于获取视频图像中残差块的输入数据；码率公式获取模块，用于根据输入数据和编码器中变换类型的基函数，获取残差块的变换类型的码率公式；更新矩阵获取模块，用于将多个拉普拉斯矩阵进行加权求和，获取更新矩阵；码率计算模块，用于根据变换类型的码率公式、多个拉普拉斯矩阵、更新矩阵以及残差块的拉普拉斯二次型公式，计算残差块变换后的变换类型的码率；变换类型选择模块，用于选择码率最小的变换类型作为视频编码中残差块的变换类型。
14.第三方面，本技术实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
15.第四方面，本技术实施例提供一种终端，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
16.本技术实施例提供的技术方案可以包括以下有益效果：在本技术实施例中，所述用于视频编码的变换核选择方法，首先获取视频图像中残差块的输入数据；再根据输入数据和编码器中变换类型的基函数，获取残差块的变换类型的码率公式；然后将多个拉普拉斯矩阵进行加权求和，获取更新矩阵；其次根据变换类型的码率公式、多个拉普拉斯矩阵、更新矩阵以及残差块的拉普拉斯二次型公式，计算残差块变换后的变换类型的码率；最后选择码率最小的变换类型作为视频编码中残差块的变换类型。本技术能够根据残差块的输入数据计算残差块变换后的变换类型的码率，并选择码率最小的变换类型作为视频编码中残差块的变换类型，能够为残差块自适应的选择出较优的变换类型，规避了复杂的率失真优化rdo过程；在较小的性能损失下，减少了编码的时间和编码复杂度，提高了编码效率。
17.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
18.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
19.图1是本技术实施例提供的一种用于视频编码的变换核选择方法的流程示意图；图2是本技术实施例提供的一种用于视频编码的变换核选择方法的拉普拉斯矩阵~的矩阵图；图3是本技术实施例提供的一种用于视频编码的变换核选择方法的拉普拉斯矩阵~的矩阵图；图4是本技术实施例提供的另一种用于视频编码的变换核选择方法的流程示意图；图5是本技术实施例提供的一种用于视频编码的变换核选择装置的装置示意图；图6是本技术实施例提供的一种终端示意图。
具体实施方式
20.以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
21.应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
22.下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的系统和方法的例子。
23.在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
24.变换编码是视频编码中重要的组成部分，也是提高视频压缩率的主要工具。在上一代编码器中广泛使用的编码类型为离散余弦ii型变换（dct-ii），如hevc和avs2等；在新一代的视频编码协议中引入了新的变换类型，包括但不限于离散余弦viii型变换（dct-viii）以及离散正弦vii型变换（dst-vii），对于拥有某些特征的残差块，这些新的变换类型能够有更高的能量集中效率，相较于使用离散余弦ii型变换（dct-ii）而言，这些新的变换类型能够提供更高的压缩率。
25.在第一代开放媒体视频联盟（alliance for open media video 1，av1）中，使用的四种基本变换类型为：dct、adst、flip-adst和idtx；在多用途视频编码（versatile video coding，vvc）中使用的三种变换类型为：dct-ii，dct-viii和dst-vii；类似地，在第
三代音视频编码标准（audio video coding standard 3，avs3）中使用的三种变换类型为：dct-ii，dct-viii和dst-vii；这些变换类型的引入，能够为编码器提供2%到3%的编码性能收益。多种变换类型的引入在提高编码性能的同时也带来了计算的复杂度。相较于上一代编码器只使用dct-ii的特点，新一代的编码器需要在多种变换类型中进行选择。编码器中的变换为二维变换，为了降低计算的复杂度，一般会将二维变换拆分为两个一维变换（即行变换和列变换）来进行编码器中的变换，每个一维变换可以在多种变换类型中选择一种作为实际编码中使用的变换类型。对于第一代开放媒体视频联盟av1来说，每个残差块需要从4x4=16个中选择一种变换类型。对于多用途视频编码vvc和第三代音视频编码标准avs3来说，每个残差块需要从3x3=9个中选择一种变换类型。在常规编码器中，一般使用率失真优化（rate-distortion optimization，rdo）的方法选择变换类型，使用率失真优化的方法选择变换类型复杂度较高，计算延迟大，并不适用于需要即时编解码的场景。
26.为了解决变换核选择过程中复杂度较高的问题，不同的编码协议给出了不同的快速算法。目前情况下，在第一代开放媒体视频联盟av1中，可以使用神经网络进行变换类型的选择，使用神经网络进行变换类型的选择时，可以从残差块中提取相关信息，将所述相关信息输入到训练好的神经网络中，能够对不同的变换类型进行打分，筛选部分变换类型，将留下来的变换类型输入率失真优化rdo的过程中，从而选出最优的变换类型；在多用途视频编码vvc的帧内编码中，可以通过统计得出不同的角度模式与变换类型的关系，并为每种角度模式预先设定好固定的几种变换类型，从而避免了对全部变换类型的率失真优化rdo，在一定程度上降低了电路复杂度。这两种方法能够在一定程度上减少进入率失真优化rdo过程中的变换类型的数量，但依旧存在着明显的弊端，在第一代开放媒体视频联盟av1中使用的神经网络虽然不大，但由于神经网络中的参数都是浮点数，导致在硬件设计时需要消耗大量的资源来保证浮点数的精度以及神经网络的准确率问题，在硬件上会存在较多的资源开销；在多用途视频编码vvc中，虽然控制了计算的复杂度，但是由于对每种角度模式只会对固定的几种变换类型进行率失真优化rdo遍历，导致并不能保证选择出的变化类型具有最优性和自适应性，降低了编码器的性能。
27.本发明提出的一种用于视频编码的变换核选择方法、装置、存储介质及终端，通过对特定的算法进行实现，能够快速预测出该残差块在所有变换类型后的码率大小，以码率优先的准则，根据输入残差的特性为残差块自适应的选择出较优的变换类型，本发明所述的方法，应用于具有多核变换功能的编码协议（比如多用途视频编码vvc，第一代开放媒体视频联盟av1以及第三代音视频编码标准avs3等）中，规避了复杂的率失真优化rdo过程，降低了计算资源；在较小的性能损失下，减少了编码的时间和编码复杂度，提高了编码效率。
28.下面将结合附图1-附图4，对本技术实施例提供的一种用于视频编码的变换核选择方法进行详细介绍。
29.请参见图1-3，为本技术实施例提供了一种用于视频编码的变换核选择方法的流程示意图。如图1-3所示，本技术实施例的方法可以包括以下步骤：s110,获取视频图像中残差块的输入数据。
30.在本技术实施例中，通过采集视频图像中残差块的输入数据，将输入数据进行分析处理，来为残差块自适应的选择出较优的变换类型。
31.s120, 根据输入数据和编码器中变换类型的基函数，获取残差块的变换类型的码
率公式。具体地，所述120包括：s121, 将输入数据和编码器中变换类型的基函数进行一维变换，得到残差块的一维变换结果。在本技术实施例中，通过残差块的输入数据结合变换类型的基函数得到的残差块的一维变换结果，用一维变换公式表示为：其中， i表示由基函数确定的变换矩阵的第i行；t表示矩阵的转置；当表示离散余弦ii型变换的基函数时，上述一维变换公式表示变换类型为离散余弦ii型变换的一维变换公式，当表示离散正弦vii型变换的基函数时，上述一维变换公式表示变换类型为离散正弦vii型变换的一维变换公式，当表示离散余弦viii型变换的基函数时，上述一维变换公式表示变换类型为离散余弦viii型变换的一维变换公式；x为输入数据，表示第i行一维变换后的变换系数；以4点变换为例，当x表示4个输入数据组成的列向量时，表示为。
32.在本技术实施例中，需要获取编码器中变换类型的基函数。当所述变换类型为离散余弦ii型变换时，离散余弦ii型变换的基函数为：当所述变换类型为离散正弦vii型变换时，离散正弦vii型变换的基函数为：在上述离散余弦ii型变换的基函数和离散正弦vii型变换的基函数中，j均表示第j个频率分量，k表示第j个频率分量中的第k项；n等同于下述内容的n, 均表示变换尺寸，当n=4时，表示4点变换，当n=8时，表示8点变换。
33.在编码器中使用的整数变换中，离散余弦viii型变换的变换矩阵与离散正弦vii型变换的变换矩阵具有一定的对偶性，由离散正弦vii型变换的变换矩阵直接能够得到离散余弦viii型变换的变换矩阵，可通过上述离散正弦vii型变换的基函数直接得到离散余弦viii型变换的基函数，对于离散余弦viii型变换的基函数在此不再赘述。
34.在不同编码标准中，同一变换类型的变换矩阵可能并不相同，不同编码标准之间变换类型的基函数的差距在于缩放倍数的不同，在不同编码标准之间的变换类型的基函数呈现倍数关系。
35.s122, 根据一维变换结果和惩罚力度，获取残差块的变换类型的码率公式。在本技术实施例中，预测的残差块的变换类型的码率公式为：其中，c表示码率；表示对应的权重，又称惩罚力度、惩罚权重。
36.当为1时，c表示变换系数的平方和，也就是输入数据的能量。在本技术实施例
中，可以通过设置的大小为特定频率的能量增加惩罚力度。在将从小到大进行设置时，可以认为高频系数不重要，将高频系数的惩罚力度加大，若在i较大位置处，有较大的值，那么得到的码率c就会越大，变换类型越不容易被选中；在将从大到小进行设置时，若在i较小位置处，有较大的值，那么码率c会越大，变换类型越不容易被选中。在本技术实施例中，残差块根据变换类型变换的意义在于能量的集中，即输入的残差块在经过变换类型的变换之后，能够将残差块的能量集中在左上角，也就是在i较小位置处，本技术实施例可以按照从小到大的顺序来设置的值。
37.在本技术实施例中，可以通过多个拉普拉斯矩阵获取，通过计算出残差块经过不同变换类型变换后的码率。
38.s130,将多个拉普拉斯矩阵进行加权求和，获取更新矩阵。在本技术实施例中，对于一个拉普拉斯矩阵l，假设拉普拉斯矩阵l的特征值和特征矢量分别为和，那么根据残差块的拉普拉斯二次型公式，得到的所述残差块的拉普拉斯二次型公式的展开式为：该式的右边具有与码率非常类似的形式。由于l为拉普拉斯矩阵，所以与是相同的，但是与并不一定是相同或近似的，若与相同或者近似，那么残差块的拉普拉斯二次型公式与码率c就是相同或近似的。
39.在本技术实施例中，当变换类型为离散余弦ii型变换时，可以将与拉普拉斯矩阵l非常类似的8个拉普拉斯矩阵~进行加权求和，获取更新矩阵f。拉普拉斯矩阵~在变换长度为8时的情况如图2所示，第一行从左到右为拉普拉斯矩阵至的矩阵图，第二行从左到右为拉普拉斯矩阵至的矩阵图，所述拉普拉斯矩阵~分别表示为：
该拉普拉斯矩阵~需要满足的条件为：拉普拉斯矩阵~的特征矢量为变换类型的基函数；拉普拉斯矩阵~本身应为稀疏的；满足这些条件的拉普拉斯矩阵~，使得本技术实施例能够以非常小的计算代价，通过拉普拉斯矩阵~获取的更新矩阵，采用线性组合的方式得到码率c的近似值。
40.对于同一种变换类型给出的拉普拉斯矩阵具有相同的特征矢量，且特征矢量与该变换类型的基函数相同。当变换类型为离散余弦ii型变换时，拉普拉斯矩阵~的特征值和特征矢量的表达式可以为：其中，e表示第e个拉普拉斯矩阵。
41.在本技术实施例中，为使残差块的拉普拉斯二次型公式与码率c相同或近似，可以采用线性拟合的方式使得惩罚力度与特征值与相同或近似，通过8个拉普拉斯矩阵~的8个特征值获取的更新矩阵特征值来线性拟合惩罚力度，表示第e个拉普拉斯矩阵对应的特征值。
42.在本技术实施例中，当变换类型为离散余弦viii型变换和离散正弦vii型变换时，通过多个拉普拉斯矩阵进行加权求和，获取更新矩阵，以及求出更新矩阵特征值的方式与上述变换类型为离散余弦ii型变换时，获取更新矩阵以及更新矩阵特征值的方式类似，在此不再赘述。比如，当变换类型为离散正弦vii型变换时，可以选取7个拉普拉斯矩阵~进行加权求和，获取离散正弦v-ii型变换的更新矩阵。拉普拉斯矩阵~在变换长度为8时的情况如图3所示，第一行从左到右为拉普拉斯矩阵至的矩阵图，第二行从左到右为拉普拉斯矩阵至的矩阵图，所述拉普拉斯矩阵~表示为：表示为：表示为：表示为：
拉普拉斯矩阵~表为稀疏矩阵；拉普拉斯矩阵~特征值和特征矢量的表达式为：。
43.s140, 根据变换类型的码率公式、多个拉普拉斯矩阵、更新矩阵以及残差块的拉普拉斯二次型公式，计算残差块变换后的变换类型的码率。具体地，s140包括：s141, 将更新矩阵代入残差块的拉普拉斯二次型公式，获取更新矩阵的二次型公式。在本技术实施例中，残差块的拉普拉斯二次型公式为，更新矩阵，则更新矩阵的二次型公式为：。
44.s142, 根据更新矩阵的二次型公式和变换类型的码率公式，获取更新矩阵对应的残差块的变换类型的码率公式。在本技术实施例中，更新矩阵f的二次型公式为，更新矩阵f是通过8个拉普拉斯矩阵~获取的。在残差块的
拉普拉斯二次型公式和残差块的码率公式相等的前提下，更新矩阵的二次型公式与更新矩阵对应的残差块的变换类型的码率公式也相等，将更新矩阵f的二次型公式展开获取更新矩阵f的特征值（也可以通过8个拉普拉斯矩阵~获取更新矩阵特征值），将代入码率公式， =，得到更新矩阵对应的残差块的变换类型的码率公式。此时，=。
45.s143, 根据更新矩阵对应的残差块的变换类型的码率公式，提取更新矩阵权重。在本技术实施例中，根据更新矩阵对应的残差块的变换类型的码率公式,提取更新矩阵权重，可通过调整的值来拟合更新矩阵权重的值。
46.s144, 根据惩罚力度和多个拉普拉斯矩阵，拟合更新矩阵权重。因为在进行线性拟合的过程中，使用的基本拉普拉斯矩阵越多，计算的复杂度越高。所以在本技术实施例中，通过拉普拉斯矩阵拟合更新矩阵权重时，所用的拉普拉斯矩阵的数量可以设置为不超过3个。
47.在本技术实施例中，当变换类型为离散余弦变换，变换尺寸为4点变换时，为提高高频系数的惩罚力度，可依次地将惩罚力度设置为1，2，4，8，根据惩罚力度设置的不同数值结合拉普拉斯矩阵和拟合更新矩阵权重。
48.s145, 通过线下调整的方式选择拟合后的更新矩阵权重，确定多个拉普拉斯矩阵对应的多个残差权重。在本技术实施例中，通过线下调整的方式选择拟合后的更新矩阵权重可以为：使用两个拉普拉斯矩阵和的l2范数来表示两个拉普拉斯矩阵和的相似程度；通过matlab中以步长0.5在（-100,100）区间内遍历更新矩阵权重的所有值，选取出最小l2范数对应的一组权重作为拉普拉斯矩阵和对应的2个残差权重。
49.在本技术实施例中，通过线下调整的方式获取到的的残差权重可以为4.5，的残差权重可以为4。
50.s146, 根据多个残差权重、多个拉普拉斯矩阵以及残差块的拉普拉斯二次型公式，获取残差块变换后的变换类型的码率。在本技术实施例中，根据拉普拉斯矩阵和、拉普拉斯矩阵的残差权重4.5、拉普拉斯矩阵的残差权重4，以及残差块的拉普拉斯二次型公式，计算残差块变换后的变换类型的码率：
。
51.在本技术实施例中，变换类型包括：离散余弦ii型变换，离散余弦viii型变换和/或离散正弦vii型变换。在计算残差块经过变换类型变换之后的码率时，残差块经过离散余弦ii型变换后的码率、残差块经过离散余弦viii型变换后的码率、与残差块经过离散正弦vii型变换后的码率的计算方式类似，均可通过上述方式进行计算，在计算所述残差块经过某一变换类型变换后的码率过程中的未详尽部分在此不再赘述。
52.s150, 选择码率最小的变换类型作为视频编码中残差块的变换类型。在本技术实施例中，通过比较残差块经过离散余弦ii型变换，离散余弦viii型变换和离散正弦vii型变换之后的码率大小，选取出码率最小的变换类型作为视频编码中残差块的变换类型。
53.在本技术实施例中，所述用于视频编码的变换核选择方法，首先获取视频图像中残差块的输入数据；再根据输入数据和编码器中变换类型的基函数，获取残差块的变换类型的码率公式；然后将多个拉普拉斯矩阵进行加权求和，获取更新矩阵；其次根据变换类型的码率公式、多个拉普拉斯矩阵、更新矩阵以及残差块的拉普拉斯二次型公式，计算残差块变换后的变换类型的码率；最后选择码率最小的变换类型作为视频编码中残差块的变换类型。本技术能够根据残差块的输入数据计算残差块变换后的变换类型的码率，并选择码率最小的变换类型作为视频编码中残差块的变换类型，能够为残差块自适应的选择出较优的变换类型，规避了复杂的率失真优化rdo过程；在较小的性能损失下，减少了编码的时间和编码复杂度，提高了编码效率。
54.请参见图4为本技术实施例提供了一种用于视频编码的变换核选择方法的流程示意图。如图4所示，本技术实施例的方法可以包括以下步骤：s210,获取视频图像中残差块的输入数据；s211,将输入数据和编码器中变换类型的基函数进行一维变换，得到残差块的一维变换结果；变换类型包括：离散余弦ii型变换，离散余弦viii型变换和/或离散正弦vii型变换；s212,根据一维变换结果和惩罚力度，获取残差块的变换类型的码率公式；s213,将多个拉普拉斯矩阵进行加权求和，获取更新矩阵；s214,将更新矩阵代入残差块的拉普拉斯二次型公式，获取更新矩阵的二次型公式；s215,根据更新矩阵的二次型公式和变换类型的码率公式，获取更新矩阵对应的残差块的变换类型的码率公式；s216,根据更新矩阵对应的残差块的变换类型的码率公式，提取更新矩阵权重；s217,根据惩罚力度和多个拉普拉斯矩阵，拟合更新矩阵权重；s218,通过线下调整的方式选择拟合后的更新矩阵权重，确定多个拉普拉斯矩阵对应的多个残差权重；s219,根据多个残差权重、多个拉普拉斯矩阵以及残差块的拉普拉斯二次型公式，获取残差块变换后的变换类型的码率；s220,选择码率最小的变换类型作为视频编码中残差块的变换类型。
55.在本技术实施例中，所述用于视频编码的变换核选择方法，首先获取视频图像中
残差块的输入数据；再根据输入数据和编码器中变换类型的基函数，获取残差块的变换类型的码率公式；然后将多个拉普拉斯矩阵进行加权求和，获取更新矩阵；其次根据变换类型的码率公式、多个拉普拉斯矩阵、更新矩阵以及残差块的拉普拉斯二次型公式，计算残差块变换后的变换类型的码率；最后选择码率最小的变换类型作为视频编码中残差块的变换类型。本技术能够根据残差块的输入数据计算残差块变换后的变换类型的码率，并选择码率最小的变换类型作为视频编码中残差块的变换类型，能够为残差块自适应的选择出较优的变换类型，规避了复杂的率失真优化rdo过程；在较小的性能损失下，减少了编码的时间和编码复杂度，提高了编码效率。
56.下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
57.请参见图5，其示出了本发明一个示例性实施例提供的一种用于视频编码的变换核选择装置的结构示意图。该装置1包括：残差数据获取模块10、码率公式获取模块20、更新矩阵获取模块30、码率计算模块40和变换类型选择模块50。
58.残差数据获取模块10，用于获取视频图像中残差块的输入数据；码率公式获取模块20，用于根据输入数据和编码器中变换类型的基函数，获取残差块的变换类型的码率公式；更新矩阵获取模块30，用于将多个拉普拉斯矩阵进行加权求和，获取更新矩阵；码率计算模块40，用于根据变换类型的码率公式、多个拉普拉斯矩阵、更新矩阵以及残差块的拉普拉斯二次型公式，计算残差块变换后的变换类型的码率；变换类型选择模块50，用于选择码率最小的变换类型作为视频编码中残差块的变换类型。
59.需要说明的是，上述实施例提供的用于视频编码的变换核选择装置在执行用于视频编码的变换核选择方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的用于视频编码的变换核选择装置与用于视频编码的变换核选择方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
60.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
61.在本技术实施例中，所述用于视频编码的变换核选择装置，首先获取视频图像中残差块的输入数据；再根据输入数据和编码器中变换类型的基函数，获取残差块的变换类型的码率公式；然后将多个拉普拉斯矩阵进行加权求和，获取更新矩阵；其次根据变换类型的码率公式、多个拉普拉斯矩阵、更新矩阵以及残差块的拉普拉斯二次型公式，计算残差块变换后的变换类型的码率；最后选择码率最小的变换类型作为视频编码中残差块的变换类型。本技术实施例能够根据残差块的输入数据计算残差块变换后的变换类型的码率，并选择码率最小的变换类型作为视频编码中残差块的变换类型，能够为残差块自适应的选择出较优的变换类型，规避了复杂的率失真优化rdo过程；在较小的性能损失下，减少了编码的时间和编码复杂度，提高了编码效率。
62.本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的用于视频编码的变换核选择方法。
63.本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的用于视频编码的变换核选择方法。
64.请参见图6，为本技术实施例提供了一种终端的结构示意图。如图6所示，终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
65.其中，通信总线1002用于实现这些组件之间的连接通信。
66.其中，用户接口1003可以包括显示屏(display)、摄像头(camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
67.其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。
68.其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field-programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(central processing unit，cpu)、图像处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
69.其中，存储器1005可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及车辆运行轨迹数据的可用度分析应用程序。
70.在图6所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的用于视频编码的变换核选择应用程序，并具体执行以下操作：获取视频图像中残差块的输入数据；根据输入数据和编码器中变换类型的基函数，获取残差块的变换类型的码率公式；其中，变换类型包括：离散余弦ii型变换，离散余弦viii型变换和/或离散正弦vii型变换；将多个拉普拉斯矩阵进行加权求和，获取更新矩阵；根据变换类型的码率公式、多个拉普拉斯矩阵、更新矩阵以及残差块的拉普拉斯二次型公式，计算残差块变换后的变换类型的码率；
选择码率最小的变换类型作为视频编码中残差块的变换类型。
71.在一个实施例中，处理器1001在执行根据输入数据和编码器中变换类型的基函数，获取残差块的变换类型的码率公式时，具体执行以下操作：将输入数据和编码器中变换类型的基函数进行一维变换，得到残差块的一维变换结果；根据一维变换结果和惩罚力度，获取残差块的变换类型的码率公式。
72.在一个实施例中，处理器1001在执行根据变换类型的码率公式、多个拉普拉斯矩阵、更新矩阵以及残差块的拉普拉斯二次型公式，计算残差块变换后的变换类型的码率时，具体执行以下操作：将更新矩阵代入残差块的拉普拉斯二次型公式，获取更新矩阵的二次型公式；根据更新矩阵的二次型公式和变换类型的码率公式，获取更新矩阵对应的残差块的变换类型的码率公式；根据更新矩阵对应的残差块的变换类型的码率公式，提取更新矩阵权重；根据惩罚力度和多个拉普拉斯矩阵，拟合更新矩阵权重；通过线下调整的方式选择拟合后的更新矩阵权重，确定多个拉普拉斯矩阵对应的多个残差权重；根据多个残差权重、多个拉普拉斯矩阵以及残差块的拉普拉斯二次型公式，获取残差块变换后的变换类型的码率。
73.在本技术实施例中，所述用于视频编码的变换核选择方法，首先获取视频图像中残差块的输入数据；再根据输入数据和编码器中变换类型的基函数，获取残差块的变换类型的码率公式；然后将多个拉普拉斯矩阵进行加权求和，获取更新矩阵；其次根据变换类型的码率公式、多个拉普拉斯矩阵、更新矩阵以及残差块的拉普拉斯二次型公式，计算残差块变换后的变换类型的码率；最后选择码率最小的变换类型作为视频编码中残差块的变换类型。本技术实施例能够根据残差块的输入数据计算残差块变换后的变换类型的码率，并选择码率最小的变换类型作为视频编码中残差块的变换类型，能够为残差块自适应的选择出较优的变换类型，规避了复杂的率失真优化rdo过程；在较小的性能损失下，减少了编码的时间和编码复杂度，提高了编码效率。
74.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
75.以上所揭露的仅为本技术较佳实施例而已，当然不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属本技术所涵盖的范围。