一种高效率视频编码帧内CTU划分的方法及系统

一种高效率视频编码帧内ctu划分的方法及系统
技术领域
1.本发明涉及视频编码单元划分的技术领域，特别涉及一种高效率视频编码帧内ctu划分的方法及系统。


背景技术：

2.高效率视频编码(high efficiency video coding，hevc)中原有的编码树单元(codingtreeunit，ctu)划分算法为：一个ctu包含一个或多个编码单元(coding unit，cu)，cu尺寸为四种，分别为64x64、32x32、16x16、8x8。采用ctu的四叉树遍历算法可以找到每个ctu的最佳划分方式，确定最佳cu 分区，但极大的增加了编码复杂度。随着人们对视频质量的要求越来越高，对移动设备的视频编解码带来了挑战，因此需要通过算法优化去降低编码复杂度，使移动设备以较低门槛去应用hevc。
3.当前hevc中的cu快速优化算法主要有三种解决办法：传统的方法、基于机器学习的方法、基于深度学习的方法。传统的方法一般计算像素的均值和方差，能够提前确定cu的尺寸，降低编码复杂度，例如，jae myung ha等人提出了基于纹理的hevc帧内编码cu尺寸快速决策算法，纹理特征选择当前cu块中的像素的均值和方差，这种方式虽然可降低编码复杂度，但计算复杂度过大，对编码性能产生较大影响；基于机器学习的方法思路简单直接，主要提取一些有效的图像特征来判断cu复杂度，例如，liu等人基于支持向量机建立cu规模决策的三分类结构，分别为复杂cu、均质cu、和不确定cu，虽然决策效果好，但额外增加了计算复杂度；基于深度学习的方法降低编码复杂度的效率高，该方法引进卷积网络结构来自动提取到很好的特征值，例如，arid zaki等人提出了一种基于resnet-18卷积网络的ctu快速分区框架，对三种不同大小cu尺寸64x64、 32x32、16x16都提出了不同的网络结构，虽然能够大大降低编码复杂度，但引入的网络层数较深，使其网络模型本身的复杂度增加，且该方法的64x64cu尺寸的网络在训练数据时容易导致过拟合，限制了该网络发挥出很好的性能。
4.现有专利公开文献中也公开了一种hevc中帧内ctu的划分方法，采用四叉树神经网络模型对视频帧进行处理，得到整帧所有的ctu四叉树结构，采用优化的编码器对当前帧的所有ctu四叉树的结构进行编码划分，根据划分结果对hevc帧内ctu进行划分，使得每个划分结果的关联性加强，从而提高了处理数据的效率，降低了编码的时间，但是对hevc帧内ctu划分时，不同尺寸的cu分割的过程中均采用神经网络的预测，计算复杂度高，编码时间长，很难让hevc能更好的应用到移动设备端。


技术实现要素：

5.为解决当前hevc中ctu的划分方法计算复杂度高，编码时间长的问题，本发明提出一种高效率视频编码帧内ctu划分的方法及系统，基于纹理复杂度和深度学习的关联性，利用划分阈值和神经网络判断cu分割情况，降低hevc帧内编码的计算复杂度，缩短编码时间。
6.为了达到上述技术效果，本发明的技术方案如下：
7.一种高效率视频编码帧内ctu划分的方法，包括以下步骤：
8.s1.采集图像数据集，以图像数据集制作不同分辨率的视频集；
9.s2.设定不同的量化参数qp，提取不同量化参数qp设定下的视频集中视频帧内编码单元cu大小划分的四种情况，分别为64x64尺寸cu、32x32尺寸cu、16x16 尺寸cu、8x8尺寸cu；
10.s3.以平均绝对偏差m表征当前64x64尺寸cu的纹理复杂度，确定在不同量化参数qp设定下64x64尺寸cu分裂为32x32尺寸cu的情况与m的关系，得到64x64 尺寸cu的划分阈值t，执行步骤s4；
11.s4.设定编码单元深度depth初值为0，判断m是否小于或等于t，若是，则64x64 尺寸cu不分割，输出64x64尺寸cu作为最终cu尺寸决定；否则，令编码单元深度depth加一，将64x64尺寸cu分割成4个32x32尺寸cu，执行步骤s5；
12.s5.构建a神经网络并训练，将每一个32x32尺寸cu输入训练好的a神经网络，利用a神经网络判断32x32尺寸cu是否分割，若是，令编码单元深度depth加一，将32x32尺寸cu分割为4个16x16尺寸cu，执行步骤s6；否则，输出32x32尺寸cu 作为最终cu尺寸决定；
13.s6.构建b神经网络并训练，将每一个16x16尺寸cu输入训练好的b神经网络，利用b神经网络判断16x16尺寸cu是否分割，若是，令编码单元深度depth加一，将16x16尺寸cu分割为4个8x8尺寸cu，输出8x8尺寸cu作为最终cu尺寸决定；否则，输出16x16尺寸cu作为最终cu尺寸决定；
14.s7.将s4～s6中得到的最终cu尺寸决定进行后续编码处理。
15.在本技术方案中，首先以平均绝对偏差m表征当前64x64尺寸cu的纹理复杂度，基于不同量化参数qp设定下64x64尺寸cu分裂为32x32尺寸cu的情况与平均绝对偏差m的关系，得到64x64尺寸cu的划分阈值t；然后利用m与t的大小对比关系来决定64x64尺寸cu是否分割为32x32尺寸cu，能够将纹理简单的64x64尺寸cu提起终止分割，降低了算法的计算复杂度；接着利用纹理复杂度和编码单元深度depth的关联性，分别构建a神经网络和b神经网络并训练，分割为32x32 尺寸cu输入训练好的a神经网络，利用a神经网络判断32x32尺寸cu是否分割为 16x16尺寸cu，再将分割为16x16尺寸cu输入训练好的b神经网络，利用b神经网络判断16x16尺寸cu是否分割为8x8尺寸cu，针对不同cu尺寸的分割情况提出了不同的方法，64x64尺寸cu的分割利用划分阈值t判断，32x32尺寸cu的分割利用a神经网络判断，16x16尺寸cu利用b神经网络判断，保证了不同cu尺寸的分割情况的准确性；最后根据不同cu尺寸的分割情况得到的最终cu尺寸决定，来进行后续编码处理，降低hevc帧内编码的计算复杂度，缩短编码时间。
16.优选地，在步骤s1中，采集的图像数据集为raise超高清图像集，以raise 超高清图像集制作四种不同分辨率的yuv格式视频集，分辨率分别为4928x3264、 2560x1600、1536x1024、704x576。
17.优选地，在步骤s3中，不同量化参数qp设定对应不同阈值，选取4个不同分辨率且其视频内容不同的视频序列，采用帧内编码使用4个量化参数qp值，得到 16种视频编码结果；
18.64x64尺寸cu的平均绝对偏差分为全局平均绝对值偏差、行像素平均绝对值偏差、列像素平均绝对值偏差，64x64尺寸cu的全局平均绝对偏差计算公式如下：
[0019][0020]
其中，mad表示为64x64尺寸cu的全局平均绝对偏差，x表示为每行的像素值，y表示为每列的像素值，p(x，y)表示为(x，y)处的像素值，mean 表示为64x64尺寸cu中所有像素的均值；
[0021]
行像素平均绝对值偏差计算公式如下：
[0022][0023]
其中，madh表示为行像素平均绝对偏差，meany表示为64x64尺寸cu中所有行像素的均值；
[0024]
列像素平均绝对值偏差计算公式如下：
[0025][0026]
其中，madv表示为列像素平均绝对偏差，mean
x
表示为64x64尺寸cu中所有列像素的均值；最终64x64尺寸cu的平均绝对值偏差公式如下：
[0027]
m＝min(mad,madh,madv)
[0028]
其中，m表示为最终64x64尺寸cu中的平均绝对值偏差；
[0029]
当64x64尺寸cu不分割时，cu区域在水平和垂直方向上纹理平滑，当64x64 尺寸cu分割时，cu区域在水平和垂直方向上纹理复杂，利用当前64x64尺寸cu 的平均绝对值偏差判断64x64尺寸cu是否分割，得出分割与不分割之间的平均绝对偏差值的临界态，确认64x64尺寸cu不分割时平均绝对偏差值与分割时平均绝对偏差值的大小，以大小位于两者之间的数值作为当前选择阈值，将64x64尺寸 cu的分割情况与标准对比结果不同时视为实验误差，将当前选择阈值
±
0.05，选择实验误差最小的值作为划分阈值t；所述的标准为使用hevc标准参考软件 hm16.20编码视频时的64x64尺寸cu分割情况，可提高划分阈值t的判断准确性，在划分阈值t与平均绝对偏差m对比时，能够使64x64尺寸cu的分割情况更准确。
[0030]
优选地，在步骤s5中，所述a神经网络包括依次相连的第一卷积块、第二卷积块、第三卷积块、第四卷积块、第五卷积块、全连接层以及输出层；第一卷积块由一个卷积层组成，第二卷积块、第三卷积块、第四卷积块、第五卷积块中的每一个均由两个卷积层组成，并且这两个卷积层参数设置一样；第一卷积块设定为64个卷积核，卷积核的大小为7x7；第二卷积块设定为64个卷积核，卷积核的大小为3x3；第三卷积块设定为128个卷积核，卷积核大小为3x3；第四卷积块设定为256个卷积核，卷积核大小为3x3；第五卷积块设定为512个卷积核，卷积核大小为3x3；
[0031]
全连接层包括两个隐藏层，输出层采用softmax函数激活，使输出层输出值映射在(0，1)之间，输出层输出值为32x32尺寸cu分割的概率，输出层输出值的类别标签为“0”和“1”，“0”表示不分割，“1”表示分割，选取输出值概率最大时对应的类别标签作为预测结果，若预测结果为分割，令编码单元深度depth加一，将32x32尺寸cu分割为4个16x16尺寸cu；否则，32x32尺寸cu不分割。
[0032]
在此，利用纹理复杂度和深度学习的关联性，引入a神经网络去预测判断 32x32尺寸cu是否分割，避免了再次采取阈值判断32x32尺寸cu分割的情况，保证对于32x32尺寸cu纹理复杂区域判断的准确性。
[0033]
优选地，在步骤s5中，视频集随机分为90％的训练集、5％的验证集和5％的测试集，通过训练集训练a神经网络，通过验证集验证a神经网络，并通过测试集测试a神经网络；
[0034]
训练a神经网络时使用的损失函数loss function(lf)为分类交叉熵，公式如下：
[0035][0036]
其中，n为训练a神经网络中cu块的个数，为a神经网络模型的第i个预测，为a神经网络模型的第i个预测对应的目标；训练后的a神经网络用测试集测试，设置预测准确率阈值，利用测试集测试a神经网络时，若a神经网络的预测准确率大于预测准确率阈值时，停止训练，得到训练好的a神经网络。利用损失函数loss function(lf)训练a神经网络，损失函数的值反映a神经网络与实际数据之间的差距，损失值(loss值)越低时表示当前预测的值和标签值之间差距小，方便代码修改和后续优化。
[0037]
优选地，在步骤s6中，所述b神经网络包括第一层卷积层、第二层卷积层、池化层、第三层卷积层、第四层卷积层、全连接层以及输出层；第一层卷积层设定为32个卷积核，卷积核的大小为3x3；第二层卷积层设定为64个卷积核，卷积核的大小为3x3；池化层设定为avgpool操作，池化内核大小为2x2；第三层卷积层设定为64个卷积核，卷积核的大小为2x2；第四层卷积层设定为128个卷积核，卷积核的大小为2x2；
[0038]
全连接层包括两个隐藏层，在第二个隐藏层和输出层之间以50％的概率随机丢失：输出层采用sigmoid函数激活，使输出层输出值位于(0，1)之间，输出层输出值为16x16尺寸cu分割的概率，判断分割概率是否大于50％，令编码单元深度depth加一，将16x16尺寸cu分割为4个8x8尺寸cu；否则，16x16尺寸cu不分割。
[0039]
在此，利用纹理复杂度和深度学习的关联性，引入b神经网络去预测判断 16x16尺寸cu是否分割，避免了再次采取阈值判断16x16尺寸cu分割的情况，保证对于16x16尺寸cu纹理复杂区域判断的准确性。
[0040]
优选地，在步骤6中，视频集随机分为90％的训练集、5％的验证集和5％的测试集，通过训练集训练b神经网络，通过验证集验证b神经网络，并通过测试集测试b神经网络；
[0041]
训练b神经网络时使用的损失函数公式如下：
[0042][0043]
其中n为训练b神经网络中cu块的个数，x[i]为b神经网络模型的第i个目标值，y[i]为b神经网络模型的第i个预测值；训练后的b神经网络用测试集测试，设置预测准确率阈值，利用测试集测试b神经网络时，若b神经网络的预测准确率大于预测准确率阈值时，停止训练，得到训练好的b神经网络。
[0044]
优选地，所述后续编码处理在hevc标准参考软件hm16.20中进行。
[0045]
本发明还提出一种高效率视频编码帧内ctu划分的系统，所述系统包括：
[0046]
数据集制作模块，用于采集图像数据集，以图像数据集制作不同分辨率的视频集；
[0047]
编码单元划分模块，用于设定不同的量化参数qp，提取不同量化参数qp设定下的视频集中视频帧内编码单元cu大小划分的四种情况，分别为64x64尺寸 cu、32x32尺寸cu、16x16尺寸cu、8x8尺寸cu；
[0048]
划分阈值确定模块，以平均绝对偏差m表征当前64x64尺寸cu的纹理复杂度，确定在不同量化参数qp设定下64x64尺寸cu分裂为32x32尺寸cu的情况与m的关系，得到64x64尺寸cu的划分阈值t；
[0049]
判断模块，用于设定编码单元深度depth初值为0，判断m是否小于或等于t，若是，则64x64尺寸cu不分割，输出64x64尺寸cu作为最终cu尺寸决定；否则，令编码单元深度depth加一，将64x64尺寸cu分割成4个32x32尺寸cu；
[0050]
a神经网络构建处理模块，用于构建a神经网络并训练，将每一个32x32尺寸cu输入训练好的a神经网络，利用a神经网络判断32x32尺寸cu是否分割，若是，令编码单元深度depth加一，将32x32尺寸cu分割为4个16x16尺寸cu；否则，输出32x32尺寸cu作为最终cu尺寸决定；
[0051]
b神经网络构建处理模块，用于构建b神经网络并训练，将每一个16x16尺寸 cu输入训练好的b神经网络，利用b神经网络判断16x16尺寸是否分割，若是，令编码单元深度depth加一，将16x16尺寸cu分割为4个8x8尺寸cu，输出8x8尺寸 cu作为最终cu尺寸决定；否则，输出16x16尺寸cu作为最终cu尺寸决定；
[0052]
编码处理模块，用于将判断模块、a神经网络构建处理模块、a神经网络构建处理模块中得到的最终cu尺寸决定进行后续编码处理。
[0053]
优选地，所述编码处理模块封装于hevc标准参考软件hm16.20中。
[0054]
与现有技术相比，本发明技术方案的有益效果是：
[0055]
本发明提出一种高效率视频编码帧内ctu划分的方法及系统，与当前hevc 中ctu的划分方法相比，本发明所提出的方法基于不同量化参数qp设定下64x64 尺寸cu分裂为32x32尺寸cu的情况与平均绝对偏差m的关系，得到64x64尺寸cu 的划分阈值t；然后利用m与t的大小对比关系来决定64x64尺寸cu是否分割为 32x32尺寸cu，能够将纹理简单的64x64尺寸cu提起终止分割，降低了算法的计算复杂度；接着利用纹理复杂度和编码单元深度depth的关联性，分别构建a神经网络和b神经网络并训练，分割为32x32尺寸cu输入训练好的a神经网络，利用a 神经网络判断32x32尺寸cu是否分割为16x16尺寸cu，再将分割为16x16尺寸cu 输入训练好的b神经网络，利用b神经网络判断16x16尺寸cu是否分割为8x8尺寸 cu，针对不同cu尺寸的分割情况提出了不同的方法，64x64尺寸cu的分割利用划分阈值t判断，32x32尺寸cu的分割利用a神经网络判断，16x16尺寸cu利用b 神经网络判断，保证了不同cu尺寸的分割情况的准确性；最后根据不同cu尺寸的分割情况得到的最终cu尺寸决定，来进行后续编码处理，降低hevc帧内编码的计算复杂度，缩短编码时间。
附图说明
[0056]
图1表示本发明实施例中1提出的一种高效率视频编码帧内ctu划分的方法的流程示意图；
[0057]
图2表示本发明实施例中1提出的设定不同的量化参数qp下64x64尺寸cu的阈值曲线图；
[0058]
图3表示本发明实施例2中提出的a神经网络结构图；
[0059]
图4表示本发明实施例2中提出的a神经网络的相关参数图；
[0060]
图5表示本发明实施例3中提出的b神经网络结构图；
[0061]
图6表示本发明实施例4中提出的一种高效率视频编码帧内ctu划分的系统的结构图。
具体实施方式
[0062]
附图仅用于示例性说明，不能理解为对本专利的限制；
[0063]
为了更好地说明本实施例，附图某些部位会有省略、放大或缩小，并不代表实际尺寸，“上”“下”等部位方向的描述非对本专利的限制；
[0064]
对于本领域技术人员来说，附图中某些公知内容说明可能省略是可以理解的；
[0065]
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
[0066]
下面结合附图和实施例对本发明的技术方案做进一步的说明。
[0067]
实施例1
[0068]
图1表示本发明实施例中提出的一种高效率视频编码帧内ctu划分的方法的流程示意图，包括以下步骤：
[0069]
s1.采集图像数据集，以图像数据集制作不同分辨率的视频集；
[0070]
对视频集制作的方法有多种，在本实施例中，采集的图像数据集为raise超高清图像集，以raise超高清图像集制作四种不同分辨率的yuv格式视频集，分辨率分别为4928x3264、2560x1600、1536x1024、704x576；4928x3264超高清图像选用若干张，然后将部分照片下采样为2560x1600、1536x1024、704x576这三种分辨率，并将每一种分辨率的yuv格式视频集随机分为90％的训练集、5％的验证集和5％的测试集；对hevc参考软件hm16.20，使用all_intra配置，将其量化参数qp设定为22、27、32、37，提取这四种不同qp设定下的编码单元划分情况，从而构建数据集。
[0071]
s2.设定量化参数qp为22、27、32、37，提取量化参数qp为22、27、32、37 的视频集中视频帧内编码单元cu大小划分的四种情况，分别为64x64尺寸cu、 32x32尺寸cu、16x16尺寸cu、8x8尺寸cu；
[0072]
s3.以平均绝对偏差m表征当前64x64尺寸cu的纹理复杂度，确定在量化参数 qp为22、27、32、37值下64x64尺寸cu分裂为32x32尺寸cu的情况与m的关系，得到64x64尺寸cu的划分阈值t，执行步骤s4；
[0073]
参见图2，量化参数qp为22时设定对应的阈值为3.112，量化参数qp为27时设定对应的阈值为3.592，量化参数qp为32时设定对应的阈值为4.056，量化参数qp为37时设定对应的阈值为4.356，选取4928x3264、2560x1600、1536x1024、 704x576分辨率且其视频内容不同的视频序列，采用帧内编码使用4个量化参数 qp值：22、27、32、37，得到了16种视频编码结果；
[0074]
64x64尺寸cu的平均绝对偏差分为全局平均绝对值偏差、行像素平均绝对值偏差、列像素平均绝对值偏差，64x64尺寸cu的全局平均绝对偏差计算公式如下：
[0075][0076]
其中，mad表示为64x64尺寸cu的全局平均绝对偏差，x表示为每行的像素值，y表示为每列的像素值，p(x，y)表示为(x，y)处的像素值，mean 表示为64x64尺寸cu中所有像素的均值；
[0077]
行像素平均绝对值偏差计算公式如下：
[0078][0079]
其中，madh表示为行像素平均绝对偏差，meany表示为64x64尺寸cu中所有行像素的均值；
[0080]
列像素平均绝对值偏差计算公式如下：
[0081][0082]
其中，madv表示为列像素平均绝对偏差，mean
x
表示为64x64尺寸cu中所有列像素的均值；最终64x64尺寸cu的平均绝对值偏差公式如下：
[0083]
m＝min(mad,madh,madv)
[0084]
其中，m表示为最终64x64尺寸cu中的平均绝对值偏差；
[0085]
当64x64尺寸cu不分割时，cu区域在水平和垂直方向上纹理平滑，当64x64 尺寸cu分割时，cu区域在水平和垂直方向上纹理复杂，利用当前64x64尺寸cu 的平均绝对值偏差判断64x64尺寸cu是否分割，得出分割与不分割之间的平均绝对偏差值的临界态，确认64x64尺寸cu不分割时平均绝对偏差值与分割时平均绝对偏差值的大小，以大小位于两者之间的数值作为当前选择阈值，将64x64尺寸 cu的分割情况与标准对比结果不同时视为实验误差，将当前选择阈值
±
0.05，选择实验误差最小的值作为划分阈值t；所述的标准为使用hevc标准参考软件 hm16.20编码视频时的64x64cu分割情况。提高划分阈值t的判断准确性，在划分阈值t与平均绝对偏差m对比时，能够使64x64尺寸cu的分割情况更准确。
[0086]
在qp＝32设定下分别选取5个纹理复杂和纹理简单的视频测试序列，测试阈值判断准确率，在纹理复杂的视频序列下平均准确率为73.2％，在纹理较简单的视频序列下平均准确率为78.65％。
[0087]
s4.设定编码单元深度depth初值为0，判断m是否小于或等于t，若是，则64x64 尺寸cu不分割，当前编码单元深度depth值为0，输出64x64尺寸cu作为最终cu 尺寸决定；否则，令编码单元深度depth加一，当前编码单元深度depth值变为1，将64x64尺寸cu分割成4个32x32尺寸cu，执行步骤s5；
[0088]
s5.构建a神经网络并训练，将每一个32x32尺寸cu输入训练好的a神经网络，利用a神经网络判断32x32尺寸cu是否分割，若是，首先在编码单元深度为1的基础上加1，此时编码单元深度变为2，然后将1个32x32尺寸的cu分割为4个16x16 尺寸的cu，其余3个32x32尺寸的cu实现同样分割方式，最后将分割成16x16尺寸cu输入b网络，执行步骤s6；否则，当前编码单元深度依旧为1，将32x32尺寸的cu直接输出最终cu尺寸决定。
[0089]
s6.构建b神经网络并训练，将每一个16x16尺寸cu输入训练好的b神经网络，利用b神经网络判断16x16尺寸cu是否分割，若是，首先在编码单元深度为2的基础上加1，此时编码单元深度变为3，然后将1个16x16尺寸的cu分割为4个8x8尺寸的cu，其余3个16x16尺寸的cu实现同样分割方式，最后将分割为8x8尺寸的 cu直接输出最终cu尺寸决定；否则，当前编码单元深度依旧为2，将16x16尺寸的cu直接输出最后cu尺寸决定。
[0090]
s7.将s4～s6中得到的最终cu尺寸决定进行后续编码处理，上述后续编码处理在hevc标准参考软件hm16.20中进行。
[0091]
在本技术方案中，首先以平均绝对偏差m表征当前64x64尺寸cu的纹理复杂度，基于不同量化参数qp设定下64x64尺寸cu分裂为32x32尺寸cu的情况与平均绝对偏差m的关系，得到64x64尺寸cu的划分阈值t；然后利用m与t的大小对比关系来决定64x64尺寸cu是否分割为32x32尺寸cu，能够将纹理简单的64x64尺寸cu提起终止分割，降低了算法的计算复杂度；接着利用纹理复杂度和编码单元深度depth的关联性，分别构建a神经网络和b神经网络并训练，分割为32x32 尺寸cu输入训练好的a神经网络，利用a神经网络判断32x32尺寸cu是否分割为 16x16尺寸cu，再将分割为16x16尺寸cu输入训练好的b神经网络，利用b神经网络判断16x16尺寸cu是否分割为8x8尺寸cu，针对不同cu尺寸的分割情况提出了不同的方法，64x64尺寸cu的分割利用划分阈值t判断，32x32尺寸cu的分割利用a神经网络判断，16x16尺寸cu利用b神经网络判断，保证了不同cu尺寸的分割情况的准确性；最后根据不同cu尺寸的分割情况得到的最终cu尺寸决定，来进行后续编码处理，降低hevc帧内编码的计算复杂度，缩短编码时间。
[0092]
实施例2
[0093]
图3表示本发明实施例中提出的a神经网络结构图，如图3所示，a神经网络包括依次相连的第一卷积块、第二卷积块、第三卷积块、第四卷积块、第五卷积块、全连接层以及输出层；第一卷积块由一个卷积层组成，第二卷积块、第三卷积块、第四卷积块、第五卷积块中的每一个均由两个卷积层组成，并且这两个卷积层参数设置一样；参见图4，第一卷积块设定为64个卷积核，卷积核的大小为 7x7；第二卷积块设定为64个卷积核，卷积核的大小为3x3；第三卷积块设定为128 个卷积核，卷积核大小为3x3；第四卷积块设定为256个卷积核，卷积核大小为3x3；第五卷积块设定为512个卷积核，卷积核大小为3x3；
[0094]
全连接层包括两个隐藏层，输出层采用softmax函数激活，使输出层输出值映射在(0，1)之间，输出层输出值为32x32尺寸cu分割的概率，输出层输出值的类别标签为“0”和“1”，“0”表示不分割，“1”表示分割，选取输出值概率最大时对应的类别标签作为预测结果，若预测结果为分割，令编码单元深度depth加一，将32x32尺寸cu分割为4个16x16尺寸cu；否则，32x32尺寸cu不分割，利用纹理复杂度和深度学习的关联性，引入a神经网络去预测判断32x32尺寸cu是否分割，避免了再次采取阈值判断32x32尺寸cu分割的情况，保证对于32x32尺寸cu 纹理复杂区域判断的准确性，本实施例中a神经网络测试集准确率为78.32％。
[0095]
参见图1，在步骤s1中视频集随机分为90％的训练集、5％的验证集和5％的测试集，在步骤s5中通过训练集训练a神经网络，通过验证集验证a神经网络，并通过测试集测试a神经网络；训练a神经网络时使用的损失函数loss function(lf) 为分类交叉熵，公式如下：
[0096][0097]
其中，n为训练a神经网络中cu块的个数，为a神经网络模型的第i个预测，为a神经网络模型的第i个预测对应的目标；训练后的a神经网络用测试集测试，设置预测准确率阈值，利用测试集测试a神经网络时，若a神经网络的预测准确率大于预测准确率阈值时，停止训练，得到训练好的a神经网络。利用损失函数loss function(lf)训练a神经网络，损失函数的值反映a神经网络与实际数据之间的差距，损失值(loss值)越低时表示当前预测的值和标签值之间差距小，方便代码修改和后续优化。
[0098]
实施例3
[0099]
如图5所示，b神经网络包括第一层卷积层、第二层卷积层、池化层、第三层卷积层、第四层卷积层、全连接层以及输出层；第一层卷积层设定为32个卷积核，卷积核的大小为3x3；第二层卷积层设定为64个卷积核，卷积核的大小为3x3；池化层设定为avgpool操作，池化内核大小为2x2；第三层卷积层设定为64个卷积核，卷积核的大小为2x2；第四层卷积层设定为128个卷积核，卷积核的大小为2x2；
[0100]
全连接层包括两个隐藏层，在第二个隐藏层和输出层之间以50％的概率随机丢失：输出层采用sigmoid函数激活，使输出层输出值位于(0，1)之间，输出层输出值为16x16尺寸cu分割的概率，判断分割概率是否大于50％，若是输出层输出值概率大于50％，若是，令编码单元深度depth加一，将16x16尺寸cu分割为 4个8x8尺寸cu；否则，16x16尺寸cu不分割。利用纹理复杂度和深度学习的关联性，引入b神经网络去预测判断16x16尺寸cu是否分割，避免了再次采取阈值判断16x16尺寸cu分割的情况，保证对于16x16尺寸cu纹理复杂区域判断的准确性，本实施例中b神经网络测试集准确率为72.16。
[0101]
参见图1，在步骤s1中视频集随机分为90％的训练集、5％的验证集和5％的测试集，通过训练集训练b神经网络，通过验证集验证b神经网络，并通过测试集测试b神经网络；
[0102]
训练b神经网络时使用的损失函数loss function(lf)为分类交叉熵，公式如下：
[0103][0104]
其中n为训练b神经网络中cu块的个数，x[i]为b神经网络模型的第i个目标值，y[i]为b神经网络模型的第i个预测值；训练后的b神经网络用测试集测试，设置预测准确率阈值，利用测试集测试b神经网络时，若b神经网络的预测准确率大于预测准确率阈值时，停止训练，得到训练好的b神经网络。
[0105]
实施例4
[0106]
如图6所示，一种高效率视频编码帧内ctu划分的系统，包括
[0107]
数据集制作模块11，用于采集图像数据集，以图像数据集制作不同分辨率的视频集；
[0108]
编码单元划分模块12，用于设定不同的量化参数qp，提取不同量化参数qp 设定下的视频集中视频帧内编码单元cu大小划分的四种情况，分别为64x64尺寸 cu、32x32尺寸cu、16x16尺寸cu、8x8尺寸cu；
[0109]
划分阈值确定模块13，以平均绝对偏差m表征当前64x64尺寸cu的纹理复杂度，确
定在不同量化参数qp设定下64x64尺寸cu分裂为32x32尺寸cu的情况与m 的关系，得到64x64尺寸cu的划分阈值t；
[0110]
判断模块14，用于设定编码单元深度depth初值为0，判断m是否小于或等于t，若是，则64x64尺寸cu不分割，输出64x64尺寸cu作为最终cu尺寸决定；否则，令编码单元深度depth加一，将64x64尺寸cu分割成4个32x32尺寸cu；
[0111]
a神经网络构建处理模块15，用于构建a神经网络并训练，将每一个32x32 尺寸cu输入训练好的a神经网络，利用a神经网络判断32x32尺寸cu是否分割，若是，令编码单元深度depth加一，将32x32尺寸cu分割为4个16x16尺寸cu；否则，输出32x32尺寸cu作为最终cu尺寸决定；
[0112]
b神经网络构建处理模块16，用于构建b神经网络并训练，将每一个16x16尺寸cu输入训练好的b神经网络，利用b神经网络判断16x16尺寸是否分割，若是，令编码单元深度depth加一，将16x16尺寸cu分割为4个8x8尺寸cu，输出8x8尺寸 cu作为最终cu尺寸决定；否则，输出16x16尺寸cu作为最终cu尺寸决定；
[0113]
编码处理模块17，用于将判断模块、a神经网络构建处理模块、a神经网络构建处理模块中得到的最终cu尺寸决定进行后续编码处理，所述编码处理模块封装于hevc标准参考软件hm16.20中。
[0114]
显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。