一种基于分类的内容自适应下采样视频编码优化方法

技术特征：
1.一种基于分类的内容自适应下采样视频编码优化方法，其特征在于，包括：对视频序列重复编码后进行率失真性能比较，标记其适用于原分辨率直接编码或下采样后编码的标签；将完成标记的所述视频序列分为训练视频序列和测试视频序列；提取所述训练视频序列和所述测试视频序列的空间特征、时间特征以及同时包含空间信息和时间信息的空时特征；采用支持向量机对所述训练视频序列按标签进行二分类，获得训练模型；采用所述训练模型对所述测试视频序列进行标签预测，获得测试模型；将待编码视频序列输入所述训练模型进行预测，判断视频是否需要进行下采样处理。2.根据权利要求1所述的基于分类的内容自适应下采样视频编码优化方法，其特征在于，所述对视频序列重复编码后进行率失真性能比较，标记其适用于原分辨率直接编码或下采样后编码的标签，包括：选择五个量化参数，对所述视频序列按原分辨率直接进行编码，计算其基于峰值信噪比psnr和视频质量指标vmaf的编码质量，并绘制其率失真曲线；选择五个量化参数，对所述视频序列进行2倍下采样后进行编码，在解码后将视频上采样至原始分辨率，并计算其基于峰值信噪比psnr和视频质量指标vmaf的编码质量，并绘制其率失真曲线；比较直接编码和下采样后编码的率失真曲线，分别标记所述视频序列的标签，将直接编码获得更优质量的视频标记为直接编码de，将下采样后编码获得更优质量的视频标记为下采样编码dse。3.根据权利要求2所述的基于分类的内容自适应下采样视频编码优化方法，其特征在于，所述选择五个量化参数，包括：在直接编码的过程中，量化参数集选取为{36,37,38,39,40}，共五个量化参数；在下采样后编码的过程中，量化参数集选取为{28,29,30,31,32}，共五个量化参数。4.根据权利要求2所述的基于分类的内容自适应下采样视频编码优化方法，其特征在于，所述对视频序列进行2倍下采样后编码与解码后将视频上采样至原始分辨率，包括：使用lanczos滤波器对所述视频序列进行2倍下采样；采用支持libx265类库的ffmpeg工具对完成下采样的视频序列进行编解码；使用lanczos滤波器对完成编解码的视频序列上采样。5.根据权利要求1所述的基于分类的内容自适应下采样视频编码优化方法，其特征在于，所述空间特征，包括：归一化的空间信息s、空间掩蔽效应sp和视频空间分辨率re；所述归一化后的空间信息s：其中，br0是待编码视频序列的码率，si是空间信息：si＝median{std(sobel(f
n
))}其中，f
n
表示视频序列的第n帧，sobel表示索贝尔算子，std表示对滤波后的视频帧进行标准差计算，median表示对每一个视频帧的标准差选取中值；
所述空间掩蔽效应sp：其中，w表示视频帧的宽度，h表示视频帧的高度，s(i，j)表示坐标(i，j)处的像素级空间掩蔽效应：其中，y(i，j)表示视频帧的一个像素，x(i，j)表示y(i，j)邻近像素的向量，c
yx
表示局部区域像素集y
s
和向量集x
s
的互相关矩阵，表示自相关矩阵c
x
的伪逆矩阵。其中，视频帧内m个像素点的相关矩阵c
yx
、c
x
可计算为：可计算为：所述时间特征，包括：归一化的时间信息t和视频的帧率fr；所述归一化的时间信息t：其中，ti是时间信息：ti＝median{std(f
n-f
n-1
)}所述同时包含空间和时间信息的空时特征，包括：待编码视频序列的码率br0和场景临界cri；所述场景临界cri：cri＝log
10
{∑(si
n
×
ti
n
)/l}其中，si
n
和ti
n
分别表示第n帧的si和ti，l表示视频序列的总帧数。6.根据权利要求1所述的基于分类的内容自适应下采样视频编码优化方法，其特征在于，所述将完成标记的所述视频序列分为训练视频序列和测试视频序列，包括：将完成标记的所述视频序列随机划分出80％序列作为训练视频序列；将所述视频序列中剩余的20％序列作为测试视频序列。7.根据权利要求5所述的基于分类的内容自适应下采样视频编码优化方法，其特征在于，所述采用支持向量机对训练视频序列按标签进行二分类，获得训练模型，包括：提取所述训练视频序列的归一化的空间信息s、空间掩蔽效应sp、视频空间分辨率re、归一化的时间信息t、视频的帧率fr、待编码视频序列的码率br0和场景临界cri，共计七种视频内容特征；将所述训练视频序列的标签和所述七种视频内容特征作为训练数据，输入支持向量机，并选择高斯核函数进行二分类训练，获得训练模型。8.根据权利要求7所述的基于分类的内容自适应下采样视频编码优化方法，其特征在于，所述采用所述训练模型对测试视频序列进行标签预测，获得测试模型，包括：提取所述测试视频序列的所述七种视频内容特征；
将所述测试视频序列的标签和所述七种视频内容特征作为测试数据；输入训练得到的所述训练模型进行二分类测试，获得测试模型。9.根据权利要求2所述的基于分类的内容自适应下采样视频编码优化方法，其特征在于，所述将待编码视频序列输入所述训练模型进行预测，判断视频是否需要进行下采样处理，包括：将所述待编码视频序列输入所述训练模型；所述训练模型输出对应分标签；若所述标签为下采样编码dse，则表示需要下采样处理；若所述标签为直接编码de，则表示不需要下采样处理。10.根据权利要求1-9任一项所述的基于分类的内容自适应下采样视频编码优化方法，其特征在于，所述训练模型包括两种分类器，其中：第一种分类器是针对多种分辨率的通用模型；该模型的训练视频序列包括4种分辨率的视频序列，测试视频序列同样包括4种分辨率的视频序列，经过训练测试得到1个适用于多种分辨率的分类模型；第二种分类器是针对单个分辨率的特定分辨率模型；该模型的训练视频序列与测试视频训练均仅包括1种分辨率的视频序列，经过测试训练得到4个针对不同分辨率的分类模型；第二种分类器在训练与测试过程中，所使用的空间特征可省略视频空间分辨率re。

技术总结
本发明提供一种基于分类的内容自适应下采样视频编码优化方法，包括：确定数据库中每个待编码视频序列的标签，标记其适用于原分辨率直接编码或下采样后编码；提取训练和测试视频序列的特征；采用支持向量机对训练视频序列按标签进行分类，获得训练模型；采用训练模型对测试视频序列进行标签预测，获得测试模型；对测试模型进行准确性与性能分析。本发明结合支持向量机与特征提取算法，实现在保证编码质量的同时，自适应地选择待编码序列的分辨率，进一步节省了码率资源，具有流程简单、算法时间复杂度低、视频分类准确性高等优点。视频分类准确性高等优点。视频分类准确性高等优点。


技术研发人员：杨超 覃思倩 安平
受保护的技术使用者：上海大学
技术研发日：2022.06.16
技术公布日：2022/9/13