视频处理方法及装置、电子设备与计算机程序产品与流程

本公开涉及视频编解码，具体而言，涉及一种视频处理方法、视频处理装置、电子设备以及计算机程序产品。

背景技术：

1、随着超高清视频的广泛应用，视频数据量快速增长，对视频存储和传输带宽提出了更高要求。视频编码技术是利用压缩算法减少图像数据冗余的数字处理技术，核心目标是在保持画质的前提下降低数据量，便于存储和传输。视频压缩编码技术可以分为无损压缩和有损压缩两大类。无损压缩也称为可逆编码，指使用压缩后的数据进行重构（即解压缩）时，重构后的数据与原来的数据完全相同。有损压缩也称为不可逆编码，指使用压缩后的数据进行重构（即解压缩）时，重构后的数据与原来的数据有差异，但不影响人们对原始资料所表达的信息造成误解。

2、例如，基于重采样的视频编码技术通过编码端下采样、解码端上采样，有效降低了码率，但是不可避免地会增大失真。其中，重采样倍率是权衡码率节省和质量失真程度的重要因素，决定了整体的压缩性能。在vvc标准测试软件（vvc test model，vtm）的既有框架中，通过基于图像组（group of pictures，gop）的参考图像重采样（reference pictureresampling，rpr）工具来实现重采样编码。

3、需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本公开的目的在于提供一种视频处理方法、视频处理装置、电子设备、计算机可读存储介质以及计算机程序产品，进而至少在一定程度上克服参考图像重采样编码方案中重采样倍率候选空间有限，难以适应不同视频内容和编码条件的问题。

2、本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

3、根据本公开的第一方面，提供一种视频处理方法，包括：获取待处理视频，所述待处理视频包括视频帧集合，所述视频帧集合包括待处理视频帧的视频编码参考信息；获取预先配置的编码配置参数，所述编码配置参数包括多个候选重采样倍率，所述候选重采样倍率基于预先配置的候选分辨率确定；根据所述视频编码参考信息，从所述多个候选重采样倍率中确定所述视频帧集合对应的目标重采样倍率；基于所述目标重采样倍率对所述待处理视频帧进行下采样处理，对经过所述下采样处理的待处理视频帧进行编码处理，得到编码视频帧。

4、在本公开的一种示例性实施方式中，所述编码配置参数包括参考图像重采样配置参数与索引标识序列，所述获取预先配置的编码配置参数，包括：确定视频编码操作对应的候选分辨率，根据所述候选分辨率确定所述候选重采样倍率；基于所述候选重采样倍率构建参考图像重采样配置参数；基于所述候选重采样倍率构建候选图像参数集，并创建所述候选图像参数集对应的索引标识序列；根据所述参考图像重采样配置参数与所述索引标识序列，构建所述编码配置参数。

5、在本公开的一种示例性实施方式中，所述基于所述候选重采样倍率构建参考图像重采样配置参数，包括：确定所述候选重采样倍率的数量，基于所述候选重采样倍率构建重采样倍率列表，所述候选重采样倍率的数量与所述候选分辨率的数量相同；构建所述候选重采样倍率对应的亮度偏移列表与色度偏移列表，所述候选重采样倍率的数量、所述亮度偏移列表的第一元素数量与所述色度偏移列表的第二元素数量相同。

6、在本公开的一种示例性实施方式中，所述基于所述候选重采样倍率构建候选图像参数集，并创建所述候选图像参数集对应的索引标识序列，包括：根据所述候选重采样倍率的数量构建初始索引标识数组；确定各候选重采样倍率对应的图像参数集；将原始分辨率对应的图像参数集标识作为基准索引标识，根据所述基准索引标识确定各所述候选重采样倍率的图像参数集对应的扩展索引标识；将所述基准索引标识与所述扩展索引标识存储至所述初始索引标识数组中，得到所述索引标识序列。

7、在本公开的一种示例性实施方式中，所述根据所述视频编码参考信息，从所述多个候选重采样倍率中确定所述视频帧集合对应的目标重采样倍率，包括：获取预先训练的倍率决策模型，所述倍率决策模型基于候选视频编码特征信息与多个所述候选分辨率对应的候选编解码方案训练得到，所述候选编解码方案包括候选下采样倍率与匹配的候选上采样方案标识；由所述倍率决策模型基于所述视频编码参考信息，确定所述视频帧集合对应的所述目标重采样倍率与目标上采样方案标识。

8、在本公开的一种示例性实施方式中，所述视频帧集合包括至少一待处理视频帧，所述基于所述目标重采样倍率对所述待处理视频帧进行下采样处理，对经过所述下采样处理的待处理视频帧进行编码处理，得到编码视频帧，包括：对所述编码配置参数进行初始化处理，得到候选视频编码参数；基于所述目标重采样倍率与所述候选视频编码参数，确定初始视频编码参数；对所述初始视频编码参数进行参数调整处理，得到目标视频编码参数；基于所述目标重采样倍率对所述待处理视频帧进行下采样处理，得到经过所述下采样处理的待处理视频帧；基于所述目标视频编码参数对经过所述下采样处理的待处理视频帧进行编码处理，得到编码视频帧。

9、在本公开的一种示例性实施方式中，所述目标视频编码参数包括目标亮度量化参数，所述对所述初始视频编码参数进行参数调整处理，得到目标视频编码参数，包括：响应于图像级参数计算指令，基于所述初始视频编码参数确定初始亮度量化参数，以及所述视频帧集合对应的第一图像参数集标识；响应于所述第一图像参数集标识位于索引标识序列，从所述索引标识序列中确定第一目标索引位置；基于所述第一目标索引位置从亮度偏移列表中确定亮度偏移量，根据所述亮度偏移量调整所述初始亮度量化参数，得到所述目标亮度量化参数。

10、在本公开的一种示例性实施方式中，所述目标视频编码参数包括目标色度量化参数，所述对所述初始视频编码参数进行参数调整处理，得到目标视频编码参数，还包括：响应于片层级参数计算指令，确定所述初始视频编码参数对应的初始色度量化参数，以及所述视频帧集合对应的第二图像参数集标识；响应于所述第二图像参数集标识位于索引标识序列，从所述索引标识序列中确定第二目标索引位置；基于所述第二目标索引位置从亮度偏移列表中确定色度偏移量，根据所述色度偏移量调整所述初始色度量化参数，得到所述目标色度量化参数。

11、在本公开的一种示例性实施方式中，所述方法还包括：获取重构像素缓冲区中所述编码视频帧的视频帧尺寸参数，以及各候选分辨率对应的图像参数集对象列表，所述图像参数集对象列表包括至少一参考尺寸参数；将与所述视频帧尺寸参数相同的所述参考尺寸参数，作为目标编码尺寸参数；确定所述目标编码尺寸参数对应的图像参数集标识与目标上采样标识；基于所述图像参数集标识与所述目标上采样标识将所述视频帧集合写入视频码流，所述目标上采样标识用于指示解码端重构所述编码视频帧。

12、根据本公开的第二方面，提供一种视频处理装置，包括：视频获取模块，用于获取待处理视频，所述待处理视频包括视频帧集合，所述视频帧集合包括待处理视频帧的视频编码参考信息；配置参数获取模块，用于获取预先配置的编码配置参数，所述编码配置参数包括多个候选重采样倍率，所述候选重采样倍率基于预先配置的候选分辨率确定；目标倍率确定模块，用于根据所述视频编码参考信息，从所述多个候选重采样倍率中确定所述视频帧集合对应的目标重采样倍率；视频编码模块，用于基于所述目标重采样倍率对所述待处理视频帧进行下采样处理，对经过所述下采样处理的待处理视频帧进行编码处理，得到编码视频帧。

13、在本公开的一种示例性实施方式中，所述编码配置参数包括参考图像重采样配置参数与索引标识序列，所述配置参数获取模块包括配置参数构建单元，用于：确定视频编码操作对应的候选分辨率，根据所述候选分辨率确定所述候选重采样倍率；基于所述候选重采样倍率构建参考图像重采样配置参数；基于所述候选重采样倍率构建候选图像参数集，并创建所述候选图像参数集对应的索引标识序列；根据所述参考图像重采样配置参数与所述索引标识序列，构建所述编码配置参数。

14、在本公开的一种示例性实施方式中，所述配置参数构建单元包括配置参数构建子单元，用于：确定所述候选重采样倍率的数量，基于所述候选重采样倍率构建重采样倍率列表，所述候选重采样倍率的数量与所述候选分辨率的数量相同；构建所述候选重采样倍率对应的亮度偏移列表与色度偏移列表，所述候选重采样倍率的数量、所述亮度偏移列表的第一元素数量与所述色度偏移列表的第二元素数量相同。

15、在本公开的一种示例性实施方式中，所述配置参数构建单元包括标识序列构建子单元，用于：根据所述候选重采样倍率的数量构建初始索引标识数组；确定各候选重采样倍率对应的图像参数集；将原始分辨率对应的图像参数集标识作为基准索引标识，根据所述基准索引标识确定各所述候选重采样倍率的图像参数集对应的扩展索引标识；将所述基准索引标识与所述扩展索引标识存储至所述初始索引标识数组中，得到所述索引标识序列。

16、在本公开的一种示例性实施方式中，所述目标倍率确定模块包括目标倍率确定单元，用于：获取预先训练的倍率决策模型，所述倍率决策模型基于候选视频编码特征信息与多个所述候选分辨率对应的候选编解码方案训练得到，所述候选编解码方案包括候选下采样倍率与匹配的候选上采样方案标识；由所述倍率决策模型基于所述视频编码参考信息，确定所述视频帧集合对应的所述目标重采样倍率与目标上采样方案标识。

17、在本公开的一种示例性实施方式中，所述视频帧集合包括至少一待处理视频帧，所述视频编码模块包括视频编码单元，用于：对所述编码配置参数进行初始化处理，得到候选视频编码参数；基于所述目标重采样倍率与所述候选视频编码参数，确定初始视频编码参数；对所述初始视频编码参数进行参数调整处理，得到目标视频编码参数；基于所述目标重采样倍率对所述待处理视频帧进行下采样处理，得到经过所述下采样处理的待处理视频帧；基于所述目标视频编码参数对经过所述下采样处理的待处理视频帧进行编码处理，得到编码视频帧。

18、在本公开的一种示例性实施方式中，所述目标视频编码参数包括目标亮度量化参数，所述视频编码单元包括第一参数调整子单元，用于：响应于图像级参数计算指令，基于所述初始视频编码参数确定初始亮度量化参数，以及所述视频帧集合对应的第一图像参数集标识；响应于所述第一图像参数集标识位于索引标识序列，从所述索引标识序列中确定第一目标索引位置；基于所述第一目标索引位置从亮度偏移列表中确定亮度偏移量，根据所述亮度偏移量调整所述初始亮度量化参数，得到所述目标亮度量化参数。

19、在本公开的一种示例性实施方式中，所述目标视频编码参数包括目标色度量化参数，所述视频编码单元还包括第二参数调整子单元，用于：响应于片层级参数计算指令，确定所述初始视频编码参数对应的初始色度量化参数，以及所述视频帧集合对应的第二图像参数集标识；响应于所述第二图像参数集标识位于索引标识序列，从所述索引标识序列中确定第二目标索引位置；基于所述第二目标索引位置从亮度偏移列表中确定色度偏移量，根据所述色度偏移量调整所述初始色度量化参数，得到所述目标色度量化参数。

20、在本公开的一种示例性实施方式中，所述视频处理装置还包括码流写入模块，用于：获取重构像素缓冲区中所述编码视频帧的视频帧尺寸参数，以及各候选分辨率对应的图像参数集对象列表，所述图像参数集对象列表包括至少一参考尺寸参数；将与所述视频帧尺寸参数相同的所述参考尺寸参数，作为目标编码尺寸参数；确定所述目标编码尺寸参数对应的图像参数集标识与目标上采样标识；基于所述图像参数集标识与所述目标上采样标识将所述视频帧集合写入视频码流，所述目标上采样标识用于指示解码端重构所述编码视频帧。

21、根据本公开的第三方面，提供一种电子设备，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据上述任意一项所述的视频处理方法。

22、根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据上述任意一项所述的视频处理方法。

23、根据本公开的第五方面，提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任意一项所述的视频处理方法。

24、本公开提供的技术方案可以包括以下有益效果：

25、本公开的示例性实施例中的视频处理方法，一方面，本公开实现了一种任意分辨率的参考图像重采样方案，通过实现任意重采样倍率的编解码处理，支持编码分辨率的精细化选择，在保证视频重建质量的前提下，进一步降低编码码率，提高视频压缩效率。另一方面，通过预先配置的候选分辨率扩展了候选重采样倍率，提高了编码分辨率选择的灵活性和适应性。

26、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。