视频分辨率确定、模型训练、视频编码方法及装置与流程

1.本公开涉及视频技术领域。更具体地，本公开涉及一种视频分辨率确定方法及装置、视频分辨率决策模型的训练方法及装置、视频编码方法及装置。


背景技术：

2.近年来，随着互联网技术不断发展，网络带宽不断增加，高分辨率显示设备逐渐普及，人们对高清视频的需求不断增长。高分辨率视频播放通常需要较高的带宽，低带宽下高分辨率视频质量较差。为了拥有更好的视频播放体验，通常在网速较差的情况下以较低的分辨率对视频进行编码，解码后再由播放设备上采样并播放。高分辨率视频和低分辨率视频之间存在一个带宽临界点，当前带宽高于临界点时，使用高分辨率编码视频质量较好，带宽低于临界点时，使用低分辨率编码视频质量较好。由于各视频内容不同，更优分辨率的带宽临界点也不同，难以判断某个带宽点每个视频的最佳分辨率。更准确的分辨率决策有利于提高视频质量，节省带宽成本。


技术实现要素：

3.本公开的示例性实施例在于提供一种视频分辨率确定方法及装置、视频分辨率决策模型的训练方法及装置，以至少解决相关技术中的视频分辨率确定的问题，也可不解决任何上述问题。
4.根据本公开的示例性实施例，提供一种视频分辨率确定方法，包括：获取多个视频、多个候选分辨率；根据基于所述至少一个候选分辨率对所述视频进行编码的码率，确定所述视频的视频质量评价指标集合和码率集合，其中，所述视频包括至少一个视频；基于所述视频的码率集合确定所述视频的目标码率；基于所述视频的视频质量评价指标集合、码率集合以及所述目标码率，从所述至少一个候选分辨率中确定与所述视频对应的分辨率。
5.可选地，根据基于所述至少一个候选分辨率对所述视频进行编码的码率，确定所述视频的视频质量评价指标集合和码率集合，可包括：根据基于所述至少一个候选分辨率对所述视频进行编码的码率，确定分辨率与预定编码参数的对应关系；基于分辨率与预定编码参数的对应关系确定所述视频的视频质量评价指标集合和码率集合。
6.可选地，根据基于所述至少一个候选分辨率对所述视频进行编码的码率，确定分辨率与预定编码参数的对应关系，可包括：确定以所述至少一个候选分辨率中的第一候选分辨率和预设的第一预定编码参数对所述视频进行编码的平均码率；基于所述平均码率分别确定与所述至少一个候选分辨率中的第一候选分辨率之外的候选分辨率对应的预定编码参数，得到分辨率与预定编码参数的对应关系。
7.可选地，基于所述平均码率分别确定与所述至少一个候选分辨率中的第一候选分辨率之外的候选分辨率对应的预定编码参数，可包括：调整与所述至少一个候选分辨率中的第一候选分辨率之外的候选分辨率对应的预定编码参数，使得以所述至少一个候选分辨率中的第一候选分辨率之外的候选分辨率和对应的预定编码参数对所述视频进行编码的
码率平均值与所述平均码率的差处于预设范围内。
8.可选地，基于分辨率与预定编码参数的对应关系确定所述视频的视频质量评价指标集合和码率集合，可包括：基于分辨率与预定编码参数的对应关系分别以所述至少一个候选分辨率中的每个候选分辨率和对应的预定编码参数对所述视频进行编码，得到所述视频的视频质量评价指标集合和码率集合。
9.可选地，基于所述视频的码率集合确定所述视频的目标码率，可包括：确定所有码率集合中的所有码率的平均值，将所述平均值作为所述目标码率。
10.可选地，基于所述视频的视频质量评价指标集合、码率集合以及所述目标码率，从所述至少一个候选分辨率中确定与所述视频对应的分辨率，可包括：将所述视频的视频质量评价指标集合、码率集合以及所述目标码率输入到动态规划算法中；将动态规划算法的输出作为从所述至少一个候选分辨率中确定的与所述视频对应的分辨率。
11.可选地，预定编码参数可包括恒定码率因子和编码量化参数中的至少一个。
12.可选地，视频质量评价指标集合可以是由所述视频的在所述至少一个候选分辨率中的每个候选分辨率下视频质量评价指标组成的集合，视频质量评价指标可包括客观质量评价指标和/或主观质量分数，客观质量评价指标可包括视频多方法评估融合结果、峰值信噪比图像质量评估结果、结构相似性图像质量评估结果、多尺度结构相似性图像质量评估结果中的至少一个。
13.根据本公开的示例性实施例，提供一种视频分辨率决策模型的训练方法，包括：通过视频分辨率决策模型预测训练视频的分辨率，得到训练视频的预测分辨率；确定训练视频的预测分辨率和训练视频的目标分辨率的差，其中，目标分辨率是预先通过本公开中的视频分辨率确定方法确定的；将所述差作为训练损失对所述视频分辨率决策模型的参数进行调整。
14.根据本公开的示例性实施例，提供一种视频编码方法，包括：将视频输入到视频分辨率决策模型，其中，视频分辨率决策模型是通过本公开中的视频分辨率决策模型的训练方法训练得到的；基于所述视频分辨率决策模型输出的分辨率，对所述视频进行编码。
15.根据本公开的示例性实施例，提供一种视频分辨率确定装置，包括：数据获取单元，被配置为获取多个视频、多个候选分辨率；参数确定单元，被配置为根据基于所述至少一个候选分辨率对所述视频进行编码的码率，确定所述视频的视频质量评价指标集合和码率集合，其中，所述视频包括至少一个视频；目标确定单元，被配置为基于所述视频的码率集合确定所述视频的目标码率；和分辨率确定单元，被配置为基于所述视频的视频质量评价指标集合、码率集合以及所述目标码率，从所述至少一个候选分辨率中确定与所述视频对应的分辨率。
16.可选地，参数确定单元可被配置为：根据基于所述至少一个候选分辨率对所述视频进行编码的码率，确定所述多个视频的分辨率与预定编码参数的对应关系；基于分辨率与预定编码参数的对应关系确定所述视频的视频质量评价指标集合和码率集合。
17.可选地，参数确定单元可被配置为：确定以所述至少一个候选分辨率中的第一候选分辨率和预设的第一预定编码参数对所述视频进行编码的平均码率；基于所述平均码率分别确定与所述至少一个候选分辨率中的第一候选分辨率之外的候选分辨率对应的预定编码参数，得到分辨率与预定编码参数的对应关系。
18.可选地，参数确定单元可被配置为：调整与所述至少一个候选分辨率中的第一候选分辨率之外的候选分辨率对应的预定编码参数，使得以所述至少一个候选分辨率中的第一候选分辨率之外的候选分辨率和对应的预定编码参数对所述视频进行编码的码率平均值与所述平均码率的差处于预设范围内。
19.可选地，参数确定单元可被配置为：基于分辨率与预定编码参数的对应关系分别以所述至少一个候选分辨率中的每个候选分辨率和对应的预定编码参数对所述视频进行编码，得到所述视频的视频质量评价指标集合和码率集合。
20.可选地，目标确定单元可被配置为：确定所有码率集合中的所有码率的平均值，将所述平均值作为所述目标码率。
21.可选地，分辨率确定单元可被配置为：将所述视频的视频质量评价指标集合、码率集合以及所述目标码率输入到动态规划算法中；将动态规划算法的输出作为从所述至少一个候选分辨率中确定的与所述视频对应的分辨率。
22.可选地，预定编码参数可包括恒定码率因子和编码量化参数中的至少一个。
23.可选地，视频质量评价指标集合可以是由所述视频的在所述至少一个候选分辨率中的每个候选分辨率下视频质量评价指标组成的集合，视频质量评价指标可包括客观质量评价指标和/或主观质量分数，客观质量评价指标可包括视频多方法评估融合结果、峰值信噪比图像质量评估结果、结构相似性图像质量评估结果、多尺度结构相似性图像质量评估结果中的至少一个。
24.根据本公开的示例性实施例，提供一种视频分辨率决策模型的训练装置，包括：分辨率预测单元，被配置为通过视频分辨率决策模型预测训练视频的分辨率，得到训练视频的预测分辨率；损失确定单元，被配置为确定训练视频的预测分辨率和训练视频的目标分辨率的差，其中，目标分辨率是预先通过本公开中的视频分辨率确定方法确定的；和参数调整单元，被配置为将所述差作为训练损失对所述视频分辨率决策模型的参数进行调整。
25.根据本公开的示例性实施例，提供一种视频编码装置，包括：视频输入单元，被配置为将视频输入到视频分辨率决策模型，其中，视频分辨率决策模型是通过本公开中的视频分辨率决策模型的训练方法训练得到的；和视频编码单元，被配置为基于所述视频分辨率决策模型输出的分辨率，对所述视频进行编码。
26.根据本公开的示例性实施例，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现根据本公开的示例性实施例的视频分辨率确定方法、视频分辨率决策模型的训练方法。
27.根据本公开的示例性实施例，提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被电子设备的处理器执行时，使得电子设备执行根据本公开的示例性实施例的视频分辨率确定方法、视频分辨率决策模型的训练方法。
28.根据本公开的示例性实施例，提供一种计算机程序产品，包括计算机程序/指令，当所述计算机程序/指令被处理器执行时，实现根据本公开的示例性实施例的视频分辨率确定方法、视频分辨率决策模型的训练方法。
29.本公开的实施例提供的技术方案至少带来以下有益效果：
30.实现在同码率下选择更优的分辨率，从而提高视频质量，并且降低带宽成本；
31.基于动态规划算法进行求解，获取在给定码率条件下平均客观质量最高的分辨率
决策方案；
32.通过建立分类模型对最佳分辨率进行预测，避免了多次编码带来的高计算复杂度，从而增加了实用性。
33.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
34.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
35.图1示出本公开的示例性实施例可以应用于其中的示例性系统架构。
36.图2示出根据本公开的示例性实施例的视频分辨率确定方法的流程图。
37.图3示出根据本公开的示例性实施例的视频分辨率决策模型的训练方法的流程图。
38.图4示出根据本公开的另一示例性实施例的视频编码方法的流程图。
39.图5示出根据本公开的示例性实施例的视频分辨率确定装置的框图。
40.图6示出根据本公开的示例性实施例的视频分辨率决策模型的训练装置的框图。
41.图7示出根据本公开的另一示例性实施例的视频编码装置的框图。
42.图8是根据本公开的示例性实施例的电子设备800的框图。
具体实施方式
43.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
44.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
45.在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括a和b之中的至少一个”即包括如下三种并列的情况：(1)包括a；(2)包括b；(3)包括a和b。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。
46.在相关技术中，首选选取不同复杂度的热门视频作为数据集，对数据集中的视频以不同分辨率、不同码率进行编码，并计算数据集中视频的平均码率、平均质量。绘制不同分辨率的质量-码率曲线。通常高分辨率视频质量在高码率段显著优于低分辨率视频，在低分辨率段劣于低分辨率视频，因此两条质量-码率曲线存在一个交点。可以计算交点处的码率，作为分辨率切换阈值。每两个分辨率之间计算一个切换阈值，当前带宽高于此阈值时使用高分辨率编码，低于此阈值时使用低分辨率编码。
47.然而，由于未考虑某带宽下最佳分辨率与视频内容间的关系，因此，用于切换分辨率的带宽阈值根据数据集平均值进行计算，对于某个带宽点，仅可使用某种固定分辨率，难以根据每个视频内容进行自适应调整。
48.下面，将参照图1至图8具体描述根据本公开的示例性实施例的视频分辨率确定方法及装置、视频分辨率决策模型的训练方法及装置、视频编码方法及装置。
49.图1示出本公开的示例性实施例可以应用于其中的示例性系统架构100。
50.如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息(例如，视频分辨率确定请求、视频编码请求、视频分辨率决策模型的训练请求)等。终端设备101、102、103上可以安装有各种视频应用。终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏并且能够进行音视频播放、录制、编辑等的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中，其可以实现成多个软件或软件模块(例如，用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
51.终端设备101、102、103可以安装有图像采集装置(例如，摄像头)，以采集视频数据。实践中，组成视频的最小视觉单位是帧(frame)。每一帧是一幅静态的图像。将时间上连续的帧序列合成到一起便形成动态视频。此外，终端设备101、102、103也可以安装有用于将电信号转换为声音的组件(例如，扬声器)以播放声音，并且还可以安装有用于将模拟音频信号转换为数字音频信号的装置(例如，麦克风)以采集声音。
52.服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上所安装的多媒体应用提供支持的后台服务器。后台服务器可以对所接收到的视频分辨率确定请求、视频编码请求、视频分辨率决策模型的训练请求等数据进行解析、存储等处理。
53.需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如，用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
54.需要说明的是，本公开实施例所提供的视频分辨率确定方法、视频分辨率决策模型的训练方法通常由终端设备执行，但是也可由服务器执行，或者也可以由终端设备和服务器协作执行。相应地，视频分辨率确定装置、视频分辨率决策模型的训练装置可设置在终端设备中、服务器中或者设置在终端设备和服务器两者中。
55.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器，本公开对此并无限制。
56.图2示出根据本公开的示例性实施例的视频分辨率确定方法的流程图。
57.参照图2，在步骤s201，获取至少一个候选分辨率。这里，还获取多个需要确定用于视频编码的分辨率的视频，所述多个视频可组成视频集。例如，可选取多个热门视频，本公开不限于此。例如，可确定m种分辨率作为候选分辨率。可将候选分辨率的集合表示为r＝[r1,r2,
…
,rm]，ri表示第i种候选分辨率，i的最小值为1，最大值为m。作为示例，候选分辨
率可以是720p和576p等。
[0058]
在步骤s202，根据基于所述至少一个候选分辨率对所述视频进行编码的码率，确定所述视频的视频质量评价指标集合和码率集合。这里，所述视频可包括至少一个视频。
[0059]
在本公开的示例性实施例中，在根据基于所述至少一个候选分辨率对所述视频进行编码的码率，确定所述视频的视频质量评价指标集合和码率集合时，可首先根据基于所述至少一个候选分辨率对所述视频进行编码的码率，确定分辨率与预定编码参数的对应关系，然后基于分辨率与预定编码参数的对应关系确定所述视频的视频质量评价指标集合和码率集合。
[0060]
在本公开的示例性实施例中，在根据基于所述至少一个候选分辨率对所述视频进行编码的码率，确定所述多个视频的分辨率与预定编码参数的对应关系时，可首先确定以所述至少一个候选分辨率中的第一候选分辨率和预设的第一预定编码参数对所述多个视频进行编码的平均码率，然后基于所述平均码率分别确定与所述至少一个候选分辨率中的第一候选分辨率之外的候选分辨率对应的预定编码参数，得到分辨率与预定编码参数的对应关系。这里，平均码率是基于一种分辨率对所有视频编码的平均值。
[0061]
在本公开的示例性实施例中，在基于所述平均码率分别确定与所述至少一个候选分辨率中的第一候选分辨率之外的候选分辨率对应的预定编码参数时，可调整与所述至少一个候选分辨率中的第一候选分辨率之外的候选分辨率对应的预定编码参数，使得以所述至少一个候选分辨率中的第一候选分辨率之外的候选分辨率和对应的预定编码参数对所述视频进行编码的码率平均值与所述平均码率的差处于预设范围内。
[0062]
在本公开的示例性实施例中，在基于分辨率与预定编码参数的对应关系确定所述视频的视频质量评价指标集合和码率集合时，可基于分辨率与预定编码参数的对应关系分别以所述至少一个候选分辨率中的每个候选分辨率和对应的预定编码参数对所述视频进行编码，得到所述视频的视频质量评价指标集合和码率集合。
[0063]
在本公开的示例性实施例中，视频质量评价指标集合可以是由所述视频的在所述至少一个候选分辨率中的每个候选分辨率下视频质量评价指标组成的集合。视频质量评价指标可包括客观质量评价指标和/或主观质量分数。客观质量评价指标可包括视频多方法评估融合结果、峰值信噪比图像质量评估结果、结构相似性图像质量评估结果、多尺度结构相似性图像质量评估结果中的至少一个。
[0064]
在本公开的示例性实施例中，预定编码参数可包括恒定码率因子和编码量化参数中的至少一个。
[0065]
例如，当选择恒定码率因子作为预定编码参数、选择视频多方法评估融合结果(vmaf)作为视频质量评价指标时，可首先选取候选分辨率r1对应的恒定码率因子(crf值)为c1(例如，候选分辨率720p和576p对应的c1分别被设置为29和26)，对所述多个视频(即视频集中的所有视频)以候选分辨率为r1、crf为c1进行编码，计算所述多个视频(即视频集中的所有视频)的平均码率。然后，调整第i种候选分辨率的crf值为ci，使得对所述多个视频(即视频集中的所有视频)以候选分辨率为ri、crf为ci进行编码的平均码率与以候选分辨率r1、crf c1进行编码的平均码率相近，最终得到每个候选分辨率对应的crf集合表示为c＝[c1,c2,
…
,cm]。ci的数值通过多次编码得出。之后，整理每种候选分辨率使用对应crf编码得到的vmaf和码率，对于每个视频可以得到vmaf集合v＝[v1,v2,
…
,vm]和码率集合b＝
[b1,b2,
…
,bm]。这里，vi表示第i种参数组合的vmaf，bi表示第i种参数组合的码率，i的最小值为1，最大值为m。
[0066]
在步骤s203，基于所述视频的码率集合确定所述视频的目标码率。
[0067]
在本公开的示例性实施例中，在基于所述视频的码率集合确定所述视频的目标码率时，可确定所有码率集合中的所有码率的平均值，将所述平均值作为所述目标码率。
[0068]
在步骤s204，基于所述视频的视频质量评价指标集合、码率集合以及所述目标码率，从所述至少一个候选分辨率中确定与所述视频对应的分辨率。
[0069]
在本公开的示例性实施例中，在基于所述视频的视频质量评价指标集合、码率集合以及所述目标码率，从所述至少一个候选分辨率中确定与所述视频对应的分辨率时，可首先将所述视频的视频质量评价指标集合、码率集合以及所述目标码率输入到动态规划算法中，然后将动态规划算法的输出作为从所述至少一个候选分辨率中确定的与所述视频对应的分辨率。
[0070]
考虑到实际编码中通过多次编码确定最佳分辨率的成本问题，在本技术中考虑将确定最佳分辨率的问题转化为分类任务，建立预测模型对最佳分辨率进行预测。
[0071]
图3示出根据本公开的示例性实施例的视频分辨率决策模型的训练方法的流程图。
[0072]
参照图3，在步骤s301，通过视频分辨率决策模型预测训练视频的分辨率，得到训练视频的预测分辨率。这里，视频分辨率决策模型可以是例如，但不限于，全连接神经网络。作为示例，在通过视频分辨率决策模型预测训练视频的分辨率时，视频分辨率决策模型的输入可以是训练视频、训练视频的复杂度等特征，视频分辨率决策模型的输出可以是多个候选分辨率的分类结果，即，分类出最佳分辨率。
[0073]
在步骤s302，确定训练视频的预测分辨率和训练视频的目标分辨率的差。这里，目标分辨率是预先通过本公开中的视频分辨率确定方法(例如，图2中的视频分辨率确定方法)确定的。
[0074]
在步骤s303，将所述差作为训练损失对所述视频分辨率决策模型的参数进行调整。
[0075]
图4示出根据本公开的另一示例性实施例的视频编码方法的流程图。
[0076]
参照图4，在步骤s401，将视频输入到通过本公开中的视频分辨率决策模型的训练方法训练得到的视频分辨率决策模型中。
[0077]
在步骤s402，基于所述视频分辨率决策模型输出的分辨率，对所述视频进行编码。
[0078]
以上已经结合图1至图4对根据本公开的示例性实施例的视频分辨率确定方法、视频分辨率决策模型的训练方法、视频编码方法进行了描述。在下文中，将参照图5至图7对根据本公开的示例性实施例的视频分辨率确定装置及其单元、视频分辨率决策模型的训练装置及其单元、视频编码装置及其单元进行描述。
[0079]
图5示出根据本公开的示例性实施例的视频分辨率确定装置的框图。
[0080]
参照图5，视频分辨率确定装置包括数据获取单元51、参数确定单元52、目标确定单元53和分辨率确定单元54。
[0081]
数据获取单元51被配置为获取至少一个候选分辨率。
[0082]
参数确定单元52被配置为根据基于所述至少一个候选分辨率对所述视频进行编
码的码率，确定所述视频的视频质量评价指标集合和码率集合。这里，所述视频包括至少一个视频。
[0083]
在本公开的示例性实施例中，视频质量评价指标集合可以是由所述视频的在所述至少一个候选分辨率中的每个候选分辨率下视频质量评价指标组成的集合，视频质量评价指标可包括客观质量评价指标和/或主观质量分数，客观质量评价指标可包括视频多方法评估融合结果、峰值信噪比图像质量评估结果、结构相似性图像质量评估结果、多尺度结构相似性图像质量评估结果中的至少一个。
[0084]
在本公开的示例性实施例中，参数确定单元52可被配置为：根据基于所述至少一个候选分辨率对所述视频进行编码的码率，确定分辨率与预定编码参数的对应关系；基于分辨率与预定编码参数的对应关系确定所述视频的视频质量评价指标集合和码率集合。
[0085]
在本公开的示例性实施例中，预定编码参数可包括恒定码率因子和编码量化参数中的至少一个。
[0086]
在本公开的示例性实施例中，参数确定单元52可被配置为：确定以所述至少一个候选分辨率中的第一候选分辨率和预设的第一预定编码参数对所述视频进行编码的平均码率；基于所述平均码率分别确定与所述至少一个候选分辨率中的第一候选分辨率之外的候选分辨率对应的预定编码参数，得到分辨率与预定编码参数的对应关系。
[0087]
在本公开的示例性实施例中，参数确定单元52可被配置为：调整与所述至少一个候选分辨率中的第一候选分辨率之外的候选分辨率对应的预定编码参数，使得以所述至少一个候选分辨率中的第一候选分辨率之外的候选分辨率和与所述至少一个候选分辨率中的第一候选分辨率之外的候选分辨率对应的预定编码参数对所述视频进行编码的码率平均值与所述平均码率的差处于预设范围内。
[0088]
在本公开的示例性实施例中，参数确定单元52可被配置为：基于分辨率与预定编码参数的对应关系分别以所述至少一个候选分辨率中的每个候选分辨率和对应的预定编码参数对所述视频进行编码，得到所述视频的视频质量评价指标集合和码率集合。
[0089]
目标确定单元53被配置为基于所述视频的码率集合确定所述视频的目标码率。
[0090]
在本公开的示例性实施例中，目标确定单元53可被配置为：确定所有码率集合中的所有码率的平均值，将所述平均值作为所述目标码率。
[0091]
分辨率确定单元54被配置为基于所述视频的视频质量评价指标集合、码率集合以及所述目标码率，从所述至少一个候选分辨率中确定与所述视频对应的分辨率。
[0092]
在本公开的示例性实施例中，分辨率确定单元54可被配置为：将所述视频的视频质量评价指标集合、码率集合以及所述目标码率输入到动态规划算法中；将动态规划算法的输出作为从所述至少一个候选分辨率中确定的与所述视频对应的分辨率。
[0093]
图6示出根据本公开的示例性实施例的视频分辨率决策模型的训练装置的框图。
[0094]
参照图6，视频分辨率决策模型的训练装置包括分辨率预测单元61、损失确定单元62和参数调整单元63。
[0095]
分辨率预测单元61被配置为通过视频分辨率决策模型预测训练视频的分辨率，得到训练视频的预测分辨率。
[0096]
损失确定单元62被配置为确定训练视频的预测分辨率和训练视频的目标分辨率的差。这里，目标分辨率是预先通过本公开中的视频分辨率确定方法确定的。
[0097]
参数调整单元63被配置为将所述差作为训练损失对所述视频分辨率决策模型的参数进行调整。
[0098]
图7示出根据本公开的另一示例性实施例的视频编码装置的框图。
[0099]
参照图7，视频编码装置包括视频输入单元71和视频编码单元72。
[0100]
视频输入单元71被配置为将视频输入到视频分辨率决策模型，其中，视频分辨率决策模型是通过本公开中的视频分辨率决策模型的训练方法训练得到的。
[0101]
视频编码单元72被配置为基于所述视频分辨率决策模型输出的分辨率，对所述视频进行编码。
[0102]
关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0103]
以上已经结合图5至图7对根据本公开的示例性实施例的视频分辨率确定装置、视频分辨率决策模型的训练装置、视频编码装置进行了描述。接下来，结合图8对根据本公开的示例性实施例的电子设备进行描述。
[0104]
图8是根据本公开的示例性实施例的电子设备800的框图。
[0105]
参照图8，电子设备800包括至少一个存储器801和至少一个处理器802，所述至少一个存储器801中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器802执行时，执行根据本公开的示例性实施例的视频分辨率确定的方法、视频分辨率决策模型的训练方法。
[0106]
在本公开的示例性实施例中，电子设备800可以是pc计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备800并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备800还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。
[0107]
在电子设备800中，处理器802可包括中央处理器(cpu)、图形处理器(gpu)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
[0108]
处理器802可运行存储在存储器801中的指令或代码，其中，存储器801还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。
[0109]
存储器801可与处理器802集成为一体，例如，将ram或闪存布置在集成电路微处理器等之内。此外，存储器801可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器801和处理器802可在操作上进行耦合，或者可例如通过i/o端口、网络连接等互相通信，使得处理器802能够读取存储在存储器中的文件。
[0110]
此外，电子设备800还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备800的所有组件可经由总线和/或网络而彼此连接。
[0111]
根据本公开的示例性实施例，还提供一种包括指令的计算机可读存储介质，例如包括指令的存储器801，上述指令可由装置800的处理器802执行以完成上述方法。可选地，计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储
设备等。
[0112]
根据本公开的示例性实施例，还可提供一种计算机程序产品，该计算机程序产品包括计算机程序/指令，当所述计算机程序/指令被处理器执行时，实现根据本公开的示例性实施例的视频分辨率确定的方法。
[0113]
以上已参照图1至图8描述了根据本公开的示例性实施例的视频分辨率确定方法及装置。然而，应该理解的是：图5至图7中所示的视频分辨率确定装置及其单元可分别被配置为执行特定功能的软件、硬件、固件或上述项的任意组合，图8中所示的电子设备并不限于包括以上示出的组件，而是可根据需要增加或删除一些组件，并且以上组件也可被组合。
[0114]
根据本公开的视频分辨率确定方法及装置，通过获取至少一个候选分辨率，根据基于所述至少一个候选分辨率对所述视频进行编码的码率，确定所述视频的视频质量评价指标集合和码率集合，基于所述视频的码率集合确定所述视频的目标码率，基于所述视频的视频质量评价指标集合、码率集合以及所述目标码率，从所述至少一个候选分辨率中确定与所述视频对应的分辨率，从而可实现在同码率下选择更优的分辨率，进而提高视频质量，并且降低带宽成本。
[0115]
此外，根据本公开的视频分辨率确定方法及装置，可基于动态规划算法进行求解，获取在给定码率条件下平均客观质量最高的分辨率决策方案。
[0116]
此外，根据本公开的视频编码方法及装置，可通过建立分类模型对最佳分辨率进行预测，避免了多次编码带来的高计算复杂度，从而增加了实用性。
[0117]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0118]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。