视频处理方法、装置、电子设备及存储介质与流程

1.本公开涉及信号处理领域，尤其涉及一种视频处理方法、装置、电子设备及存储介质。


背景技术：

2.视频超分辨技术在视频处理领域有着重要的应用价值，可以将低分辨率、低质量的视频进行处理，得到高质量、高分辨率的视频，从而提升视频主观和客观质量。
3.目前不论是基于深度学习的视频超分辨技术还是传统的超分辨技术，往往是将视频先解码成视频帧，然后对于视频帧进行逐帧处理，最后将处理好的视频帧编码成视频作为最后的输出结果。
4.由于连续的视频帧之间内容差异较小，逐帧处理的方法会重复计算大量的重复内容，造成计算量的浪费，从而导致视频处理速度慢。


技术实现要素：

5.本公开提供一种视频处理方法、装置电子设备及存储介质，以至少解决相关技术中的在提高视频分辨率的过程中计算量大、视频处理速度慢的问题。
6.根据本公开实施例的第一方面，提供了一种视频处理方法，所述视频处理方法包括：获取第一视频的视频帧组，其中，所述视频帧组被分为参考帧和非参考帧；获取所述深度神经网络模型针对参考帧的特征输出结果；基于所述深度神经网络模型针对参考帧的特征输出结果，获取所述深度神经网络模型针对非参考帧的特征输出结果；基于所述深度神经网络模型针对参考帧和非参考帧的特征输出结果获得第二视频，其中，第二视频的分辨率大于第一视频的分辨率。
7.可选地，所述基于所述深度神经网络模型针对参考帧的特征输出结果，获取所述深度神经网络模型针对非参考帧的特征输出结果，包括：通过以下方式来获取所述深度神经网络模型针对非参考帧的特征输出结果：确定非参考帧与参考帧相比的特征变化区域和非特征变化区域，获取深度神经网络模型针对所述特征变化区域的第一特征输出结果，基于针对参考帧的特征输出结果获得所述深度网络模型针对所述非特征变化区域的第二特征输出结果，并基于第一特征输出结果和第二特征输出结果获得所述深度神经网络模型针对非参考帧的特征输出结果。
8.可选地，所述获取所述深度神经网络模型针对参考帧的特征输出结果，包括：获取参考帧在所述深度神经网络模型中的每一层网络的特征输出结果，其中，所述深度神经网络模型包括n层网络，其中，n是大于1的正整数；
9.所述通过以下方式来获取所述深度神经网络模型针对非参考帧的特征输出结果，包括：确定非参考帧与参考帧相比在所述深度神经网络模型的第i-1层网络的特征变化区域和非特征变化区域，在第i层网络中仅对特征变化区域执行卷积操作来获得第i层网络针对特征变化区域的第一特征输出结果，基于参考帧在第i层网络的特征输出结果来获得第i
层网络针对非特征变化区域的第二特征输出结果，并且基于第一特征输出结果和第二特征输出结果获取非参考帧在第i层网络的特征输出结果，其中，2≤i≤n；
10.所述基于所述深度神经网络模型针对参考帧和非参考帧的特征输出结果获得第二视频，包括：基于参考帧和非参考帧在所述深度神经网络模型的第n层网络的特征输出结果获得第二视频。
11.可选地，所述获取视频帧组，包括：获取第一视频，对第一视频进行解码得到至少一个视频帧组，并将每个视频帧组中的视频帧划分为参考帧和非参考帧。
12.可选地，所述确定非参考帧与参考帧相比在所述深度神经网络模型的第i-1层网络的特征变化区域和非特征变化区域，包括：根据非参考帧在第i-1层网络的特征输出结果与参考帧在第i-1层网络的特征输出结果，确定所述特征变化区域和所述非特征变化区域。
13.可选地，所述根据非参考帧在第i-1层网络的特征输出结果与参考帧在第i-1层网络的特征输出结果，确定所述特征变化区域和所述非特征变化区域，包括：计算非参考帧在第i-1层网络的特征输出结果与参考帧在第i-1层网络的特征输出结果之间的特征差；基于所述特征差获得单通道的二进制特征；根据获得的二进制特征确定特征变化区域和非特征变化区域。
14.可选地，所述在第i层网络中仅对特征变化区域执行卷积操作来获得第i层网络针对特征变化区域的第一特征输出结果，包括：在第i层网络中利用所述二进制特征对所述特征差执行稀疏卷积来获得第i层网络针对所述特征差的特征输出结果，并且基于所述二进制特征和针对所述特征差的特征输出结果获得第一特征输出结果；
15.其中，所述基于参考帧在第i层网络的特征输出结果来获得第i层网络针对非特征变化区域的第二特征输出结果，包括：基于所述二进制特征和参考帧在第i层网络的特征输出结果来获得第二特征输出结果；
16.其中，所述基于第一特征输出结果和第二特征输出结果获取非参考帧在第i层网络的特征输出结果，包括：通过将第一特征输出结果和第二特征输出结果相加来获得非参考帧在第i层网络的特征输出结果。
17.可选地，所述基于参考帧和非参考帧在所述深度神经网络模型的第n层网络的特征输出结果获得第二视频，包括：对参考帧和非参考帧在第n层网络的特征输出结果进行上采样，并基于上采样后的结果获得第二视频。
18.可选地，所述参考帧是所述视频帧组中的第一个视频帧，所述非参考帧是所述视频帧组中的除第一个视频帧之外的其余视频帧。根据本公开实施例的第二方面，提供了一种视频处理装置，所述视频处理装置包括：视频获取单元，被配置获取第一视频的视频帧组，其中，所述视频帧组被分为参考帧和非参考帧；视频处理单元，被配置为：获取所述深度神经网络模型针对参考帧的特征输出结果；基于所述深度神经网络模型针对参考帧的特征输出结果，获取所述深度神经网络模型针对非参考帧的特征输出结果；基于所述深度神经网络模型针对参考帧和非参考帧的特征输出结果获得第二视频，其中，第二视频的分辨率大于第一视频的分辨率。
19.可选地，所述基于所述深度神经网络模型针对参考帧的特征输出结果，获取所述深度神经网络模型针对非参考帧的特征输出结果，包括：通过以下方式来获取所述深度神经网络模型针对非参考帧的特征输出结果：确定非参考帧与参考帧相比的特征变化区域和
非特征变化区域，获取深度神经网络模型针对所述特征变化区域的第一特征输出结果，基于针对参考帧的特征输出结果获得所述深度网络模型针对所述非特征变化区域的第二特征输出结果，并基于第一特征输出结果和第二特征输出结果获得所述深度神经网络模型针对非参考帧的特征输出结果。
20.可选地，所述获取所述深度神经网络模型针对参考帧的特征输出结果，包括：获取参考帧在所述深度神经网络模型中的每一层网络的特征输出结果，其中，所述深度神经网络模型包括n层网络，其中，n是大于1的正整数；
21.所述通过以下方式来获取所述深度神经网络模型针对非参考帧的特征输出结果，包括：确定非参考帧与参考帧相比在所述深度神经网络模型的第i-1层网络的特征变化区域和非特征变化区域，在第i层网络中仅对特征变化区域执行卷积操作来获得第i层网络针对特征变化区域的第一特征输出结果，基于参考帧在第i层网络的特征输出结果来获得第i层网络针对非特征变化区域的第二特征输出结果，并且基于第一特征输出结果和第二特征输出结果获取非参考帧在第i层网络的特征输出结果，其中，2≤i≤n；
22.所述基于所述深度神经网络模型针对参考帧和非参考帧的特征输出结果获得第二视频，包括：基于参考帧和非参考帧在所述深度神经网络模型的第n层网络的特征输出结果获得第二视频。
23.可选地，所述获取视频帧组，包括：获取第一视频，对第一视频进行解码得到至少一个视频帧组，并将每个视频帧组中的视频帧划分为参考帧和非参考帧。
24.可选地，所述确定非参考帧与参考帧相比在所述深度神经网络模型的第i-1层网络的特征变化区域和非特征变化区域，包括：根据非参考帧在第i-1层网络的特征输出结果与参考帧在第i-1层网络的特征输出结果，确定所述特征变化区域和所述非特征变化区域。
25.可选地，所述根据非参考帧在第i-1层网络的特征输出结果与参考帧在第i-1层网络的特征输出结果，确定所述特征变化区域和所述非特征变化区域，包括：计算非参考帧在第i-1层网络的特征输出结果与参考帧在第i-1层网络的特征输出结果之间的特征差；基于所述特征差获得单通道的二进制特征；根据获得的二进制特征确定特征变化区域和非特征变化区域。
26.可选地，所述在第i层网络中仅对特征变化区域执行卷积操作来获得第i层网络针对特征变化区域的第一特征输出结果，包括：在第i层网络中利用所述二进制特征对所述特征差执行稀疏卷积来获得第i层网络针对所述特征差的特征输出结果，并且基于所述二进制特征和针对所述特征差的特征输出结果获得第一特征输出结果；
27.其中，所述基于参考帧在第i层网络的特征输出结果来获得第i层网络针对非特征变化区域的第二特征输出结果，包括：基于所述二进制特征和参考帧在第i层网络的特征输出结果来获得第二特征输出结果；
28.其中，所述基于第一特征输出结果和第二特征输出结果获取非参考帧在第i层网络的特征输出结果，包括：通过将第一特征输出结果和第二特征输出结果相加来获得非参考帧在第i层网络的特征输出结果。
29.可选地，所述基于参考帧和非参考帧在所述深度神经网络模型的第n层网络的特征输出结果获得第二视频，包括：对参考帧和非参考帧在第n层网络的特征输出结果进行上采样，并基于上采样后的结果获得第二视频。
30.可选地，所述参考帧是所述视频帧组中的第一个视频帧，所述非参考帧是所述视频帧组中的除第一个视频帧之外的其余视频帧。
31.根据本公开实施例的第三方面，提供了一种电子设备，其特征在于，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如上所述的视频处理方法。
32.根据本公开实施例的第四方面，提供了一种存储指令的计算机可读存储介质，其特征在于，当所述指令被至少一个处理器运行时，促使所述至少一个处理器执行如上所述的视频处理方法。
33.根据本公开实施例的第五方面，提供了一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现如上所述的视频处理方法。
34.本公开的实施例提供的技术方案至少带来以下有益效果：根据本公开实施例的视频处理方法，由于将视频帧组分为参考帧和非参考帧，而且基于所述深度神经网络模型针对参考帧的特征输出结果，获取所述深度神经网络模型针对非参考帧的特征输出结果，，因此，减少了获得非参考帧的特征输出结果时的计算量，进而使得能够以更快的速度获得更高分辨率的视频。
35.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
36.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的示例实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
37.图1是本公开的示例性实施例可以应用于其中的示例性系统架构；
38.图2是传统的视频超分辨率技术的示意图；
39.图3是示出传统的视频超分辨率技术的缺点的示意图；
40.图4是本公开示例性实施例的视频处理方法的流程图；
41.图5是示出本公开示例性实施例的对参考帧的处理的示意图；
42.图6是示出本公开示例性实施例的对非参考帧的处理的示意图；
43.图7是示出本公开示例性实施例的深度神经网络模型的结构的示意图；
44.图8是示出本公开示例性实施例的视频处理装置的框图；
45.图9是根据本公开示例性实施例的电子设备的框图。
具体实施方式
46.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
47.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致
的装置和方法的例子。
48.在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括a和b之中的至少一个”即包括如下三种并列的情况：(1)包括a；(2)包括b；(3)包括a和b。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。
49.图1示出了本公开的示例性实施例可以应用于其中的示例性系统架构100。
50.如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息(例如图像或视频数据上传请求、图像或视频数据下载请求)等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如音视频通信软件、音视频录制软件、即使通信软件、会议软件、邮箱客户端、社交平台软件等。此外，终端设备101、102和103上还可以安装各种图像或视频拍摄编辑应用。终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏并且能够进行音视频播放、录制、编辑等的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中，其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
51.终端设备101、102、103可以安装有图像采集装置(例如摄像头)，以采集图像或视频数据。实践中，组成视频的最小视觉单位是帧(frame)。每一帧是一幅静态的图像。将时间上连续的帧序列合成到一起便形成动态视频。此外，终端设备101、102、103也可以安装有用于将电信号转换为声音的组件(例如扬声器)以播放声音，并且还可以安装有用于将模拟音频信号转换为数字音频信号的装置(例如，麦克风)以采集声音。另外，终端设备101、102、103之间可彼此进行语音通信或视频通信。
52.服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上所安装的多媒体应用提供支持的后台服务器。后台服务器可以对所接收到的音视频数据上传请求等数据进行解析、存储等处理，并且还可以接收终端设备101、102、103所发送的音视频数据下载请求，并将该音视频数据下载请求所指示的音视频数据反馈至终端设备101、102、103。
53.需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
54.需要说明的是，本公开实施例所提供的视频处理方法通常由终端设备执行，但是也可由服务器执行，或者也可以由终端设备和服务器协作执行。相应地，视频处理装置可设置在终端设备中、服务器中或者设置在终端设备和服务器两者中。
55.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器，本公开对此并无限制。
56.如背景技术中所提及的，目前主要使用的视频超分辨技术是将待处理的视频解码
1层网络的特征输出结果来获得参考帧在第i层网络的特征输出结果，并保存第i层网络的特征输出结果，其中，2≤i≤n。
65.图5是示出本公开示例性实施例的对参考帧的处理的示意图。如图5所示，在参考帧是参考帧i的情况下，可首先将参考帧i输入深度神经网络模型的第1层网络，在第1层网络中利用卷积算子执行卷积处理得到参考帧i在第1层网络的特征输出结果(在图5中，简称为“第1层特征”)，随后，将第1层网络的特征输出结果输入第2层网络，在第2层网络中利用卷积算子对第1层网络的特征输出结果执行卷积处理得到参考帧i在第2层网络的特征输出结果(在图5中，简称为“第2层特征”)，依次类推，前一层网络的特征输出结果被作为后一层网络的输入，直至获得参考帧i在第n层网络(即，最后一层网络)的特征输出结果。此外，参考帧在深度神经网络模型中的每一层网络的特征输出结果可被保存，以用于后续对非参考帧的处理。例如，参考帧i在深度神经网络模型中的每一层网络的特征输出结果可被保存在“特征银行”(“参考帧特征bank”)。
66.接下来，在步骤s430，基于所述深度神经网络模型针对参考帧的特征输出结果，获取所述深度神经网络模型针对非参考帧的特征输出结果。根据示例性实施例，例如可以通过以下方式来获取所述深度神经网络模型针对非参考帧的特征输出结果：确定非参考帧与参考帧相比的特征变化区域和非特征变化区域，获取深度神经网络模型针对所述特征变化区域的第一特征输出结果，基于针对参考帧的特征输出结果获得所述深度网络模型针对所述非特征变化区域的第二特征输出结果，并基于第一特征输出结果和第二特征输出结果获得所述深度神经网络模型针对非参考帧的特征输出结果。具体地，作为示例，所述通过以下方式来获取所述深度神经网络模型针对非参考帧的特征输出结果，包括：确定非参考帧与参考帧相比在所述深度神经网络模型的第i-1层网络的特征变化区域和非特征变化区域，在第i层网络中仅对特征变化区域执行卷积操作来获得第i层网络针对特征变化区域的第一特征输出结果，基于参考帧在第i层网络的特征输出结果来获得第i层网络针对非特征变化区域的第二特征输出结果，并且基于第一特征输出结果和第二特征输出结果获取非参考帧在第i层网络的特征输出结果，其中，2≤i≤n。
67.具体地，针对每个非参考帧，首先，可根据非参考帧在第i-1层网络的特征输出结果与参考帧在第i-1层网络的特征输出结果，确定所述特征变化区域和所述非特征变化区域。例如，可计算非参考帧在第i-1层网络的特征输出结果与参考帧在第i-1层网络的特征输出结果之间的特征差，随后，基于所述特征差获得单通道的二进制特征，最后，根据获得的二进制特征确定特征变化区域和非特征变化区域。
68.图6是示出本公开示例性实施例的对非参考帧的处理的示意图。例如，对于非参考帧n(图6中的第i 1帧)，假设其在第i-1层网络的特征输出结果(即，第i层网络的输入)为并且特征银行中保存的参考帧(图6中的第i帧)在第i-1层网络的特征输出结果为则在第i层网络中，通过将与做差可得到特征差随后，利用特征差来确定特征变化区域和非特征变化区域。具体地，基于特征差获得单通道的二进制特征，并根据获得的二进制特征确定特征变化区域和非特征变化区域。例如，可利用一个3x3的卷积层对所述特征差执行卷积操作来得到单通道的二进制特征其中，在该二进制特征
中，值为0的区域为非特征变化区域，值为1的区域为特征变化区域(也即，感兴趣区域roi)。以上获得的单通道的二进制特征也可被称为roi掩膜(“roi mask”)。
69.在确定了所述特征变化区域和所述非特征变化区域之后，在第i层网络中仅对特征变化区域执行卷积操作来获得第i层网络针对特征变化区域的第一特征输出结果。具体地，首先，在第i层网络中利用所述二进制特征对所述特征差执行稀疏卷积来获得第i层网络针对所述特征差的特征输出结果，随后，基于所述二进制特征和针对所述特征差的特征输出结果获得第一特征输出结果，例如，可以通过将所述二进制特征与针对所述特征差的特征输出结果相乘来获得第一特征输出结果。如图6所示，利用roi掩膜可知道哪些是特征变化区域(图6中矩形框内的区域是特征变化区域)，哪些是非特征变化区域(图6中矩形框之外的区域是非特征变化区域)，仅对特征变化区域执行卷积操作。例如，假设第i层网络针对特征差的特征输出结果为则第i层网络针对特征变化区域的第一特征输出结果便为
70.接下来，基于参考帧在第i层网络的特征输出结果来获得第i层网络针对非特征变化区域的第二特征输出结果。具体地，可以基于所述二进制特征和参考帧在第i层网络的特征输出结果来获得第二特征输出结果。例如，通过将1与所述二进制特征之间的差和参考帧在第i层网络的特征输出结果相乘来获得第二特征输出结果。例如，假设从特征银行获得的参考帧r在第i层网络的特征输出结果为则第i层网络针对非特征变化区域的第二特征输出结果便为
71.最后，基于第一特征输出结果和第二特征输出结果获取非参考帧在第i层网络的特征输出结果。具体地，通过将第一特征输出结果和第二特征输出结果相加来获得非参考帧在第i层网络的特征输出结果。假设非参考帧n在第i层网络的特征输出结果为则：
[0072][0073]
在每一层网络中针对非参考帧均执行上述操作，直至获得非参考帧在第n层网络的特征输出结果。
[0074]
最后，在步骤s440，基于所述深度神经网络模型针对参考帧和非参考帧的特征输出结果获得第二视频。这里，第二视频的分辨率大于第一视频的分辨率。具体地，例如，基于参考帧和非参考帧在所述深度神经网络模型的第n层网络的特征输出结果获得第二视频。
[0075]
图7示出本公开示例性实施例的深度神经网络模型的结构的示意图。如图7所示，除了包括多层网络之外，所述深度神经网络模型还包括上采样模块。在图7的示例中，上采样模块由图7所示的网络结构中的倒数第二个立方体表示，其通过反卷积来实现上采样。
[0076]
具体地，在步骤s440，当基于参考帧和非参考帧在所述深度神经网络模型的第n层网络的特征输出结果获得第二视频时，可以对参考帧和非参考帧在第n层网络的特征输出结果进行上采样，并基于上采样后的结果获得第二视频。可选地，还可以对上采样后的结果再进行卷积操作来减少棋盘效应，并对减少了棋盘效应后的视频帧进行编码来最终获得第二视频。
[0077]
对于参考帧和非参考帧而言，它们都使用相同的深度神经网络模型结构，只是在
每一层网络中针对参考帧所使用的卷积算子与针对非参考帧所使用的卷积算子是不同的。例如，对于参考帧使用常规的卷积算子，而针对非参考帧则使用特征复用的卷积算子，而所谓特征复用的卷积算子就是利用了参考帧的特征输出结果的卷积算子。
[0078]
在图7的示例中，上采样模块之前的每一个立方体代表上文中提及的n层网络中的一层网络。此外，通过不同的连接方式(例如，全连接/长连接/短连接/跳层连接)，多层网络可构成残差块，多个残差块可以构成残差块组。在通过深度神经网络模型的n层网络最终获得参考帧和非参考帧在第n层网络的特征输出结果之后，可通过上采样模块，并再经过一个卷积层最终获得高分辨率视频帧。最终，通过对获得的高分辨率视频帧进行编码来获得处理后的视频(即，上文中的第二视频)。
[0079]
以上已结合图4至图7描述了根据本公开实施例的视频处理方法，根据上述视频处理方法，由于将视频帧组分为参考帧和非参考帧，而且基于所述深度神经网络模型针对参考帧的特征输出结果，获取所述深度神经网络模型针对非参考帧的特征输出结果，因此，减少了获得非参考帧的特征输出结果时的计算量，进而使得能够以更快的速度获得更高分辨率的视频。
[0080]
例如，在基于所述深度神经网络模型针对参考帧的特征输出结果，获取所述深度神经网络模型针对非参考帧的特征输出结果时，通过确定非参考帧与参考帧相比的特征变化区域和非特征变化区域，获取深度神经网络模型针对所述特征变化区域的第一特征输出结果，基于针对参考帧的特征输出结果获得所述深度网络模型针对所述非特征变化区域的第二特征输出结果，并基于第一特征输出结果和第二特征输出结果获得所述深度神经网络模型针对非参考帧的特征输出结果，可以使得计算量集中在特征变化区域，减少了获得非参考帧的特征输出结果时的计算量，进而使得能够以更快的速度获得更高分辨率的视频。
[0081]
通过大量的实验证明，利用上述视频处理方法，非参考帧的计算量仅为参考帧的约40％，例如，在使用1帧参考帧 9帧非参考帧的10帧一组的视频帧组的形式下，总体计算量可以减少约54％，而且，并未出现最终处理后的视频的主观视觉质量的下降。
[0082]
图8是示出本公开示例性实施例的视频处理装置的框图。
[0083]
参照图8，视频处理装置800可包括视频获取单元810和视频处理单元820。具体而言，视频获取单元810可被配置获取第一视频的视频帧组，其中，所述视频帧组被分为参考帧和非参考帧。视频处理单元820可被配置为：获取所述深度神经网络模型针对参考帧的特征输出结果；基于所述深度神经网络模型针对参考帧的特征输出结果，获取所述深度神经网络模型针对非参考帧的特征输出结果；基于所述深度神经网络模型针对参考帧和非参考帧的特征输出结果获得第二视频，其中，第二视频的分辨率大于第一视频的分辨率。
[0084]
由于图4所示的视频处理方法可由图8所示的视频处理装置800来执行，并且视频获取单元810执行与图4中的步骤s410对应的操作，而视频处理单元820执行与图4中的步骤s420至s440对应的操作，因此，关于图8中的各单元所执行的操作中涉及的任何相关细节均可参见关于图4的相应描述，这里都不再赘述。
[0085]
此外，需要说明的是，尽管以上在介绍视频处理装置800时将其划分为用于分别执行相应处理的单元，然而，本领域技术人员清楚的是，上述各单元执行的处理也可以在视频处理装置800不进行任何具体单元划分或者各单元之间并无明确划界的情况下执行。此外，视频处理装置800还可包括其他单元，例如，存储单元等。
[0086]
图9是根据本公开示例性实施例的电子设备的框图。
[0087]
参照图9，电子设备900可包括至少一个存储器901和至少一个处理器902，所述至少一个存储器存储计算机可执行指令，计算机可执行指令在被至少一个处理器执行时，促使至少一个处理器902执行根据本公开实施例的视频处理方法。
[0088]
作为示例，电子设备可以是pc计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。
[0089]
在电子设备中，处理器可包括中央处理器(cpu)、图形处理器(gpu)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
[0090]
处理器可运行存储在存储器中的指令或代码，其中，存储器还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。
[0091]
存储器可与处理器集成为一体，例如，将ram或闪存布置在集成电路微处理器等之内。此外，存储器可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器和处理器可在操作上进行耦合，或者可例如通过i/o端口、网络连接等互相通信，使得处理器能够读取存储在存储器中的文件。
[0092]
此外，电子设备还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备的所有组件可经由总线和/或网络而彼此连接。
[0093]
根据本公开的实施例，还可提供一种存储指令的计算机可读存储介质，其中，当所述指令由至少一个处理器执行时，促使所述至少一个处理器执行根据本公开示例性实施例的视频处理方法。这里的计算机可读存储介质的示例包括：只读存储器(rom)、随机存取可编程只读存储器(prom)、电可擦除可编程只读存储器(eeprom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、非易失性存储器、cd-rom、cd-r、cd r、cd-rw、cd rw、dvd-rom、dvd-r、dvd r、dvd-rw、dvd rw、dvd-ram、bd-rom、bd-r、bd-r lth、bd-re、蓝光或光盘存储器、硬盘驱动器(hdd)、固态硬盘(ssd)、卡式存储器(诸如，多媒体卡、安全数字(sd)卡或极速数字(xd)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的指令或计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
[0094]
根据本公开的实施例中，还可提供一种计算机程序产品，该计算机程序包括计算机指令，所述计算机指令被处理器执行时实现根据本公开示例性实施例的视频处理方法。
[0095]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求限定。