视频的超分辨率处理方法、装置、电子设备及存储介质与流程

1.本公开涉及计算机技术领域，尤其涉及一种视频的超分辨率处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。


背景技术：

2.超分辨率是通过算法建模图像或视频从低分辨到高分辨的映射关系。随着深度学习的发展，卷积神经网络通过庞大的拟合能力，开始被运用在视频的超分辨任务上。
3.相关技术中，可以采用双向循环卷积网络(例如basicvsr、govsr)处理视频的超分辨任务。双向循环卷积网络包括两个单向的循环卷积网络。这两个单向的循环卷积网络分别以正向和反向的形式对输入的视频进行处理。针对当前时刻的视频帧，都会利用当前时刻的前一时刻与后一时刻的隐层特征，得到当前时刻的隐层特征。但是，由于前一时刻和后一时刻的视频帧可能会存在质量不高的情况，从而影响视频的超分精度。


技术实现要素：

4.本公开提供一种视频的超分辨率处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品，以至少解决相关技术中前一时刻和后一时刻的视频帧可能会存在质量不高的情况，从而影响视频的超分精度视频差的问题。本公开的技术方案如下：
5.根据本公开实施例的第一方面，提供一种视频的超分辨率处理方法，包括：
6.将待处理视频输入至超分辨网络，所述超分辨网络为双向循环卷积网络；
7.针对所述待处理视频中的当前视频帧，通过所述超分辨网络将所述当前视频帧之前的第一视频帧的第一隐层特征、所述当前视频帧之后的第二视频帧的第二隐层特征，以及所述当前视频帧作为输入参数，得到所述当前视频帧的当前隐层特征；
8.确定与所述第一隐层特征、所述当前隐层特征以及所述第二隐层特征对应的权重矩阵；
9.根据所述权重矩阵，以及所述第一隐层特征、所述当前隐层特征、所述第二隐层特征，得到所述当前视频帧的超分辨特征；
10.根据所述超分辨特征，得到所述当前视频帧的超分视频帧。
11.在其中一个实施例中，所述确定与所述第一隐层特征、所述当前隐层特征以及所述第二隐层特征对应的权重矩阵，包括：
12.拼接所述第一隐层特征、所述当前隐层特征以及所述第二隐层特征，得到第一中间特征；
13.对所述第一中间特征进行特征提取，得到第二中间特征，所述第二中间特征的特征维度为所述第一隐层特征、所述当前隐层特征以及所述第二隐层特征的数量之和；
14.从所述特征维度上对所述第二中间特征进行归一化处理，得到所述权重矩阵。
15.在其中一个实施例中，所述对所述第一中间特征进行特征提取，得到第二中间特征，包括：
16.将所述第一中间特征输入至特征提取网络进行特征提取；
17.对特征提取后的所述第一中间特征进行卷积处理，得到所述第二中间特征。
18.在其中一个实施例中，所述特征提取网络包至少一层残差模块，所述残差模块包括依次连接的第一卷积层、线性整流层、第二卷积层；
19.所述将所述第一中间特征输入至特征提取网络进行特征提取，包括：
20.对所述第一中间特征进行跳连接处理；
21.通过所述残差模块中的所述第一卷积层、所述线性整流层、所述第二卷积层对所述第一中间特征进行处理；
22.融合跳连接处理后的所述第一中间特征以及残差模块处理后的所述第一中间特征，得到特征提取后的所述第一中间特征。
23.在其中一个实施例中，所述根据所述权重矩阵，以及所述第一隐层特征、所述当前隐层特征、所述第二隐层特征，得到所述当前视频帧的超分辨特征，包括：
24.获取所述权重矩阵与所述第一隐层特征之积，作为新的第一隐层特征；
25.获取所述权重矩阵与所述当前隐层特征之积，作为新的当前隐层特征；
26.获取所述权重矩阵与所述第二隐层特征之积，作为新的第二隐层特征；
27.获取对所述当前隐层特征进行特征提取得到的初始超分视频帧；
28.拼接所述新的第一隐层特征、所述新的当前隐层特征、所述新的第二隐层特征、所述初始超分视频帧，得到所述超分辨特征。
29.在其中一个实施例中，所述第一视频帧包括所述当前视频帧的前n个时刻的视频帧，所述第二视频帧包括所述当前视频帧之后的n个时刻的视频帧，所述n为大于或等于2的正整数。
30.根据本公开实施例的第二方面，提供一种视频的超分辨率处理装置，包括：
31.输入模块，被配置为执行将待处理视频输入至超分辨网络，所述超分辨网络为双向循环卷积网络；
32.第一特征生成模块，被配置为执行针对所述待处理视频中的当前视频帧，通过所述超分辨网络将所述当前视频帧之前的第一视频帧的第一隐层特征、所述当前视频帧之后的第二视频帧的第二隐层特征，以及所述当前视频帧作为输入参数，得到所述当前视频帧的当前隐层特征；
33.权重确定模块，被配置为执行确定与所述第一隐层特征、所述当前隐层特征以及所述第二隐层特征对应的权重矩阵；
34.第二特征生成模块，被配置为执行根据所述权重矩阵，以及所述第一隐层特征、所述当前隐层特征、所述第二隐层特征，得到所述当前视频帧的超分辨特征；
35.超分视频帧生成模块，被配置为执行根据所述超分辨特征，得到所述当前视频帧的超分视频帧。
36.在其中一个实施例中，所述权重确定模块，包括：
37.第一拼接单元，被配置为执行拼接所述第一隐层特征、所述当前隐层特征以及所述第二隐层特征，得到第一中间特征；
38.特征提取单元，被配置为执行对所述第一中间特征进行特征提取，得到第二中间特征，所述第二中间特征的特征维度为所述第一隐层特征、所述当前隐层特征以及所述第
二隐层特征的数量之和；
39.归一化单元，被配置为执行从所述特征维度上对所述第二中间特征进行归一化处理，得到所述权重矩阵。
40.在其中一个实施例中，所述特征提取单元，包括：
41.特征提取子单元，被配置为执行将所述第一中间特征输入至特征提取网络进行特征提取；
42.卷积子单元，被配置为执行对特征提取后的所述第一中间特征进行卷积处理，得到所述第二中间特征。
43.在其中一个实施例中，所述特征提取网络包至少一层残差模块，所述残差模块包括依次连接的第一卷积层、线性整流层、第二卷积层；
44.所述特征提取子单元，被配置为执行对所述第一中间特征进行跳连接处理；通过所述残差模块中的所述第一卷积层、所述线性整流层、所述第二卷积层对所述第一中间特征进行处理；融合跳连接处理后的所述第一中间特征以及残差模块处理后的所述第一中间特征，得到特征提取后的所述第一中间特征。
45.在其中一个实施例中，所述第二特征生成模块，包括：
46.第一特征获取单元，被配置为执行获取所述权重矩阵与所述第一隐层特征之积，作为新的第一隐层特征；
47.第二特征获取单元，被配置为执行获取所述权重矩阵与所述当前隐层特征之积，作为新的当前隐层特征；
48.第三特征获取单元，被配置为执行获取所述权重矩阵与所述第二隐层特征之积，作为新的第二隐层特征；
49.视频帧获取单元，被配置为执行获取对所述当前隐层特征进行特征提取得到的初始超分视频帧；
50.第二拼接单元，被配置为执行拼接所述新的第一隐层特征、所述新的当前隐层特征、所述新的第二隐层特征、所述初始超分视频帧，得到所述超分辨特征。
51.在其中一个实施例中，所述第一视频帧包括所述当前视频帧的前n个时刻的视频帧，所述第二视频帧包括所述当前视频帧之后的n个时刻的视频帧，所述n为大于或等于2的正整数。
52.根据本公开实施例的第三方面，提供一种电子设备，包括：
53.处理器；
54.用于存储所述处理器可执行指令的存储器；
55.其中，所述处理器被配置为执行所述指令，以实现上述第一方面任一项实施例所述的视频的超分辨率处理方法。
56.根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述第一方面任一项实施例所述的视频的超分辨率处理方法。
57.根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行上述第一方面任一项实施例所述的视频的超分辨率处理方法。
58.本公开的实施例提供的技术方案至少带来以下有益效果：
59.采用为双向循环卷积网络的超分辨网络对待处理视频进行处理，针对待处理视频中的当前视频帧，通过超分辨网络将当前视频帧之前的第一视频帧的第一隐层特征、当前视频帧之后的第二视频帧的第二隐层特征，以及当前视频帧作为输入参数，得到当前视频帧的当前隐层特征，可以使当前视频帧能够利用到领域的时序信息，从而能够提升当前视频帧的处理效果。通过确定与第一隐层特征、当前隐层特征以及第二隐层特征对应的权重矩阵；根据权重矩阵，以及第一隐层特征、当前隐层特征、第二隐层特征，得到当前视频帧的超分辨特征，能够在充分利用领域的时序信息的基础上，基于权重矩阵保留与当前视频帧相关的特征信息，从领域的时序信息中提取出对当前视频帧更有帮助的信息，从而能够进一步提升当前视频帧的超分辨精度。
60.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
61.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
62.图1是示例性示出了一种相关技术中超分辨处理方法的示意图。
63.图2是根据一示例性实施例示出的一种视频的超分辨率处理方法的流程图。
64.图3是根据一示例性实施例示出的一种视频的超分辨率处理方法的示意图。
65.图4是根据一示例性实施例示出的一种生成权重矩阵步骤的流程图。
66.图5是根据一示例性实施例示出的一种残差模块的结构示意图。
67.图6是根据一示例性实施例示出的一种视频的超分辨率处理方法的流程图。
68.图7a是根据一示例性实施例示出的一种超分辨处理的对比示意图。
69.图7b是根据一示例性实施例示出的另一种超分辨处理的对比示意图。
70.图8是根据一示例性实施例示出的一种视频的超分辨率处理装置的框图。
71.图9是根据一示例性实施例示出的一种电子设备的框图。
72.图10是根据一示例性实施例示出的另一种电子设备的框图。
具体实施方式
73.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
74.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
75.还需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经
过各方充分授权的信息和数据。
76.相关技术中，视频的超分辨技术包括基于时序滑动窗的算法与基于循环卷积网络的算法。基于时序滑动窗的算法可以通过以步骤实现。首先，将输入的视频序列划分为多个子序列，每个子序列包含m帧视频帧，m为大于1的正整数。然后，将子序列输入至神经网络进行融合。一个示例中，以神经网络为edvr(基于可形变卷积的视频恢复、去模糊、超分网络)为例，edvr采用了2d(二维)卷积网络。首先，将输入的m帧子序列在颜色空间进行拼接，然后，用一系列2d卷积层对拼接后的子序列进行特征提取，得到用于超分辨的超分辨特征。为了应对大的帧间运动，edvr对常规的2d卷积加入了可变形的功能。另一个示例中，以神经网络为duf(deep video super-resolution network using dynamic upsampling filters without explicit motion compensation，基于非动作补偿动态上采样滤波器的深度视频超分网络)为例，duf将输入的多帧视频帧在时间维度进行拼接，然后采用3d卷积网络对拼接后的多帧视频帧进行特征提取，得到用于超分辨的超分辨特征。3d卷积层相比2d卷积增加了时序上滑动的过程，因此可以捕捉时序上的帧间互补信息，这是一种隐性的时序建模方法。上述基于2d卷积层和3d卷积层的方法通过堆叠网络深度取得了可观的超分辨处理效果，但也带来了庞大的计算开销。
77.相比基于时序滑动窗的方法，基于循环卷积网络的方法通过充分时序的累积信息，可以用较少的网络深度达到较好的结果。基于循环卷积网络的方法包括基于单向循环卷积网络(单向rnn)的方法和基于双向循环卷积网络(双向rnn)的方法。其中，参照图1，图1中的每个方块代表了隐藏层输出的隐层特征。单向rnn通过将上一时刻的隐层特征传递给下个时刻，以此累积不同时刻的隐层特征，使得后续帧在超分辨时，可以利用更多的历史累计特征。但是这种方法也面临不同帧的信息接受不对等的问题：对于第一帧，没有任何历史信息可以使用；而对于后续帧则可以用较长时刻累计的历史信息。且，单向循环卷积网络的方法在实际使用时需要对多帧视频帧进行初始化，然后再将质量较好的超分辨结果输出给用户，导致超分辨处理后的视频相对原始视频偏短，而且缺乏实时性。
78.继续参照图1，双向rnn会对视频分别进行一次正向传播的处理和反向传播的处理，针对每一帧，都会利用前一时刻和后一时刻的隐层特征得到每一帧的超分辨特征。然而，相关技术中的双向rnn只用了前一个时刻和后一个时刻的时序信息，当帧间存在质量不高的情况(例如存在遮挡、模糊等情况)，容易影响视频的超分辨精度。
79.为了解决上述问题，本公开提供一种视频的超分辨率处理方法，该视频的超分辨率处理方法应用于电子设备中。电子设备中预先部署有已训练的超分辨网络，该超分辨网络为双向循环卷积网络。电子设备将待处理视频输入至超分辨网络；针对待处理视频中的当前视频帧，通过超分辨网络将当前视频帧之前的第一视频帧的第一隐层特征、当前视频帧之后的第二视频帧的第二隐层特征，以及当前视频帧作为输入参数，得到当前视频帧的当前隐层特征；确定与第一隐层特征、当前隐层特征以及第二隐层特征对应的权重矩阵；根据权重矩阵，以及第一隐层特征、当前隐层特征、第二隐层特征，得到当前视频帧的超分辨特征；根据超分辨特征，得到当前视频帧的超分视频帧，进而得到与待处理视频中每帧视频帧对应的超分视频帧，生成超分辨视频。
80.其中，电子设备可以为终端或者服务器。终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音
箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
81.图2是根据一示例性实施例示出的一种视频的超分辨率处理方法的流程图，如图2所示，视频的超分辨率处理方法用于电子设备中，包括以下步骤。
82.在步骤s210中，将待处理视频输入至超分辨网络，超分辨网络为双向循环卷积网络。
83.其中，待处理视频为待进行超分辨率处理的视频，例如，通过终端或者图像采集装置实时采集的视频；预先存储在本地数据库或者服务器中的视频，例如，影视视频、用户拍摄上传的视频等。
84.双向循环卷积网络包括两个单向循环卷积网络，分别为前向传播网络和反向传播网络。前向传播网络负责对待处理视频进行正向传播处理，即从起始帧向结尾帧传播，将过去一个视频帧的网络输出结果传输给下一个视频帧。反向传播网络负责对待处理视频进行反向传播，即从结尾帧向起始帧传播，将未来一个视频帧的网络输出结果传输给下一个视频帧。
85.在步骤s220中，针对待处理视频中的当前视频帧，通过超分辨网络将当前视频帧之前的第一视频帧的第一隐层特征、当前视频帧之后的第二视频帧的第二隐层特征，以及当前视频帧作为输入参数，得到当前视频帧的当前隐层特征。
86.其中，第一视频帧为当前视频帧的前n帧视频帧。第二视频帧为当前视频帧的后n帧视频帧，n为大于或等于1的正整数。
87.可以理解的是，若n大于1，第一视频帧的第一隐层特征则包括与n帧第一视频帧对应的n帧隐层特征。同理，第二视频帧的第二隐层特征包括与n帧第二视频帧对应的n帧隐层特征。
88.可以理解的是，在前向传播网络对待处理视频进行处理时，当当前视频帧属于起始帧至第n帧中的任一帧时，第一视频帧少于n帧。在反向传播网络对待处理视频进行处理时，当当前视频帧属于后n帧至结尾帧中的任一帧时，第二视频帧少于n帧。
89.具体地，单向循环卷积网络包括输入层、隐藏层、输出层。在将待处理视频输入至超分辨网络后，可以先由前向传播网络对待处理视频进行前向传播处理。针对待处理视频中的当前视频帧，前向传播网络将当前视频帧、第一视频帧对应的第一隐层特征输入至前向传播网络的隐藏层，得到当前视频帧对应的前向隐层特征。在前向传播网络对待处理视频处理完毕后，再由反向传播网络对待处理视频进行反向传播处理。针对待处理视频中的当前视频帧，反向传播网络将当前视频帧、第二视频帧对应的第二隐层特征输入至反向传播网络的隐藏层，得到当前视频帧对应的反向隐层特征。在反向传播网络对待处理视频处理完毕后，融合当前视频帧对应的前向隐层特征和反向隐层特征，得到当前视频帧对应的当前隐层特征。
90.在步骤s230中，确定与第一隐层特征、当前隐层特征以及第二隐层特征对应的权重矩阵。
91.其中，权重矩阵中包括与第一隐层特征、当前隐层特征和第二隐层特征各自对应的权重。与每个视频帧的隐层特征对应的权重反映每个视频帧对当前视频帧的影响程度和/或视频帧质量。一个示例中，若与某个视频帧的隐层特征对应的权重较高，则可以说明
该个视频帧的质量较高，不存在遮挡、噪声等情况，或者存在遮挡、噪声等情况较轻。另一个示例中，若与某个视频帧的隐层特征对应的权重较高，则可以说明该个视频帧与当前视频帧的相似度较高。
92.一个示例中，电子设备中可以部署有权重生成网络。该权重生成网络可以用于检测第一视频帧、当前视频帧和第二视频帧各自的图像质量。具体实现中，在得到当前视频帧对应的当前隐层特征后，电子设备将第一隐层特征、当前隐层特征和第二隐层特征输入至权重生成网络，通过权重生成网络对第一隐层特征、当前隐层特征和第二隐层特征的图像质量进行检测，输出权重矩阵。
93.另一个示例中，权重生成网络可以用于检测第一视频帧和第二视频帧分别与当前视频帧的相关度。通过权重生成网络分别对第一隐层特征和当前隐层特征之间的相关度，以及第二隐层特征和当前隐层特征之间的相关度进行检测，输出权重矩阵。
94.在步骤s240中，根据权重矩阵，以及第一隐层特征、当前隐层特征、第二隐层特征，得到当前视频帧的超分辨特征。
95.具体地，电子设备将第一隐层特征、当前隐层特征、第二隐层特征分别与权重矩阵中各自对应的权重进行相乘。融合相乘之后的第一隐层特征、相乘之后的当前隐层特征、相乘之后的第二隐层特征，得到当前视频帧的超分辨特征。
96.在步骤s250中，根据超分辨特征，得到当前视频帧的超分视频帧。
97.具体地，电子设备将当前视频帧的超分辨特征输入至特征提取网络，通过特征提取网络对该超分辨特征以亚像素卷积、反卷积等中的任一种方式进行处理，得到当前视频帧的超分视频帧。进而得到与待处理视频中每帧视频帧对应的超分视频帧，生成与待处理视频对应的超分视频。
98.上述视频的超分辨率处理方法中，采用为双向循环卷积网络的超分辨网络对待处理视频进行处理，针对待处理视频中的当前视频帧，通过超分辨网络将当前视频帧之前的第一视频帧的第一隐层特征、当前视频帧之后的第二视频帧的第二隐层特征，以及当前视频帧作为输入参数，得到当前视频帧的当前隐层特征，可以使当前视频帧能够利用到领域的时序信息，从而能够提升当前视频帧的处理效果。通过确定与第一隐层特征、当前隐层特征以及第二隐层特征对应的权重矩阵；根据权重矩阵，以及第一隐层特征、当前隐层特征、第二隐层特征，得到当前视频帧的超分辨特征，能够在充分利用领域的时序信息的基础上，基于权重矩阵保留与当前视频帧相关的特征信息，从领域的时序信息中提取出对当前视频帧更有帮助的信息，从而能够进一步提升当前视频帧的超分辨精度。
99.在一示例性实施例中，由于相关技术中的双向循环卷积网络采用的是前一个时刻和后一个时刻的时序信息，能够利用的时序信息较少，且当帧间存在遮挡、模糊等情况，相邻时刻的特征会出现误差，因此，在本公开实施例中，第一视频帧可以包括当前视频帧的前n个时刻的视频帧，第二视频帧可以包括当前视频帧的后n个时刻的视频帧，n为大于或等于2的正整数。针对当前视频帧，可以将与当前视频帧相邻的第一视频帧的第一隐层特征，以及相邻的第二视频帧的第二隐层特征直接传输至当前视频帧；以跳传播的方式将与当前视频帧非相邻的第一视频帧的第一隐层特征，以及第二视频帧的第二隐层特征传输至当前视频帧。其中，跳传播的方式是指以时序上跳连接的方式，将更远时刻的特征传播到当前时刻的方式。图3示例性地示出了n为2时隐层特征的传播方式。参照图3，针对当前视频帧t，相邻
的t-1(第一视频帧)的第一隐层特征和t 1(第二视频帧)的第二隐层特征直接传输至当前视频帧；非相邻的t-2(第一视频帧)的第一隐层特征和t 2(第二视频帧)的第二隐层特征以跳传播的方式传输至当前视频帧。
100.本实施例中，通过将多个领域的隐层特征传播至当前时刻，对当前时刻进行增强处理，能够提升当前时刻的特征鲁棒性。通过采用权重矩阵对各个时刻的隐层特征进行权重的分配，能够提升大时序领域下隐层特征之间的相关性，使当前视频帧能够充分利用n个领域的隐层特征中对当前视频帧增强有帮助的信息。
101.在一示例性实施例中，对权重矩阵的一种生成方式进行说明。如图4所示，在步骤s230中，确定与第一隐层特征、当前隐层特征以及第二隐层特征对应的权重矩阵，具体可以通过以下步骤实现：
102.在步骤s410中，拼接第一隐层特征、当前隐层特征以及第二隐层特征，得到第一中间特征。
103.具体地，电子设备通过权重生成网络从特征维度上对第一隐层特征、当前隐层特征以及第二隐层特征进行拼接处理，得到第一中间特征。一个示例中，假设每个视频帧对应的隐层特征维度为hxwxc，其中h代表视频帧的高；w代表视频帧的宽；c代表隐层特征的维度，若n为2，则拼接得到第一中间特征的特征维度为hxwx5c。
104.在步骤s420中，对第一中间特征进行特征提取，得到第二中间特征。
105.具体地，电子设备可以采用权重生成网络对第一中间特征进行特征提取，得到第二中间特征。第二中间特征的特征维度为第一隐层特征、当前隐层特征以及第二隐层特征的数量之和。一个示例中，若n为2，拼接得到第一中间特征的特征维度为hxwx5c，则第二中间特征的特征维度为hxwx5。
106.在步骤s430中，从特征维度上对第二中间特征进行归一化处理，得到权重矩阵。
107.具体地，权重生成网络中可以包括softmax归一化层。电子设备通过权重生成网络从特征维度上对第二中间特征进行归一化处理，得到权重矩阵。一个示例中，若第二中间特征的特征维度为hxwx5，则在5的维度上对第二中间特征进行归一化处理。
108.本实施例中，通过采用权重生成网络在特征维度上对隐层特征(hxw)上的每个点进行权重的分配，使质量不佳的图像帧的权重偏小，质量较好的图像帧的权重偏大，例如，在采用多个领域时序信息的情况下，若当前视频帧的相邻帧的隐层特征在某个位置出现了遮挡或者噪声，那么该相邻帧的该个位置权重会偏小，非相邻帧的隐层特征在该个位置的权重偏大，从而可以消除隐层特征间的误差，提升超分辨的处理精度。
109.在一示例性实施例中，对第一中间特征进行特征提取，得到第二中间特征，包括：将第一中间特征输入至特征提取网络进行特征提取；对特征提取后的第一中间特征进行卷积处理，得到第二中间特征。
110.具体地，权重生成网络中可以包括特征提取网络。特征提取网络可以但不限于是残差网络、卷积神经网络等中的任一种。在得到第一中间特征后，通过特征提取网络将第一中间特征输入至特征提取网络。进而采用3x3卷积核的2d卷积层对特征提取后的第一中间特征进行卷积处理，得到第二中间特征。本实施例中，通过对第一中间特征依次进行特征提取和卷积处理，能够更好地融合第一隐层特征、当前隐层特征和第二隐层特征，使过去和未来的隐层特征更好地对当前隐层特征进行增强。
111.在一示例性实施例中，对权重生成网络中的特征提取网络的一种实现方式进行说明。特征提取网络包至少一层残差模块。在包括多层残差模块的情况下，多层残差模块可以依次串联。如图5所示，残差模块包括依次连接的第一卷积层(conv2d，二维卷积层)、线性整流层(relu)、第二卷积层。其中，conv2d可以为3x3卷积核的2d卷积层。在本实施例中，将第一中间特征输入至特征提取网络进行特征提取，具体可以通过以下方式实现：
112.在得到第一中间特征后，对第一中间特征进行跳连接处理，其中，跳连接处理是指将不同层输出的结果进行连接。通过残差模块中的第一卷积层、线性整流层、第二卷积层对第一中间特征进行处理。融合跳连接处理后的第一中间特征以及残差模块处理后的第一中间特征，得到特征提取后的第一中间特征。本实施例中，通过采用基于残差模块的特征提取网络，一方面，能够提升特征提取网络的性能，以获得更高的精度；另一方面，能够在网络训练时增加网络的收敛速度，提升网络训练效率。
113.在一示例性实施例中，在步骤s240中，根据权重矩阵，以及第一隐层特征、当前隐层特征、第二隐层特征，得到当前视频帧的超分辨特征，具体可以通过以下方式实现：
114.具体地，权重矩阵可以为对第二中间特征在特征维度上进行归一化后得到的参数，其中包含与第一隐层特征、当前隐层特征、第二隐层特征各自对应的权重。因此，可以获取权重矩阵中第一隐层特征对应的权重与第一隐层特征之积，作为新的第一隐层特征；获取权重矩阵中当前隐层特征对应的权重与当前隐层特征之积，作为新的当前隐层特征；获取权重矩阵中第二隐层特征对应的权重与第二隐层特征之积，作为新的第二隐层特征。然后，获取对当前隐层特征进行特征提取(可以为亚像素卷积、反卷积中的任一种方式)，得到的初始超分视频帧。最后，拼接新的第一隐层特征、新的当前隐层特征、新的第二隐层特征、初始超分视频帧，得到当前视频帧的超分辨特征。本实施例中，采用优化后的隐层特征对初始超分视频帧进行优化，得到超分辨特征，使超分辨特征能够包含更多有用的信息，从而有助于提升超分辨处理的精度。
115.图6是根据一示例性实施例示出的一种视频的超分辨率处理方法的流程图，在本实施例中，以第一视频帧为当前视频帧的前2帧视频帧，第二视频帧为当前视频帧的后2帧视频帧为例进行说明。如图6所示，视频的超分辨率处理方法用于电子设备中，包括以下步骤。
116.在步骤s602中，将待处理视频输入至超分辨网络，超分辨网络为双向循环卷积网络。
117.在步骤s604中，针对待处理视频中的当前视频帧，通过超分辨网络将当前视频帧的前2帧视频帧的第一隐层特征、当前视频帧的后2帧视频帧的第二隐层特征，以及当前视频帧作为输入参数，得到当前视频帧的当前隐层特征。每个视频帧对应的隐层特征维度为hxwxc，其中h代表视频帧的高；w代表视频帧的宽；c代表隐层特征的维度。
118.在步骤s606中，对当前隐层特征进行特征提取，得到初始超分视频帧。
119.在步骤s608中，将所得到的前2帧视频帧的第一隐层特征、当前隐层特征、后2帧视频帧的第二隐层特征输入至权重生成网络。通过权重生成网络拼接第一隐层特征、当前隐层特征以及第二隐层特征，得到第一中间特征。第一中间特征的特征维度为hxwx5c。
120.在步骤s610中，通过权重生成网络中的特征提取网络对第一中间特征进行特征提取，并对特征提取后的第一中间特征进行卷积处理，得到第二中间特征。第二中间特征的特
征维度为hxwx5。特征提起网络可以为基于残差模块(参照图5)的网络，具体可以参照上述实施例，在此不做具体阐述。
121.在步骤s612中，从特征维度上对所述第二中间特征进行归一化处理，得到权重矩阵。
122.在步骤s614中，获取权重矩阵分别与第一隐层特征、当前隐层特征、第二隐层特征之积，得到新的第一隐层特征、新的当前隐层特征、新的第二隐层特征。拼接新的第一隐层特征、新的当前隐层特征、新的第二隐层特征、超分视频帧，得到当前视频帧的超分辨特征。
123.在步骤s616中，对当前视频帧的超分辨特征进行特征提取，得到当前视频帧的超分视频帧。
124.图7a和图7b分别示出了采用本公开的超分辨方法、相关技术中的插值上采样方式对同一张图像进行处理后的对比示意图，从图7a和图7b可以看出，本公开的超分辨方式能够还原出接近真实高分辨率的结果。
125.应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
126.可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见，每个实施例重点说明的是与其他实施例的不同之处，相关之处参见其他方法实施例的说明即可。
127.图8是根据一示例性实施例示出的一种视频的超分辨率处理装置x00框图。参照图8，该装置包括输入模块x02、第一特征生成模块x04、权重确定模块x06、第二特征生成模块x08、超分视频帧生成模块x10。
128.输入模块x02，被配置为执行将待处理视频输入至超分辨网络，超分辨网络为双向循环卷积网络；第一特征生成模块x04，被配置为执行针对待处理视频中的当前视频帧，通过超分辨网络将当前视频帧之前的第一视频帧的第一隐层特征、当前视频帧之后的第二视频帧的第二隐层特征，以及当前视频帧作为输入参数，得到当前视频帧的当前隐层特征；权重确定模块x06，被配置为执行确定与第一隐层特征、当前隐层特征以及第二隐层特征对应的权重矩阵；第二特征生成模块x08，被配置为执行根据权重矩阵，以及第一隐层特征、当前隐层特征、第二隐层特征，得到当前视频帧的超分辨特征；超分视频帧生成模块x10，被配置为执行根据超分辨特征，得到当前视频帧的超分视频帧。
129.在一示例性实施例中，权重确定模块x06，包括：第一拼接单元，被配置为执行拼接第一隐层特征、当前隐层特征以及第二隐层特征，得到第一中间特征；特征提取单元，被配置为执行对第一中间特征进行特征提取，得到第二中间特征，第二中间特征的特征维度为第一隐层特征、当前隐层特征以及第二隐层特征的数量之和；归一化单元，被配置为执行从特征维度上对第二中间特征进行归一化处理，得到权重矩阵。
130.在一示例性实施例中，特征提取单元，包括：特征提取子单元，被配置为执行将第一中间特征输入至特征提取网络进行特征提取；卷积子单元，被配置为执行对特征提取后
的第一中间特征进行卷积处理，得到第二中间特征。
131.在一示例性实施例中，特征提取网络包至少一层残差模块，残差模块包括依次连接的第一卷积层、线性整流层、第二卷积层；特征提取子单元，被配置为执行对第一中间特征进行跳连接处理；通过残差模块中的第一卷积层、线性整流层、第二卷积层对第一中间特征进行处理；融合跳连接处理后的第一中间特征以及残差模块处理后的第一中间特征，得到特征提取后的第一中间特征。
132.在一示例性实施例中，第二特征生成模块x08，包括：第一特征获取单元，被配置为执行获取权重矩阵与第一隐层特征之积，作为新的第一隐层特征；第二特征获取单元，被配置为执行获取权重矩阵与当前隐层特征之积，作为新的当前隐层特征；第三特征获取单元，被配置为执行获取权重矩阵与第二隐层特征之积，作为新的第二隐层特征；视频帧获取单元，被配置为执行获取对当前隐层特征进行特征提取得到的初始超分视频帧；第二拼接单元，被配置为执行拼接新的第一隐层特征、新的当前隐层特征、新的第二隐层特征、初始超分视频帧，得到超分辨特征。
133.在一示例性实施例中，第一视频帧包括当前视频帧的前n个时刻的视频帧，第二视频帧包括当前视频帧之后的n个时刻的视频帧，n为大于或等于2的正整数。
134.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
135.图9是根据一示例性实施例示出的一种用于对视频进行超分辨处理的电子设备z00的框图。例如，电子设备z00可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
136.参照图9，电子设备z00可以包括以下一个或多个组件：处理组件z02、存储器z04、电源组件z06、多媒体组件z08、音频组件z10、输入/输出(i/o)的接口z12、传感器组件z14以及通信组件z16。
137.处理组件z02通常控制电子设备z00的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件z02可以包括一个或多个处理器z20来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件z02可以包括一个或多个模块，便于处理组件z02和其他组件之间的交互。例如，处理组件z02可以包括多媒体模块，以方便多媒体组件z08和处理组件z02之间的交互。
138.存储器z04被配置为存储各种类型的数据以支持在电子设备z00的操作。这些数据的示例包括用于在电子设备z00上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器z04可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)、电可擦除可编程只读存储器(eeprom)、可擦除可编程只读存储器(eprom)、可编程只读存储器(prom)、只读存储器(rom)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。
139.电源组件z06为电子设备z00的各种组件提供电力。电源组件z06可以包括电源管理系统，一个或多个电源，及其他与为电子设备z00生成、管理和分配电力相关联的组件。
140.多媒体组件z08包括在所述电子设备z00和用户之间的提供输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感
器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件z08包括前置摄像头和/或后置摄像头。当电子设备z00处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是固定的光学透镜系统或具有焦距和光学变焦能力。
141.音频组件z10被配置为输出和/或输入音频信号。例如，音频组件z10包括麦克风(mic)，当电子设备z00处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器z04或经由通信组件z16发送。在一些实施例中，音频组件z10还包括扬声器，用于输出音频信号。
142.i/o接口z12为处理组件z02和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
143.传感器组件z14包括一个或多个传感器，用于为电子设备z00提供各个方面的状态评估。例如，传感器组件z14可以检测到电子设备z00的打开/关闭状态，组件的相对定位，例如所述组件为电子设备z00的显示器和小键盘，传感器组件z14还可以检测电子设备z00或电子设备z00组件的位置改变，用户与电子设备z00接触的存在或不存在，设备z00方位或加速/减速和电子设备z00的温度变化。传感器组件z14可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件z14还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件z14还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
144.通信组件z16被配置为便于电子设备z00和其他设备之间有线或无线方式的通信。电子设备z00可以接入基于通信标准的无线网络，如wifi，运营商网络(如2g、3g、4g或5g)，或它们的组合。在一个示例性实施例中，通信组件z16经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件z16还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
145.在示例性实施例中，电子设备z00可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
146.在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器z04，上述指令可由电子设备z00的处理器z20执行以完成上述方法。例如，计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
147.在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备z00的处理器z20执行以完成上述方法。
148.图10是根据一示例性实施例示出的另一种用于对视频进行超分辨处理的电子设备s00的框图。例如，电子设备s00可以为服务器。参照图10，电子设备s00包括处理组件s20，其进一步包括一个或多个处理器，以及由存储器s22所代表的存储器资源，用于存储可由处理组件s20的执行的指令，例如应用程序。存储器s22中存储的应用程序可以包括一个或一
个以上的每一个对应于一组指令的模块。此外，处理组件s20被配置为执行指令，以执行上述方法。
149.电子设备s00还可以包括：电源组件s24被配置为执行电子设备s00的电源管理，有线或无线网络接口s26被配置为将电子设备s00连接到网络，和输入输出(i/o)接口s28。电子设备s00可以操作基于存储在存储器s22的操作系统，例如windows server，mac os x，unix，linux，freebsd或类似。
150.在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器s22，上述指令可由电子设备s00的处理器执行以完成上述方法。存储介质可以是计算机可读存储介质，例如，所述计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
151.在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备s00的处理器执行以完成上述方法。
152.需要说明的，上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
153.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
154.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。