视频的超分辨率处理方法、装置、电子设备及存储介质与流程

技术特征：
1.一种视频的超分辨率处理方法，其特征在于，包括：将待处理视频输入至超分辨网络，所述超分辨网络为双向循环卷积网络；针对所述待处理视频中的当前视频帧，通过所述超分辨网络将所述当前视频帧之前的第一视频帧的第一隐层特征、所述当前视频帧之后的第二视频帧的第二隐层特征，以及所述当前视频帧作为输入参数，得到所述当前视频帧的当前隐层特征；确定与所述第一隐层特征、所述当前隐层特征以及所述第二隐层特征对应的权重矩阵；根据所述权重矩阵，以及所述第一隐层特征、所述当前隐层特征、所述第二隐层特征，得到所述当前视频帧的超分辨特征；根据所述超分辨特征，得到所述当前视频帧的超分视频帧。2.根据权利要求1所述的视频的超分辨率处理方法，其特征在于，所述确定与所述第一隐层特征、所述当前隐层特征以及所述第二隐层特征对应的权重矩阵，包括：拼接所述第一隐层特征、所述当前隐层特征以及所述第二隐层特征，得到第一中间特征；对所述第一中间特征进行特征提取，得到第二中间特征，所述第二中间特征的特征维度为所述第一隐层特征、所述当前隐层特征以及所述第二隐层特征的数量之和；从所述特征维度上对所述第二中间特征进行归一化处理，得到所述权重矩阵。3.根据权利要求2所述的视频的超分辨率处理方法，其特征在于，所述对所述第一中间特征进行特征提取，得到第二中间特征，包括：将所述第一中间特征输入至特征提取网络进行特征提取；对特征提取后的所述第一中间特征进行卷积处理，得到所述第二中间特征。4.根据权利要求3所述的视频的超分辨率处理方法，其特征在于，所述特征提取网络包至少一层残差模块，所述残差模块包括依次连接的第一卷积层、线性整流层、第二卷积层；所述将所述第一中间特征输入至特征提取网络进行特征提取，包括：对所述第一中间特征进行跳连接处理；通过所述残差模块中的所述第一卷积层、所述线性整流层、所述第二卷积层对所述第一中间特征进行处理；融合跳连接处理后的所述第一中间特征以及残差模块处理后的所述第一中间特征，得到特征提取后的所述第一中间特征。5.根据权利要求1所述的视频的超分辨率处理方法，其特征在于，所述根据所述权重矩阵，以及所述第一隐层特征、所述当前隐层特征、所述第二隐层特征，得到所述当前视频帧的超分辨特征，包括：获取所述权重矩阵与所述第一隐层特征之积，作为新的第一隐层特征；获取所述权重矩阵与所述当前隐层特征之积，作为新的当前隐层特征；获取所述权重矩阵与所述第二隐层特征之积，作为新的第二隐层特征；获取对所述当前隐层特征进行特征提取得到的初始超分视频帧；拼接所述新的第一隐层特征、所述新的当前隐层特征、所述新的第二隐层特征、所述初始超分视频帧，得到所述超分辨特征。6.根据权利要求1～5任一项所述的视频的超分辨率处理方法，其特征在于，所述第一
视频帧包括所述当前视频帧的前n个时刻的视频帧，所述第二视频帧包括所述当前视频帧之后的n个时刻的视频帧，所述n为大于或等于2的正整数。7.一种视频的超分辨率处理装置，其特征在于，包括：输入模块，被配置为执行将待处理视频输入至超分辨网络，所述超分辨网络为双向循环卷积网络；第一特征生成模块，被配置为执行针对所述待处理视频中的当前视频帧，通过所述超分辨网络将所述当前视频帧之前的第一视频帧的第一隐层特征、所述当前视频帧之后的第二视频帧的第二隐层特征，以及所述当前视频帧作为输入参数，得到所述当前视频帧的当前隐层特征；权重确定模块，被配置为执行确定与所述第一隐层特征、所述当前隐层特征以及所述第二隐层特征对应的权重矩阵；第二特征生成模块，被配置为执行根据所述权重矩阵，以及所述第一隐层特征、所述当前隐层特征、所述第二隐层特征，得到所述当前视频帧的超分辨特征；超分视频帧生成模块，被配置为执行根据所述超分辨特征，得到所述当前视频帧的超分视频帧。8.一种电子设备，其特征在于，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的视频的超分辨率处理方法。9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的视频的超分辨率处理方法。10.一种计算机程序产品，所述计算机程序产品中包括指令，其特征在于，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6任一项所述的视频的超分辨率处理方法。

技术总结
本公开关于一种视频的超分辨率处理方法、装置、电子设备及存储介质，所述方法包括：将待处理视频输入至超分辨网络；通过超分辨网络将当前视频帧之前的第一视频帧的第一隐层特征、当前视频帧之后的第二视频帧的第二隐层特征，以及当前视频帧作为输入参数，得到当前视频帧的当前隐层特征；确定权重矩阵；根据权重矩阵，以及第一隐层特征、当前隐层特征、第二隐层特征，得到当前视频帧的超分辨特征；根据超分辨特征得到超分视频帧。根据本公开的技术方案，能够在充分利用领域的时序信息的基础上，基于权重矩阵保留与当前视频帧相关的特征信息，从领域的时序信息中提取出对当前视频帧更有帮助的信息，从而能够提升超分辨精度。从而能够提升超分辨精度。从而能够提升超分辨精度。


技术研发人员：磯部駿 陶鑫 戴宇荣
受保护的技术使用者：北京达佳互联信息技术有限公司
技术研发日：2022.03.18
技术公布日：2022/5/30