用于视频超分辨率的多阶段多参考自举的制作方法

技术特征：
1.一种计算机实现的方法，其特征在于，包括：获取视频中的当前帧和所述当前帧的多个参考帧；对使用所述当前帧和所述多个参考帧构建的第一张量进行第一卷积滤波，以生成所述当前帧的第一估计图像；获取所述多个参考帧的估计参考图像，所述估计参考图像的分辨率高于所述多个参考帧的图像的分辨率；对使用所述当前帧的所述第一估计图像和所述多个参考帧的所述估计参考图像构建的第二张量进行第二卷积滤波，以生成所述当前帧的第二估计图像。2.根据权利要求1所述的计算机实现的方法，其特征在于，所述当前帧的所述多个参考帧包括所述当前帧的先前帧。3.根据权利要求1所述的计算机实现的方法，其特征在于，所述当前帧的所述多个参考帧包括所述当前帧之前的帧和所述当前帧之后的帧。4.根据权利要求1至3中任一项所述的计算机实现的方法，其特征在于，还包括：在进行所述第一卷积滤波之前，确定所述多个参考帧中的一个参考帧中的扩展区域，所述扩展区域对应于所述当前帧中的一个区域，并且所述参考帧中的所述扩展区域包括所述当前帧中所述区域的放大场景；根据所述参考帧的每个像素是否属于所述扩展区域，为所述参考帧的每个像素分配效用分数，从而生成所述参考帧的效用掩码，所述效用掩码包括所述参考帧的像素的效用分数集合；使用所述当前帧、所述多个参考帧和所述参考帧的所述效用掩码构建所述第一张量。5.根据权利要求4所述的计算机实现的方法，其特征在于，还包括：使用所述当前帧和所述多个参考帧生成场景流，所述场景流包括根据所述当前帧的所述图像进行运动补偿的所述多个参考帧的图像；为所述多个参考帧中的每个参考帧生成流图；其中，确定所述参考帧中的所述扩展区域是基于所述场景流和所述流图。6.根据权利要求5所述的计算机实现的方法，其特征在于，生成所述场景流包括使用所述当前帧、所述多个参考帧和所述当前帧的数字世界参考图像生成所述场景流。7.根据权利要求6所述的计算机实现的方法，其特征在于，所述数字世界参考图像是从数字世界图像数据库获取的。8.根据权利要求7所述的计算机实现的方法，其特征在于，还包括：获取所述当前帧的视觉定位系统(visualpositioning system，vps)信息；根据所述vps信息在所述数字世界图像数据库中查找所述数字世界参考图像。9.根据权利要求6至8中任一项所述的计算机实现的方法，其特征在于，还包括：调整所述数字世界参考图像的大小，使得所述数字世界参考图像具有与所述当前帧的所述图像的大小相同的大小。10.根据权利要求4至9中任一项所述的计算机实现的方法，其特征在于，还包括：为所述多个参考帧中的每个参考帧生成效用掩码；使用所述当前帧、所述多个参考帧和所述多个参考帧的效用掩码构建所述第一张量。
11.根据权利要求10所述的计算机实现的方法，其特征在于，构建所述第一张量包括：根据所述当前帧和所述多个参考帧的序列，对所述当前帧和所述多个参考帧进行排序；根据所述序列对所述多个参考帧的所述效用掩码进行排序。12.根据权利要求10所述的计算机实现的方法，其特征在于，构建所述第一张量包括：将所述多个参考帧中的每个参考帧的像素值和相应参考帧的效用掩码相乘。13.根据权利要求1至12中任一项所述的计算机实现的方法，其特征在于，所述第一估计图像或所述第二估计图像的大小大于所述当前帧的所述图像的大小。14.根据权利要求1至13中任一项所述的计算机实现的方法，其特征在于，还包括：在进行所述第二卷积滤波之前，确定所述多个参考帧中的估计参考图像中的扩展区域，所述扩展区域对应于所述第一估计图像中的一个区域，并且所述估计参考图像中的所述扩展区域包括所述第一估计图像中所述区域的放大场景；根据所述估计参考图像的每个像素是否属于所述扩展区域，为所述估计参考图像的每个像素分配效用分数，从而生成所述估计参考图像的效用掩码，所述估计参考图像的所述效用掩码包括所述估计参考图像的像素的效用分数集合；使用所述第一估计图像、所述多个参考帧的所述估计参考图像和所述估计参考图像的所述效用掩码构建所述第二张量。15.根据权利要求14所述的计算机实现的方法，其特征在于，还包括：使用所述第一估计图像和所述多个参考帧的所述估计参考图像生成场景流，所述场景流包括根据所述第一估计图像进行运动补偿的所述估计参考图像的图像；为所述估计参考图像中的每个估计参考图像生成流图；其中，确定所述估计参考图像中的所述扩展区域是基于所述场景流和所述流图。16.根据权利要求14或15所述的计算机实现的方法，其特征在于，还包括：为所述估计参考图像中的每个估计参考图像生成效用掩码。17.根据权利要求16所述的计算机实现的方法，其特征在于，还包括：使用所述第一估计图像、所述多个参考帧的所述估计参考图像和所述估计参考图像的效用掩码构建所述第二张量。18.根据权利要求17所述的计算机实现的方法，其特征在于，还包括：对所述估计的第一图像和所述多个参考帧的所述估计参考图像进行卷积滤波，从而生成所述估计的第一图像和所述估计参考图像的特征图；其中，构建所述第二张量包括：使用所述特征图、所述估计参考图像的所述效用掩码和所述第一张量构建所述第二张量。19.一种计算机实现的方法，其特征在于，包括：获取视频中的当前帧和所述当前帧的多个参考帧；确定所述多个参考帧中的一个参考帧中的扩展区域，所述扩展区域对应于所述当前帧中的一个区域，并且所述参考帧中的所述扩展区域包括所述当前帧中所述区域的放大场景；
根据所述参考帧的每个像素是否属于所述扩展区域，为所述参考帧的每个像素分配效用分数，从而生成所述参考帧的效用掩码，所述效用掩码包括所述参考帧的像素的效用分数集合；使用所述当前帧、所述多个参考帧和所述参考帧的所述效用掩码构建第一张量；对所述第一张量进行卷积滤波，以生成所述当前帧的第一重建图像。20.根据权利要求19所述的计算机实现的方法，其特征在于，还包括：使用所述当前帧和所述多个参考帧生成场景流，所述场景流包括根据所述当前帧的所述图像进行运动补偿的所述多个参考帧的图像；为所述多个参考帧中的每个参考帧生成流图；其中，确定所述参考帧中的所述扩展区域是基于所述场景流和所述流图。21.根据权利要求20所述的计算机实现的方法，其特征在于，生成所述场景流包括使用所述当前帧、所述多个参考帧和所述当前帧的数字世界参考图像生成所述场景流。22.根据权利要求21所述的计算机实现的方法，其特征在于，所述数字世界参考图像是从数字世界图像数据库获取的。23.根据权利要求22所述的计算机实现的方法，其特征在于，还包括：获取所述当前帧的视觉定位系统(visual positioning system，vps)信息；根据所述vps信息在所述数字世界图像数据库中查找所述数字世界参考图像。24.根据权利要求21至23中任一项所述的计算机实现的方法，其特征在于，还包括：调整所述数字世界参考图像的大小，使得所述数字世界参考图像具有与所述当前帧的所述图像的大小相同的大小。25.根据权利要求19至24中任一项所述的计算机实现的方法，其特征在于，还包括：为所述多个参考帧中的每个参考帧生成效用掩码；使用所述当前帧、所述多个参考帧和所述多个参考帧的效用掩码构建所述第一张量。26.根据权利要求25所述的计算机实现的方法，其特征在于，构建所述第一张量包括：根据所述当前帧和所述多个参考帧的序列，对所述当前帧和所述多个参考帧进行排序；根据所述序列对所述多个参考帧的所述效用掩码进行排序。27.根据权利要求26所述的计算机实现的方法，其特征在于，构建所述第一张量包括：将所述多个参考帧中的每个参考帧的像素值和相应参考帧的效用掩码相乘。28.一种装置，其特征在于，包括：非瞬时性存储器，包括指令；一个或多个处理器，与所述存储器通信，其中，所述一个或多个处理器执行所述指令，以执行包括以下各项的操作：获取视频中的当前帧和所述当前帧的多个参考帧；对使用所述当前帧和所述多个参考帧构建的第一张量进行第一卷积滤波，以生成所述当前帧的第一估计图像；获取所述多个参考帧的估计参考图像，所述估计参考图像的分辨率高于所述多个参考帧的图像的分辨率；对使用所述当前帧的所述第一估计图像和所述多个参考帧的所述估计参考图像构建
的第二张量进行第二卷积滤波，以生成所述当前帧的第二估计图像。29.根据权利要求28所述的装置，其特征在于，所述当前帧的所述多个参考帧包括所述当前帧的先前帧。30.根据权利要求28所述的装置，其特征在于，所述当前帧的所述多个参考帧包括所述当前帧之前的帧和所述当前帧之后的帧。31.根据权利要求28至30中任一项所述的装置，其特征在于，所述操作还包括：在进行所述第一卷积滤波之前，确定所述多个参考帧中的一个参考帧中的扩展区域，所述扩展区域对应于所述当前帧中的一个区域，并且所述参考帧中的所述扩展区域包括所述当前帧中所述区域的放大场景；根据所述参考帧的每个像素是否属于所述扩展区域，为所述参考帧的每个像素分配效用分数，从而生成所述参考帧的效用掩码，所述效用掩码包括所述参考帧的像素的效用分数集合；使用所述当前帧、所述多个参考帧和所述参考帧的所述效用掩码构建所述第一张量。32.根据权利要求31所述的装置，其特征在于，所述操作还包括：使用所述当前帧和所述多个参考帧生成场景流，所述场景流包括根据所述当前帧的所述图像进行运动补偿的所述多个参考帧的图像，所述场景流还包括所述多个参考帧中的每个参考帧的流图；其中，确定所述参考帧中的所述扩展区域是基于所述场景流和所述流图。33.根据权利要求32所述的装置，其特征在于，生成所述场景流包括使用所述当前帧、所述多个参考帧和所述当前帧的数字世界参考图像生成所述场景流。34.根据权利要求33所述的装置，其特征在于，所述数字世界参考图像是从数字世界图像数据库获取的。35.根据权利要求34所述的装置，其特征在于，所述操作还包括：获取所述当前帧的视觉定位系统(visual positioning system，vps)信息；根据所述vps信息在所述数字世界图像数据库中查找所述数字世界参考图像。36.根据权利要求33至35中任一项所述的装置，其特征在于，所述操作还包括：调整所述数字世界参考图像的大小，使得所述数字世界参考图像具有与所述当前帧的所述图像的大小相同的大小。37.根据权利要求31至36中任一项所述的装置，其特征在于，所述操作还包括：为所述多个参考帧中的每个参考帧生成效用掩码；使用所述当前帧、所述多个参考帧和所述多个参考帧的效用掩码构建所述第一张量。38.根据权利要求37所述的装置，其特征在于，构建所述第一张量包括：根据所述当前帧和所述多个参考帧的序列，对所述当前帧和所述多个参考帧进行排序；根据所述序列对所述多个参考帧的所述效用掩码进行排序。39.根据权利要求37所述的装置，其特征在于，构建所述第一张量包括：将所述多个参考帧中的每个参考帧的像素值和相应参考帧的效用掩码相乘。40.根据权利要求28至39中任一项所述的装置，其特征在于，所述第一估计图像或所述
第二估计图像的大小大于所述当前帧的所述图像的大小。41.根据权利要求28至39中任一项所述的装置，其特征在于，所述操作还包括：在进行所述第二卷积滤波之前，确定所述多个参考帧中的估计参考图像中的扩展区域，所述扩展区域对应于所述第一估计图像中的一个区域，并且所述估计参考图像中的所述扩展区域包括所述第一估计图像中所述区域的放大场景；根据所述估计参考图像的每个像素是否属于所述扩展区域，为所述估计参考图像的每个像素分配效用分数，从而生成所述估计参考图像的效用掩码，所述估计参考图像的所述效用掩码包括所述估计参考图像的像素的效用分数集合；使用所述第一估计图像、所述多个参考帧的所述估计参考图像和所述估计参考图像的所述效用掩码构建所述第二张量。42.根据权利要求43所述的装置，其特征在于，所述操作还包括：使用所述第一估计图像和所述多个参考帧的所述估计参考图像生成场景流，所述场景流包括根据所述第一估计图像进行运动补偿的所述估计参考图像的图像；为所述估计参考图像中的每个估计参考图像生成流图；其中，确定所述估计参考图像中的所述扩展区域是基于所述场景流和所述流图。43.根据权利要求41或42所述的装置，其特征在于，所述操作还包括：为所述估计参考图像中的每个估计参考图像生成效用掩码。44.根据权利要求43所述的装置，其特征在于，所述操作还包括：使用所述第一估计图像、所述多个参考帧的所述估计参考图像和所述估计参考图像的效用掩码构建所述第二张量。45.根据权利要求44所述的装置，其特征在于，还包括：对所述估计的第一图像和所述多个参考帧的所述估计参考图像进行卷积滤波，从而生成所述估计的第一图像和所述估计参考图像的特征图；其中，构建所述第二张量包括：使用所述特征图、所述估计参考图像的所述效用掩码和所述第一张量构建所述第二张量。46.一种存储计算机指令的非瞬时性计算机可读介质，其特征在于，所述计算机指令在由一个或多个处理器执行时使所述一个或多个处理器执行以下操作：获取视频中的当前帧和所述当前帧的多个参考帧；对使用所述当前帧和所述多个参考帧构建的第一张量进行第一卷积滤波，以生成所述当前帧的第一估计图像；获取所述多个参考帧的估计参考图像，所述估计参考图像的分辨率高于所述多个参考帧的图像的分辨率；对使用所述当前帧的所述第一估计图像和所述多个参考帧的所述估计参考图像构建的第二张量进行第二卷积滤波，以生成所述当前帧的第二估计图像。47.一种装置，其特征在于，包括：非瞬时性存储器，包括指令；一个或多个处理器，与所述存储器通信，其中，所述一个或多个处理器执行所述指令，
以执行以下操作：获取视频中的当前帧和所述当前帧的多个参考帧；确定所述多个参考帧中的一个参考帧中的扩展区域，所述扩展区域对应于所述当前帧中的一个区域，并且所述参考帧中的所述扩展区域包括所述当前帧中所述区域的放大场景；根据所述参考帧的每个像素是否属于所述扩展区域，为所述参考帧的每个像素分配效用分数，从而生成所述参考帧的效用掩码，所述效用掩码包括所述参考帧的像素的效用分数集合；使用所述当前帧、所述多个参考帧和所述参考帧的所述效用掩码构建第一张量；对所述第一张量进行卷积滤波，以生成所述当前帧的第一重建图像。48.一种存储计算机指令的非瞬时性计算机可读介质，其特征在于，所述计算机指令在由一个或多个处理器执行时使所述一个或多个处理器执行以下操作：获取视频中的当前帧和所述当前帧的多个参考帧；确定所述多个参考帧中的一个参考帧中的扩展区域，所述扩展区域对应于所述当前帧中的一个区域，并且所述参考帧中的所述扩展区域包括所述当前帧中所述区域的放大场景；根据所述参考帧的每个像素是否属于所述扩展区域，为所述参考帧的每个像素分配效用分数，从而生成所述参考帧的效用掩码，所述效用掩码包括所述参考帧的像素的效用分数集合；使用所述当前帧、所述多个参考帧和所述参考帧的所述效用掩码构建第一张量；对所述第一张量进行卷积滤波，以生成所述当前帧的第一重建图像。

技术总结
一种实施例方法，包括对使用视频中的当前帧和所述当前帧的参考帧(或数字世界参考图像)构建的第一张量进行第一卷积滤波，以生成分辨率高于所述当前帧的图像的分辨率的所述当前帧的第一估计图像。所述方法还包括对使用所述第一估计图像和所述参考帧的估计参考图像构建的第二张量进行第二卷积滤波，以生成分辨率高于所述当前帧的所述图像的分辨率的所述当前帧的第二估计图像。所述参考帧的所述估计参考图像是所述参考图像的重建高分辨率图像。像。像。


技术研发人员：法提赫
受保护的技术使用者：华为技术有限公司
技术研发日：2020.04.28
技术公布日：2022/1/28