图像补全方法、装置、电子设备和存储介质与流程
本申请涉及图像处理,特别是涉及一种图像补全方法、装置、电子设备和存储介质。
背景技术:
1、裸眼三维显示技术无需佩戴辅助设备即可呈现立体影像。在基于透镜阵列式的裸眼三维应用中,由于有效显示范围有限,通常需要将整个场景划分为前景和背景,其中背景常被设置为静态贴图,而前景则保留三维立体感以增强视觉效果。
2、裸眼3d需要精确匹配光学参数的多视角图像,其中,基于深度图的渲染是非常重要的技术方向。基于深度图的渲染往往需要涉及背景空洞补全技术,对于高清裸眼3d显示器(例如分辨率高达8k的3d显示器),背景图像也需要尽可能清晰,因此,背景图像的补全效果需要做到高清。
3、相关技术中,背景图像的补全通常在高分辨率图像上完成,计算量和显存占用都较大,导致单帧图像处理成本高、推理时间长,往往依赖服务器集群,例如专利文献cn113570511b,其涉及一种图像修复方法,采用n层第一网络层和n层第二网络层,通过n层第一网络层将缺损图像从原始尺度逐层增加尺度以及对缺失区域进行修复处理,通过n层第二网络层将中间图像从n个尺度逐层减少尺度以及对缺失区域进行修复处理,得到原始尺度的补全图像。该方案中,相邻两个第一网络层中的在后第一网络层的每个尺度上的输入图像,是在前第一网络层的在至少两个尺度上输出的中间图像进行交叉融合的融合图像,相邻两个第二网络层同样如此,该专利方案在应用于4k等高分辨率背景图像补全时,仍可能面临计算量和显存占用较大的问题;另外,在低成本设备上也难以兼顾高清与快速修复。
技术实现思路
1、有鉴于此,本申请实施例为解决背景技术中存在的至少一个问题而提供一种图像补全方法、装置、电子设备和存储介质。
2、第一方面,提供了一种图像补全方法,所述方法包括:
3、获取第一分辨率图像,所述第一分辨率图像包括待补全背景图像以及对应的掩码图,所述掩码图用于指示所述待补全背景图像中的待补全区域;
4、将所述第一分辨率图像中的每个图像由第一分辨率调低至第二分辨率,得到第二分辨率图像;
5、将所述第一分辨率图像和所述第二分辨率图像输入至图像补全模型,通过所述图像补全模型利用对所述第二分辨率图像进行处理得到的图像特征,辅助对所述第一分辨率图像中所述待补全背景图像进行补全,所述图像补全模型基于所述第二分辨率的图像训练集训练得到。
6、第二方面,提供了一种图像补全装置,所述装置包括:
7、获取模块,用于获取第一分辨率图像,所述第一分辨率图像包括待补全背景图像以及对应的掩码图,所述掩码图用于指示所述待补全背景图像中的待补全区域;
8、调整模块,用于将所述第一分辨率图像中的每个图像由第一分辨率调低至第二分辨率,得到第二分辨率图像;
9、补全模块,用于将所述第一分辨率图像和所述第二分辨率图像输入至图像补全模型,通过所述图像补全模型利用对所述第二分辨率图像进行处理得到的图像特征,辅助对所述第一分辨率图像中所述待补全背景图像进行补全,所述图像补全模型基于所述第二分辨率的图像训练集训练得到。
10、第三方面,提供了一种电子设备,应用于裸眼三维显示系统,所述电子设备包括处理器,所述处理器用于调用指令以使得所述电子设备执行如第一方面提供的图像补全方法的步骤。
11、第四方面,提供了一种存储介质,其上存储有可执行程序,所述可执行程序被处理器执行时实现如第一方面提供的图像补全方法的步骤。
12、本申请实施例提供一种图像补全方法、装置、电子设备和存储介质,通过先获取包含待补全背景图像和掩码图的第一分辨率图像,将第一分辨率图像中的每个图像由第一分辨率调低至第二分辨率,并将第一分辨率图像和第二分辨率图像输入至图像补全模型。由于第二分辨率图像的分辨率小于第一分辨率图像的分辨率,且所述图像补全模型基于第二分辨率的图像样本集训练得到,因此图像补全模型在第二分辨率尺度下提取的图像特征对应于更大的内容感受野。利用该图像特征辅助对第一分辨率图像中的待补全背景图像进行补全,无需在第一分辨率尺度下通过增大卷积核或引入全局注意力机制即可获得相当的感受野范围,如此有助于降低第一分辨率图像补全的计算负担和推理耗时,进而缩短单帧图像的补全时间,减少对服务器集群的依赖,并为低成本设备实现高清图像的快速修复提供可能。另外,输入图像还包括掩码图,所述掩码图指示待补全背景图像中待补全区域,这样图像补全模型在填补待补全区域时,可根据掩码图仅替换待补全区域,避免修改非待补全区域的像素,由此可以保证修复前后非待补全区域的一致性。
1.一种图像补全方法,其特征在于,所述方法包括:
2.根据权利要求1所述的图像补全方法,其特征在于,所述图像补全模型包括依次级联的n个网络层,n为正整数;所述通过所述图像补全模型利用对所述第二分辨率图像进行处理得到的图像特征,辅助对所述第一分辨率图像中所述待补全背景图像进行补全,包括:
3.根据权利要求2所述的图像补全方法,其特征在于,所述k大于1,且在所述k个目标网络层中,网络层级越深,对应的所述第一特征图在融合时的权重越小。
4.根据权利要求2所述的图像补全方法,其特征在于,所述图像补全模型包括编码器和解码器;所述编码器包括依次级联的多个下采样层;所述解码器包括依次级联的多个上采样层;所述n个网络层包括所述编码器的多个下采样层和所述解码器的多个上采样层;所述k个目标网络层位于所述编码器中,所述解码器的输出为所述第一分辨率的补全背景图像。
5.根据权利要求1至4任一项所述的图像补全方法,其特征在于,所述第二分辨率的图像训练集包括第二分辨率的多个图像样本以及各所述图像样本对应的标签;各所述图像样本包括待补全样本图像和所述待补全样本图像对应的样本掩码图;所述待补全样本图像是使用所述样本掩码图对作为所述标签的样本背景图像进行掩码得到的;所述图像补全模型的训练过程包括:
6.根据权利要求5所述的图像补全方法,其特征在于,所述方法还包括:
7.根据权利要求5所述的图像补全方法,其特征在于,所述获取所述第二分辨率的图像训练集,包括:
8.根据权利要求7所述的图像补全方法,其特征在于,部分所述第一类图像在裁剪或缩放前为包含前景主体和毛发边缘的第一分辨率样本图像;所述方法还包括:
9.根据权利要求5所述的图像补全方法,其特征在于,所述第二分辨率的图像训练集还包括补充图像样本以及所述补充图像样本对应的标签;所述获取所述第二分辨率的图像训练集,包括:
10.一种图像补全装置,其特征在于,所述装置包括:
11.一种电子设备,其特征在于,应用于裸眼三维显示系统,所述电子设备包括处理器,所述处理器用于调用指令以使得所述电子设备执行如权利要求1至9中任一项所述的图像补全方法的步骤。
12.一种存储介质,其特征在于,其上存储有可执行程序,所述可执行程序被处理器执行时实现如权利要求1至9中任一项所述的图像补全方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com