图像处理方法、模型训练方法及装置与流程
本说明书实施例涉及图像处理,特别涉及一种图像处理、模型训练方法及装置。
背景技术:
1、随着直播、自拍、短视频美颜场景升级,区别于整体均等收缩的传统瘦脸,人脸流畅脸美化成为主流高阶美颜需求,其核心是针对人脸太阳穴、颧骨、下颌线等局部区域,施加差异化、非线性像素位移,实现凹陷填充、凸起收敛、轮廓平滑,同时保留人脸原生身份特征。
2、目前,通常采用稠密像素级预测方式实现流畅脸美化:该方式以人脸图像为输入,依托u-net类卷积网络,预测得到和输入图像像素尺寸完全一致的稠密形变图;其中形变图每一个像素,均存储横向、纵向两组像素偏移数值,后续通过像素位置映射算法,依照形变图偏移参数调整原图像素位置,即可完成人脸局部塑形、轮廓平滑,实现流畅脸美颜效果。然而,这种方式计算开销极大,形变图的推理耗时过长,难以在中低端移动设备上满足毫秒级实时美颜的使用需求。
技术实现思路
1、有鉴于此,本说明书实施例提供了一种图像处理方法。本说明书一个或者多个实施例同时涉及一种模型训练方法,一种图像处理装置,一种模型训练装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序产品,以解决现有技术中存在的技术缺陷。
2、根据本说明书实施例的第一方面,提供了一种图像处理方法,包括:
3、确定模型输入图像对应的图像表征信息,其中,模型输入图像是将包含目标对象的待处理图像映射至第一分辨率获得;
4、基于图像表征信息,通过目标图像处理模型中的协同特征回归模块,确定目标对象在n个形变维度下的目标形变系数,其中,n为正整数、且n小于模型输入图像的像素数量,每一形变维度对应一种目标对象的形变模式,目标形变系数用于指示对应形变模式的形变幅度;
5、基于目标对象在n个形变维度下的目标形变系数,对待处理图像进行形变处理,获得目标图像。
6、根据本说明书实施例的第二方面,提供了一种模型训练方法,包括:
7、获取目标训练数据,其中,目标训练数据包括样本输入图像,以及样本输入图像中包含的样本对象在n个形变维度的目标形变系数标签,样本输入图像是将包含样本对象的样本图像映射至第一分辨率获得;
8、基于样本输入图像对应的样本图像表征信息,通过初始图像处理模型中的协同特征回归模块,确定样本对象在n个形变维度下的预测目标形变系数;
9、基于n个形变维度下的预测目标形变系数,以及n个形变维度的目标形变系数标签,调整初始图像处理模型的参数,直至达到训练停止条件,获得目标图像处理模型,其中,n为正整数,且n小于样本输入图像的像素数量,目标图像处理模型用于执行上述的图像处理方法。
10、根据本说明书实施例的第三方面,提供了一种图像处理装置,包括:
11、第一确定模块,被配置为确定模型输入图像对应的图像表征信息,其中,模型输入图像是将包含目标对象的待处理图像映射至第一分辨率获得;
12、第二确定模块,被配置为基于图像表征信息,通过目标图像处理模型中的协同特征回归模块,确定目标对象在n个形变维度下的目标形变系数,其中,n为正整数、且n小于模型输入图像的像素数量,每一形变维度对应一种目标对象的形变模式,目标形变系数用于指示对应形变模式的形变幅度;
13、形变处理模块,被配置为基于目标对象在n个形变维度下的目标形变系数,对待处理图像进行形变处理,获得目标图像。
14、根据本说明书实施例的第四方面,提供了一种模型训练装置,包括:
15、获取模块,被配置为获取目标训练数据,其中,目标训练数据包括样本输入图像,以及样本输入图像中包含的样本对象在n个形变维度的目标形变系数标签,样本输入图像是将包含样本对象的样本图像映射至第一分辨率获得;
16、第三确定模块,被配置为基于样本输入图像对应的样本图像表征信息,通过初始图像处理模型中的协同特征回归模块,确定样本对象在n个形变维度下的预测目标形变系数;
17、训练模块,被配置为基于n个形变维度下的预测目标形变系数,以及n个形变维度的目标形变系数标签,调整初始图像处理模型的参数,直至达到训练停止条件,获得目标图像处理模型,其中,n为正整数,且n小于样本输入图像的像素数量,目标图像处理模型用于执行上述的图像处理方法。
18、根据本说明书实施例的第五方面,提供了一种计算设备,包括:
19、存储器和处理器;
20、所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述图像处理方法或模型训练方法的步骤。
21、根据本说明书实施例的第六方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述图像处理方法或模型训练方法的步骤。
22、根据本说明书实施例的第七方面,提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述图像处理方法或模型训练方法的步骤。
23、本说明书一个实施例提供了一种图像处理方法,包括:确定模型输入图像对应的图像表征信息,其中,模型输入图像是将包含目标对象的待处理图像映射至第一分辨率获得;基于图像表征信息,通过目标图像处理模型中的协同特征回归模块,确定目标对象在n个形变维度下的目标形变系数,其中,n为正整数、且n小于模型输入图像的像素数量,每一形变维度对应一种目标对象的形变模式,目标形变系数用于指示对应形变模式的形变幅度;基于目标对象在n个形变维度下的目标形变系数,对待处理图像进行形变处理,获得目标图像。
24、本说明书实施例,通过将包含目标对象的待处理图像映射至适配目标图像处理模型的第一分辨率得到模型输入图像,保障了模型输入尺度的标准化,再基于对应的图像表征信息,通过协同特征回归模块完成形变预测,将传统方案中稠密像素级的形变预测问题转化为低维目标形变系数的回归任务;由于目标形变系数的数量远小于模型输入图像的像素数量,大幅压缩了待求解变量规模,显著降低了形变预测的计算复杂度与推理时延,减少了运行过程中的算力与内存资源占用,从而有效降低了该图像处理方法的硬件部署门槛,使其可顺畅运行于中低端移动终端等算力有限的设备,提升了该图像处理方法的适配范围。
1.一种图像处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述确定模型输入图像对应的图像表征信息之前,还包括:
3.根据权利要求2所述的方法,其特征在于,所述空间变换关系包括旋转、缩放和平移中的至少一种,所述基于所述待处理图像与所述第一分辨率,确定空间变换关系,包括:
4.根据权利要求3所述的方法,其特征在于,所述对所述第一原始尺寸和所述第二原始尺寸进行边界扩张,获得第一扩展尺寸和第二扩展尺寸,包括:
5.根据权利要求1所述的方法,其特征在于,所述确定模型输入图像对应的图像表征信息,包括:
6.根据权利要求5所述的方法,其特征在于,所述图像辅助信息包括轮廓增强信息,所述轮廓增强信息用于强化所述目标对象的轮廓边界;所述基于所述模型输入图像,以及所述图像辅助信息,确定所述图像表征信息,包括:
7.根据权利要求5所述的方法,其特征在于,所述图像辅助信息包括空间分布信息,所述空间分布信息用于指示所述模型输入图像中各个像素点的位置分布信息;所述基于所述模型输入图像,以及所述图像辅助信息,确定所述图像表征信息,包括:
8.根据权利要求1所述的方法,其特征在于,所述协同特征回归模块包括特征感知网络和系数回归模块;
9.根据权利要求8所述的方法,其特征在于,所述特征感知网络包括基础特征提取层、空间注意力门控模块、串联的多级特征演化模块和特征聚合层;所述将所述图像表征信息输入所述特征感知网络,获得目标视觉特征信息,包括:
10.根据权利要求9所述的方法,其特征在于,所述基础特征提取层包括特征提取层、归一化处理层、第一非线性变换层和下采样层;所述将所述图像表征信息输入所述基础特征提取层进行特征提取,获得基础特征信息,包括:
11.根据权利要求9所述的方法,其特征在于,所述空间注意力门控模块包括空间特征感知层、第二非线性变换层和空间聚焦控制层;所述将所述基础特征信息输入所述空间注意力门控模块进行特征增强处理,获得空间聚焦特征信息,包括:
12.根据权利要求9所述的方法,其特征在于,所述多级特征演化模块中的最后一级特征演化模块之后还包括多尺度融合模块,所述多尺度融合模块包括多路并行的空洞采样块和特征融合单元;
13.根据权利要求8所述的方法,其特征在于,所述系数回归模块包括线性映射层、位置嵌入层、特征协同建模模块和线性映射层,以及尺度还原模块;所述通过所述系数回归模块将所述目标视觉特征信息映射为所述n个形变维度下的目标形变系数,包括:
14.根据权利要求1所述的方法,其特征在于,所述目标图像处理模型还包括形变映射重构模块;所述基于所述目标对象在n个形变维度下的目标形变系数,对所述待处理图像中的目标对象进行形变处理,获得目标图像,包括:
15.根据权利要求14所述的方法,其特征在于,所述基于所述目标对象的空间几何形变场,对所述待处理图像中的目标对象进行形变处理,获得目标图像,包括:
16.一种模型训练方法,其特征在于,包括:
17.根据权利要求16所述的方法,其特征在于,所述目标训练数据还包括目标分辨率下的形变映射信息标签和目标图像标签,所述形变映射信息标签用于指示所述样本对象在所述目标分辨率下每个像素点的位置信息,所述目标图像标签是基于所述形变映射信息标签对所述样本对象进行形变处理获得的;
18.根据权利要求17所述的方法,其特征在于,所述基于所述n个形变维度下的预测目标形变系数、所述n个形变维度下的形变基底,以及平均形变基准,确定所述样本对象在所述目标分辨率下的预测形变映射信息之前,还包括:
19.一种图像处理装置,其特征在于,包括:
20.一种模型训练装置,其特征在于,包括:
21.一种计算设备,其特征在于,包括:
22.一种计算机可读存储介质,其特征在于,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1-18任一项所述方法的步骤。
23.一种计算机程序产品,其特征在于,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现权利要求1-18任一项所述方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com