图像处理方法、设备、存储介质及程序产品与流程

技术特征：
1.一种图像处理方法，其特征在于，包括：获取包含目标对象的待处理图像；将所述待处理图像输入蒙版处理模型，所述蒙版处理模型包括编码网络、解码网络及输出网络，以通过编码网络对待处理图像提取编码特征，通过解码网络根据编码特征重构前景特征图及背景特征图，通过输出网络根据所述前景特征图和所述背景特征图确定所述待处理图像对应的前景蒙版；根据所述前景蒙版对所述待处理图像进行背景替换。2.根据权利要求1所述的方法，其特征在于，所述获取包含目标对象的待处理图像，包括：获取当前视频流，所述当前视频流包括至少一帧包含目标对象的视频帧，将包含目标对象的视频帧确定为包含目标对象的待处理图像；所述根据所述前景蒙版对所述待处理图像进行背景替换后，还包括：根据背景替换后的待处理图像更新所述当前视频流中的对应视频帧；将更新后的当前视频流发送至服务端，以由服务端下发至目标用户端。3.根据权利要求1所述的方法，其特征在于，所述蒙版处理模型通过以下训练方法训练而成，该训练方法包括：获取训练样本集合，其中，所述训练样本集合中的训练样本包括包含目标对象的样本图像以及样本图像对应的深度图；将所述训练样本集合中的训练样本输入待训练的蒙版处理模型，对蒙版处理模型的编码网络进行训练，以基于第一预设损失函数对编码网络的模型参数进行优化，其中，所述编码网络为对输入图像提取编码特征的神经网络。4.根据权利要求3所述的方法，其特征在于，所述对蒙版处理模型的编码网络进行训练，以基于第一预设损失函数对编码网络的模型参数进行优化，包括：获取所述编码网络对所述样本图像提取的编码特征；根据所述编码特征以及所述样本图像对应的深度图获取第一预设损失函数值，并根据第一预设损失函数值对所述编码网络的模型参数进行优化。5.根据权利要求4所述的方法，其特征在于，所述编码网络包括多个编码层；所述获取所述编码网络对所述样本图像提取的编码特征，包括：对于任一所述编码层，将所述样本图像下采样至目标尺寸，并经过卷积处理将图像通道数转换成1，得到所述编码层对应的编码特征，其中，不同编码层对应的目标尺寸不同；所述根据所述编码特征以及所述样本图像对应的深度图获取损失函数值，并根据第一预设损失函数值对所述编码网络的模型参数进行优化，包括：将所述样本图像对应的深度图调整至所述编码层对应的目标尺寸；根据所述编码层对应的编码特征、以及调整至所述目标尺寸后的深度图，获取第一预设损失函数值，并根据第一预设损失函数值对所述编码层的模型参数进行优化。6.根据权利要求3所述的方法，其特征在于，所述获取训练样本集合，包括：在采集样本图像时，通过深度图采集设备采集所述样本图像对应的深度图；或者将样本图像输入预设的深度估计模型，获取所述样本图像对应的深度图。7.根据权利要求3所述的方法，其特征在于，所述第一预设损失函数为最小绝对值偏
差。8.根据权利要求3
‑
7任一项所述的方法，其特征在于，所述训练样本集合中的训练样本还包括样本图像对应的模板图像，所述模板图像包括对应前景蒙版的前景训练模板以及与所述前景训练模板对应的背景训练模板；所述方法还包括：对所述蒙版处理模型的解码网络和输出网络进行训练，并基于第二预设损失函数进行编码网络的模型参数进行优化，其中，所述解码网络用于根据编码特征重构前景特征图及背景特征图，所述输出网络用于根据所述前景特征图和所述背景特征图确定前景蒙版。9.根据权利要求8所述的方法，其特征在于，所述解码网络包括并行的前景解码子网络和背景解码子网络，所述前景解码子网络用于根据编码特征重构前景特征图，所述背景解码子网络用于根据编码特征重构背景特征图；所述前景解码子网络和所述背景解码子网络分别包含顺序连接的至少一个用于语义分割的第一反向特征提取层以及至少一个用于抠图的第二反向特征提取层。10.根据权利要求8所述的方法，其特征在于，用于语义分割的第一反向特征提取层使用的第二预设损失函数为二分类交叉熵损失函数；用于抠图的第二反向特征提取层使用的第二预设损失函数为最小绝对值偏差。11.根据权利要求1或2所述的方法，其特征在于，所述根据所述前景蒙版对所述待处理图像进行背景替换之前，还包括：接收用户上传的背景替换模板或者确定用户在背景替换模板库中选择的背景替换模板；所述根据所述前景蒙版对所述待处理图像进行背景替换，包括：根据所述背景替换模板和所述前景蒙版对所述待处理图像进行背景替换。12.一种图像处理设备，其特征在于，包括：获取单元，用于获取包含目标对象的待处理图像；处理单元，用于将所述待处理图像输入蒙版处理模型，所述蒙版处理模型包括编码网络、解码网络及输出网络，以通过编码网络对待处理图像提取编码特征，通过解码网络根据编码特征重构前景特征图及背景特征图，通过输出网络根据所述前景特征图和所述背景特征图确定所述待处理图像对应的前景蒙版；替换单元，用于根据所述前景蒙版对所述待处理图像进行背景替换。13.一种电子设备，其特征在于，包括：至少一个处理器和存储器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1
‑
11任一项所述的图像处理方法。14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1
‑
11任一项所述的图像处理方法。15.一种计算机程序产品，其特征在于，包括计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1
‑
11任一项所述的图像处理方法。

技术总结
本公开实施例提供一种图像处理方法、设备、存储介质及程序产品，通过获取包含目标对象的待处理图像；将待处理图像输入蒙版处理模型，蒙版处理模型包括编码网络、解码网络及输出网络，以通过编码网络对待处理图像提取编码特征，通过解码网络根据编码特征重构前景特征图及背景特征图，通过输出网络根据前景特征图和背景特征图确定待处理图像对应的前景蒙版；根据前景蒙版对待处理图像进行背景替换。本公开实施例中通过蒙版处理模型准确的提取待处理的编码特征，进而有效的重构前景特征和背景特征，可有效的提高前景蒙版的准确度，从而在根据前景蒙版对待处理图像进行背景替换后，可得到较高质量的图像，满足用户的审美需求。满足用户的审美需求。满足用户的审美需求。


技术研发人员：杜绪晗 张启军 刘鑫 程京 吴泽寰 焦少慧
受保护的技术使用者：北京字节跳动网络技术有限公司
技术研发日：2021.08.26
技术公布日：2021/11/23