一种基于局部空间转换网络的实时目标编辑方法

技术特征：
1.一种基于局部空间转换网络的实时目标编辑方法，其特征在于，步骤如下：步骤1，获取高分辨率图像并制作训练数据集和测试数据集；步骤2，通过掩码转换网络(mask transformation network，mtn)获取目标掩码的仿射变换矩阵，并实现目标图像的采样；步骤3，使用空洞修复网络(hole repair network)修复图像空洞；步骤4，通过步骤1获得的数据集训练并测试掩码转换网络和空洞修复网络。2.根据权利要求1所示的一种基于局部空间转换网络的实时目标编辑方法，其特征在于，步骤1中数据集应包含以下四类图像：源图像i
source
、源掩码m
source
、目标图像i
target
和目标掩码m
target
，各类图像应有以下特征，首先，i
source
由特定的对象与背景组成；m
source
为二值灰度图，用于标注i
source
中对象的位置与轮廓；i
target
由编辑后的对象与背景组成；m
target
为二值灰度图，用于标注i
target
中对象的位置与轮廓。3.根据权利要求2所示的一种基于局部空间转换网络的实时目标编辑方法，其特征在于，步骤1具体方法如下：1-1.准备数据集素材；素材分为对象素材与背景素材，本发明使用开源数据集coco-猫的目标对象作为对象素材，将开源风景数据集作为最终数据集的背景素材；1-2.生成对象素材和对应的掩码；设置随机仿射矩阵，选用合适的参数范围；通过仿射变换生成两组图像，一组为源对象素材和源掩码m
source
，另一组为目标对象素材和目标掩码m
target
；在生成过程中保证对象素材不会超出图像边界，保证对象素材轮廓的完整性；1-3.合成数据集；源图像i
source
和目标图像i
target
由对应的对象素材i
t-obj
、背景素材i
t-bg
和掩码m
t
通过掩码操作融合生成；掩码操作公式如下：i
t
＝m
t
*i
t-obj
(1-m
t
)*i
t-bg
，t∈(source，target)
ꢀꢀ
(1)最终得到5000组训练数据集和486组测试数据集。4.根据权利要求1所示的一种基于局部空间转换网络的实时目标编辑方法，其特征在于，步骤2中，掩码转换网络mtn包括参数学习模块，采样网格生成模块，重采样模块和辅助训练模块；为了学习两个图像掩码之间的空间变换关系，使用参数学习模块学习两个掩码的仿射变换矩阵，使用采样网格生成模块和重采样模块实现图像的目标区域坐标重采样，最后加入辅助训练模块保证参数学习模块的网络模型训练。5.根据权利要求4所示的一种基于局部空间转换网络的实时目标编辑方法，其特征在于，步骤2具体方法如下：2-1.搭建参数学习模块；参数学习模块包含两个子模块，第一个子模块用于提取图像特征，由4个卷积层与一个自适应平均池化层组成，其中每个卷积层都使用relu激活函数，第二个和第四个卷积层使用跨步卷积，步长为2；第二个子模块使用全连层将图像特征图映射为仿射矩阵所需的6个参数；2-2.采样；通过仿射矩阵计算目标图像i
target
中目标对象区域像素点的坐标，生成坐标映射网格；根据坐标映射网格对源图像i
source
采样，生成仿射图像i
affine
和对应的仿射变换掩码m
affine
；2-3.搭建辅助训练模块；辅助训练模块用于辅助训练参数学习模块；该模块为自动编解码结构，编码器由四个
卷积层组成，第一个和第三个卷积采用跨步卷积缩小特征图的空间尺寸；解码器由两个卷积层与两个上采样层组成，上采样层位于第一和第三层，同时编码器和解码器的每个卷积层都使用leaky relu函数作为激活函数。6.根据权利要求1所示的一种基于局部空间转换网络的实时目标编辑方法，其特征在于，步骤3具体方法如下：使用空洞修复网络修复图像空洞；所述的空洞修复网络包含两个子修复网络：粗糙修复网络和细化修复网络；粗糙修复网络生成粗修复图像，细化修复网络使用粗修复图像作为输入；3-1.搭建粗糙修复网络模型和细化修复网络模型；粗糙修复网络和细化修复网络使用相同的结构，以粗糙修复网络为例；网络模型采用自编码器结构，通过编码器生成特征图，然后使用4层跨步卷积层扩展网络模型感受野，便于该网络模型提取较远区域的图像特征来修补空洞，最后通过解码器输出结果图；为了获得更好的修复效果，将所有基本卷积层替换为门控卷积层，以便在训练过程中自适应地选择重要特征；3-2.粗糙修复网络用于修复仿射图像i
affine
中因目标编辑产生的空洞；通过源掩码m
source
和仿射变换掩码m
affine
计算空洞掩码m
hole
，通过空洞掩码m
hole
和仿射图像i
affine
计算空洞图像i
hole
，粗糙修复网络的输入数据in
coarse
为输入的仿射图像i
affine
、空洞图像i
hole
和空洞掩码m
hole
在通道维度拼接而成，计算公式如下；m
hole
＝m
source
|m
affine-m
affine
ꢀꢀꢀꢀ
(2)i
hole
＝i
affine
×
(1-m
hole
) m
hole
ꢀꢀꢀꢀ
(3)in
coarse
＝(i
hole
；m
hole
)
ꢀꢀꢀꢀ
(4)3-3.使用粗糙修复网络模型生成粗修复图像i
c
，保留i
c
中空洞掩码m
hole
区域图像，将背景使用仿射图像i
affine
替换，得到粗糙空洞修复图像i
coarse
，细化修复网络的输入数据in
refine
为粗糙空洞修复图像i
coarse
与空洞掩码m
hole
在通道维度拼接而成，计算公式如下；i
coarse
＝i
affine
*(1-m
hole
) i
c
*m
hole
ꢀꢀꢀꢀ
(5)in
refine
＝(i
coarse
；m
hole
)
ꢀꢀꢀꢀ
(6)3-4.使用细化修复网络模型生成细化修复图像i
r
，由于粗糙空洞修复图像i
coarse
比空洞图像i
hole
拥有更多的特征信息，细化修复网络模型能进一步修复图像空洞的纹理细节；对于细化修复图像i
r
同i
c
一样使用仿射图像i
affine
替换背景，得到结果图像，计算公式如下：i
output
＝i
affine
*(1-m
hole
) i
r
*m
hole
ꢀꢀꢀꢀꢀ
(7)。7.根据权利要求1所示的一种基于局部空间转换网络的实时目标编辑方法，其特征在于，步骤4具体方法如下：4-1.对于掩码转换网络mtn，使用两种损失函数保证网络模型的训练，第一种是带权均方差损失函数，让网络专注于掩码区域的学习；第二种是掩码尺度损失函数，将网络生成的目标掩码区域面积与实际目标区域面积的距离作为损失，来保证网络对掩码位置与尺度的学习；4-2.对于粗糙修复网络模型和细化修复网络模型，使用l1损失函数计算网络模型输出图像中m
hole
区域的损失，不计算图像背景区域的损失；4-3.通过步骤1获得的测试数据集对掩码转换网络和空洞修复网络进行测试。

技术总结
本发明公开了一种基于局部空间转换网络的实时目标编辑方法，首先获取高分辨率图像并制作训练数据集和测试数据集，然后通过掩码转换网络获取目标掩码的仿射变换矩阵，并实现目标图像的采样再使用空洞修复网络修复图像空洞，最后通过获得的数据集训练并测试掩码转换网络和空洞修复网络。本发明MTN专注于掩码学习，可使用与业务无关的数据集训练网络模型，降低了构建数据集的成本和模型的训练成本，完成目标编辑任务的同时解决了传统深度学习方法中图像空洞的出现问题。法中图像空洞的出现问题。法中图像空洞的出现问题。


技术研发人员：戴国骏 项雷雷 周文晖 张桦 张灵均 苟若芸
受保护的技术使用者：杭州电子科技大学
技术研发日：2021.12.30
技术公布日：2022/4/8