具有鲁棒服装试穿和条件皮肤推断的图像虚拟试衣方法

1.本发明属于图像虚拟试衣领域的一种图像虚拟试衣方法，尤其涉及一种具有鲁棒服装试穿和条件皮肤推断的图像虚拟试衣方法。


背景技术：

2.图像虚拟试穿是极具商业潜力的计算机视觉话题。图像虚拟试穿对人体和服装的专业三维建模没有要求。它以用户和试穿服装图像为输入，以图像形式呈现出试穿全新服装的逼真效果。然而，推动图像虚拟试穿的商业应用仍面临一些挑战性的问题。由于图像虚拟试衣在复杂场景下的鲁棒性低，亟需一种鲁棒先进的服装试穿和皮肤推断机制，以提高服装试穿结果的真实性。
3.现有的图像虚拟试衣研究缺乏鲁棒的试穿语义布局推断，其人体的实例级分割推断在解缠原有着装和手臂裸露推断方面表现不佳，导致在试穿过程中服装的样式变化和边界模糊；由于过度依赖单一尺度的变形和变形推断任务的非显性分配，试衣的结果图像不能有效的继承纹理并导致了试穿的不真实性；其缺乏专有的皮肤推断机制，并归结服装和皮肤推断为类似任务，导致了皮肤的伪影和肤色偏移。
4.综上，现有的技术难以解决复杂环境下图像虚拟试衣的低鲁棒性问题，模糊不真实的虚拟试衣效果阻碍了其进一步的商业推广。因此，亟需一种具有鲁棒服装试穿和条件皮肤推断的图像虚拟试衣方法。


技术实现要素：

5.本发明的目的在于针对现有技术的不足，提供一种具有鲁棒服装试穿和条件皮肤推断的图像虚拟试衣方法。本发明面向在线服装零售的服装试穿，利用变形-映射-组合的试穿策略和条件皮肤推断，实现在复杂场景下鲁棒和真实的虚拟试衣。本发明通过解缠表示语义类别以避免原有着装的影响，利用循环一致性提高模型对非成对数据的鲁棒性，实现试穿语义布局的合理推断。以试穿语义布局为形状引导，采用静态覆盖和动态选择的变形策略和基于区域对齐的显性任务分配，实现服装试穿中的变形程度和纹理保持的平衡。为解决服装试穿中重裸露皮肤的推断问题，调整stylegan2模型，基于目标皮肤形状和空间无关的皮肤特征推断重裸露皮肤内容，并通过在自监督训练中引入随机擦除，模拟实际试穿情况下皮肤裸露。
6.本发明的目的是通过以下技术方案来实现的：
7.1)由用户图像和试穿服装图像组成试穿图像对，每对试穿图像对均进行预处理后获得对应的人体剩余部分分割图稠密人体姿势d以及试穿服装掩膜
8.2)将每对试穿图像对对应的人体剩余部分分割图稠密人体姿势d以及试穿服装掩膜输入到实例级分割推断模块中学习服装-人体的语义特征以及推断试穿语义布局，获得每对试穿图像对对应的虚拟试衣实例级分割图再对虚拟试衣实例级分割
图分割后获得对应的虚拟试衣皮肤分割图虚拟试衣服装分割图和虚拟试衣剩余部分分割图
9.3)将虚拟试衣服装分割图和试穿服装图像试穿服装掩膜一起输入到渐进式服装试穿模块中变形服装至人体姿势，获得最终试衣结果
10.4)根据虚拟试衣皮肤分割图和皮肤内容先验判断皮肤是否裸露，如果皮肤裸露，则将虚拟试衣皮肤分割图和皮肤内容先验输入到重裸露皮肤推断模块中进行皮肤内容的修补，获得重裸露皮肤图像否则，则将虚拟试衣皮肤分割图和皮肤内容先验进行相乘后获得重裸露皮肤图像
11.5)将虚拟试衣剩余部分分割图与用户图像进行相乘后获得虚拟试衣剩余部分图像最后将最终试衣结果重裸露皮肤图像和虚拟试衣剩余部分图像进行相乘后获得虚拟试衣图像实现用户的虚拟试衣。
12.所述步骤1)中，用户图像经过预训练人体分隔网络后获得实例级人体分割图再对实例级人体分割图分割后获得对应的实例级人体皮肤分割图实例级人体服装分割图和实例级人体剩余部分分割图其中实例级人体服装分割图作为渐进式服装试穿模块在训练时的输入，实例级人体皮肤分割图作为重裸露皮肤推断模块在训练时的输入；用户图像经过预训练密集姿势检测网络后获得稠密人体姿势d，试穿服装图像经过服装分割网络后获得试穿服装掩膜
13.所述步骤2)中，取虚拟试衣实例级分割图的上身部分作为虚拟试衣皮肤分割图取虚拟试衣实例级分割图的服装部分作为虚拟试衣服装分割图将取完上身部分和服装部分的虚拟试衣实例级分割图的剩余部分作为虚拟试衣剩余部分分割图
14.所述步骤2)中，实例级分割推断模块由第一u2-net网络架构与第一softmax层相连组成，实例级分割推断模块在预测时，人体剩余部分分割图稠密人体姿势d以及试穿服装掩膜依次经第一u2-net网络架构和softmax层后输出虚拟试衣实例级分割图
15.实例级分割推断模块在训练时，人体剩余部分分割图稠密人体姿势d以及试穿服装掩膜一起依次经第一u2-net网络架构和第一softmax层后输出虚拟试衣实例级分割图然后虚拟试衣实例级分割图稠密人体姿势d以及第二试穿服装掩膜
再一起依次经第一u2-net网络架构和第一softmax层后输出虚拟试衣成对实例级分割图第二试穿服装掩膜是用户图像中的上衣图像经过服装分割网络后获得的。
16.所述步骤3)中，渐进式服装试穿模块包括粗变形阶段、细映射阶段和组合阶段；
17.在预测时，粗变形阶段中，首先，虚拟试衣服装分割图和试穿服装掩膜分别输入到预训练的第一vgg-19模型中，将第一vgg-19模型的'relu1_1'、'relu2_1'、'relu3_1'和'relu4_1'层输出融合后分别获得金字塔的虚拟试衣服装分割特征图和试穿服装掩膜特征图接着虚拟试衣服装分割特征图和试穿服装掩膜特征图分别依次进行下采样和投影后，获得对应变换后的虚拟试衣服装分割特征图和试穿服装掩膜特征图，然后将变换后的虚拟试衣服装分割特征图和试穿服装掩膜特征图进行合并后再与可学习的位置嵌入合并，获得形状嵌入序列
18.形状嵌入序列依次输入到第一transformer聚合器和tps回归头中，tps回归头输出四个变形尺度，根据四个变形尺度将试穿服装图像和试穿服装掩膜分别粗变形为粗变形后的第一-第四试穿服装图像和以及粗变形后的第一-第四服装掩膜和
19.细映射阶段中，首先根据虚拟试衣服装分割图和试穿服装掩膜对粗变形后的第一-第四服装掩膜和进行筛选，确定最优尺度索引由最优尺度索引确定最优的粗变形后的服装掩膜和最优的粗变形后的试穿服装图像具体筛选公式如下：
[0020][0021]
其中，i表示尺度索引序号，i＝3,4,5,6，τ是权衡系数；avg(
·
)是沿空间尺度的平均函数，||||表示第一范数；argmin[
·
]表示取最小值索引函数；
[0022]
然后将最优的粗变形后的试穿服装图像和虚拟试衣服装分割图一起输入到第一restormer模块中，第一restormer模块输出细映射的试穿服装在预测时，则直接进行组合阶段；在训练时，则将细映射的试穿服装与最优的粗变形后的服装掩膜进行合并后再输入到第二restormer模块中，第二restormer模块输出复原的最优粗变形试穿服装图像
[0023]
组合阶段中，将最优的粗变形后的试穿服装图像与细映射的试穿服装一起依次输入到第二u2-net网络架构和第一归一化层，第一归一化层输出组合掩膜最
后将组合掩膜最优的粗变形后的试穿服装图像与细映射的试穿服装进行图像合成后获得最终试衣结果图像合成公式如下：
[0024][0025]
其中，
⊙
是元素乘法；
[0026]
在训练时，渐进式服装试穿模块的输入为实例级人体服装分割图试穿服装图像和试穿服装掩膜
[0027]
所述步骤4)中，重裸露皮肤推断模块包括第二vgg-19模型、映射网络、第三vgg-19模型、stylegan2模块和四个卷积池化模块，第二vgg-19模型的'relu1_1','relu2_1','relu3_1','relu4_1'层输出内容特征图{ηi}
i＝1,2,3,4
，内容特征图{ηi}
i＝1,2,3,4
的四个通道的特征图分别经过对应卷积池化模块后再进行合并操作，获得一维潜层特征码z，一维潜层特征码z经过映射网络后输入到stylegan2模块，第三vgg-19模型的'relu4_1'层的输出也输入到stylegan2模块中，stylegan2模块输出重裸露皮肤图像
[0028]
在训练时，随机擦除实例级人体皮肤分割图产生擦除皮肤掩膜擦除皮肤掩膜与用户图像相乘获得擦除皮肤图像擦除皮肤图像作为第二vgg-19模型的输入，上身皮肤掩膜作为第三vgg-19模型的输入；
[0029]
在预测时，皮肤内容先验作为第二vgg-19模型的输入，虚拟试衣皮肤分割图作为第三vgg-19模型的输入。
[0030]
根据重裸露皮肤图像和皮肤内容先验通过一下公式计算最终的重裸露皮肤图像：
[0031][0032]
其中，是最终的重裸露皮肤图像，
⊙
是元素乘法。
[0033]
本发明的有益效果是：
[0034]
本发明以面向复杂场景下的图像虚拟试衣方法为主，本方法能够提高在试穿不同种类服装或具有复杂人体姿势遮挡情况下的试衣鲁棒性，实现复杂场景下鲁棒真实的虚拟试衣。本方法能够用于在线服装零售的试衣展示，以提高消费者对服装试穿状态的沉浸感。
附图说明
[0035]
下面结合附图对本发明具体实施方式进行详细说明：
[0036]
图1是本发明的流程图。
[0037]
图2是实例级人体分割推断模块的结构图。
[0038]
图3是渐进式服装试穿模块的结构图。
[0039]
图4是重裸露皮肤推断模块的结构图。
[0040]
图5是多对多虚拟试衣结果。
[0041]
图6是复杂情况下虚拟试衣结果。
具体实施方式
[0042]
为了更清楚地说明本发明，下面结合附图与实施例对本发明作进一步说明。本领域技术人员应该了解，下面所具体描述的内容是说明性而非限制性的，不应该限制本发明的保护范围。
[0043]
面向在线服装零售中个性化试衣展示，以试穿服装图像和用户图像为输入，改变试穿服装的形状以产生穿着效果，推断重裸露皮肤内容以增强试穿真实性。如图1所示，本发明提出了一种具有鲁棒服装试穿和条件皮肤推断的图像虚拟试衣方法。通过解缠表示语义类别和引入循环一致性，利用实例级人体分割推断模块推断合理的试穿语义布局。以此为形状引导，采用变形-映射-组合的服装试穿策略，利用渐进式服装试穿模块改变试穿服装至目标形状。通过调整stylegan2模型，利用重裸露皮肤推断模块基于目标皮肤形状和空间无关的皮肤特征实现皮肤内容推断。
[0044]
本发明包括以下步骤：
[0045]
1)由多对试穿图像对构成图像数据集，每对试穿图像对均包括用户图像和试穿服装图像每对试穿图像对均进行预处理后获得对应的人体剩余部分分割图稠密人体姿势d以及试穿服装掩膜
[0046]
步骤1)中，用户图像经过预训练人体分隔网络后获得实例级人体分割图再对实例级人体分割图分割后获得对应的实例级人体皮肤分割图实例级人体服装分割图和实例级人体剩余部分分割图具体地，取实例级人体分割图的上身部分作为实例级人体皮肤分割图取实例级人体分割图的服装部分作为实例级人体服装分割图将取完上身部分和服装部分的实例级人体分割图的剩余部分作为实例级人体剩余部分分割图其中实例级人体服装分割图作为渐进式服装试穿模块在训练时的输入，实例级人体皮肤分割图作为重裸露皮肤推断模块在训练时的输入；用户图像经过预训练密集姿势检测网络后获得稠密人体姿势d，试穿服装图像经过服装分割网络后获得试穿服装掩膜
[0047]
2)将每对试穿图像对对应的人体剩余部分分割图稠密人体姿势d以及试穿服装掩膜输入到实例级分割推断模块中学习服装-人体的语义特征以及推断试穿语义布局，获得每对试穿图像对对应的虚拟试衣实例级分割图再对虚拟试衣实例级分割图分割后获得对应的虚拟试衣皮肤分割图虚拟试衣服装分割图和虚拟试衣剩余部分分割图
[0048]
步骤2)中，取每对试穿图像对对应的虚拟试衣实例级分割图的上身部分作为虚拟试衣皮肤分割图取每对试穿图像对对应的虚拟试衣实例级分割图的服装部
分作为虚拟试衣服装分割图将取完上身部分和服装部分的虚拟试衣实例级分割图的剩余部分作为虚拟试衣剩余部分分割图
[0049]
由于仅使用成对试穿图像对训练实例级人体分割推断模块面临鲁棒性问题，通过引入循环一致性促进实例级人体分割推断模块对非成对试穿图像对的案例感知。实例级人体分割推断模块首先根据第一试穿服装掩膜推断非成对试穿情况下的语义布局由于缺少非成对试穿情况的真相，仅监督其语义布局中的其余部分
[0050]
然后，实例级人体分割推断模块根据第二试穿服装掩膜和推断成对试穿情况下的语义布局并用其试穿语义布局真相监督通过这种方式，实例级人体分割推断模块能够在测试阶段推断合理的试穿语义布局。
[0051]
实例级人体分割推断模块具有两个子任务：直接映射人体实例级分割图中其余部分和重新纠缠上身皮肤和试穿服装特征。这要求架构具有极高的低层特征传递和高层特征理解能力，因此，采用u2-net作为实例级人体分割推断模块的架构，其能够通过融合多尺度特征实现对上下文信息的感知。合并所有的输入的通道输入到u2-net，再通过softmax层输出预测的试穿语义布局。
[0052]
如图2所示，步骤2)中，实例级分割推断模块由第一u2-net网络架构与第一softmax层相连组成，实例级分割推断模块在预测时，试穿图像对一般为非成对试穿图像对，即试穿服装图像和用户图像中的上衣不同，人体剩余部分分割图稠密人体姿势d以及试穿服装掩膜依次经第一u2-net网络架构和softmax层后输出虚拟试衣实例级分割图其中试穿服装掩膜作为第一试穿服装掩膜
[0053]
实例级分割推断模块在训练时，试穿图像对为非成对试穿图像对或成对试穿图像对，成对试穿图像对指的是试穿服装图像和用户图像中的上衣相同，人体剩余部分分割图稠密人体姿势d以及试穿服装掩膜一起依次经第一u2-net网络架构和第一softmax层后输出虚拟试衣实例级分割图即虚拟试衣非成对实例级分割图其中试穿服装掩膜作为第一试穿服装掩膜然后虚拟试衣实例级分割图稠密人体姿势d以及第二试穿服装掩膜再一起依次经第一u2-net网络架构和第一softmax层后输出虚拟试衣成对实例级分割图第二试穿服装掩膜是用户图像中的上衣图像经过服装分割网络后获得的，两次训练中的第一u2-net网络架构和第一softmax层共享。
[0054]
实例级人体分割推断模块的目标函数l
si
的公式如下：
[0055][0056]
其中，l1(
·
)和l
ce
(
·
)分别是l1损失函数和交叉熵损失函数；λ
1-λ3分别是第一-第三超参数。
[0057]
3)将虚拟试衣服装分割图和试穿服装图像试穿服装掩膜一起输入到
渐进式服装试穿模块中变形服装至人体姿势，获得最终试衣结果
[0058]
如图3所示，步骤3)中，渐进式服装试穿模块包括粗变形阶段、细映射阶段和组合阶段；
[0059]
在预测时，粗变形阶段中，首先，虚拟试衣服装分割图和试穿服装掩膜的通道被复制为3并分别输入到预训练的第一vgg-19模型中，将第一vgg-19模型的'relu1_1'、'relu2_1'、'relu3_1'和'relu4_1'层输出融合后分别获得金字塔的虚拟试衣服装分割特征图和试穿服装掩膜特征图接着虚拟试衣服装分割特征图和试穿服装掩膜特征图分别依次进行下采样和投影后，获得对应变换后的虚拟试衣服装分割特征图和试穿服装掩膜特征图由于vit需要固定的字符长度，下采样每个固定的字符长度，下采样每个至固定的大小h1×
w1，并投影通道长度至δ1，然后将变换后的虚拟试衣服装分割特征图和试穿服装掩膜特征图进行合并后再与可学习的位置嵌入合并，满足获得形状嵌入序列满足具体公式如下：
[0060][0061]
其中，是合并操作。
[0062]
形状嵌入序列依次输入到第一transformer聚合器和tps回归头中，具体实施中，第一transformer聚合器是三个级联的transformer聚合器，用于学习标记间的交互关系以及全局上下文信息，其通过自注意力机制学习关注度分数多尺度网格能够丰富变形的维度，同时不花费过多的计算成本，tps回归头输出四个变形尺度，设定多尺度tps变形具体为四个尺度具体为四个尺度和根据四个变形尺度将试穿服装图像和试穿服装掩膜分别粗变形为粗变形后的第一-第四试穿服装图像服装图像和以及粗变形后的第一-第四服装掩膜和
[0063]
由于tps变形中静态的网格划分，每个尺度下的目标形状与粗形状间的相似度随试穿实例变换而变化，为了确定后续阶段的唯一参考，根据试穿实例从多尺度粗变形结果中选择最适应试穿实例的粗结果。通过这种方式，粗变形阶段学习四个静态尺度的变形以覆盖通用性的服装试穿案例，而细映射阶段根据试穿实例动态选择最优的粗结果作为参考。
[0064]
在挑选最优粗结果时，需考虑以下两个准则：1)粗结果形状应与目标形状足够契合。否则，大面积的非对齐区域将对细映射阶段的学习造成极大的挑战；2)粗结果的纹理保持应与试穿的服装图像保持一致。变形程度和纹理保持相冲突，前者倾向于细粒度网格划分而后者倾向于粗粒度网格划分。
[0065]
细映射阶段中，首先根据虚拟试衣服装分割图和试穿服装掩膜对粗变形
后的第一-第四服装掩膜和进行筛选，确定最优尺度索引由最优尺度索引确定最优的粗变形后的服装掩膜和最优的粗变形后的试穿服装图像具体筛选公式如下：
[0066][0067]
其中，i表示尺度索引序号，i＝3,4,5,6，τ是权衡系数；avg(
·
)是沿空间尺度的平均函数，||||表示第一范数；argmin[
·
]表示取最小值索引函数；
[0068]
然后将最优的粗变形后的试穿服装图像和虚拟试衣服装分割图一起输入到第一restormer模块中，第一restormer模块输出细映射的试穿服装在预测时，则直接进行组合阶段；在训练时，则将细映射的试穿服装与最优的粗变形后的服装掩膜进行合并后再输入到第二restormer模块中，第二restormer模块输出复原的最优粗变形试穿服装图像最优的粗变形后的试穿服装图像对复原的最优粗变形试穿服装图像进行监督；
[0069]
采用restormer模块为细映射阶段的架构，其拥有gan的结构和transformer的机制。restormer能够利用跨通道注意力机制查询全局的语义特征，实现对局部区域的内容映射。循环一致性同样被引入细映射阶段的自监督训练。合并最优的粗变形后的试穿服装图像和虚拟试衣服装分割图并输入restormer以预测细映射的试穿服装期望在对齐区域具有与的同源内容，而在非对齐区域执行映射。因此，采用最优的粗变形后的试穿服装图像和试穿真相来监督细映射的试穿服装否则，仅以为监督对象将导致restormer在整个形状内执行映射。然后，由于非对齐区域的内容在上述的映射过程中被丢弃，利用restormer执行其内容映射以增强模块的鲁棒性。以细映射的试穿服装和最优的粗变形后的服装掩膜为输入去预测复原的最优粗变形试穿服装图像这有助于间接监督在预测中对齐区域的内容转换。
[0070]
组合阶段中，由于特征图尺寸大小的限制，对齐区域的内容传递仍然存在信息损失。因此，通过预测组合掩膜来实现纹理和细节在像素水平上的直接传递。将最优的粗变形后的试穿服装图像与细映射的试穿服装一起依次输入到第二u2-net网络架构和第一归一化层(激活函数为sigmoid)，第一归一化层输出组合掩膜最后将组合掩膜最优的粗变形后的试穿服装图像与细映射的试穿服装进行图像合成后获得
最终试衣结果图像合成公式如下：
[0071][0072]
其中，
⊙
是元素乘法。
[0073]
在训练时，渐进式服装试穿模块的输入为实例级人体服装分割图试穿服装图像和试穿服装掩膜即将预测时的所有虚拟试衣服装分割图均替换为实例级人体服装分割图
[0074]
对于粗变形阶段，利用实例级人体服装分割图监督每个尺度的形状变形。为了防止纹理畸变，同时正则化网格的位置移动，因此，其目标函数l
cw
如下：
[0075][0076]
其中，l1(
·
)和l2(
·
)分别为l1和l2损失函数；为i尺度下的变形网格；是i尺度下的原有网格；λ4和λ5分别是第四和第五超参数。
[0077]
对于细映射阶段，在像素和感知水平上分别利用l1损失函数l1(
·
)和内容损失函数l
vgg
(
·
)约束预测结果和使用最优的粗变形后的试穿服装图像和试穿真相同时监督细映射的试穿服装并通过权衡系数ξ来平衡两者的监督效果。使用最优粗结果完全监督复原的最优粗变形试穿服装图像因此细映射阶段的目标函数l
fm
如下：
[0078][0079]
其中，λ6和λ7分别是第六和第七超参数。
[0080]
对于组合阶段，为实现像素直接传递任务，在对齐区域联合使用最优的粗变形后的试穿服装图像和试穿真相共同监督最终试衣结果在非对齐区域仅使用试穿真相监督最终试衣结果因此，组合阶段的目标函数l
cp
如下：
[0081][0082]
其中，ξ表示粗细组合平衡系数。
[0083]
4)根据虚拟试衣皮肤分割图和皮肤内容先验判断皮肤是否裸露，如果皮肤裸露，则将虚拟试衣皮肤分割图和皮肤内容先验输入到重裸露皮肤推断模块中进行皮肤内容的修补，获得重裸露皮肤图像否则，则将虚拟试衣皮肤分割图和皮
肤内容先验进行相乘后获得重裸露皮肤图像
[0084]
步骤4)中，如图4所示，重裸露皮肤推断模块通过调整stylegan2的结构，根据目标皮肤形状和空间无关的皮肤特征推断重裸露的皮肤，包括第二vgg-19模型、映射网络、第三vgg-19模型、stylegan2模块和四个卷积池化模块，第二vgg-19模型的'relu1_1','relu2_1','relu3_1','relu4_1'层输出内容特征图{ηi}
i＝1,2,3,4
，内容特征图{ηi}
i＝1,2,3,4
的四个通道的特征图分别经过对应卷积池化模块后再进行合并操作，获得一维潜层特征码z，满足一维潜层特征码z经过映射网络后输出潜层特征码w并输入到stylegan2模块，第三vgg-19模型的'relu4_1'层的输出(即目标形状特征图)也输入到stylegan2模块中，stylegan2模块输出重裸露皮肤图像
[0085]
具体地，利用conv1
×
1层降低每个特征图ηi的通道，利用averagepooling层来调整每个特征图的尺寸，并获得归一化的特征图合并所有的ηi′
并将其打平为一维潜层特征码之后，进一步输入一维潜层特征码z到由八个连接层构成的映射层去解缠特征，获得潜层特征码w。
[0086]
在训练时，随机擦除实例级人体皮肤分割图产生擦除皮肤掩膜擦除皮肤掩膜与用户图像相乘获得擦除皮肤图像擦除皮肤图像作为第二vgg-19模型的输入，上身皮肤掩膜作为第三vgg-19模型的输入；
[0087]
在预测时，皮肤内容先验作为第二vgg-19模型的输入，虚拟试衣皮肤分割图作为第三vgg-19模型的输入。
[0088]
在测试阶段，实例级人体皮肤分割图为已知，需要首先判断条件是否满足，其中是虚拟试衣实例级分割图中的皮肤掩膜。如果条件满足，则皮肤裸露，根据皮肤内容先验和虚拟试衣皮肤分割图执行重裸露皮肤推断任务。为了获取更好的试穿效果，还可以组合预测重裸露皮肤图像和皮肤内容先验如下：
[0089][0090]
其中，是最终的重裸露皮肤图像。
[0091]
重裸露皮肤推断模块的目标函数l
ri
如下：
[0092][0093]
其中，λ8和λ9分别是第八和第九超参数。
[0094]
综合可知，实例级分割推断模块、渐进式服装试穿模块和重裸露皮肤推断模块在训练时是单独训练的。在预测时，将三个模块进行前后连接，如图1所示。
[0095]
5)将虚拟试衣剩余部分分割图与用户图像进行相乘后获得虚拟试衣剩余部分图像最后将最终试衣结果重裸露皮肤图像和虚拟试衣剩余部分图像
进行相乘后获得虚拟试衣图像实现用户的虚拟试衣。
[0096]
实施例
[0097]
本发明实施例采用成对的试穿图像对分别自监督训练三个模块。训练集和测试集分别包括11565和1698对图像，并裁剪和统一尺寸为256
×
192。在测试集中，商店服装和试穿服装的对应关系被随机打乱以模拟真实的服装试穿。
[0098]
本发明实施例使用adam优化器优化网络训练，设置三个模块的静态学习率分别为1
×
e-4
、2
×
e-4
和1
×
e-5
。
[0099]
本发明实施例测试多对多虚拟试穿案例。如图5所示，选择5种不同类别的服装作为试穿服装的案例，它们的袖子由短到长。选择着装中袖服装的用户图像作为被试穿对象。通过这种方式展示本发明在重新裸露和覆盖皮肤情况下的鲁棒性。
[0100]
本发明实施例测试在两种复杂试穿环境下的表现：(1)试穿不同类别的服装；(2)用户图像具有复杂的姿势，手臂挡住了部分衣服。如图6所示，在第一种复杂情况下，实例级人体分割推断模块利用语义种类解缠表示来避免原有着装的影响，而重裸露皮肤推断模块能够有效解决皮肤修复问题，所以，试穿的结果很自然。在第二种情况下，实例级人体分割推断模块仍能推断合理的试穿语义布局，并利用渐进式试穿模块实现被分割服装部分的内容推断，因此，试穿结果鲁棒且真实。由此，本发明将有益于服装的在线零售、促进图像虚拟试衣的进一步推广。