具有鲁棒服装试穿和条件皮肤推断的图像虚拟试衣方法

技术特征：
1.一种具有鲁棒服装试穿和条件皮肤推断的图像虚拟试衣方法，其特征在于，包括以下步骤：1)由用户图像和试穿服装图像组成试穿图像对，每对试穿图像对均进行预处理后获得对应的人体剩余部分分割图稠密人体姿势d以及试穿服装掩膜2)将每对试穿图像对对应的人体剩余部分分割图稠密人体姿势d以及试穿服装掩膜输入到实例级分割推断模块中学习服装-人体的语义特征以及推断试穿语义布局，获得每对试穿图像对对应的虚拟试衣实例级分割图再对虚拟试衣实例级分割图分割后获得对应的虚拟试衣皮肤分割图虚拟试衣服装分割图和虚拟试衣剩余部分分割图3)将虚拟试衣服装分割图和试穿服装图像试穿服装掩膜一起输入到渐进式服装试穿模块中变形服装至人体姿势，获得最终试衣结果4)根据虚拟试衣皮肤分割图和皮肤内容先验判断皮肤是否裸露，如果皮肤裸露，则将虚拟试衣皮肤分割图和皮肤内容先验输入到重裸露皮肤推断模块中进行皮肤内容的修补，获得重裸露皮肤图像否则，则将虚拟试衣皮肤分割图和皮肤内容先验进行相乘后获得重裸露皮肤图像5)将虚拟试衣剩余部分分割图与用户图像进行相乘后获得虚拟试衣剩余部分图像最后将最终试衣结果重裸露皮肤图像和虚拟试衣剩余部分图像进行相乘后获得虚拟试衣图像实现用户的虚拟试衣。2.根据权利要求1所述的一种具有鲁棒服装试穿和条件皮肤推断的图像虚拟试衣方法，其特征在于，所述步骤1)中，用户图像经过预训练人体分隔网络后获得实例级人体分割图再对实例级人体分割图分割后获得对应的实例级人体皮肤分割图实例级人体服装分割图和实例级人体剩余部分分割图其中实例级人体服装分割图作为渐进式服装试穿模块在训练时的输入，实例级人体皮肤分割图作为重裸露皮肤推断模块在训练时的输入；用户图像经过预训练密集姿势检测网络后获得稠密人体姿势d，试穿服装图像经过服装分割网络后获得试穿服装掩膜3.根据权利要求1所述的一种具有鲁棒服装试穿和条件皮肤推断的图像虚拟试衣方法，其特征在于，所述步骤2)中，取虚拟试衣实例级分割图的上身部分作为虚拟试衣皮肤分割图取虚拟试衣实例级分割图的服装部分作为虚拟试衣服装分割图将取完上身部分和服装部分的虚拟试衣实例级分割图的剩余部分作为虚拟试衣剩余
部分分割图4.根据权利要求1所述的一种具有鲁棒服装试穿和条件皮肤推断的图像虚拟试衣方法，其特征在于，所述步骤2)中，实例级分割推断模块由第一u2-net网络架构与第一softmax层相连组成，实例级分割推断模块在预测时，人体剩余部分分割图稠密人体姿势d以及试穿服装掩膜依次经第一u2-net网络架构和softmax层后输出虚拟试衣实例级分割图实例级分割推断模块在训练时，人体剩余部分分割图稠密人体姿势d以及试穿服装掩膜一起依次经第一u2-net网络架构和第一softmax层后输出虚拟试衣实例级分割图然后虚拟试衣实例级分割图稠密人体姿势d以及第二试穿服装掩膜再一起依次经第一u2-net网络架构和第一softmax层后输出虚拟试衣成对实例级分割图第二试穿服装掩膜是用户图像中的上衣图像经过服装分割网络后获得的。5.根据权利要求1所述的一种具有鲁棒服装试穿和条件皮肤推断的图像虚拟试衣方法，其特征在于，所述步骤3)中，渐进式服装试穿模块包括粗变形阶段、细映射阶段和组合阶段；在预测时，粗变形阶段中，首先，虚拟试衣服装分割图和试穿服装掩膜分别输入到预训练的第一vgg-19模型中，将第一vgg-19模型的'relu1_1'、'relu2_1'、'relu3_1'和'relu4_1'层输出融合后分别获得金字塔的虚拟试衣服装获得对应变换后的虚拟试衣服装分割特征图和试穿服装掩膜特征图，然后将变换后的虚拟试衣服装分割特征图和试穿服装掩膜特征图进行合并后再与可学习的位置嵌入合并，获得形状嵌入序列形状嵌入序列依次输入到第一transformer聚合器和tps回归头中，tps回归头输出四个变形尺度，根据四个变形尺度将试穿服装图像和试穿服装掩膜分别粗变形为粗变形后的第一-第四试穿服装图像和以及粗变形后的第一-第四服装掩膜和细映射阶段中，首先根据虚拟试衣服装分割图和试穿服装掩膜对粗变形后的第一-第四服装掩膜和进行筛选，确定最优尺度索引由最优尺度索引确定最优的粗变形后的服装掩膜和最优的粗变形后的试穿服装图像具体筛选公式如下：
其中，i表示尺度索引序号，i＝3,4,5,6，τ是权衡系数；avg(
·
)是沿空间尺度的平均函数，|| ||表示第一范数；argmin[
·
]表示取最小值索引函数；然后将最优的粗变形后的试穿服装图像和虚拟试衣服装分割图一起输入到第一restormer模块中，第一restormer模块输出细映射的试穿服装在预测时，则直接进行组合阶段；在训练时，则将细映射的试穿服装与最优的粗变形后的服装掩膜进行合并后再输入到第二restormer模块中，第二restormer模块输出复原的最优粗变形试穿服装图像组合阶段中，将最优的粗变形后的试穿服装图像与细映射的试穿服装一起依次输入到第二u2-net网络架构和第一归一化层，第一归一化层输出组合掩膜最后将组合掩膜最优的粗变形后的试穿服装图像与细映射的试穿服装进行图像合成后获得最终试衣结果图像合成公式如下：其中，
⊙
是元素乘法；在训练时，渐进式服装试穿模块的输入为实例级人体服装分割图试穿服装图像和试穿服装掩膜6.根据权利要求1所述的一种具有鲁棒服装试穿和条件皮肤推断的图像虚拟试衣方法，其特征在于，所述步骤4)中，重裸露皮肤推断模块包括第二vgg-19模型、映射网络、第三vgg-19模型、stylegan2模块和四个卷积池化模块，第二vgg-19模型的'relu1_1','relu2_1','relu3_1','relu4_1'层输出内容特征图{η
i
}
i＝1,2,3,4
，内容特征图{η
i
}
i＝1,2,3,4
的四个通道的特征图分别经过对应卷积池化模块后再进行合并操作，获得一维潜层特征码z，一维潜层特征码z经过映射网络后输入到stylegan2模块，第三vgg-19模型的'relu4_1'层的输出也输入到stylegan2模块中，stylegan2模块输出重裸露皮肤图像在训练时，随机擦除实例级人体皮肤分割图产生擦除皮肤掩膜擦除皮肤掩膜与用户图像相乘获得擦除皮肤图像擦除皮肤图像作为第二vgg-19模型的输入，上身皮肤掩膜作为第三vgg-19模型的输入；在预测时，皮肤内容先验作为第二vgg-19模型的输入，虚拟试衣皮肤分割图作为第三vgg-19模型的输入。7.根据权利要求6所述的一种具有鲁棒服装试穿和条件皮肤推断的图像虚拟试衣方法，其特征在于，根据重裸露皮肤图像和皮肤内容先验通过一下公式计算最终的
重裸露皮肤图像：其中，是最终的重裸露皮肤图像，
⊙
是元素乘法。

技术总结
本发明公开了一种具有鲁棒服装试穿和条件皮肤推断的图像虚拟试衣方法。本发明面向复杂场景下的虚拟试衣，提出服装试穿策略和条件皮肤推断机制。利用语义类别的解缠表示和循环一致性引入，推断合理的服装试穿语义布局。以推断的语义布局为形状引导，通过变形-映射-组合策略实现服装试穿，为解决服装试穿的通用性，采用静态覆盖-动态选择的变形策略和基于区域对齐的显性任务分配。通过调整StyleGAN2模型，实现根据目标皮肤形状和空间无关皮肤特征的皮肤内容推断。本发明适应于图像虚拟试衣，有助于解决虚拟试衣在试穿不同种类服装和皮肤重裸露时的鲁棒性问题，有助于用户感受逼真的虚拟试衣效果，有助于推广图像虚拟试衣的商业应用。商业应用。商业应用。


技术研发人员：裘乐淼 房乃玉 张树有 王阳 王自立
受保护的技术使用者：浙江大学
技术研发日：2022.08.16
技术公布日：2022/12/12