基于衣服块指引及空间自适应网络的虚拟试穿方法及系统与流程

技术特征：
1.一种基于衣服块指引及空间自适应网络的虚拟试穿方法，其特征在于，包括以下步骤：s1：对于一张原始人体图像i
s
，基于其2d姿态关键点j
s
，将人体图像中的衣服g
s
划分为不同衣服块p
s
，并对所有衣服块进行标准化处理得到标准化衣服块p
n
；s2：将步骤s1得到的标准化衣服块p
n
，根据目标人体图像的2d姿态关键点j
t
进行变形，随后将所有变形衣服块p
t
拼接在一起，得到能和目标人体姿态、体型相适应的变形衣服g
t
；s3：将步骤s1得到的标准化衣服块p
n
经过特征提取网络得到条件stylegan2生成网络的隐向量将目标人物的头部rgb图像h
t
及目标人体图像的2d姿态关键点j
t
作为条件stylegan2生成网络的输入，随后使用其风格生成分支，生成粗糙的虚拟试穿结果以及预测出目标衣服掩膜m
g
；s4：将步骤s2得到的变形衣服g
t
和步骤s3得到的目标衣服掩膜m
g
作为空间自适应残差模块的输入，使用条件stylegan2生成网络的纹理生成分支，生成精确的虚拟试穿结果i
′
t
。2.根据权利要求1所述的基于衣服块指引及空间自适应网络的虚拟试穿方法，其特征在于，所述步骤s1的具体过程是：s11：使用人体姿态估计器，获得原始人体图像i
s
的18个2d姿态关键点j
s
；s12：使用人体语义分割解析器，获得原始人体图像i
s
的人体语义分割图，该分割图上不同区域对应人体的不同部位，并根据原始人体图像i
s
及其语义分割图，获取衣服图像g
s
；s13：根据步骤s11得到的原始人体2d姿态关键点j
s
将步骤s12得到的衣服图像g
s
划分为与人体区域相关联的8个衣服块p
s
，相关联的人体区域依次为：左下手臂、左上手臂、右下手臂、右上手臂、上半身躯干，颈部、左臀部，右臀部；s14：将步骤s13得到的所有大小不同、朝向不同的衣服块p
s
，通过透视变换统一标准化为具有相同大小、相同朝向的标准化衣服块p
n
。3.根据权利要求2所述的基于衣服块指引及空间自适应网络的虚拟试穿方法，其特征在于，所述步骤s2的具体过程是：s21：使用人体姿态估计器，获得目标人体图像i
t
的18个2d姿态关键点j
t
；s22：根据步骤s21得到的目标2d姿态关键点j
t
，通过透视变换，将步骤s14得到的所有标准化衣服块p
n
，变换为目标形状下的衣服块p
t
；s23：将步骤s22得到的所有变形衣服块p
t
拼接在一起的到能与目标人体姿态、体型相适应的变形衣服g
t
。4.根据权利要求3所述的基于衣服块指引及空间自适应网络的虚拟试穿方法，其特征在于，所述步骤s3的具体过程是：s31：将步骤s14得到的标准化衣服块p
n
按通道进行拼接，依次经过一个风格编码器网络和一个特征映射网络，得到编码了衣服颜色、形状信息的特征向量，该特征向量充当条件stylegan2生成网络的隐向量s32：使用人体语义分割解析器，获得目标人体图像i
t
的人体语义分割图，该分割图上不同区域对应人体的不同部位，并根据目标人体图像i
t
及其语义分割图，目标人物的头部rgb图像h
t
；s33：将步骤s21得到的目标2d姿态关键点j
t
转换为rgb人体骨骼形式，并与步骤s32得到
的标人物的头部rgb图像h
t
按通道进行拼接，输进一个身份编码器，得到了编码目标人体姿态、身份信息的特征图f
id
；s34：将步骤s33得到特征图f
id
作为条件stylegan2生成网络的输入，同时使用步骤s31得到的隐向量修改条件stylegan2每一个子生成模块的卷积核参数；s35：在条件stylegan2生成网络中分辨率为128*128的子生成模块之后，使用风格生成分支，分别生成粗糙的虚拟试穿结果以及预测出目标衣服掩膜m
g
。5.根据权利要求4所述的基于衣服块指引及空间自适应网络的虚拟试穿方法，其特征在于，所述步骤s4的具体过程是：s41：去除变形衣服g
t
的外部不对齐区域，并提取变形衣服的特征，具体做法为，将步骤s35得到的目标衣服掩膜m
g
和步骤s23得到的变形衣服g
t
进行逐像素相乘，剔除掉g
t
中目标衣服掩膜m
g
之外的区域，并将得到的变形衣服输进一个衣服编码器，得到衣服变形衣服特征图f
′
g
；s42：根据步骤s23的到的变形衣服g
t
，得到其对应的二进制掩膜m
t
，将m
t
与步骤s35得到的目标衣服掩膜m
g
进行与运算，得到对齐区域的掩膜m
align
，再根据m
g
和m
align
，得到不对齐区域掩膜m
misalign
；s43：对步骤s41得到的变形衣服特征f
′
g
中，内部不对齐区域，进行特征填充操作，具体做法为，使用步骤s42得到的对齐区域掩膜，提取f
′
g
中对齐区域的特征并计算平均值，随后使用平均特征填充f
′
g
的不对齐区域；s44：在条件stylegan2生成网络中分辨率为128*128的子生成模块之后，引入空间自适应残差模块，将步骤s402得到的变形衣服特征f
g
，经过不同卷积层，分别计算出空间残差模块中反归一化层中缩放因子γ和平移因子β；s45：在条件stylegan2生成网络纹理生成分支的空间自适应残差模块之后，加入一个分辨率为256*256的子生成模块，生成精确的虚拟试穿结果i
′
t
。6.根据权利要求5所述的基于衣服块指引及空间自适应网络的虚拟试穿方法，其特征在于，所述步骤s41形式化表示为以下数学公式：f
′
g
＝ε
g
(g
t
⊙
m
g
),其中，ε
g
表示衣服编码器；所述步骤s42形式化表示为以下数学公式：m
align
＝m
g
∩m
t
,m
misalign
＝m
g-m
align
。所述步骤s43形式化表示为以下数学公式：其中，表示计算特征在空间维度上的平均值。7.根据权利要求6所述的基于衣服块指引及空间自适应网络的虚拟试穿方法，其特征在于，所述步骤s44引入的空间自适应残差模块的具体操作可以形式化表示为以下数学公式：
其中，γ
z,y,x
(
·
)和β
z,y,x
(
·
)分别代表计算缩放因子γ和平移因子β的卷积操作，h
z,y,x
代表输进残差模块的特征图中某个位置的值，z代表特征图通道维度上某一位置，y代码特征图高度维度上的某一位置，x代表特征图宽度维度上的某一位置，μ
z
代表特征图某一通道上特征的平均值，σ
z
代表特征图中某一通道上特征的方差。8.根据权利要求7所述的基于衣服块指引及空间自适应网络的虚拟试穿方法，其特征在于，在训练阶段，通过计算生成的试穿结果(粗糙虚拟试穿结果和精确虚拟试穿结果i
′
t
)与真实图像i
s
的重构损失和感知损失来约束系统模型的学习，具体公式为：9.根据权利要求8所述的基于衣服块指引及空间自适应网络的虚拟试穿方法，其特征在于，在训练阶段，引入预测出目标衣服掩膜m
g
和真实目标衣服掩膜m
gt
的损失，来约束系统模型的学习，具体公式为：在训练阶段，针对生成的试穿结果(粗糙虚拟试穿结果和精确虚拟试穿结果i
′
t
)，还使用对抗损失来约束系统模型的学习，训练阶段的总损失函数形式化表示为以下数学公式：其中，λ
rec
、λ
perc
、取值依次为40，40，100。10.一种应用权利要求9所述的基于衣服块指引及空间自适应网络的虚拟试穿方法的系统，其特征在于，包括：原始衣服分解、标准化模块：用于对于一张原始人体图像i
s
，基于其2d姿态关键点j
s
，将人体图像中的衣服g
s
划分为不同衣服块p
s
，并对所有衣服块进行标准化处理得到标准化衣服块p
n
；衣服变形模块：用于将步骤s1得到的标准化衣服块p
n
，根据目标人体图像的2d姿态关键点j
t
进行变形，随后将所有变形衣服块p
t
拼接在一起，得到能和目标人体姿态、体型相适应的变形衣服g
t
；粗糙试穿结果生成模块：用于将步骤s1得到的标准化衣服块p
n
经过特征提取网络得到条件stylegan2的隐向量将目标人物的头部rgb图像h
t
及目标人体图像的2d姿态关键点j
t
作为条件stylegan2生成网络的输入，随后使用其风格生成分支，生成粗糙的虚拟试穿结果以及预测出目标衣服掩膜m
g
；精细试穿结果生成模块：用于将步骤s2得到的变形衣服g
t
和步骤s3得到的目标衣服掩膜m
g
作为空间自适应残差模块的输入，使用条件stylegan2生成网络的纹理生成分支，生成精确的虚拟试穿结果i
′
t
。

技术总结
本发明提供一种基于衣服块指引及空间自适应网络的虚拟试穿方法及系统，该方法基于原始人体姿态，将衣服进行分块、标准化得到标准化表示下的衣服块，再根据目标人体姿态得到变形衣服，通过条件StyleGAN2生成网络的风格生成分支预测出目标衣服掩膜，并使用该掩膜对粗糙的变形衣服进行修正，最后通过条件StyleGAN2生成网络的纹理生成分支生成准确的虚拟试穿结果，实现一种在训练阶段无需匹配数据、测试阶段无需在线优化、在保留衣服纹理等细节的基础上实现不同类别衣服互换的虚拟试穿方法。穿方法。穿方法。


技术研发人员：谢震宇 梁小丹 黄载裕 赵富威
受保护的技术使用者：中山大学
技术研发日：2021.10.27
技术公布日：2022/3/1