训练试衣模型的方法、虚拟试衣方法及相关装置与流程

技术特征：
1.一种训练试衣模型的方法，其特征在于，试衣网络包括图像生成网络、衣服变形网络和融合模块；所述方法包括：获取若干个图像组，所述图像组包括衣服图像和模特图像，所述模特图像中的模特穿有所述衣服图像中的衣服，所述模特图像对应有体态文本信息；对所述体态文本信息进行特征编码，得到体态特征图；并从所述模特图像中提取出身体躯干图；将所述体态特征图和所述身体躯干图输入所述图像生成网络进行先编码后解码处理，得到模特轮廓图像；将所述模特轮廓图像和所述衣服图像输入衣服变形网络以对所述衣服图像中的衣服进行变形，得到衣服变形图像；将所述衣服变形图像和所述模特轮廓图像输入所述融合模块进行融合处理，得到预测试衣图像；采用损失函数计算所述预测试衣图像和所述模特图像之间的损失，并根据所述若干个图像组对应的损失和，对所述试衣网络进行迭代训练，直至收敛，得到所述试衣模型。2.根据权利要求1所述的方法，其特征在于，所述体态文本信息对应有体态轮廓图像，所述试衣网络还包括风格迁移网络，所述风格迁移网络用于对输入的图像进行特征提取输出不同尺寸的多个特征图；所述方法还包括：采用所述风格迁移网络分别对所述体态轮廓图像和所述模特轮廓图像进行特征提取，得到多个体态轮廓特征图和多个模特轮廓特征图；所述采用损失函数计算所述预测试衣图像和所述模特图像之间的损失，包括：采用所述损失函数计算所述多个体态轮廓特征图和所述多个模特轮廓特征图之间的风格迁移损失。3.根据权利要求2所述的方法，其特征在于，所述采用损失函数计算所述预测试衣图像和所述模特图像之间的损失，还包括：采用所述损失函数计算所述衣服变形图像中衣服和所述模特图像中衣服之间的衣服变形损失；采用所述损失函数计算所述模特图像和所述预测试衣图像之间的重构损失。4.根据权利要求3所述的方法，其特征在于，所述损失函数包括：loss＝λ0l
style
λ1l
warp
λ2l
rec
；其中，；其中，；其中，l
rec
＝||y-r||1；其中，λ0、λ1和λ2为超参数，l
style
为所述风格迁移损失，l
warp
为所述衣服变形损失，l
rec
为
所述重构损失，h为所述体态轮廓图像，为所述模特轮廓图像，vgg为所述风格迁移网络，v是所述风格迁移网络的总层数，f
i
和r
i
分别是所述风格迁移网络的第i层中的激活量和元素数，是所述模特图像中衣服，是所述衣服变形图像中衣服，是所述模特图像中衣服轮廓，是所述衣服变形图像中衣服轮廓，y是所述模特图像，r是所述预测试衣图像。5.根据权利要求1-4任意一项所述的方法，其特征在于，所述试衣网络还包括多层感知机模块；所述对所述体态文本信息进行特征编码，得到体态特征图，包括：采用词袋模型对所述体态文本信息中的各词语进行编码，得到文本编码；采用所述多层感知机模块对所述文本编码进行特征提取，得到所述体态特征图。6.根据权利要求1-4任意一项所述的方法，其特征在于，所述衣服变形网络包括transformer模块、特征匹配模块和变形模块；将所述模特轮廓图像和所述衣服图像输入衣服变形网络以对所述衣服图像中的衣服进行变形，得到衣服变形图像，包括：将所述模特轮廓图像和所述衣服图像输入所述transformer模块，分别得到第一模特轮廓特征图和第一衣服特征图；将所述第一模特轮廓特征图和所述第一衣服特征图输入所述特征匹配模块进行特征匹配关联，得到关联矩阵，所述关联矩阵反映模特和衣服之间的像素点关联匹配情况；所述变形模块根据所述关联矩阵对所述衣服图像进行变形，得到所述衣服变形图像。7.根据权利要求6所述的方法，其特征在于，所述试衣网络还包括特征提取模块，在所述将所述模特轮廓图像和所述衣服图像输入所述transformer模块，分别得到第一模特轮廓特征图和第一衣服特征图的步骤之前，所述方法还包括：采用所述特征提取模块对所述模特轮廓图像进行特征提取，得到第二模特轮廓特征图；采用所述特征提取模块对所述衣服图像进行特征提取，得到第二衣服特征图；所述将所述模特轮廓图像和所述衣服图像输入所述transformer模块，分别得到第一模特轮廓特征图和第一衣服特征图，包括：将所述第二模特轮廓特征图和所述第二衣服特征图输入所述transformer模块，分别得到所述第一模特轮廓特征图和所述第一衣服特征图。8.一种虚拟试衣方法，其特征在于，包括：获取试穿者图像、待试衣服图像和试穿者体态文本信息；对所述试穿者体态文本信息进行特征编码，得到试穿者体态特征图；并从所述试穿者图像中提取出试穿者身体躯干图；将所述试穿者体态特征图和所述试穿者身体躯干图输入试衣模型，生成试衣图像，其中，所述试衣模型采用如权利要求1-7中任意一项训练试衣模型的方法训练得到。9.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机设备执行如权利要求1-8任一项所述的方法。

技术总结
本申请实施例涉及图像处理技术领域，公开了一种训练试衣模型的方法、虚拟试衣方法及相关装置，试衣网络图像生成网络、衣服变形网络和融合模块，采用若干个图像组对应的模特轮廓图像、衣服图像对试衣网络进行训练，得到试衣模型。其中，将体态文本信息与身体躯干图结合得到的模特轮廓图像能够反映模特身形轮廓和体态特征，从而，模特轮廓图像输入衣服变形网络中指导衣服变形，使得衣服的变形符合人体轮廓特征和体态特征。采用若干个图像组以上述方式对试衣网络进行训练，基于损失和的反向传播，约束试衣网络收敛。从而，训练得到的试衣模型能够使得试穿衣服更加贴合人体轮廓，符合人体体态，试衣效果更加真实准确。试衣效果更加真实准确。试衣效果更加真实准确。


技术研发人员：陈仿雄
受保护的技术使用者：深圳数联天下智能科技有限公司
技术研发日：2022.08.25
技术公布日：2022/12/5