一种生成虚拟试穿3D图像的方法与流程

技术特征：
1.一种生成虚拟试穿3d图像的方法，包括：确定待试穿的人体模型与待被试穿的服饰类商品的服饰模型；该人体模型与该服饰模型属于数字化的3d模型；获取该人体模型的尺寸参数与姿态参数序列；该姿态参数序列包括该人体模型进行连续多次姿态变化的连续多个姿态参数；获取该服饰模型的默认形状参数；该默认形状参数，是根据该服饰类商品在未被试穿状态下的形状确定的；将该人体模型的尺寸参数、姿态参数序列以及该服饰模型的默认形状参数，输入到服饰形状预测模型，输出该服饰模型的非默认形状参数序列；其中，该服饰形状预测模型是基于循环神经网络构建的，该非默认形状参数序列中的各个非默认形状参数与该姿态参数序列中的各个姿态参数一一对应，一个姿态参数对应的非默认形状参数，为该姿态参数下的该人体模型试穿该服饰模型所导致的，该服饰模型的形状变化后的形状参数；将每个姿态参数下的该人体模型，与该姿态参数对应的非默认形状参数下的该服饰模型进行融合，得到相应的一帧虚拟试穿3d图像。2.如权利要求1所述方法，其中，所述服饰形状预测模型，是基于多个不同的人体模型训练的，和/或，是基于多个不同的服饰类商品的服饰模型训练的。3.如权利要求2所述方法，不同的人体模型的尺寸不同，和/或，对应的性别不同。4.如权利要求1所述方法，所述方法还包括：确定待被试穿的至少一个其他服饰类商品的其他服饰模型；获取每个其他服饰模型的默认形状参数；针对每个其他服饰模型，将该人体模型的尺寸参数、姿态参数序列以及该其他服饰模型的默认形状参数，输入到服饰形状预测模型，输出该其他服饰模型的非默认形状参数序列；将每个姿态参数下的该人体模型，与该姿态参数对应的非默认形状参数下的服饰模型进行融合，包括：将每个姿态参数下的该人体模型，与该姿态参数对应的非默认形状参数下的该服饰模型、每个其他服饰模型进行融合，得到相应的一帧虚拟试穿3d图像。5.如权利要求1-4任一项所述方法，将每个姿态参数下的该人体模型，与该姿态参数对应的非默认形状参数下的该服饰模型进行融合，得到相应的一帧虚拟试穿3d图像，包括：将每个姿态参数下的该人体模型，与该姿态参数对应的非默认形状参数下的该服饰模型进行融合，并且，渲染融合后的该人体模型与该服饰模型所呈现出的模拟自然光反射，得到相应的一帧虚拟试穿3d图像。6.一种生成虚拟试穿视频的方法，包括：基于权利要求1-5任一项所述的生成虚拟试穿3d图像的方法，得到服饰类商品的多帧虚拟试穿3d图像；根据得到的各虚拟试穿3d图像，得到该服饰类商品的虚拟试穿视频，该虚拟试穿视频为2d视频或3d视频。7.一种应用于电商直播的视频播放方法，其中，基于权利要求6所述的生成虚拟试穿视频的方法，生成一个或多个服饰类商品的虚拟试穿视频；所述方法包括：
响应于虚拟试穿指令，确定待被试穿的服饰类商品；将该服饰类商品的虚拟试穿视频播放给用户。8.如权利要求7所述方法，响应于虚拟试穿指令，确定待被试穿的服饰类商品，包括：响应于电商侧系统发送的虚拟试穿指令，确定待被试穿的服饰类商品；或者响应于用户侧客户端发送的虚拟试穿指令，确定待被试穿的服饰类商品。9.如权利要求8所述方法，还包括：响应于用户侧客户端发送的虚拟试穿指令，确定待试穿的人体模型。10.如权利要求7所述方法，其中，该待试穿的人体模型，是该用户侧客户端预先配置的个性化人体模型。11.如权利要求8所述方法，还包括：响应于电商侧系统发送的虚拟试穿指令，确定待试穿的人体模型。12.如权利要求8所述方法，其中，存在多个用户侧客户端；在响应于用户侧客户端发送的虚拟试穿指令，确定待被试穿的服饰类商品的情况下，将该服饰类商品对应的虚拟试穿视频播放给用户，包括：将该服饰类商品的虚拟试穿视频仅播放给该用户侧客户端。13.如权利要求7所述方法，生成一个或多个服饰类商品的虚拟试穿视频的步骤包括：针对一个或多个服饰类商品，确定该服饰类商品对应的至少一个穿搭方案；针对每个穿搭方案，确定该穿搭方案中涉及除该服饰类商品之外的其他服饰类商品；在权利要求6引用权利要求4或5的情况下，基于权利要求6所述的生成虚拟视频的方法，生成该服饰类商品的对应于该穿搭方案的虚拟试穿视频。14.如权利要求13所述方法，还包括：响应于虚拟试穿指令，确定该虚拟试穿指令指定的穿搭方案；将该服饰类商品的虚拟试穿视频播放给用户，包括：将该服饰类商品的对应于该穿搭方案的虚拟试穿视频播放给用户。15.如权利要求7所述方法，生成一个或多个服饰类商品的虚拟试穿视频的步骤包括：针对一个或多个服饰类商品，确定该服饰类商品对应的展示姿态；根据该服饰类商品对应的展示姿态，确定人体模型的姿态参数序列；基于权利要求6所述的生成虚拟试穿视频的方法，生成该服饰类商品的虚拟试穿视频。16.如权利要求7所述方法，在该服饰类商品的虚拟试穿视频为2d视频的情况下，将该服饰类商品的虚拟试穿视频播放给用户，包括：获取当前待播放给用户的第一直播视频流，将该第一直播视频流中融合该服饰类商品的虚拟试穿视频，得到第二直播视频流；将该第二直播视频流播放给用户。17.如权利要求16所述方法，其中，在该第二直播视频流的画面中，包括第一画面区域与第二画面区域，该第一画面区域包括第一直播视频流的画面，该第二画面区域包括该服饰类商品对应的虚拟试穿视频的画面。18.一种计算设备，包括存储器、处理器；所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现权利要求1至17任一项所述方法。
19.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现权利要求1至17任一项中所述方法。

技术总结
本说明书披露的多个实施例提供了一种生成虚拟试穿3D图像的方法。为了能够使得虚拟试穿视频可以尽可能模拟出真人试穿的逼真效果，考虑人体模型的尺寸、人体模型的姿态变化、服饰模型的形状变化这三者之间的关联性，让虚拟试穿视频中这三者关联性尽可能逼近真人试穿场景中的这三者之间的关联性，就能够使得生成的虚拟试穿视频比较逼真。的虚拟试穿视频比较逼真。的虚拟试穿视频比较逼真。


技术研发人员：李津 蒋婉棋
受保护的技术使用者：杭州华鲤智能科技有限公司
技术研发日：2022.04.01
技术公布日：2022/5/6