一种虚拟试衣方法、装置及存储介质与流程

1.本发明涉及服装技术领域，具体涉及一种虚拟试衣方法、装置及存储介质。


背景技术：

2.目前，虚拟试衣的研究一直本行业的研究热点，解决服装的在线试穿需求已经变得越来越受到大家的青睐。而且通过结合3d建模、增强现实、虚拟现实、人工智能等诸多前沿技术，使得各大线上线下零售以及电商供公司为用户构建了一个沉浸式购物环境。
3.在早期，试衣的工作处理通常使用三维测量以及建模的方法来解决，近年来计算机视觉技术的不断发展，国内外一些研究院和工业界也开展各种针对试衣算法的研究工作，但是实际研究出来的虚拟试衣装置都存在以下问题：二维试衣效果偏平面，没有真实试衣的立体效果；三维试衣方法需要拍摄及建模，成本高且效果不佳；模拟过程中仅仅采用分割方案，服饰信息不够干净，试穿效果差；目前公开的关键点和分割训练规模有限且质量不高，难以覆盖实际场景中的各类服饰。
4.因此，亟需一种能够建立在大量的数据积累以及精准的图像算法的前提下，构建一种计算成本低能够适宜用户使用的虚拟试衣技术。


技术实现要素：

5.为了解决上述背景技术中提到的至少一个问题，本发明提供了一种虚拟试衣方法、装置及存储介质，能够打造出精准真实的试穿效果，基于对不同种类的服饰进行了精细划分，适用于不同种类的服饰；达到了快速识别、生成、匹配及人衣合成的试衣装置，为用户创造了良好的试衣体验。
6.本发明实施例提供的具体技术方案如下：
7.第一方面，提供一种虚拟试衣方法，包括：
8.采集模特图，对所述模特图进行区域分割，并检测模特图的第一关键点；
9.获取服饰图，对所述服饰图进行分割，并将所述服饰图进行分类，获得第一类别服饰图；
10.检测所述第一类别服饰图上的第二关键点；
11.通过所述第一关键点和所述第二关键点的匹配，将所述模特图与所述第一类别服饰图贴合，获得试衣效果图。
12.进一步的，所述方法还包括：在将所述模特图与所述第一类别服饰图贴合后，判断贴合后图像是否有暴露皮肤区域；
13.若有，则裁剪掉所述暴露皮肤区域，获得所述试衣效果图；
14.若没有，则直接获得所述试衣效果图。
15.进一步的，所述方法还包括：对所述模特图进行区域分割，并检测所述模特图的第一关键点，具体包括：
16.通过hrnet分割模型，将所述模特图至少分割为背景、头发、手臂、上身、腰部以及
腿部区域，基于hrnet关键点检测模型，检测出所述模特图上的关键部位的第一关键点。
17.进一步的，所述方法还包括：在获得所述试衣效果图后，基于所述第一类别服饰图的结构特征和材质特性，优化所述试衣效果图。
18.进一步的，所述获取服饰图包括：通过efficientnet识别模型，从数据库中获取一张图片，抽取该图片的特征，然后对所述图片的特征进行识别，获得具有3d效果的所述服饰图。
19.进一步的，对服饰图进行分割，并将所述服饰图进行分类，获得第一类别服饰图，具体包括：
20.通过hrnet分割模型，将所述服饰图分割为背景区域和服饰区域；
21.按照服饰类别，通过efficientnet分类模型，将所述服饰图划分为对应类别的第一类别服饰图。
22.进一步的，将所述背景区域设置为透明通道。
23.进一步的，所述第二关键点包括领口关键点、袖子关键点、肩膀关键点、下摆关键点、裤腰关键点、裤筒关键点中的一种或者多种。
24.第二方面，提供一种虚拟试衣装置，包括存储器、处理器及存储在存储器并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的虚拟试衣方法。
25.第三方面，提供一种计算机可读存储介质，其存储有计算机可执行指令，所述计算机可执行指令用于执行如上所述的虚拟试衣方法。
26.本发明实施例具有如下有益效果：
27.1.通过本发明实施例中的方法，通过拍摄获得模特图，采用相关的分割模型对模特图进行分割，并检测模特图上的第一关键点；获取具有3d效果的服饰图，并通过分割模型、分类模型对服饰图进行分类，获得第一类别服饰图，同时进检测第一类别服饰图上的第二关键点，将第一关键点与第二关键点进行匹配对对齐，对齐后将模特图贴合到第一类别服饰图上，然后获得试衣效果图；
28.2.在将第一类别服饰图与模特图贴合后，若出现暴露皮肤区域，则裁剪掉所述暴露皮肤区域，然后获得试衣效果图；并且，还基于第一类别服饰图的结构特征和材质特性，优化试衣效果图，使得试衣效果图更加真实、自然，从而提升用户的购物体验；
29.3.在对服饰图进行分类环节，采用efficientnet分类模型将服饰图划分为短袖上装、长袖上装、深v上装、背心等13个类别，然后再根据不同类别服饰的结构特点，通过深度学习hrnet关键点检测模型检测第二关键点，通过类别的详细划分，进一步优化不同结构服饰的关键部位的试衣效果。
附图说明
30.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
31.图1是本技术实施例提供的虚拟试衣方法的示意图；
32.图2是可被用于实施本技术中的示例性系统的示意图。
具体实施方式
33.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.目前，虚拟试衣的研究一直本行业的研究热点，解决服装的在线试穿需求已经变得越来越受到大家的青睐。而且通过结合3d建模、增强现实、虚拟现实、人工智能等诸多前沿技术，使得各大线上线下零售以及电商供公司为用户构建了一个沉浸式购物环境。在早期，试衣的工作处理通常使用三维测量以及建模的方法来解决，近年来计算机视觉技术的不断发展，国内外一些研究院和工业界也开展各种针对试衣算法的研究工作，但是实际研究出来的虚拟试衣装置都存在以下问题：二维试衣效果偏平面，没有真实试衣的立体效果；三维试衣方法需要拍摄及建模，成本高且效果不佳；模拟过程中仅仅采用分割方案，服饰信息不够干净，试穿效果差；目前公开的关键点和分割训练规模有限且质量不高，难以覆盖实际场景中的各类服饰。基于以上问题，本技术提出了一种虚拟试衣方法、装置及存储介质。能够打造出精准真实的试穿效果，基于对不同种类的服饰进行了精细划分，适用于不同种类的服饰；达到了快速识别、生成、匹配及人衣合成的试衣装置，为用户创造了良好的试衣体验。
35.实施例一
36.提供一种虚拟试衣方法，包括以下步骤：
37.步骤s1：采集模特图，对模特图进行区域分割，并检测模特图的第一关键点。
38.具体的，通过工作人员的拍摄获得模特图，模特图中包含有模特的全身图像。采集多个模特数据样本，制作数据集，然后通过训练hrnet分割模型，模型收敛后，再采用hrnet分割模型将模特图分割为背景、头发、手臂、上身、腰部以及腿部区域。
39.基于hrnet关键点检测模型，检测出模特图上的关键部位的第一关键点，其中第一关键点包括模特图上的：左肩两个点、右肩两个点、腹部边缘两个点和腰部边缘两个点，总共八个点。具体的，收集模特图上的图像数据并分别标注八个关键点，计算模特的旋转平移向量标签，建立训练数据集和测试数据集；将获得的数据集输入改进的hrnet模型进行学习训练，训练后获得最终的hrnet模型，最终的hrnet模型用于对模特图中的关键点进行检测。
40.本技术中采用深度学习的hrnet模型进行关键点的检测，且同时融合了多种特征的提取，从而提高了模特图上的关键点的定位准确率。
41.步骤s2：获取服饰图，对服饰图进行分割，并将服饰图进行分类，获得第一类别服饰图。
42.具体的，通过hrnet分割模型，将所述服饰图分割为背景区域和服饰区域，并将背景区域设置为透明通道。按照服饰类别，通过efficientnet分类模型，将所述服饰图划分为对应类别的第一类别服饰图。然后检测第一类别服饰图上的第二关键点。
43.具体的，通过efficientnet识别模型，从数据库中获取一张图片，抽取该图片的特征，然后对所述图片的特征进行识别，获得具有3d效果的所述服饰图。由于数据库中包括有2d图和3d图，首先，基于唯品会中海量商品图进行图片的采集，建立图片数据库。然后将采集的图片进行预处理，采用灰度处理、中值滤波处理、图像增强等方法对采集来的商品图像
进行预处理，随后对预处理后的图片数据集进行划分，采用迁移式学习的方法，保持efficientnet网络在数据集上原有的权值，通过微调训练出新的权值，将训练好的efficientnet网络模型保存，然后通过训练好的efficientnet识别模型对预处理后的图片数据集进行分类识别，获得需要的具有3d效果的服饰图。
44.进一步的，通过深度学习hrnet分割模型，将具有3d效果的服饰图分割成背景、服饰这两个区域，并将背景设置为透明通道。然后，进一步的将服饰图划分为短袖上装、长袖上装、深v上装、背心等13个类别，并分别获取每种服饰的关键特征。采用迁移式学习的方法，保持efficientnet网络在数据集上的原有权值，通过微调出训练出新的权值，将训练好的efficientnet分类模型保存，然后采用训练好的efficientnet分类模型按照13类不同服饰图的特点对服饰图进行分类。
45.基于深度学习hrnet关键点检测模型以及不同种类的服饰图的关键部位以及关键点个数，获取分类后的各种服饰图的关键点作为第二关键点。其中，第二关键点包括领口关键点、袖子关键点、肩膀关键点、下摆关键点、裤腰关键点、裤筒关键点等等。例如：服饰图为短袖上装，需要获取的关键点为两个领口关键点、袖子关键点、左右肩膀的关键点等；若服饰图为裤子下装，则需要获取的关键点位裤腰关键点、裤筒关键点；若服饰图为短裙，则需要获取的关键点位裤腰关键点、下摆关键点等。不同种类的服饰图的关键点个数，可以根据实际需要进行调节。
46.步骤s3：通过第一关键点和第二关键点的匹配，将模特图与第一类别服饰图贴合，获得试衣效果图。
47.具体的，确定模特图的大小为102*102mm，例如需要试衣的服饰图是短袖上衣时，将模特图的上身区域固定，然后结合模特图上的第一关键点的坐标信息与服饰图上的第二关键点的坐标信息，对服饰图进行缩放，使服服饰图缩放到合适的尺寸。此时，将第一关键点的坐标与第二关键点的坐标对齐，由于设置了背景区域为alpha透明通道，在将模特图与服饰图进行贴合时，通过alpha透明通道辨别贴合后的效果图中使用模特图的区域、使用服饰图的区域以及直接使用模特图背景的区域。
48.在将模特图与第一类别服饰图贴合后，判断贴合后图像是否有暴露皮肤区域；若有，则裁剪掉所述暴露皮肤区域，获得所述试衣效果图；若没有，则直接获得所述试衣效果图。
49.具体的，对于短袖上的肩部关键点，判断贴合后的效果图在手臂，上身以及腰部区域是否有暴露区域，若有，则裁减掉这些暴露区域。对于裙子和裤子而言，根据模特图的腰部两个关键点以及3d服饰图的裤腰关键点进行关键点对齐，对齐后将服饰图贴合到模特图上，判断贴合后的效果图在腰部、臀部以及腿部区域是否有暴露皮肤区域，若有，则裁剪掉这些区域。
50.步骤s4：在获得试衣效果图后，基于第一类别服饰图的结构特征和材质特性，优化试衣效果图。
51.具体的，从服饰的布料考虑布料的变形性特点，以及服饰在外力、内部弹力和布料摩擦力作用下，各个布料定点的变化。检测人体穿衣的比较紧身的部位，例如臀部，需要拉伸布料，利用拟合的方法，不断调整服饰图的网格点的形状，以及最终到达的目标为孩子，此时会引起布料的变形。此时，根据前一时刻对布料质点分析计算出u的布料状态，分析当
前时刻质点的拉伸分布，采用隐式积分计算当前时刻的褶皱曲线，最后得到布料自我碰撞后的布料形状，从而获得更加真实、自然的试衣效果图。
52.其中步骤s1-s4的先后顺序不作限定，可以根据实际情况进行调整。
53.实施例二
54.对应上述实施例，本技术提供了一种虚拟试衣装置，包括存储器、处理器及存储在存储器并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的虚拟试衣方法。其中，处理器包括模特图处理模块、服饰图处理模块、匹配模块以及优化模块。
55.模特图处理模块用于采集模特图，对所述模特图进行区域分割，并检测模特图的第一关键点。
56.服饰图处理模块用于获取服饰图，对所述服饰图进行分割，并将所述服饰图进行分类，获得第一类别服饰图；同时，检测第一类别服饰图上的第二关键点。
57.匹配模块用于通过所述第一关键点和所述第二关键点的匹配，将所述模特图与所述第一类别服饰图贴合，获得试衣效果图。
58.优化模块用于在获得所述试衣效果图后，基于所述第一类别服饰图的结构特征和材质特性，优化所述试衣效果图。
59.具体的，拍摄获得模特图，采用相关的分割模型对模特图进行分割，并检测模特图上的第一关键点；获取具有3d效果的服饰图，并通过分割模型、分类模型对服饰图进行分类，获得第一类别服饰图，同时进检测第一类别服饰图上的第二关键点，将第一关键点与第二关键点进行匹配对对齐，对齐后将模特图贴合到第一类别服饰图上，然后获得试衣效果图。
60.如图2所示，为本实施例中的示例性系统。
61.如图2所示，系统能够作为以上所述实施例中的任意一个虚拟试衣装置的上述设备。具体的，系统可包括系统可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或nvm/存储设备)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本技术中所述的动作的一个或多个处理器(例如，(一个或多个)处理器)。
62.对于一个实施例，系统控制模块可包括任意适当的接口控制器，以向(一个或多个)处理器中的至少一个和/或与系统控制模块通信的任意适当的设备或组件提供任意适当的接口。
63.系统控制模块可包括存储器控制器模块，以向系统存储器提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
64.系统存储器可被用于例如为系统加载和存储数据和/或指令。对于一个实施例，系统存储器可包括任意适当的易失性存储器，例如，适当的dram。在一些实施例中，系统存储器可包括双倍数据速率类型四同步动态随机存取存储器(ddr4sdram)。
65.对于一个实施例，系统控制模块可包括一个或多个输入/输出(i/o)控制器，以向nvm/存储设备及(一个或多个)通信接口提供接口。
66.例如，nvm/存储设备可被用于存储数据和/或指令。nvm/存储设备可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(hdd)、一个或多个光盘(cd)驱动器和/或一个或多个数字通用光盘(dvd)驱动器)。
67.nvm/存储设备可包括在物理上作为系统被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，nvm/存储设备可通过网络经由(一个或多个)通信接口进行访问。
68.(一个或多个)通信接口可为系统提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
69.对于一个实施例，(一个或多个)处理器中的至少一个可与系统控制模块的一个或多个控制器(例如，存储器控制器模块)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器中的至少一个可与系统控制模块的一个或多个控制器的逻辑封装在一起以形成系统级封装(sip)。对于一个实施例，(一个或多个)处理器中的至少一个可与系统控制模块的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器中的至少一个可与系统控制模块的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(soc)。
70.在各个实施例中，系统可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统包括一个或多个摄像机、键盘、液晶显示器(lcd)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(asic)和扬声器。
71.在此，根据本技术的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本技术的多个实施例的方法和/或技术方案。
72.实施例三
73.对应上述实施例，提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上所述的虚拟试衣方法。在本实施例中，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(ram,dram,sram)；以及非易失性存储器，诸如闪存、各种只读存储器(rom,prom,eprom,eeprom)、磁性和铁磁/铁电存储器(mram,feram)；以及磁性和光学存储设备(硬盘、磁带、cd、dvd)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
74.尽管已描述了本发明实施例中的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例中范围的所有变更和修改。
75.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。