一种妆容推荐方法、装置、电子设备及存储介质与流程

1.本发明涉及智能图像处理领域，特别是涉及一种妆容推荐方法、装置、电子设备及存储介质。


背景技术：

2.如今不少女性难以挑选适合自己的妆容，这在网络上层出不穷的妆容教程中得到充分体现。而且，即使有推荐，也只是常规的通用妆容，难以满足个性化的需求，且更新速度受到一定的限制，难以跟上时尚的潮流，这极大地制约了化妆行业的发展。
3.现有的发明专利虽提出了不少的解决方案以实现智能妆容推荐，比如申请号：201810456104.1、201610705745.7、201811447234.5、201020251203.5、202010234080.2等，这些专利中均选取数据库中与用户匹配度最高的人脸特征对应的妆容，作为推荐妆容推荐给用户。专利中方法过于绝对，且相似的妆容并非人脸相似的人才能使用，而相似的人脸也并非适合相似的妆容，这只能作为推荐指标之一。又如申请号：202010407658.x，其使用颜值分数提升的多寡来决定推荐的妆容，但其推荐指标又过于客观，容易忽略用户的真实感受，这也仅能作为推荐指标之一。过于单一的推荐指标会筛除掉不少同样适合用户的妆容，导致推荐结果不够智能。且以上指标均不符合真实化妆场景下的方法。较为先进的妆容推荐方法应该是基于化妆规则的。比如用户的嘴唇过薄，就不会推荐哑光色的口红颜色给她，否则口红越涂嘴唇看起来越薄。但这需要对人脸各个部位进行解析，再结合人脸属性和妆容属性进行逐一分类和联系，又过于繁琐，且需要大量专业的化妆知识，成本较高，而当新的妆容出现时，又需要重新整理和分析，这也是难以进入实际应用。


技术实现要素：

4.基于此，本发明的目的在于，提供一种妆容推荐方法、装置、电子设备及存储介质，主要基于化妆规则的多种推荐指标进行妆容推荐，推荐比现有方法更加准确合适的妆容给用户。
5.第一方面，本发明提供一种妆容推荐方法，包括以下步骤：
6.获取待推荐妆容的人脸图像；
7.量化所述人脸的轮廓和量感，根据所述轮廓的量化值和所述量感的量化值，得到所述人脸对应的妆容风格；
8.计算所述妆容风格对应的妆容图像库中的人脸与所述待推荐妆容的人脸的相似度；
9.将相似度超过第一阈值的人脸对应的妆容迁移到所述待推荐的人脸图像上，并计算所述迁移妆容后的人脸图像的颜值分数；
10.根据所述颜值分数，生成妆容推荐结果。
11.进一步地，量化所述人脸的轮廓，包括：
12.获取所述人脸的关键点坐标；
13.选择影响人脸轮廓的若干关键线段，每条所述关键线段包含若干关键点，计算每条所述关键线段的曲率；
14.对所有所述关键线段的曲率进行加权求和，并进行归一化处理，得到所述人脸轮廓的量化值。
15.进一步地，量化所述人脸的量感，包括：
16.获取所述人脸图像的解析图；
17.计算所述解析图中五官面积占整张人脸的比例；
18.对所有所述五官面积占整张人脸的比例进行加权求和，并进行归一化处理，得到所述人脸量感的量化值。
19.进一步地，根据所述轮廓的量化值和所述量感的量化值，得到所述人脸对应的妆容风格，包括：
20.以所述轮廓的量化值为横坐标，以所述量感的量化值为纵坐标，代入预设的风格规律形容词象限，得到所述人脸对应的妆容风格。
21.进一步地，
22.进一步地，所述妆容推荐结果包括所有所述颜值分数超过第二阈值的所述迁移妆容后的人脸图像。
23.进一步地，所述妆容推荐结果还包括每张迁移妆容后的人脸图像的妆容参数；
24.所述妆容参数至少包括以下一项：推荐的妆容风格、推荐的妆容的人脸与用户的人脸相似度和妆容迁移后的人脸图像的颜值分数。
25.第二方面，本发明还提供一种妆容推荐装置，包括：
26.人脸图像获取模块，用于获取待推荐妆容的人脸图像；
27.妆容风格获取模块，用于量化所述人脸的轮廓和量感，根据所述轮廓的量化值和所述量感的量化值，得到所述人脸对应的妆容风格；
28.相似度计算模块，用于计算所述妆容风格对应的妆容图像库中的人脸与所述待推荐妆容的人脸的相似度；
29.颜值分数计算模块，用于将相似度超过第一阈值的人脸对应的妆容迁移到所述待推荐的人脸图像上，并计算所述迁移妆容后的人脸图像的颜值分数；
30.妆容推荐模块，用于根据所述颜值分数，生成妆容推荐结果。
31.第三方面，本发明还提供一种智能设备，其特征在于，包括：
32.至少一个存储器以及至少一个处理器；
33.所述存储器，用于存储一个或多个程序；
34.当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如本发明第一方面任一所述的一种妆容推荐方法的步骤。
35.第四方面，本发明还提供一种计算机可读存储介质，其特征在于：
36.所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面任一所述的一种妆容推荐方法的步骤。
37.本发明提供的一种妆容推荐方法、装置、电子设备及存储介质，从风格、相似度和颜值分数这三个维度共同决定推荐妆容，鲁棒性更强，推荐结果更加有效准确；通过量化人脸的轮廓和量感并借助风格规律形容词象限来定位妆容风格，通过基于化妆规则的指标能
够大大提升妆容推荐的准确性与合理性；利用妆容迁移网络实现可视化妆容推荐，即将推荐的妆容迁移到用户的人脸图像上，使用户对妆容迁移后的自己的容貌产生期望，在实现用户满意度的同时，推动化妆行业的发展。
38.本发明提供的一种妆容推荐方法、装置、电子设备及存储介质，解决了长期困扰有化妆需求人士的相关妆容推荐方法无可视化问题，实现推荐妆容效果可视化以供用户选择妆容，可避免用户可能因为模特的高颜值而错解自己上妆后的模样，化解没有上妆的推荐妆容是否真正适合自己的茫然决策，选取真正适用自己的妆容。
39.为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
40.图1为本发明提供的一种妆容推荐方法的流程示意图；
41.图2为本发明在一个实施例中使用的风格规律形容词象限示意图；
42.图3为本发明在另一个实施例中使用的vgg-face人脸识别模型架构示意图；
43.图4为本发明在另一个实施例中的输入图像和输出推荐妆容结果示意图；
44.图5为本发明提供的一种妆容推荐装置的结构示意图。
具体实施方式
45.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施例方式作进一步地详细描述。
46.应当明确，所描述的实施例仅仅是本技术实施例一部分实施例，而不是全部的实施例。基于本技术实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本技术实施例保护的范围。
47.在本技术实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术实施例。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
48.下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。在本技术的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
49.此外，在本技术的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
50.针对背景技术中的问题，本技术实施例提供一种妆容推荐方法，如图1所示，该方法包括以下步骤：
51.s01：获取待推荐妆容的人脸图像。
52.在一个具体的实施例中，本发明提供的一种妆容推荐方法可依托智能终端的app
或者web浏览器等前端提供给用户使用，用户可通过智能终端的app或者web浏览器上传个人的人脸图像，以得到推荐的妆容。
53.s02：量化所述人脸的轮廓和量感，根据所述轮廓的量化值和所述量感的量化值，得到所述人脸对应的妆容风格。
54.人脸风格与妆容风格是相互对应的，而这种对应关系详见西蔓色研中心(中国首家以色彩科学研究为方向的专业色彩研究机构)所著的《中国人形象规律教程女性个人服饰风格分册》书籍第2版第28页中章节内容。该书籍将面部的主要构成要素分为轮廓(曲度)和量感。轮廓是指脸部的骨骼形状和五官线条的倾向性，量感是指脸型的骨架大小及五官在脸上所占比例的大小，而有不同轮廓和量感的人脸就有着不同的人脸风格。该书籍在第34页也描述了完整的通过轮廓和量感确定风格的风格规律形容词象限，如图2所示。据此，本发明专利根据人脸风格以及风格规律形容词象限、选取对应的、同样的妆容风格作为推荐的候选妆容。比如前卫型风格的人脸将会被推荐具有前卫型风格的妆容，其具体的妆容描述可参考本书第70页，并可通过网络资料或者专业人士对此类型妆容做进一步描述。
55.另外一篇论文《女性面部型特征与视觉形象构建》也曾提到此构成要素，并对形象风格的构建做了很多补充的描述。本发明不仅仅可以应用于妆容，还可如本书籍和论文中阐述一样，延伸至用于服装、配饰和发型等领域。
56.在一个优选的实施例中，量化所述人脸的轮廓，包括以下子步骤：
57.s0211：获取所述人脸的关键点坐标。
58.具体的，可以通过现有的百度ai开放平台的人脸检测api，输入用户的人脸图像，输出201个人脸关键点坐标。在其他实施例中，获取关键点坐标可以使用其他方法，关键点坐标个数无限制，但关键点坐标个数越多，量化结果越准确。
59.s0212：选择影响人脸轮廓的若干关键线段，每条所述关键线段包含若干关键点，计算每条所述关键线段的曲率。
60.具体的，选择包含眉毛、上/下睑、嘴唇和下颌棱线四条最影响人脸轮廓的线段，每条线段包含六个关键点，以每三个相邻的关键点为一组，每条线段共计四组。在其他实施例中，选择具体线段的位置和条数，但条数越多量化结果越准确。
61.每组线段通过曲率公式计算由三个关键点构成的线段的曲率。具体的曲率公式为：
62.对于曲线参数t，有
[0063][0064]
其中，x和y为曲线的参数方程。
[0065]
该公式中包含六个未知数，由于三个关键点坐标包含六个已知数，列出六个方程，则可以解出所有未知数。
[0066]
经过数学推导，最后的曲率公式为
[0067]
[0068]
其中，k代表曲率，x'为函数x＝a1 a2t a3t2的一阶导数，x”为函数x＝a1 a2t a3t2的二阶导数，y'为函数y＝b1 b2t b3t2的一阶导数，y”为函数y＝b1 b2t b3t2的二阶导数。a1、a2、a3、b1、b2和b3分别代表的是曲线方程中的未知数参数，具体的a1、a2、a3、b1、b2和b3是通过将三个关键点代入曲线方程求解得出的。
[0069]
当求解完该线段所有组的曲率时，进行加权求和，作为该线段的曲率。
[0070]
s0213：对所有所述关键线段的曲率进行加权求和，并进行归一化处理，得到所述人脸轮廓的量化值。
[0071]
具体的，把加权和放缩到－3到3之间，作为该人脸轮廓的量化结果。加权求和中，下颌棱线的权重值最大，因为它是最影响人脸轮廓的因素。
[0072]
在另一个优选的实施例中，量化所述人脸的量感，包括以下子步骤：
[0073]
s0221：获取所述人脸图像的解析图。
[0074]
人脸解析，是将人的头部包含人脸五官构成进行分解，得到头发、面部皮肤、眼睛、眉毛、鼻子、嘴、耳朵等区域。
[0075]
人脸解析是语义图像分割的一种特殊情况，人脸解析计算人脸图像中不同语义成分(如头发、嘴、眼睛)的像素级标签映射。给定一个输入的人脸图像，人脸解析将为每个语义成分(如头发、面部皮肤、眼睛、鼻子、嘴巴等)分配一个像素级标签。具体的，可以通过现有的解析网络bisenet(源代码网址：https://github.com/zllrunning/face-parsing.pytorch)获取到用户人脸图像的解析图。
[0076]
s0222：计算所述解析图中五官面积占整张人脸的比例。
[0077]
s0223：对所有所述五官面积占整张人脸的比例进行加权求和，并进行归一化处理，得到所述人脸量感的量化值。
[0078]
各个五官对于人脸量感的影响不同，权重值也不相同。根据五官占整张人脸的比例的加权和评估量感，再把它放缩到－3到3之间作为该人脸量感的量化结果。
[0079]
在另一个优选的实施例中，根据所述轮廓的量化值和所述量感的量化值，得到所述人脸对应的妆容风格，包括：
[0080]
以所述轮廓的量化值为横坐标，以所述量感的量化值为纵坐标，代入预设的风格规律形容词象限，得到所述人脸对应的妆容风格。在一个示例性的实施例中，本发明使用的风格规律形容词象限如图2所示。
[0081]
s03：计算所述妆容风格对应的妆容图像库中的人脸与所述待推荐妆容的人脸的相似度。
[0082]
在一个具体的实施例中，本发明提供的一种妆容推荐方法会预先建立妆容图像数据库，具体的妆容图像可以从网络上进行爬取，也可以使用现有的妆容数据集，这些图像将按妆容风格进行打标签，按标签分类好形成妆容图像库。妆容风格包含：少女风格、优雅风格、自然风格、少年风格、前卫风格、浪漫风格、古典风格和戏剧风格。各个不同的风格由步骤s02中通过计算人脸的轮廓和量感得到。
[0083]
优选的，步骤s03包括以下子步骤：
[0084]
s031：获取所述妆容风格对应的妆容图像库中的人脸。
[0085]
s032：使用训练好的vgg-face人脸识别模型，提取所述待推荐妆容的人脸和所述妆容风格对应的妆容图像库中的人脸的特征，并对提取到的特征进行l2正则化，得到所述
人脸的深层特征。
[0086]
vgg-face是基于vgg-very-deep-16 cnn架构上进行训练的，模型架构如图3所示。无论图像中的人脸是否化妆，vgg-face均能准确识别不同的人脸并得到其特征。深层特征是两个经过l2正则化的fc-4096层的特征相连接而形成的，即图3中的第34层和第36层。
[0087]
在一个具体的实施例中，l2正则化的公式为
[0088][0089]
其中，x
′i为l2正则化后的深层特征，xi为vgg-face人脸识别模型提取到的特征，length代表特征的长度。
[0090]
s033：计算所述待推荐妆容的人脸与所述妆容风格对应的妆容图像库中的人脸的深层特征的欧几里得距离。
[0091]
欧几里得距离，或欧几里得度量(euclidean metric)(也称欧氏距离)，是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度(即该点到原点的距离)。在二维和三维空间中的欧氏距离就是两点之间的实际距离。
[0092]
在一个具体的实施例中，欧几里得距离计算公式如下：
[0093][0094]
其中，d(x，y)为两个深层特征之间的欧几里得距离，xi和yi为经过l2正则化后的两个人脸的深层特征。
[0095]
s034：根据所述欧几里得距离，得到所述待推荐妆容的人脸与所述妆容风格对应的妆容图像库中的人脸的相似度。
[0096]
一般而言，欧几里得距离越小，两个用户相似度就越大，欧几里得距离越大，两个用户相似度就越小。
[0097]
s04：将相似度超过第一阈值的人脸对应的妆容迁移到所述待推荐的人脸图像上，并计算所述迁移妆容后的人脸图像的颜值分数。
[0098]
在一个具体的实施例中，将妆容风格作为第一推荐指标已经筛选出了若干个候选推荐妆容。本发明提供的一种妆容推荐方法将人脸相似度作为第二推荐指标，但是并不是直接筛选出与用户最相似的人脸，而是选择一个阈值，比如10，意为筛选出最相似的前十张人脸妆容。与其他方法不同，本发明提供的一种妆容推荐方法并不将相似度作为唯一的标准。
[0099]
当选出m张人脸相似度较高的妆容图像后，对每一张妆容图像都进行妆容迁移，计算妆容迁移前后用户颜值分数的变化。再选出颜值分数提升最多的n个妆容，这是第三推荐指标。
[0100]
这n张妆容图像是本发明提供的一种妆容推荐方法最终推荐的妆容。
[0101]
在一个具体的实施例中，妆容迁移过程包括：使用现有的妆容迁移网络，如beautygan等，将参考图像，也就是妆容图像上的妆容迁移到源图像上，也就是用户的人脸上，输出的图像同时保留源图像的人脸特征以及参考图像的妆容特征，实现自动上妆功能。
[0102]
在另一个具体的实施例中，颜值分数为百度ai开放平台的人脸属性分析api中的“颜值”属性值。
[0103]
凭借这些方法，可以估算用户使用该妆容后颜值发生的变化。由于化妆的目的就是为了提升颜值，所以本发明专利将颜值分数的提升作为最后一个推荐指标。
[0104]
s05：根据所述颜值分数，生成妆容推荐结果。
[0105]
优选的，所述妆容推荐结果包括所有所述颜值分数超过第二阈值的所述迁移妆容后的人脸图像。
[0106]
优选的，所述妆容推荐结果还包括每张迁移妆容后的人脸图像的妆容参数；
[0107]
所述妆容参数至少包括以下一项：推荐的妆容风格、推荐的妆容的人脸与用户的人脸相似度和妆容迁移后的人脸图像的颜值分数。
[0108]
在一个具体的实施例中，如图4所示，为了让用户真正感受到妆容是否适合自己，妆容推荐结果展示最终的n张妆容图像迁移结果，同时将展示若干个具体的参数给用户作为参考，包括但不限于推荐的妆容风格、推荐的妆容的人脸与用户的人脸相似度和妆容迁移前后的颜值分数。
[0109]
本技术实施例还提供一种妆容推荐装置，如图5所示，该妆容推荐装置400包括：
[0110]
人脸图像获取模块401，用于获取待推荐妆容的人脸图像；
[0111]
妆容风格获取模块402，用于量化所述人脸的轮廓和量感，根据所述轮廓的量化值和所述量感的量化值，得到所述人脸对应的妆容风格；
[0112]
相似度计算模块403，用于计算所述妆容风格对应的妆容图像库中的人脸与所述待推荐妆容的人脸的相似度；
[0113]
颜值分数计算模块404，用于将相似度超过第一阈值的人脸对应的妆容迁移到所述待推荐的人脸图像上，并计算所述迁移妆容后的人脸图像的颜值分数；
[0114]
妆容推荐模块405，用于根据所述颜值分数，生成妆容推荐结果。
[0115]
优选的，妆容风格获取模块包括：
[0116]
关键点坐标获取单元，用于获取所述人脸的关键点坐标；
[0117]
曲率计算单元，用于选择影响人脸轮廓的若干关键线段，每条所述关键线段包含若干关键点，计算每条所述关键线段的曲率；
[0118]
轮廓量化值计算单元，用于对所有所述关键线段的曲率进行加权求和，并进行归一化处理，得到所述人脸轮廓的量化值。
[0119]
优选的，妆容风格获取模块还包括：
[0120]
人脸图像解析图获取模块，用于获取所述人脸图像的解析图；
[0121]
比例计算模块，用于计算所述解析图中五官面积占整张人脸的比例；
[0122]
量感量化值计算单元，用于对所有所述五官面积占整张人脸的比例进行加权求和，并进行归一化处理，得到所述人脸量感的量化值。
[0123]
优选的，妆容风格获取模块还包括：
[0124]
妆容风格获取单元，用于以所述轮廓的量化值为横坐标，以所述量感的量化值为纵坐标，代入预设的风格规律形容词象限，得到所述人脸对应的妆容风格。
[0125]
优选的，相似度计算模块包括：
[0126]
人脸获取单元，用于获取所述妆容风格对应的妆容图像库中的人脸；
[0127]
深层特征提取单元，用于使用训练好的vgg-face人脸识别模型，提取所述待推荐
妆容的人脸和所述妆容风格对应的妆容图像库中的人脸的特征，并对提取到的特征进行l2正则化，得到所述人脸的深层特征；
[0128]
欧几里得距离计算单元，用于计算所述待推荐妆容的人脸与所述妆容风格对应的妆容图像库中的人脸的深层特征的欧几里得距离；
[0129]
相似度计算单元，用于根据所述欧几里得距离，得到所述待推荐妆容的人脸与所述妆容风格对应的妆容图像库中的人脸的相似度。
[0130]
优选的，所述妆容推荐结果包括所有所述颜值分数超过第二阈值的所述迁移妆容后的人脸图像。
[0131]
优选的，所述妆容推荐结果还包括每张迁移妆容后的人脸图像的妆容参数；
[0132]
所述妆容参数至少包括以下一项：推荐的妆容风格、推荐的妆容的人脸与用户的人脸相似度和妆容迁移后的人脸图像的颜值分数。
[0133]
本技术实施例还提供一种智能设备，包括：
[0134]
至少一个存储器以及至少一个处理器；
[0135]
所述存储器，用于存储一个或多个程序；
[0136]
当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如前所述的一种妆容推荐方法的步骤。
[0137]
本技术实施例还提供一种计算机可读存储介质，
[0138]
所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的一种妆容推荐方法的步骤。
[0139]
本发明提供的一种妆容推荐方法、装置、电子设备及存储介质，从风格、相似度和颜值分数这三个维度共同决定推荐妆容，鲁棒性更强，推荐结果更加有效准确；通过量化人脸的轮廓和量感并借助风格规律形容词象限来定位妆容风格，通过基于化妆规则的指标能够大大提升妆容推荐的准确性与合理性；利用妆容迁移网络实现可视化妆容推荐，即将推荐的妆容迁移到用户的人脸图像上，使用户对妆容迁移后的自己的容貌产生期望，在实现用户满意度的同时，推动化妆行业的发展。
[0140]
本发明提供的一种妆容推荐方法、装置、电子设备及存储介质，解决了长期困扰有化妆需求人士的相关妆容推荐方法无可视化问题，实现推荐妆容效果可视化以供用户选择妆容，可避免用户可能因为模特的高颜值而错解自己上妆后的模样，化解没有上妆的推荐妆容是否真正适合自己的茫然决策，选取真正适用自己的妆容。
[0141]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。