一种基于深度学习的个性化粉底调配系统及方法与流程

本发明涉及人工智能，具体而言，涉及一种基于深度学习的个性化粉底调配系统及方法。

背景技术：

1、粉底作为面部底妆核心产品，市面工业化量产粉底仅设置有限固定色号，难以适配消费者差异化的原生肤色、皮下色素状态，个性化定制粉底逐步成为美妆行业发展趋势；

2、现阶段个性化粉底主要由美妆从业人员依托白液、黑液、黄液、红液四种基础调色原液复配制备。目前行业主流调配方式仍以人工目视配色为主，美妆师依靠肉眼在现场环境下观察用户面部肤色，结合从业经验主观判定四种色浆的混合比例。

3、因此，有必要设计一种基于深度学习的个性化粉底调配系统及方法，用以解决现有粉底液色号有限，难以适配消费者差异化的原生肤色、皮下色素状态的问题。

技术实现思路

1、鉴于此，本发明提出了一种基于深度学习的个性化粉底调配系统及方法，旨在解决现有粉底液色号有限，难以适配消费者差异化的原生肤色、皮下色素状态的问题。

2、一个方面，本发明提出了一种基于深度学习的个性化粉底调配系统，包括：

3、信息采集分析模块，被配置为采集用户多维度人脸图像，根据采集环境的光源与色温对采集到的人脸图像的有效像素进行校验，筛选出合格的标准化人像肤色图像，采用预训练u-net深度学习分割模型对标准化人像肤色图像进行皮肤区域语义分割，通过gmm高斯混合聚类算法及色差分析剔除无效干扰像素，提取用户有效皮肤像素的lab色彩参数，构建用户肤色数据集；

4、特征提取模块，被配置为将所述信息采集分析模块构建的用户肤色数据集输入预训练efficientnetv2-s深度学习特征提取模型，逐层提取肤色明度、冷暖调、皮下色素多维隐特征，生成肤色特征向量，根据肤色特征向量判断用户肤色大类与皮下底色，优化完善特征向量，生成最终特征向量；

5、配方生成模块，被配置为将所述最终特征向量输入多分支全连接深度回归神经网络，分别对应明度、黄调、红调特征回归得出白液、黑液、黄液、红液的初始添加份数，生成粉底液初步配方；

6、配方矫正模块，被配置为根据所述配方生成模块生成的粉底液初步配方通过残差修正深度学习网络仿真生成粉底模拟lab色值，得出模拟lab色值与用户原生肤色的色差，根据所述色差对四色浆添加量进行修正，得到适配用户肤色的标准化四色浆粉底调配配方。

7、进一步的，信息采集分析模块被配置为：

8、实时采集拍摄环境的色温参数，当所述色温参数小于第一色温阈值时，判定采集环境暖光偏黄，采用clahe算法对图像进行蓝光增益校正；

9、当所述色温参数大于第二色温阈值时，判定采集环境冷光偏蓝，采用clahe算法对图像进行黄光增益校正；

10、当所述色温参数处于第一色温阈值与第二色温阈值之间时，判断环境光源合规，直接留存原始图像。

11、进一步的，所述信息采集分析模块还被配置为：

12、将标准化人像肤色图像输入预训练u-net分割模型，将标准化人像肤色图像进行像素二分类，分为皮肤像素与非皮肤像素，输出皮肤掩码图谱，将所述皮肤掩码图谱，通过gmm高斯混合聚类将皮肤掩码图谱中的皮肤像素划分为若干像素簇，逐簇计算聚类中心与全局皮肤均值的lab色差，当单簇色差大于12lab色差单位时，判定该簇为无效像素，批量剔除，并提取全部合规像素的lab三维色彩参数，构建肤色数据集。

13、进一步的，所述特征提取模块被配置为：

14、预设有fitzpatrick六型肤色数据库，将所述肤色特征向量与预设的fitzpatrick六型肤色数据库进行特征相似度比对，选择相似度最高的肤色类型作为该用户的肤色大类；

15、同时根据所述肤色特征向量通道权重判断用户皮肤底色，若红色通道隐特征权重大于0.5判定为泛红底色，黄色通道权重大于0.5判定为黄调底色，明度特征低于30判定为深肤色底色，将肤色大类与底色标签拼接至肤色特征向量，得到最终特征向量。

16、进一步的，所述配方生成模块被配置为：

17、将所述最终特征向量输入多分支全连接深度回归神经网络，多分支全连接深度回归神经网络包括明度调控分支、黄调调控分支以及红调调控分支；

18、所述明度调控分支根据最终特征向量中的肤色lab明度l值回归得到白液、黑液基础添加量，l值与白液添加量正相关、与黑液添加量负相关；

19、所述黄调调控分支根据最终特征向量中的lab黄轴b值回归得到黄液基础添加量，b值与黄液添加量正相关；

20、所述红调调控分支根据最终特征向量中的lab红轴a值回归得到红液基础添加量，a值与红液添加量正相关。

21、进一步的，所述配方矫正模块还被配置为：

22、残差修正深度学习网络仿真生成粉底模拟lab色值后计算模拟lab色值与用户肤色的色差，当色差小于等于第一色差阈值时，判定为轻度色差，不进行迭代修正，直接输出为标准化四色浆粉底调配配方；当色差大于第一色差阈值时，启动ddim扩散模型进行反向迭代调色；

23、进行反向迭代调色时，设置ddim模型最大迭代次数为10次，未达到最大次数且色差未达标时，持续反向修正色浆配比，达标后将修正后的色浆配方进行复检；达到最大次数仍未达标时，判定为特征匹配异常，采用迭代调色时的最优配方进行二次色差复检。

24、进一步的，所述配方矫正模块还被配置为：

25、进行反向迭代调色时，拆分l、a、b单维度色差，计算各维度色差占总色差的权重占比，单维度占比大于等于60%的判定为主导色差维度，其余为次要维度；

26、若l维度为主导色差，仅调整白液、黑液配比，黄液、红液数值不变；若a维度为主导色差，仅调整红液配比，其余三色浆数值不变；若b维度为主导色差，仅微调黄液配比，其余三色浆数值不变；若无任一维度占比大于等于60%，判定为多维度耦合色差，进行均衡调整，同步小幅调整四种色浆配比。

27、进一步的，所述配方矫正模块还被配置为：

28、预设第二色差阈值，且所述第二色差阈值大于所述第一色差阈值，进行二次色差复检时，将修正后配方输入残差修正深度学习网络，生成配方的lab色值，重新计算色差；

29、当色差小于等于所述第一色差阈值时，判断配色合格，将对应配方作为标准化四色浆粉底调配配方；

30、当色差大于所述第一色差阈值但小于等于第二色差阈值时，判断为轻微色差，进行单组分微调后，将微调后的配方作为标准化四色浆粉底调配配方；

31、当色差大于所述第二色差阈值时，判断为色差异常，重新采集用户多维度人脸图像。

32、进一步的，所述配方矫正模块还被配置为：

33、预设有最大调整幅度，进行单组分微调时拆分l、a、b单维度色差，筛选占比最高的维度作为待修正维度；

34、待修正维度为l时：当l维度色差大于0时，根据色差值增加黑液份数，最大增加量不超过最大调整幅度；当l维度色差小于0时，根据色差值增加白液份数，最大增加量不超过最大调整幅度；

35、待修正维度为a时：当a维度色差大于0时，根据色差值减少红液份数，最大减少量不超过最大调整幅度；当a维度色差小于0时，根据色差值增加红液份数，最大增加量不超过最大调整幅度；

36、待修正维度为b时：当b维度色差大于0时，根据色差值减少黄液份数，最大减少量不超过最大调整幅度；当b维度色差小于0时，根据色差值增加黄液份数，最大增加量不超过最大调整幅度。

37、与现有技术相比，本发明的有益效果在于：

38、1、本发明通过采用efficientnetv2-s深度学习特征提取模型对用户肤色进行多维深层隐特征挖掘，同步识别用户肤色大类与皮下色素底色特征，突破传统粉底液固定有限色号的局限，能够精准捕捉不同用户差异化的原生肤色表象特征与皮下色素底层差异，实现针对个体肤质的专属配色表征，解决了传统量产粉底无法适配千人千面个性化肤色的技术问题。

39、2、本发明通过搭载u-net深度学习语义分割算法结合gmm聚类筛选机制完成肤色数据智能提纯，使得深度学习模型仅基于用户真实有效皮肤像素进行特征学习与配色推演，有效规避痘印、泛红、色斑等无效区域对肤色判断的干扰，保证差异化原生肤色、特殊皮下色素状态的识别准确性，大幅提升个性化配色的基础精度。

40、3、本发明通过构建多分支全连接深度回归神经网络实现四色浆配比的智能化、差异化回归计算，使得深度学习网络能够自主学习不同肤色大类、不同皮下底色与白液、黑液、黄液、红液配比的非线性映射关系，针对冷白皮、暖黄皮、深肤色、混合过渡肤色及各类皮下色素底色均可自适应输出专属配比，解决传统固定色号适配维度单一、差异化肤质覆盖不全的缺陷。

41、4、本发明通过引入残差修正深度学习网络与ddim扩散深度学习迭代调色模型构建闭环色差矫正体系，使得针对不同用户原生肤色、皮下色素差异带来的个性化色偏问题，可实现分维度、定向化修正，有效解决了传统固定色号粉底无法根据用户皮下色素差异进行精准色彩补偿的技术痛点，极大提升粉底与用户原生肤色的贴合度。

42、另一方面，本技术还提供了一种基于深度学习的个性化粉底调配方法，所述监测方法包括：

43、采集用户多维度人脸图像，根据采集环境的光源与色温对采集到的人脸图像的有效像素进行校验，筛选出合格的标准化人像肤色图像，采用预训练u-net深度学习分割模型对标准化人像肤色图像进行皮肤区域语义分割，通过gmm高斯混合聚类算法及色差分析剔除无效干扰像素，提取用户有效皮肤像素的lab色彩参数，构建用户肤色数据集；

44、将构建的用户肤色数据集输入预训练efficientnetv2-s深度学习特征提取模型，逐层提取肤色明度、冷暖调、皮下色素多维隐特征，生成肤色特征向量，根据肤色特征向量判断用户肤色大类与皮下底色，优化完善特征向量，生成最终特征向量；

45、将所述最终特征向量输入多分支全连接深度回归神经网络，分别对应明度、黄调、红调特征回归得出白液、黑液、黄液、红液的初始添加份数，生成粉底液初步配方；

46、根据所述配方生成模块生成的粉底液初步配方通过残差修正深度学习网络仿真生成粉底模拟lab色值，得出模拟lab色值与用户原生肤色的色差，根据所述色差对四色浆添加量进行修正，得到适配用户肤色的标准化四色浆粉底调配配方。

47、可以理解的是，上述一种基于深度学习的个性化粉底调配系统及方法具备相同的有益效果，在此不再赘述。