一种基于皮损避让与骨相适配的虚拟试妆方法及系统

本发明属于图像处理与增强现实，具体涉及一种基于皮损避让与骨相适配的虚拟试妆方法及系统。

背景技术：

1、随着增强现实和人工智能技术的普及，虚拟试妆已广泛应用于美妆电商及智能镜等领域。现有虚拟试妆系统通常通过摄像头采集用户面部图像，检测人脸关键点并构建面部网格模型，然后将虚拟化妆品纹理叠加渲染至对应面部区域。部分方案进一步集成了皮肤检测或面部特征分析功能，能够为用户提供初步的皮肤评估或妆容推荐。

2、然而，现有技术在实际应用中存在明显缺陷。一方面，现有系统普遍采用“全域覆盖”的渲染策略，将妆容不加区分地叠加于痤疮、红斑等皮损区域，不仅导致妆容失真，还可能误导用户真实化妆时因过度遮盖而加重皮肤问题。另一方面，现有系统大多基于二维人脸关键点采用统一模板进行妆容贴图，未引入颧弓突度、下颌角角度等三维骨性结构参数，导致妆容呈现“悬浮感”和“不贴骨”的问题。此外，皮肤检测与虚拟试妆功能在现有系统中相互割裂，皮损信息无法传递至渲染引擎以影响渲染策略，难以形成闭环智能体验。因此，现有技术中存在着因皮损避让能力缺失和骨骼形态适配能力不足而导致的检测与渲染功能相互割裂、无法形成闭环体验的问题。

技术实现思路

1、针对现有技术的不足，本发明的目的在于提供一种基于皮损避让与骨相适配的虚拟试妆方法及系统，解决了现有技术中存在着因皮损避让能力缺失和骨骼形态适配能力不足而导致的检测与渲染功能相互割裂、无法形成闭环体验的问题。

2、本发明的目的可以通过以下技术方案实现：

3、一种基于皮损避让与骨相适配的虚拟试妆方法，包括以下步骤：

4、采集用户面部的彩色图像以及对应的面部深度数据；

5、对彩色图像进行语义分割，识别出用户面部的皮损区域，并根据皮损区域生成渲染遮罩层，渲染遮罩层用于界定禁止妆容渲染的空间区域；

6、对面部深度数据进行解析，提取用户面部的三维骨性结构参数，并根据三维骨性结构参数动态确定妆容渲染参数，其中三维骨性结构参数包括反映骨骼在深度方向上形态的参数，妆容渲染参数用于界定允许妆容渲染的区域内的渲染方式；

7、获取预设的目标妆容模板，并将目标妆容模板、渲染遮罩层与妆容渲染参数输入至渲染引擎，生成自适应妆容图像，其中渲染遮罩层为硬性约束，禁止在空间区域内填充妆容像素，以妆容渲染参数为柔性指导，在空间区域之外调整目标妆容模板的渲染形态。

8、进一步地，对彩色图像进行语义分割，识别出用户面部的皮损区域，具体包括以下步骤：

9、将彩色图像输入至预训练的语义分割网络；

10、通过语义分割网络对彩色图像进行像素级分类，输出每个像素属于皮损类别的概率值；

11、预设概率阈值，将概率值大于预设概率阈值的像素标记为皮损像素，所有相邻的皮损像素构成皮损区域，并提取皮损区域的轮廓线，作为皮损区域的边界。

12、进一步地，根据皮损区域生成渲染遮罩层，具体包括以下步骤：

13、将皮损区域的边界所围合的封闭区域映射至彩色图像的像素坐标系中，生成与彩色图像分辨率相同的二值化掩膜图像，作为渲染遮罩层；

14、其中，二值化掩膜图像中，封闭区域内的像素点赋值为用于标识禁止妆容渲染的第一值，封闭区域外的像素点赋值为用于标识允许妆容渲染的第二值，第一值与第二值数值不相等。

15、进一步地，对面部深度数据进行解析，提取用户面部的三维骨性结构参数，具体包括以下步骤：

16、将面部深度数据转换为三维空间点云，构建面部点云模型；

17、在面部点云模型中，定位骨骼特征点，并提取骨骼特征点的三维空间坐标；

18、根据骨骼特征点的三维空间坐标，计算反映骨骼在深度方向上形态的几何参数，作为三维骨性结构参数。

19、进一步地，骨骼特征点包括颧弓顶点、下颌角点、眉弓最高点或鼻基底中心点中的一种或多种。

20、进一步地，根据三维骨性结构参数动态确定妆容渲染参数，具体包括以下步骤：

21、预设选定规则，选定规则用于描述三维骨性结构参数的取值与妆容渲染参数之间的对应关系；

22、以获得的三维骨性结构参数作为输入，依据选定规则进行匹配或计算；

23、根据匹配或计算的结果，输出与三维骨性结构参数相对应的妆容渲染参数。

24、进一步地，获取预设的目标妆容模板，并将目标妆容模板、渲染遮罩层与妆容渲染参数输入至渲染引擎，生成自适应妆容图像，具体包括以下步骤：

25、从本地数据库或云端服务器中调取预设的目标妆容模板，目标妆容模板包含待渲染的妆容像素信息；

26、将目标妆容模板、渲染遮罩层及妆容渲染参数一并发送至渲染引擎；

27、由渲染引擎逐像素遍历渲染遮罩层，对于每个像素位置：

28、若渲染遮罩层中该像素位置的取值为第一值，则不对该像素位置进行任何妆容像素的叠加；

29、若渲染遮罩层中该像素位置的取值为第二值，则根据妆容渲染参数从目标妆容模板中获取对应像素的妆容像素值，并将该妆容像素值与彩色图像中该像素位置的原像素值进行融合；

30、遍历完成后，输出经过上述处理后的彩色图像，作为自适应妆容图像。

31、一种基于皮损避让与骨相适配的虚拟试妆系统，用于执行虚拟试妆方法，包括采集模块、皮损识别模块、遮罩生成模块、骨相提取模块、参数映射模块及渲染执行模块；

32、采集模块分别与皮损识别模块及骨相提取模块通信连接，用于采集用户面部的彩色图像及对应的面部深度数据，并将彩色图像发送至皮损识别模块、将深度数据发送至骨相提取模块；

33、皮损识别模块与遮罩生成模块通信连接，用于对接收的彩色图像进行语义分割，识别出皮损区域并发送至遮罩生成模块；

34、遮罩生成模块与渲染执行模块通信连接，用于根据接收的皮损区域生成渲染遮罩层并发送至渲染执行模块；

35、骨相提取模块与参数映射模块通信连接，用于对接收的深度数据进行解析，提取三维骨性结构参数并发送至参数映射模块；

36、参数映射模块内存储有预设的选定规则，且参数映射模块与渲染执行模块通信连接，用于根据接收的三维骨性结构参数及内部存储的选定规则确定妆容渲染参数，并发送至渲染执行模块；

37、渲染执行模块获取预设的目标妆容模板，并根据遮罩生成模块发送的渲染遮罩层及参数映射模块发送的妆容渲染参数，对目标妆容模板执行渲染操作，生成自适应妆容图像。

38、本发明的有益效果：

39、1、本技术通过对彩色图像进行语义分割以识别皮损区域并生成渲染遮罩层作为硬性约束，同时对面部深度数据进行解析以提取三维骨性结构参数并据此动态确定妆容渲染参数作为柔性指导，将渲染遮罩层与妆容渲染参数在同一渲染流程中协同输入渲染引擎，使得皮损避让与骨相适配深度融合而非独立运行，从而同时解决了现有技术中皮损区域无法被主动避让、妆容无法根据个体骨骼形态自适应适配以及检测与渲染功能相互割裂的问题，实现了从检测到避让再到适配的闭环体验；

40、2、本技术通过将皮损识别结果直接驱动渲染遮罩层的生成、将骨性参数直接驱动妆容渲染参数的确定，并在渲染管线中以遮罩层为硬性约束禁止在皮损区域内填充任何妆容像素、以妆容渲染参数为柔性指导在非皮损区域内根据骨骼形态调整妆容渲染形态，使得虚拟试妆过程中健康保护与美学适配得以兼顾，显著提升了虚拟试妆的真实感、个性化程度及用户体验。