基于局域监督的人脸三维卡通化方法、装置、设备及介质与流程

技术特征：
1.一种基于局域监督的人脸三维卡通化方法，其特征在于，包括：获取样本人脸图像和所述样本人脸图像对应的样本人脸三维卡通化图像；通过卷积神经网络模型对所述样本人脸图像进行人脸卡通化处理，得到基础人脸三维卡通化图像；采用预设方式对所述基础人脸三维卡通化图像进行关键点检测，得到人脸关键点，并基于所述人脸关键点，对所述基础人脸三维卡通化图像进行分割，得到目标局部人脸三维图像，其中，所述目标局部人脸三维图像包括眼睛图像、鼻子图像以及嘴巴图像；计算所述样本人脸三维卡通化图像的局部人脸三维图像与所述目标局部人脸三维图像的结构相似度，得到初始结构相似度；基于所述初始结构相似度，调整所述卷积神经网络模型的预设模型参数，并通过调整后的卷积神经网络模型对所述样本人脸图像进行迭代处理，直至得到的最新结构相似度小于预设阈值，得到目标卷积神经网络模型；获取待处理人脸图像，并通过所述目标卷积神经网络模型对所述待处理人脸图像进行人脸卡通化处理，得到目标人脸三维卡通化图像。2.根据权利要求1所述的基于局域监督的人脸三维卡通化方法，其特征在于，所述通过卷积神经网络模型对所述样本人脸图像进行人脸卡通化处理，得到基础人脸三维卡通化图像，包括：通过卷积神经网络模型的编码卷积块对所述样本人脸图像进行卷积编码处理，得到人脸特征信息；通过卷积神经网络模型的卷积层对所述人脸特征信息进行整合和压缩处理，得到目标人脸特征信息；通过卷积神经网络模型的解码卷积块对所述人脸特征信息进行解码处理，得到所述基础人脸三维卡通化图像。3.根据权利要求2所述的基于局域监督的人脸三维卡通化方法，其特征在于，在所述通过卷积神经网络模型的编码卷积块对所述样本人脸图像进行卷积编码处理，得到人脸特征信息之前，所述方法还包括：识别所述样本人脸图像中的人脸区域；基于所述人脸区域，对所述人脸图像进行二分类处理，得到遮罩图像；通过对所述样本人脸图像与所述遮罩图像进行二值化处理，去除所述样本人脸图像中的背景，得到去除背景的样本人脸图像。4.根据权利要求2所述的基于局域监督的人脸三维卡通化方法，其特征在于，所述通过卷积神经网络模型的编码卷积块对所述样本人脸图像进行卷积编码处理，得到人脸特征信息，包括：通过卷积神经网络模型的编码卷积块对所述样本人脸图像中的特征信息进行提取，得到高维向量信息；采用主成分分析算法，将所述高维向量信息转化为低维向量信息，并将所述低维向量信息作为所述人脸特征信息。5.根据权利要求1所述的基于局域监督的人脸三维卡通化方法，其特征在于，所述采用预设方式对所述基础人脸三维卡通化图像进行关键点检测，得到人脸关键点，并基于所述
人脸关键点，对所述基础人脸三维卡通化图像进行分割，得到目标局部人脸三维图像，包括：采用预设的人脸关键点检测模型对所述基础人脸三维卡通化图像进行关键点检测，得到所述人脸关键点；选取所述人脸关键点中的预设关键点，并基于所述预设关键点，生成局部区域；基于所述局部区域，对所述基础人脸三维卡通化图像进行分割，得到所述目标局部人脸三维图像。6.根据权利要求5所述的基于局域监督的人脸三维卡通化方法，其特征在于，所述计算所述样本人脸三维卡通化图像的局部人脸三维图像与所述目标局部人脸三维图像的结构相似度，得到初始结构相似度，包括：基于所述预设关键点，将所述样本人脸三维卡通化图像进行分割，得到初始局部人脸三维图像，其中，所述初始局部人脸三维图像包括眼睛图像、鼻子图像以及嘴巴图像；将所述初始局部人脸三维图像与对应的所述目标局部人脸三维图像进行分组，得到眼睛图像组合、鼻子图像组合以及嘴巴图像组合；分别计算所述眼睛图像组合、所述鼻子图像组合以及所述嘴巴图像组合的结构相似度，得到所述初始结构相似度，其中，所述初始结构相似度包括眼睛相似度、鼻子相似度以及嘴巴相似度。7.根据权利要求1至6任一项所述的基于局域监督的人脸三维卡通化方法，其特征在于，所述基于所述初始结构相似度，调整所述卷积神经网络模型的预设模型参数，并通过调整后的卷积神经网络模型对所述样本人脸图像进行迭代处理，直至得到的最新结构相似度小于预设阈值，得到目标卷积神经网络模型，包括：判断所述结构相似度是否小于所述预设阈值，得到判断结果；若所述判断结果为所述结构相似度未小于所述预设阈值，则调整所述卷积神经网络模型的预设模型参数，得到调整后的卷积神经网络模型；通过所述调整后的卷积神经网络模型对所述样本人脸图像进行迭代处理，其中，每次所述迭代处理均得到所述最新结构相似度；当所述最新结构相似度小于所述预设阈值，得到目标卷积神经网络模型。8.一种基于局域监督的人脸三维卡通化装置，其特征在于，包括：样本人脸图像获取模块，用于获取样本人脸图像和所述样本人脸图像对应的样本人脸三维卡通化图像；基础人脸图像生成模块，用于通过卷积神经网络模型对所述样本人脸图像进行人脸卡通化处理，得到基础人脸三维卡通化图像；目标局部图像生成模块，用于采用预设方式对所述基础人脸三维卡通化图像进行关键点检测，得到人脸关键点，并基于所述人脸关键点，对所述基础人脸三维卡通化图像进行分割，得到目标局部人脸三维图像，其中，所述目标局部人脸三维图像包括眼睛图像、鼻子图像以及嘴巴图像；初始结构相似度计算模块，用于计算所述样本人脸三维卡通化图像的局部人脸三维图像与所述目标局部人脸三维图像的结构相似度，得到初始结构相似度；卷积神经网络模型训练模块，用于基于所述初始结构相似度，调整所述卷积神经网络
模型的预设模型参数，并通过调整后的卷积神经网络模型对所述样本人脸图像进行迭代处理，直至得到的最新结构相似度小于预设阈值，得到目标卷积神经网络模型；目标人脸图像生成模块，用于获取待处理人脸图像，并通过所述目标卷积神经网络模型对所述待处理人脸图像进行人脸卡通化处理，得到目标人脸三维卡通化图像。9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于局域监督的人脸三维卡通化方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于局域监督的人脸三维卡通化方法。

技术总结
本申请涉及图像处理技术领域，揭露一种基于局域监督的人脸三维卡通化方法、装置、设备及介质，其中方法包括获取样本人脸图像和样本人脸三维卡通化图像；对样本人脸图像进行人脸卡通化处理，并对得到的基础人脸三维卡通化图像进行关键点检测，并基于到的的人脸关键点，对基础人脸三维卡通化图像进行分割，得到目标局部人脸三维图像；计算局部人脸三维图像的结构相似度，调整卷积神经网络模型的预设模型参数，对样本人脸图像进行迭代处理，得到目标卷积神经网络模型；通过目标卷积神经网络模型对待处理人脸图像进行处理，得到目标人脸三维卡通化图像。本发明实施例通过对人脸图像的不同器官进行局部监督，提高人脸三维卡通化的精度。度。度。


技术研发人员：张文雷 齐镗泉
受保护的技术使用者：深圳万兴软件有限公司
技术研发日：2022.01.27
技术公布日：2022/5/5