图像处理方法和图像处理装置与流程

技术特征：
1.一种图像处理方法，其特征在于，包括：获取人脸图像的人脸特征和关键点的位置信息，所述人脸特征包括所述人脸图像中人脸信息的特征向量，所述关键点包括所述人脸图像中表示人脸位置的特征点；根据所述人脸特征和所述关键点的位置信息，通过预训练的第一神经网络模型得到所述人脸图像对应的无遮挡的正脸图像。2.根据权利要求1所述的方法，其特征在于，所述第一神经网络模型包括一个或多个反卷积层。3.根据权利要求2所述的方法，其特征在于，所述关键点的位置信息包括关键点特征图；根据所述人脸特征和所述关键点的位置信息，通过预训练的第一神经网络模型得到所述人脸图像对应的无遮挡的正脸图像包括：将所述人脸特征输入第一反卷积层，以得到第一特征图；融合所述第一特征和所述关键点特征图，以得到第二特征图；将所述第二特征图输入第二反卷积层，以得到所述无遮挡的正脸图像。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述第一神经网络模型由第一初始网络模型训练后得到，所述方法还包括：将第一训练样本的第一人脸特征和第一关键点的位置信息输入所述第一初始网络模型中训练，以得到第一损失；根据所述第一损失更新所述第一初始网络模型中的权重参数，以得到所述第一神经网络模型。5.根据权利要求4所述的方法，其特征在于，所述第一损失为第一特征与第二特征之间的差异，所述第一特征为从所述第一训练样本对应的正脸图像中提取的人脸特征，所述第二特征为从第一生成图像中提取的人脸特征，所述第一生成图像为将所述第一训练样本输入所述第一初始网络模型得到的无遮挡的正脸图像。6.根据权利要求4所述的方法，其特征在于，所述第一损失包括第一特征与第二特征之间的差异，以及所述第一训练样本对应的正脸图像与第一生成图像之间的差异。7.根据权利要求4所述的方法，其特征在于，所述第一损失包括第一特征与第二特征之间的差异、第一训练样本对应的正脸图像与第一生成图像之间的差异，和判断损失，所述判断损失为判别器将所述第一生成图像判别为假的概率，所述判别器用于将真实图像判别为真，将生成的图像判别为假。8.根据权利要求1至7中任一项所述的方法，其特征在于，所述获取人脸图像的人脸特征和关键点的位置信息包括：将所述人脸图像输入第二神经网络模型中得到所述人脸特征；将所述人脸图像输入第三神经网络模型中得到所述关键点的位置信息。9.根据权利要求8所述的方法，其特征在于，所述第二神经网络模型包括特征抽取器或编码器，所述特征抽取器为根据输入的人脸图像输出人脸特征的神经网络，所述编码器为自编码器中的部分。
10.根据权利要求1至9中任一项所述的方法，其特征在于，所述无遮挡的正脸图像用于肉眼识别，或用于输入人脸识别系统实现人脸识别。11.一种图像处理装置，其特征在于，包括：获取单元，用于获取人脸图像的人脸特征和关键点的位置信息，所述人脸特征包括所述人脸图像中人脸信息的特征向量，所述关键点包括所述人脸图像中表示人脸位置的特征点；处理单元，用于根据所述人脸特征和所述关键点的位置信息，通过预训练的第一神经网络模型得到所述人脸图像对应的无遮挡的正脸图像。12.根据权利要求11所述的装置，其特征在于，所述第一神经网络模型包括一个或多个反卷积层。13.根据权利要求12所述的装置，其特征在于，所述关键点的位置信息包括关键点特征图；所述处理单元具体用于：将所述人脸特征输入第一反卷积层，以得到第一特征图；融合所述第一特征和所述关键点特征图，以得到第二特征图；将所述第二特征图输入第二反卷积层，以得到所述无遮挡的正脸图像。14.根据权利要求11至13中任一项所述的装置，其特征在于，所述第一神经网络模型由第一初始网络模型训练后得到，所述装置还包括：训练单元，用于将第一训练样本的第一人脸特征和第一关键点的位置信息输入所述第一初始网络模型中训练，以得到第一损失；所述处理单元，还用于根据所述第一损失更新所述第一初始网络模型中的权重参数，以得到所述第一神经网络模型。15.根据权利要求14所述的装置，其特征在于，所述第一损失为第一特征与第二特征之间的差异，所述第一特征为从所述第一训练样本对应的正脸图像中提取的人脸特征，所述第二特征为从第一生成图像中提取的人脸特征，所述第一生成图像为将所述第一训练样本输入所述第一初始网络模型得到的无遮挡的正脸图像。16.根据权利要求14所述的装置，其特征在于，所述第一损失包括第一特征与第二特征之间的差异，以及所述第一训练样本对应的正脸图像与第一生成图像之间的差异。17.根据权利要求14所述的装置，其特征在于，所述第一损失包括第一特征与第二特征之间的差异、第一训练样本对应的正脸图像与第一生成图像之间的差异，以及判断损失，所述判断损失为判别器将所述第一生成图像判别为假的概率，所述判别器用于将真实图像判别为真，将生成的图像判别为假。18.根据权利要求11至17中任一项所述的装置，其特征在于，所述获取单元具体用于：将所述人脸图像输入第二神经网络模型中得到所述人脸特征；将所述人脸图像输入第三神经网络模型中得到所述关键点的位置信息。19.根据权利要求18所述的装置，其特征在于，所述第二神经网络模型包括特征抽取器或编码器，所述特征抽取器为根据输入的人脸图像输出人脸特征的神经网络，所述编码器为自编码器中的部分。
20.根据权利要求11至19中任一项所述的装置，其特征在于，所述无遮挡的正脸图像用于肉眼识别，或用于输入人脸识别系统实现人脸识别。21.一种图像处理装置，其特征在于，包括处理器和存储器，所述处理器和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于调用所述程序指令，执行如权利要求1至10中任一项所述的方法。22.一种包含指令的计算机程序产品，其特征在于，当其在计算机上运行时，使得所述计算机执行如权利要求1至10中任一项所述的方法。23.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在计算机上运行时，使得计算机执行如权利要求1至10中任一项所述的方法。

技术总结
本申请实施例涉及人工智能领域中的计算机图像处理技术，公开了一种图像处理方法，应用于人脸图像的肉眼识别或人脸识别系统识别，通过重建无遮挡正脸图像，提高人脸识别成功率。该方法包括：图像处理装置获取人脸图像的人脸特征和关键点的位置信息；所述图像处理装置根据所述人脸特征和所述关键点的位置信息，通过第一神经网络模型获取所述人脸图像对应的无遮挡的正脸图像。的无遮挡的正脸图像。的无遮挡的正脸图像。


技术研发人员：费扬 陈凯 龚文洪
受保护的技术使用者：华为技术有限公司
技术研发日：2020.04.29
技术公布日：2021/10/28