一种基于3D人脸重建的公众人物识别系统和方法与流程

技术特征：
1.一种基于3d人脸重建的人物识别模型的训练方法，包括：采集人物照片；对采集到的人物照片进行人脸裁剪；对裁剪的人脸进行3d重建；从经3d重建的人脸集中自动选择样本集，所述样本集包括正例样本和负例样本；以及将所选择的样本集作为训练数据来训练人物识别模型。2.如权利要求1所述的方法，其特征在于，对采集到的人物照片进行人脸裁剪进一步包括：使用多任务卷积神经网络mtcnn来对采集到的照片进行人脸检测并将检测到的人脸从图片中裁剪下来。3.如权利要求1所述的方法，其特征在于，对裁剪的人脸进行3d重建进一步包括：使用sfm算法来对裁剪后的人脸进行3d重建，并输出点云形式的人脸3d模型。4.如权利要求1所述的方法，其特征在于，从经3d重建的人脸集中自动选择样本集进一步包括：以非监督方式对经3d重建的人脸集应用聚类算法得到多个聚类；以及针对每一个聚类：确定一个参照样本；在同一聚类中选择最近似的样本作为正例样本；以及在其他聚类中选择最近似的样本作为负例样本。5.如权利要求1所述的方法，其特征在于，所述人物识别模型基于siamese网络，并且将所选择的样本集作为训练数据来训练人物识别模型进一步包括：将多组对应的正例样本和负例样本分别输入所述siamese网络的每一分支；在两个分支的网络特征进入全连接层之后，使用损失函数contrastive loss进行损失计算；以及使用梯度优化进行反向传播，以训练出所述人脸识别模型。6.一种基于3d人脸重建的人物识别系统，包括：人物照片采集模块，所述人物照片采集模块被配置成采集人物照片；人脸裁剪模块，所述人脸裁剪模块被配置成对采集到的人物照片进行人脸裁剪；3d重建模块，所述3d重建模块被配置成对裁剪的人脸进行3d重建；样本集选择模块，所述样本集选择模块被配置出从经3d重建的人脸集中自动选择样本集，所述样本集包括正例样本和负例样本；以及人物识别模型，所述人物识别模型使用所选择的样本集作为训练数据来训练。7.如权利要求6所述的人物识别系统，其特征在于，从经3d重建的人脸集中自动选择样本集进一步包括：以非监督方式对经3d重建的人脸集应用聚类算法得到多个聚类；以及针对每一个聚类：确定一个参照样本；在同一聚类中选择最近似的样本作为正例样本；以及在其他聚类中选择最近似的样本作为负例样本。
8.如权利要求6所述的人物识别系统，其特征在于，所述人物识别模型基于siamese网络，并且使用所选择的样本集作为训练数据来训练所述人物识别模型进一步包括：将多组对应的正例样本和负例样本分别输入所述siamese网络的每一分支；在两个分支的网络特征进入全连接层之后，使用损失函数contrastive loss进行损失计算；以及使用梯度优化进行反向传播，以训练出所述人脸识别模型。9.一种基于3d重建技术的人物识别方法，包括：获取待识别的图片；对获取的图片进行人脸检测；响应于检测到人脸，将人脸从图片中剪裁下来并进行3d重建；以及通过将经3d重建的人脸与预存人物的人脸3d模型进行比较以进行人物识别。10.如权利要求9所述的方法，其特征在于，所述待识别的图片来自于iptv视频或家庭云相册。

技术总结
本发明提供了一种基于3D人脸重建的公众人物识别系统和方法。该方法包括：获取待识别的图片；对获取的图片进行人脸检测；响应于检测到人脸，将人脸从图片中剪裁下来并进行3D重建；以及通过将经3D重建的人脸与预存人物的人脸3D模型进行比较以进行人物识别，所述比较进一步包括：将经3D重建的人脸与预存人物的人脸3D模型输入经训练的基于3D人脸重建的人物识别模型，该人物识别模型是通过以下步骤训练的：采集人物照片；对采集到的人物照片进行人脸裁剪；对裁剪的人脸进行3D重建；从经3D重建的人脸集中自动选择样本集，所述样本集包括正例样本和负例样本；以及将所选择的样本集作为训练数据来训练人物识别模型。训练数据来训练人物识别模型。训练数据来训练人物识别模型。


技术研发人员：张继东 曹靖诚 史国杰 李云鹤
受保护的技术使用者：天翼智慧家庭科技有限公司
技术研发日：2020.11.25
技术公布日：2021/11/26