深度相机抓拍时的深度重建方法、系统、设备及介质与流程

技术特征：
1.一种深度相机抓拍时的深度重建方法，其特征在于，包括如下步骤：步骤s1：获取目标人脸的rgb图像、ir图像以及红外光斑图像；步骤s2：对所述rgb图像、所述ir图像进行人脸检测，同时对所述红外光斑图像进行预处理，以提取所述红外光斑图像中的多个光斑点区域；步骤s3：当在所述rgb图像、所述ir图像检测出人脸区域时，对所述人脸区域进行表情检测，确定该人脸区域的表情类型；步骤s4：当所述表情类型为预设置的表情类型集合中的任一表情类型时，根据所述红外光斑图像的多个光斑点区域和所述rgb图像中的人脸区域对所述目标人脸进行深度重建生成深度人脸图像。2.根据权利要求1所述的深度相机抓拍时的深度重建方法，其特征在于，当对所述目标人脸进行深度重建生成深度人脸图像时，同时进行如下步骤：-对所述rgb图像、所述ir图像进行质量检测；-当所述ir图像符合预设置的质量标准时，对所述ir图像进行活体检测。3.根据权利要求1所述的深度相机抓拍时的深度重建方法，其特征在于，所述步骤s1包括如下步骤：步骤s101：通过红外相机交替采集所述目标人脸的ir图像和红外光斑图像；步骤s102：通过rgb相机采集所述目标人脸的rgb图像；步骤s103：获取目标人脸的rgb图像、ir图像以及红外光斑图像，并对所述rgb图像进行实时预览。4.根据权利要求1所述的深度相机抓拍时的深度重建方法，其特征在于，所述步骤s3包括如下步骤：步骤s301：当在所述rgb图像、所述ir图像检测出人脸区域时，触发步骤s303；步骤s302：当没有在所述rgb图像、所述ir图像检测出人脸区域时时，并返回步骤s1重新进行所述目标人脸的rgb图像、ir图像以及红外光斑图像的获取；步骤s303：对所述人脸区域进行表情检测，确定该人脸区域的表情类型。5.根据权利要求1所述的深度相机抓拍时的深度重建方法，其特征在于，所述步骤s4包括如下步骤：步骤s401：获取预设置的表情类型集合；步骤s402：判断所述表情类型是否为预设置的表情类型集合中的一表情类型，当所述表情类型为预设置的表情类型集合中的一表情类型，触发步骤s403，当所述表情类型不是预设置的表情类型集合中的一表情类型，发出第一提示信息，并返回步骤s1；步骤s403：根据所述红外光斑图像的多个光斑点区域和所述rgb图像对所述目标人脸进行深度重建生成深度人脸图像。6.根据权利要求1所述的深度相机抓拍时的深度重建方法，其特征在于，当对所述rgb图像、所述ir图像进行质量检测时，包括如下步骤：步骤m1：获取预设置的图像质量标准；步骤m2：判断所述rgb图像和所述ir图像是否为符合预设置的图像质量标准，当所述rgb图像和所述ir图像符合预设置的图像质量标准，触发步骤m3，当所述rgb图像和所述ir图像不符合预设置的图像质量标准，发出第二提示信息，并返回步骤s1；
步骤m3：根据所述ir图像对目标人脸进行活体检测。7.根据权利要求5所述的深度相机抓拍时的深度重建方法，其特征在于，所述步骤s403包括如下步骤：步骤s4031：将所述rgb图像的人脸区域映射到所述红外光斑图像中，确定所述红外光斑图像中人脸区域的多个光斑点；步骤s4032：提取所述人脸区域的多个光斑点区域；步骤s4033：根据所述人脸区域对应的所述光斑点区域的形变或位移生成所述人脸区域的深度人脸图像。8.一种深度相机抓拍时的深度重建系统，其特征在于，包括如下模块：图像采集模块，用于获取目标人脸的rgb图像、ir图像以及红外光斑图像；人脸检测模块，用于对所述rgb图像、所述ir图像进行人脸检测；深度数据预处理模块，用于在所述人脸检测的同时对所述红外光斑图像进行预处理，以提取所述红外光斑图像中的多个光斑点区域；表情检测模块，用于当在所述rgb图像、所述ir图像检测出人脸区域时，对所述人脸区域进行表情检测，确定该人脸区域的表情类型；深度重建模块，用于当所述表情类型为预设置的表情类型集合中的任一表情类型时，根据所述红外光斑图像和所述rgb图像对所述目标人脸进行深度重建生成深度人脸图像。9.一种深度相机抓拍时的深度重建设备，其特征在于，包括：处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的深度相机抓拍时的深度重建方法的步骤。10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至7任一项所述的深度相机抓拍时的深度重建方法的步骤。

技术总结
本发明提供了一种深度相机抓拍时的深度重建方法、系统、设备及介质，包括：获取目标人脸的RGB图像、IR图像以及红外光斑图像；对RGB图像、IR图像进行人脸检测，同时对红外光斑图像进行预处理，以提取红外光斑图像中的多个光斑点区域；当在RGB图像、IR图像检测出人脸区域时，对人脸区域进行表情检测，确定该人脸区域的表情类型；当表情类型为预设置的表情类型集合中的任一表情类型时，根据红外光斑图像的多个光斑点区域和RGB图像中的人脸区域对目标人脸进行深度重建生成深度人脸图像。本发明中在人脸检测时对红外光斑图像进行预处理，且仅根据表情优选后RGB图像中的人脸区域对红外光斑图像进行深度重建，提高了深度重建的效率。提高了深度重建的效率。提高了深度重建的效率。


技术研发人员：朱力 吕方璐 汪博
受保护的技术使用者：深圳市光鉴科技有限公司
技术研发日：2020.05.15
技术公布日：2021/11/19