人脸清晰成像方法、装置、电子设备及存储介质与流程

摘要: 本申请涉及图像处理,具体涉及一种人脸清晰成像方法、装置、电子设备及存储介质。背景技术:1、随着城市化加速与公共安全需求升级,智能安防是实现环境风险自动化感知、分...
人脸清晰成像方法、装置、电子设备及存储介质与流程

本申请涉及图像处理,具体涉及一种人脸清晰成像方法、装置、电子设备及存储介质。

背景技术:

1、随着城市化加速与公共安全需求升级,智能安防是实现环境风险自动化感知、分析与响应的安全防护体系。其中,人脸识别是智能安防的核心,需要从非结构化视频流中完成身份认证。

2、但是,在零可见光全黑的复杂监控场景下,需要依赖白光补光灯或红外成像等技术实现人脸成像,容易造成人脸过曝和纹理丢失等缺陷,传统暗光图像处理难以提取有效像素信息。因此,目前亟需解决全黑环境下难以实现有效人脸识别的技术问题。

技术实现思路

1、鉴于相关技术的上述不足,本申请提供人脸清晰成像方法、装置、电子设备及存储介质,有效提高全黑环境下人脸识别的清晰度和准确性。

2、第一方面,本申请提供一种人脸清晰成像方法,包括:

3、响应于同一时刻的数据采样信号,获取所述同一时刻的目标人物的图像数据和雷达点云数据;

4、对所述图像数据进行图像预处理,得到目标特征图,并对所述雷达点云数据进行数据预处理,得到人脸空间先验掩码图;

5、根据所述目标特征图和所述人脸空间先验掩码图进行约束式人脸重构,得到重构人脸图像;

6、对所述重构人脸图像进行画质优化处理,得到清晰人脸图像。

7、在可选的实施方式中,所述根据所述目标特征图和所述人脸空间先验掩码图进行约束式人脸重构,得到重构人脸图像,包括:

8、将所述目标特征图和所述人脸空间先验掩码图输入至多模态融合网络模型,进行约束式人脸重构;

9、其中,所述多模态融合网络模型至少包括特征编码模块、门控融合模块和解码重构模块,通过所述多模态融合网络模型进行约束式人脸重构包括:

10、将所述目标特征图和所述人脸空间先验掩码图分别输入至所述特征编码模块,进行双分支浅层特征提取和多尺度下采样编码,得到图像分支特征和雷达分支特征;

11、将所述图像分支特征和所述雷达分支特征输入至所述门控融合模块,进行特征融合、通道加权和特征压缩,得到目标融合特征;

12、将所述目标融合特征输入至所述解码重构模块,以人脸先验掩码作为结构约束进行像素重构,得到所述重构人脸图像。

13、在可选的实施方式中,所述对所述图像数据进行图像预处理,得到目标特征图,包括:

14、对所述图像数据进行平场校正处理,得到校正图像;

15、对所述校正图像进行暗帧降噪处理,得到所述目标特征图。

16、在可选的实施方式中,所述对所述雷达点云数据进行数据预处理,得到人脸空间先验掩码图,包括:

17、根据所述雷达点云数据进行点云预处理,得到人脸有效轮廓点云;

18、将所述人脸有效轮廓点云进行空间映射处理,得到点云映射图像;

19、在所述点云映射图像上标记人脸外接框和面部轮廓掩码,得到所述人脸空间先验掩码图。

20、在可选的实施方式中,所述根据所述雷达点云数据进行点云预处理,得到人脸有效轮廓点云,包括:

21、对所述雷达点云数据进行分层式噪声过滤处理,得到目标点云数据;

22、对所述目标点云数据进行密度聚类和人脸簇特征筛选,得到所述人脸有效轮廓点云。

23、在可选的实施方式中,所述画质优化处理包括肤色色彩校准、对比度拉伸、边缘降噪、人脸区域锐化和亮度归一化中的至少一项。

24、在可选的实施方式中,所述根据所述目标特征图和所述人脸空间先验掩码图进行约束式人脸重构,得到重构人脸图像之后,还包括:

25、根据所述重构人脸图像的重构结果信息,雷达点云数据采集和图像预处理进行参数调整;

26、其中,所述重构结果信息至少包括人脸识别置信度、人脸空间位置信息和人脸成像质量信息中的至少一项。

27、第二方面,本申请提供一种人脸清晰成像装置,包括:

28、数据采集模块,用于响应于同一时刻的数据采样信号,获取所述同一时刻的目标人物的图像数据和雷达点云数据;

29、数据处理模块,用于对所述图像数据进行图像预处理,得到目标特征图,并对所述雷达点云数据进行数据预处理,得到人脸空间先验掩码图;

30、图像重构模块,用于根据所述目标特征图和所述人脸空间先验掩码图进行约束式人脸重构,得到重构人脸图像;

31、图像优化模块,用于对所述重构人脸图像进行画质优化处理,得到清晰人脸图像。

32、第三方面,本申请提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序实现如本申请第一方面所述的人脸清晰成像方法。

33、第四方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如本申请第一方面所述的人脸清晰成像方法。

34、本申请提供的人脸清晰成像方法、装置、电子设备及存储介质,响应于同一时刻的数据采样信号,获取同一时刻的目标人物的图像数据和雷达点云数据;对图像数据进行图像预处理,得到目标特征图,并对雷达点云数据进行数据预处理,得到人脸空间先验掩码图;根据目标特征图和人脸空间先验掩码图进行约束式人脸重构,得到重构人脸图像;对重构人脸图像进行画质优化处理,得到清晰人脸图像。本申请在全黑无补光环境下,根据融合图像数据的暗像素信息和雷达点云数据的空间几何先验信息,通过约束式人脸重构进行人脸修复,有效抑制全黑环境下人脸纹理丢失和伪影畸变,实现零补光条件下的清晰人脸成像,有效提升人脸识别准确率。

1.一种人脸清晰成像方法,其特征在于,包括:

2.根据权利要求1所述的人脸清晰成像方法,其特征在于,所述根据所述目标特征图和所述人脸空间先验掩码图进行约束式人脸重构,得到重构人脸图像,包括:

3.根据权利要求1所述的人脸清晰成像方法,其特征在于,所述对所述图像数据进行图像预处理,得到目标特征图,包括:

4.根据权利要求1所述的人脸清晰成像方法,其特征在于,所述对所述雷达点云数据进行数据预处理,得到人脸空间先验掩码图,包括:

5.根据权利要求4所述的人脸清晰成像方法,其特征在于,所述根据所述雷达点云数据进行点云预处理,得到人脸有效轮廓点云,包括:

6.根据权利要求1所述的人脸清晰成像方法,其特征在于,所述画质优化处理包括肤色色彩校准、对比度拉伸、边缘降噪、人脸区域锐化和亮度归一化中的至少一项。

7.根据权利要求1所述的人脸清晰成像方法,其特征在于,所述根据所述目标特征图和所述人脸空间先验掩码图进行约束式人脸重构,得到重构人脸图像之后,还包括:

8.一种人脸清晰成像装置,其特征在于,包括:

9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序实现如权利要求1至7任一项所述的人脸清晰成像方法。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的人脸清晰成像方法。