面向门禁抓拍的分区曝光与图像增强方法、装置、设备及介质与流程

本发明涉及图像处理，尤其涉及一种面向门禁抓拍的分区曝光与图像增强方法、装置、设备及介质。

背景技术：

1、楼道、单元门、地下车库出入口等门禁抓拍点位，通行者常处于身后亮、身前暗的逆光几何关系：室外或走廊尽头强光从被摄者背后进入镜头，人脸落入阴影。

2、图像传感器按整幅平均亮度或高光保护测光时，脸部欠曝发黑，端侧人脸检测与1:n识别失败率显著上升。

3、现有工程习惯是加装常亮或人体感应触发的大功率可见光/红外补光，用光强硬抬脸部亮度。该做法能改善欠曝，但带来眩光、功耗、散热、灯珠寿命和夜间扰民等问题，也不利于低功耗端侧ai相机长期值守。

4、因此，当前亟需出现一种新的面向门禁抓拍的分区曝光与图像增强的方案。

技术实现思路

1、鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种面向门禁抓拍的分区曝光与图像增强方法、装置、设备及介质。

2、本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

3、根据本发明实施例的第一方面，提供了一种面向门禁抓拍的分区曝光与图像增强方法，包括如下步骤：

4、s1、基于当前曝光量采集预览帧，对所述预览帧进行人脸检测处理，在检测到人脸时，生成扩展后的人脸roi；

5、s2、进行分区测光，基于所述人脸roi，将所述预览帧划分为人脸区、高光区和背景区三个区域，并分别统计各区域亮度，得到人脸区亮度、高光区亮度和背景区亮度；

6、s3、基于所述人脸区亮度和所述高光区亮度，分别计算逆光指数和欠曝标志；基于当前曝光量与所述人脸区亮度计算人脸目标曝光，并基于所述当前曝光量与所述高光区亮度计算高光保护曝光；基于所述人脸目标曝光与所述高光保护曝光计算动态范围比；基于所述人脸区亮度计算人脸信噪比；

7、s4、采集抓拍过程中检测到所述人脸后的抓拍帧，基于所述逆光指数、欠曝标志以及动态范围比，确定对所述抓拍帧执行的曝光增强路径，所述曝光增强路径包括常规曝光抓拍、人脸roi加权单曝光、短长帧区域曝光融合、ai-isp单帧增强中的至少一种；

8、s5、当曝光增强后的所述抓拍帧对应的人脸信噪比低于预设信噪比门限时，执行与快门同步进行的脉冲补光，所述脉冲补光的脉宽不超过本次曝光时间；

9、s6、对所述抓拍帧计算综合质量分，若所述综合质量分达到预设标准，则将当前抓拍帧作为输出帧输出并结束本轮抓拍；若所述综合质量分未达到预设标准且抓拍次数未超过预设次数上限，则延时后重新进行分区测光，并调整曝光增强路径或脉冲补光后采集新的抓拍帧；若抓拍次数已达所述预设次数上限，则输出当前缓存中综合质量分最高的所述抓拍帧作为输出帧。

10、在本发明的一些实施例中，步骤s1中，所述生成扩展后的人脸roi，包括：

11、对所述预览帧进行人脸检测处理，在检测到人脸时生成人脸检测框；

12、以所述人脸检测框的中心为原点，将所述人脸检测框的宽度和高度同时基于扩展系数进行放大，得到放大后的矩形区域作为所述人脸roi；所述扩展系数的取值范围为1.10~1.30。

13、在本发明的一些实施例中，步骤s2中，所述将所述预览帧划分为人脸区、高光区和背景区三个区域，并分别统计各区域的亮度包括：

14、将所述预览帧上所有亮度值大于预设高光阈值的像素集合划分为高光区，所述高光区亮度取所述高光区所有像素亮度值的第90百分位数；

15、以所述人脸roi所在的区域作为人脸区，所述人脸区亮度取所述人脸区所有像素亮度值的中位数；

16、将所述预览帧上除高光区、人脸区之外的区域划分为背景区，所述背景区亮度取所述背景区所有像素亮度值的中位数。

17、在本发明的一些实施例中，步骤s4中，所述基于所述逆光指数、欠曝标志以及动态范围比，确定对所述抓拍帧执行的曝光增强路径包括：

18、基于所述逆光指数和欠曝标志确认当前的抓拍帧是否处于非逆光且未欠曝状态，若当前的抓拍帧处于非逆光状态，则执行的曝光增强路径为常规曝光抓拍；

19、若当前的抓拍帧处于逆光且欠曝状态，则确认所述动态范围比是否大于预设动态范围比阈值；

20、当所述动态范围比小于或等于预设动态范围比阈值时，执行的曝光增强路径为人脸roi加权单曝光；

21、当所述动态范围比大于预设动态范围比阈值时，执行的曝光增强路径为短长帧区域曝光融合或ai-isp单帧增强。

22、在本发明的一些实施例中，步骤s5中，所述执行与快门同步进行的脉冲补光包括：

23、所述脉冲补光默认关闭，仅当曝光增强后的所述抓拍帧对应的人脸信噪比低于预设信噪比门限，且所述欠曝标志为真、所述人脸区亮度小于预设补光触发亮度且本轮允许补光时，在快门窗口内发出脉冲补光。

24、在本发明的一些实施例中，所述方法还包括：若进行所述脉冲补光后，所述高光区亮度超过预设高光保护阈值，则降低所述脉冲补光的电流或关闭所述脉冲补光，对执行的所述曝光增强路径仅保留所述短长帧区域曝光融合或所述ai-isp单帧增强。

25、在本发明的一些实施例中，步骤s6中，所述综合质量分q通过如下公式计算得到：

26、；

27、式中，为亮度分量、为清晰度分量、为姿态分量、为信噪比分量、为完整度分量，、、、、分别为各个分量对应的权重；

28、所述亮度分量基于人脸区亮度获取；所述清晰度分量通过对人脸区计算拉普拉斯方差获取；所述姿态分量为通过人脸区的关键点估计偏航角与俯仰角得到；所述信噪比分量基于所述人脸信噪比获取；所述完整度分量为人脸检测框落在抓拍帧画面内的面积比例。

29、根据本发明实施例的第二方面，提供了一种面向门禁抓拍的分区曝光与图像增强装置，应用于权利要求1-7任一项所述的方法，其特征在于，所述装置包括：

30、人脸检测模块，用于基于当前曝光量采集预览帧，对所述预览帧进行人脸检测处理，在检测到人脸时，生成扩展后的人脸roi；

31、分区测光模块，用于进行分区测光，基于所述人脸roi，将所述预览帧划分为人脸区、高光区和背景区三个区域，并分别统计各区域亮度，得到人脸区亮度、高光区亮度和背景区亮度；

32、参数计算模块，用于基于所述人脸区亮度和所述高光区亮度，分别计算逆光指数和欠曝标志；基于当前曝光量与所述人脸区亮度计算人脸目标曝光，并基于所述当前曝光量与所述高光区亮度计算高光保护曝光；基于所述人脸目标曝光与所述高光保护曝光计算动态范围比；基于所述人脸区亮度计算人脸信噪比；

33、曝光增强执行模块，用于采集抓拍过程中检测到所述人脸后的抓拍帧，基于所述逆光指数、欠曝标志以及动态范围比，确定对所述抓拍帧执行的曝光增强路径，所述曝光增强路径包括常规曝光抓拍、人脸roi加权单曝光、短长帧区域曝光融合、ai-isp单帧增强中的至少一种；

34、脉冲补光模块，用于当曝光增强后的所述抓拍帧对应的人脸信噪比低于预设信噪比门限时，执行与快门同步进行的脉冲补光，所述脉冲补光的脉宽不超过本次曝光时间；

35、抓拍帧输出模块，用于对所述抓拍帧计算综合质量分，若所述综合质量分达到预设标准，则将当前抓拍帧作为输出帧输出并结束本轮抓拍；若所述综合质量分未达到预设标准且抓拍次数未超过预设次数上限，则延时后重新进行分区测光，并调整曝光增强路径或脉冲补光后采集新的抓拍帧；若抓拍次数已达所述预设次数上限，则输出当前缓存中综合质量分最高的所述抓拍帧作为输出帧。

36、根据本发明实施例的第三方面，提供了一种计算机设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序指令，所述处理器执行所述计算机程序指令时，实现如上述任一所述的方法的指令。

37、根据本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令由处理器加载并执行以实现如上述任一项所述的方法所执行的操作。

38、本发明实施例中提供的技术方案，至少具有如下技术效果或优点：

39、本发明实施例提供的一种面向门禁抓拍的分区曝光与图像增强方法、装置、设备及介质，本方法将以人脸roi为锚的分区测光、自适应的增强曝光路径选择、按需脉冲补光以及基于综合质量分确定输出帧构建为端侧链路上的完整闭环控制，相较于传统方案中全局测光、常亮补光、单向抓拍的孤立模式，本发明实施例在少用甚至不用大功率补光的前提下，同步解决了人脸欠曝与高光过曝的矛盾，显著降低了补光功耗与硬件成本，并大幅减少了因单帧失败导致的识别漏报。

40、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。