摄像机人脸区域白平衡的优化方法与流程

1.本发明属于图像处理技术领域，具体涉及一种摄像机人脸区域白平衡的优化方法。


背景技术：

2.由于cmos传感器输出的是bayer图，颜色本身是处于非平衡状态，故所输出的图像颜色非自然界所呈现出来的色彩，导致人看到图像非常的怪异，解决图像颜色问题就成了一个无法避免的问题。目前，摄像机在图像处理中，会进行自动白平衡，对颜色进行校正。传统白平衡方法均是：整幅图像采用全局统计或者局部找白点的方式进行图像分析，通过灰度世界的理论来对图像进行全局校正。由于图像中的细节较为复杂，且图像中的内容较多，颜色的全局校正的方法不能保证每一处颜色均正确的校正；且观察者所关注的内容不一，对于人脸相机来说，观察者关注的内容主体为人脸，传统的白平衡校正可能会导致人脸区域的颜色偏色，就极大的影响了真实性判断，不利于有效信息的存储和后期查看，导致观察者对监控信息的接收产生偏差。
3.专利号为201710557602.0的发明专利提出一种白平衡处理方法和装置。该方法首先对活体的被摄物进行成像，得到待处理的图像，根据包含人脸的目标区域在图像中所占面积，计算白平衡增益值，目标区域包括人脸区域或人像区域，根据白平衡增益值，对图像进行白平衡处理。通过对人体进行活体识别，避免了当检测到非活体的被拍摄物包含人脸时，即启动基于活体人脸的自动白平衡对图像进行调节。
4.专利号为201910120250.1的发明专利公开了一种图像的白平衡处理方法、装置和终端设备。该方法首先通过对图像中的背景区域，提取色彩特征，这里的色彩特征用于指示背景区域色彩分布情况。根据色彩特征，匹配人脸白平衡算法的适用条件，若该色彩特征与适用条件匹配，则根据用于将图像中的人脸调整至肤色的人脸白平衡算法，对图像进行白平衡处理。
5.申请号为201510896549.8的发明专利申请公开了一种具有人脸的图像处理方法和装置。方法包括：获取当前拍摄场景中具有人脸的图像；对具有人脸的图像进行人脸识别，得到人脸区域以及除人脸区域之外的环境光区域；确定人脸区域的人脸决定点以及环境光区域的环境光决定点；根据人脸决定点、环境光决定点以及设定距离阀值，调整所述白平衡参数；根据白平衡参数对具有人脸的图像进行调整。


技术实现要素：

6.本发明的目的是针对现有技术的不足，为了让人脸区域的白平衡得到更为精准的校正，提供一种摄像机人脸区域白平衡的优化方法。
7.本发明方法需要找到人脸区域的准确白点信息，以提供人脸部分的白平衡校正，使得在相机对图像在策略上可选择人脸区域白平衡的权重，使得图像的白平衡校正更为准确。
8.本发明方法中，cmos传感器将采集图像送入图像处理器及神经网络处理器进行处理，得到人脸区域的位置信息；对人脸区域进行白平衡，分析排除干扰，计算出人脸区域白平衡的权重值，最终使用此权重值进行白平衡计算，得到最终的白平衡结果。
9.本发明方法具体是：
10.步骤(1)将cmos传感器采集的图像送入图像处理器，得到处理后图像p；图像处理器为芯片硬件，将cmos图像转换为神经网络处理器可识别图像。
11.步骤(2)将处理后图像p送入神经网络处理器进行处理，通过人脸检测网络检测出人脸区域信息i。
12.进一步，神经网络处理器为npu神经网络加速器，运行进行人脸检测的神经网络模型。
13.步骤(3)从处理后图像p中通过人脸区域信息i提取人脸图f。
14.步骤(4)将人脸图f进行左右等宽拆分，得到人脸左图l和人脸右图r。
15.步骤(5)对人脸左图l和人脸右图r进行直方图统计，判断人脸区域光线环境，得到人脸区域的白平衡权重w；具体方法是：
16.(5-1)分别对人脸左图l和人脸右图r分别进行直方图统计，并进行0～1的归一化计算，得到直方图统计结果；人脸左图l的直方图统计结果h_l[n]，n＝0,1,
…
,n-1；人脸右图r的直方图统计结果h_r[n]，n＝0,1,
…
,n-1；灰度级个数n＝256；
[0017]
(5-2)计算h_l[n]和h_r[n]的欧式距离h_l(i)表示h_l[n]中的第i个值，h_r(i)表示h_r[n]中的第i个值；
[0018]
(5-3)如d＞t
max
，判断人脸区域光线环境较差，则设置人脸区域的白平衡权重w＝0；如d＜t
min
，判断人脸区域光线环境较好，则设置人脸区域的白平衡权重w＝1；如t
min
≤d≤t
max
，则人脸区域的白平衡权重最大光线偏差阈值t
max
和最小光线偏差阈值t
min
由用户配置，且0＜t
min
＜t
max
≤5；配置的t
max
越小，或配置的t
min
越大，则人脸区域光线环境判断越严格。
[0019]
步骤(6)将处理后图像p中人脸图f所在区域的白平衡权重w与系统原始权重s进行混合计算，得到人脸图f所在区域的最终白平衡权重e，并设置到系统中：e＝(w 1)
×
s。
[0020]
本发明方法结合神经网络技术，充分考虑了摄像机中，人脸的颜色会受到环境光线、逆光、测光的复杂场景的影响，保证该方法可以在不同的环境光线、场景场景下，能够自适应校正到人脸区域的颜色，使得人脸颜色信息能够正常记录，更好的保存人脸颜色信息，提高了人脸相机的人脸区域白平衡效果。本方法成本较低，修改维护起来更为方便。
附图说明
[0021]
图1为本发明方法的具体流程图；
[0022]
图2为实施例中神经网络检测出来的人脸框示意图；
[0023]
图3为实施例中人脸拆分的人脸左图示意图；
[0024]
图4为实施例中人脸拆分的人脸右图示意图；
[0025]
图5为实施例中权重配置曲线。
具体实施方式
[0026]
下面结合附图和具体实施方式对本发明进一步说明，具体实施方式是示例性的，仅用于解释本发明而不能作为对本发明的限制。
[0027]
摄像机人脸区域白平衡的优化方法，cmos传感器将采集图像，将图像送入图像处理器及神经网络处理器进行处理，得到人脸区域的位置信息。人脸白平衡算法对人脸区域进行分析排除干扰，计算出人脸区域白平衡的权重值，最终使用此权重值进行白平衡计算，得到最终的白平衡结果。具体如图1所示：
[0028]
步骤(1)将cmos传感器采集的图像送入图像处理器，得到处理后图像p；图像处理器为芯片硬件，将cmos图像转换为神经网络处理器可识别图像。
[0029]
步骤(2)将处理后图像p送入神经网络处理器进行处理，得到人脸区域信息i；神经网络处理器为芯片硬件，通过人脸检测网络检测出人脸区域信息i；如图2所示。神经网络处理器为npu神经网络加速器，运行进行人脸检测的神经网络模型。
[0030]
步骤(3)从处理后图像p中通过人脸区域信息i提取人脸图f。
[0031]
步骤(4)将人脸图f进行左右等宽拆分，得到人脸左图l(如图3所示)和人脸右图r(如图4所示)。
[0032]
步骤(5)对人脸左图l和人脸右图r进行直方图统计，排除背光、测光的光线干扰，判断人脸区域光线环境，得到人脸区域的白平衡权重；具体方法是：
[0033]
(5-1)分别对人脸左图l和人脸右图r分别进行直方图统计，并进行0～1的归一化计算，得到直方图统计结果；人脸左图l的直方图统计结果h_l[n]，n＝0,1,
…
,n-1；人脸右图r的直方图统计结果h_r[n]，n＝0,1,
…
,n-1；灰度级个数n＝256；
[0034]
(5-2)计算h_l[n]和h_r[n]的欧式距离h_l(i)表示h_l[n]中的第i个值，h_r(i)表示h_r[n]中的第i个值；
[0035]
(5-3)如d＞t
max
，判断人脸区域光线环境较差，则设置人脸区域的白平衡权重w＝0；如d＜t
min
，判断人脸区域光线环境较好，则设置人脸区域的白平衡权重w＝1；如t
min
≤d≤t
max
，则人脸区域的白平衡权重最大光线偏差阈值t
max
和最小光线偏差阈值t
min
由用户配置，且0＜t
min
＜t
max
≤5；配置的t
max
越小，或配置的t
min
越大，则人脸区域光线环境判断越严格。
[0036]
本实施例中，设置t
min
＝1.5、t
max
＝4，即如图5所示。
[0037]
步骤(6)系统将处理后图像p中人脸图f所在区域的白平衡权重w与系统原始权重s进行混合计算，得到人脸图f所在区域的最终白平衡权重e，并设置到系统中：
[0038]
e＝(w 1)
×
s，得到人脸白平衡的计算结果。
[0039]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。