人眼图像检测与修复方法与流程

1.本发明涉及图像处理技术领域，尤其涉及一种人眼图像检测与修复方法。


背景技术：

2.红外图像在夜间和低照度下具有较好的信噪比，目前红外加彩色融合方法已经在视频监控领域得到广泛的关注和应用，但是在实际应用中，人眼瞳孔位置会出现明显亮斑。产生这一问题的原因是人眼底的毛细血管被较强的红外补光照射后再反射到镜头中，造成类似早期相机的红眼现象；其次，这种摄像机本身的使用环境较暗，人在较暗的环境中瞳孔会放大。另外红外补光照射到镜片上反射会形成两个亮斑，而这一反光在可见图像中是不存在或者较弱的。
3.目前，现有的对人眼亮斑进行修复的其中两种方案为：
4.方案1：基于rgb颜色空间进行修复，或者基于bayer数据进行修复，将异常的r通道适当降低，同时为了避免偏绿或者偏蓝，对g通道和b通道都进行调整。
5.方案2：基于边缘检测及形态学处理确定红眼模板，之后采用红眼非人眼区域的亮度统计信息，对红眼区域进行整体亮度降低处理。
6.采用上述两种方案对人眼亮斑进行修复，修复效果过渡不自然，且容易因眼镜反光而导致修复异常。


技术实现要素：

7.本发明提供的人眼图像检测与修复方法，对人眼亮斑的修复效果过渡自然，且可以有效避免修复异常。
8.第一方面，本发明提供一种人眼图像检测与修复方法，包括：
9.从待检测人脸图像中划分出人眼区域和非人眼区域；
10.对所述人眼区域和非人眼区域进行结合人脸亮度的自适应人脸图像增强；
11.分别对图像增强后的人眼区域和非人眼区域进行结合人脸亮度分布的亮斑分割；
12.根据亮斑的面积和形态分别判断所述人眼区域和非人眼区域分割出的亮斑是否满足修复条件；
13.若满足修复条件，则根据当前照度情况采用不同方式分别对所述人眼区域和非人眼区域的亮斑进行修复。
14.可选地，所述分别对图像增强后的人眼区域和非人眼区域进行结合人脸亮度分布的亮斑分割包括：采用ostu分割法对人眼区域进行结合人脸亮度分布的亮斑分割，采用模糊聚类分割法、以亮度为聚类特征对非人眼区域进行亮斑分割。
15.可选地，所述根据亮斑的面积和形态分别判断所述人眼区域和非人眼区域分割出的亮斑是否满足修复条件包括：对于人眼区域，根据人眼区域分割出的亮斑的面积以及圆度判断所分割出的亮斑是否满足修复条件；
16.对于非人眼区域，根据非人眼区域分割出的每个亮斑的面积和亮斑的总面积以及
每个亮斑的圆度判断所分割出的亮斑是否满足修复条件。
17.可选地，所述根据人眼区域分割出的亮斑的面积以及圆度判断所分割出的亮斑是否满足修复条件包括：若亮斑的面积大于或等于第二阈值且小于或等于第一阈值，且亮斑的圆度与1之间的差值小于或等于第三阈值，则判定所分割出的亮斑满足修复条件，否则判定所分割出的亮斑不满足修复条件；
18.所述根据非人眼区域分割出的每个亮斑的面积和亮斑的总面积以及每个亮斑的圆度判断所分割出的亮斑是否满足修复条件包括：若每个亮斑的面积大于或等于第二阈值且小于或等于第一阈值，且亮斑的总面积大于或等于第五阈值且小于或等于第四阈值，且亮斑的圆度与1之间的差值小于或等于第三阈值，则判定所分割出的亮斑满足修复条件，否则判定所分割出的亮斑不满足修复条件。
19.可选地，所述根据非人眼区域分割出的每个亮斑的面积和亮斑的总面积以及每个亮斑的圆度判断所分割出的亮斑是否满足修复条件包括：若每个亮斑的面积大于或等于第二阈值且小于或等于第一阈值，且亮斑的总面积大于或等于第五阈值且小于或等于第四阈值，且亮斑的圆度与1之间的差值小于或等于第三阈值，以及所述非人眼区域最亮的聚类中心的亮度值大于第六阈值，则判定所分割出的亮斑满足修复条件，否则判定所分割出的亮斑不满足修复条件。
20.可选地，所述根据当前照度情况采用不同方式对所述人眼区域和非人眼区域的亮斑进行修复包括：
21.对于照度好的人脸图像，首先将二值化的人眼区域图像采用均值滤波进行平滑，形成有效的过渡带，然后设置灰度值与融合权重的映射关系，接着对平滑后的二值化人眼图像进行权重映射，得到权重模板，利用所述权重模板进行亮斑修复；
22.对于低照度的人脸图像，对周围有非亮斑像素点的亮斑像素点从外向里逐层修复，使得最外侧一圈亮斑像素被修复为非亮斑像素，重复上述处理，逐步缩小亮斑大小。
23.本发明实施例提供的人眼图像检测与修复方法，对人脸图像进行分块处理，避免人眼亮斑亮度与人脸较亮区域亮度相似造成亮斑无法有效检出，对人眼区域和非人眼区域进行结合人脸亮度的自适应人脸图像增强，并在后续的亮斑分割时结合人脸亮度分布进行，能够使亮斑分割得到更好的效果；对亮斑分割后的图像利用亮斑面积分析和形态分析作为亮斑检测条件，对非亮斑情况进行过滤，能够避免可能出现的修复异常；根据当前照度情况采用不同方式进行亮斑修复，能够使得对于照度好的红外彩色融合图像以及纯红外模式或者低照度的图像都有较好的修复效果，修复效果较为自然真实，接近真实彩色图像效果，无区域过渡不自然现象或者明显异常感，而且不受镜片反光影响，还可以顺带消除红外补光造成的镜片反光，使融合图像更加接近正常彩色图像。
附图说明
24.图1为本发明一实施例人眼图像检测与修复方法的流程图；
25.图2为本发明实施例提供的图像增强曲线示意图；
26.图3为本发明实施例提供的人眼区域亮斑分割效果示意图；
27.图4为本发明实施例提供的非人眼区域模糊聚类分析效果示意图；
28.图5为本发明实施例提供的非人眼区域亮斑分割效果示意图；
29.图6为本发明实施例提供的非人眼区域亮斑圆度分析结果示意图；
30.图7为本发明实施例提供的融合权重曲线示意图；
31.图8为本发明实施例提供的人眼区域融合权重模板示意图。
具体实施方式
32.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.本发明实施例提供一种人眼图像检测与修复方法，如图1所示，所述方法包括：
34.s11、从待检测人脸图像中划分出人眼区域和非人眼区域。
35.s12、对所述人眼区域和非人眼区域分别进行结合人脸亮度的自适应人脸图像增强。
36.s13、分别对图像增强后的人眼区域和非人眼区域进行结合人脸亮度分布的亮斑分割。
37.s14、根据亮斑的面积和形态分别判断所述人眼区域和非人眼区域分割出的亮斑是否满足修复条件。
38.s15、若满足修复条件，则根据当前照度情况采用不同方式分别对所述人眼区域和非人眼区域的亮斑进行修复。
39.本发明实施例提供的人眼图像检测与修复方法，对人脸图像进行分块处理，避免人眼亮斑亮度与人脸较亮区域亮度相似造成亮斑无法有效检出，对人眼区域和非人眼区域进行结合人脸亮度的自适应人脸图像增强，并在后续的亮斑分割时结合人脸亮度分布进行，能够使亮斑分割得到更好的效果；对亮斑分割后的图像利用亮斑面积分析和形态分析作为亮斑检测条件，对非亮斑情况进行过滤，能够避免可能出现的修复异常；根据当前照度情况采用不同方式进行亮斑修复，能够使得对于照度好的红外彩色融合图像以及纯红外模式或者低照度的图像都有较好的修复效果，修复效果较为自然真实，接近真实彩色图像效果，无区域过渡不自然现象或者明显异常感，而且不受镜片反光影响，还可以顺带消除红外补光造成的镜片反光，使融合图像更加接近正常彩色图像。
40.下面结合具体实施例对本发明人眼图像检测与修复方法进行详细介绍。
41.本实施例借助融合图像和彩色图像，以及瞳孔位置信息对人眼区域进行修正，瞳孔位置信息可以借助人脸检测算法获取。
42.详细步骤如下：
43.1、对人脸图像进行区域分块
44.为了处理人脸亮度接近人眼区域亮度的情况，对人脸采用分区域处理，以左右眼坐标为中心，将人脸划分为人眼区域和非人眼区域(近似眼镜区域)。分块方法可以借助瞳距，首先通过左右眼坐标计算瞳距，根据经验值，人眼区域一般为瞳距的0.1(可以兼容人眼坐标误差)，非人眼区域为0.45左右。
45.分块之后，对人眼区域和非人眼区域分别进行处理。在处理非人眼区域的时候，将人眼区域扣除，或采用其他方式进行保护。
46.2、人脸图像增强
47.对图像直接进行亮斑分割，效果可能不够理想，因此进行图像增强以增大人脸亮度和亮斑亮度之间的差异，方便图像分割取得较好的效果。
48.图像增强使用结合人脸亮度的自适应的类s型logistics曲线进行增强，增强算法对于光照环境的适应性，曲线可以用三个点来进行计算。假设三个点分别为(t1,n1),(t2,n2),(t3,n3)，且满足2t2＝t1 t3，曲线函数三个参数的计算公式为：
[0049][0050][0051]
a＝ln((k
‑
n1)/n1)
‑
b
×
t2[0052]
一般可以选首尾坐标点(1,1)，(255,255)，中间坐标点可以根据平均亮度进行定义，假设计算平均亮度为avg_y，可以定义中间坐标点为(1.2*avg_y,0.8*avg_y)，之后求解参数获取增强曲线，虽然中间亮度可能不满足2t2＝t1 t3的关系，但是曲线形状仍然为s型曲线。对人眼区域和非人眼区域分别使用不同的曲线进行增强，其中avg_y为各自区域的平均亮度。
[0053]
如图2所示为生成的图像增强曲线，横坐标为增强前的人脸图像中像素点的灰度值，对于某个像素点来说，以该像素点的灰度值为横坐标，确定该映射曲线上的某个点，该点对应的纵坐标即为该像素点增强后的像素值，按照这种亮度映射方式，确定人脸图像中每个像素点增强后的像素值，对每个像素点进行图像增强，从而对整个人脸图像进行图像增强。
[0054]
3、亮斑分割
[0055]
亮斑分割处理步骤是在图像中划分出亮斑区域和非亮斑区域，从而对亮斑区域进行针对性修复。亮斑分割对人眼区域和非人眼区域进行分别处理，处理方法有所区别。
[0056]
人眼区域采用ostu分割方法，经过增强处理之后，人眼区域基本呈现较为明显的两类，如图3所示，采用ostu方法能够得到较为理想的分割效果。
[0057]
其中，ostu为一种图像二值化分割方法，基于最大类间差计算分割阈值，具有一定的自适应性。
[0058]
非人眼区域采用模糊聚类方法进行分割，以亮度作为聚类特征，如图4所示，经过增强后的非人眼区域的图像大致分为亮斑、较亮人脸(眉心、颧骨、眼睑等区域)和较暗人脸。设定三个聚类簇进行聚类，假设三个聚类中心初始灰度为10、80、200。
[0059]
其中，模糊聚类是一种结合模糊数学思想的聚类方法，不同于传统的聚类方法只能属于一个聚类簇，在模糊聚类中，每个样本对各聚类簇都有一定的隶属度[0,1]。
[0060]
将两个较暗的聚类簇作为背景，最亮的聚类簇作为亮斑区域进行分割，分割效果如图5所示。
[0061]
4、亮斑检测
[0062]
亮斑检测处理步骤是为了判断分割出的亮斑是否有异常，例如：人脸被误分或者
不存在亮斑等情况，避免因错误修复而导致图像异常。
[0063]
如图3所示，对于人眼区域，可以根据亮斑的面积及圆度判断所分割出的亮斑是否有异常。
[0064]
如果亮斑的面积太大，例如超过第一阈值，则可以认为人脸被错分；如果亮斑的面积很小，例如小于第二阈值，则可以认为没有亮斑或者亮斑很小而不需要修复，其中，第一阈值和第二阈值的大小可以根据当前人眼区域的面积而确定。
[0065]
另外，还需要对亮斑进行圆度分析，如果亮斑的圆度与1之间的差值小于或等于第三阈值，则需要对该亮斑进行修复，否则不需要对该亮斑进行修复，例如，该第三阈值可以为0.3，则当亮斑的圆度在0.7至1.3之间时，需要对该亮斑进行修复。
[0066]
其中，圆度为图形的面积的4π倍与周长平方之比，对于一个半径为r的标准圆来说，其面积为s＝πr2，周长为l＝2πr，对于形状不规则的图形，可以认为圆度越接近1，则越趋近于圆形。
[0067]
如图5所示，对于非人眼区域，亮斑分割后得到了多个亮斑，则可以根据所有亮斑的总面积以及每个亮斑的圆度判断所分割出的亮斑是否有异常。
[0068]
如果亮斑的总面积太大，例如超过第四阈值，则可以认为人脸被错分；如果亮斑的总面积很小，例如小于第五阈值，则可以认为没有亮斑或者亮斑很小而不需要修复，其中，第四阈值和第五阈值的大小可以根据当前非人眼区域的面积而确定。
[0069]
另外，还需要对亮斑进行圆度分析，如果亮斑的圆度与1之间的差值小于或等于第三阈值，则需要对该亮斑进行修复，否则不需要对该亮斑进行修复，例如，该第三阈值可以为0.3，则当亮斑的圆度在0.7至1.3之间时，需要对该亮斑进行修复，如图6所示为非人眼区域亮斑的圆度分析结果。
[0070]
进一步地，对于非人眼区域，还可以将最亮的聚类中心亮度作为判别条件，作为防止人脸被错分的有效补充条件。
[0071]
具体地，判断最亮的聚类中心的亮度值是否大于第六阈值，若大于第六阈值，则需要对亮斑进行修复，否则不需要对亮斑进行修复。
[0072]
5、亮斑修复
[0073]
(1)对于照度好的人脸图像，采用彩色图像过渡融合的方式对亮斑进行修复。
[0074]
具体地，首先将二值化的人眼区域图像采用均值滤波进行平滑，形成有效的过渡带，滤波窗口可以根据面积大小进行调整。
[0075]
然后设置灰度值与融合权重的映射关系，如图7所示，融合曲线采用分段双曲线进行计算。
[0076]
接着，对平滑后的二值化人眼图像进行权重映射，得到权重模板如图8所示。
[0077]
最后，按照图8中融合图像权重为w_f(i,j)，可见图像权重为w_v(i,j)，最终修复图像为：
[0078]
o(i,j)＝w_f(i,j)*i_fusion(i,j) w_v(i,j)*i_visible(i,j)
[0079]
其中，i_fusion(i,j)为融合图像亮度值，i_visible(i,j)为彩色图像亮度值。
[0080]
(2)对于低照度的人脸图像，采用渐进估值修复的方式对亮斑进行修复。
[0081]
当亮度极其低时，彩色图像已经无法提供有效信息用于填补，这时可以采用渐进
估值对亮斑进行修复。具体修复方法为：
[0082]
首先，统计i(x,y)8邻域中的非亮斑像素点个数为n，当前点修复后的值为其中i(p,q)为i(x,y)的8邻域非亮斑像素值；
[0083]
在第一次循环修复之后，最外侧一圈亮斑像素被修复为非亮斑像素，然后继续上述处理，逐步缩小亮斑大小。
[0084]
渐进估值修复方法最终需要保留几个像素使得人眼可见图像人眼效果中间有个小亮点。保留像素个数的方法可以采用回溯法，先继续进行渐进修复，如果剩余像素点数目在4
‑
10个则停止修复，如果处理后小于4个则输出上一步处理结果。为了保持图像的修复效果需要对这几个像素的亮度值进行一定修正，可以修复模板内像素亮度均值，设置亮度均值的1.3倍左右。
[0085]
其中，回溯法是一种优选搜索算法，按照条件向前探索，如果不满足条件就退回一步重新选择。
[0086]
本发明实施例提供的人眼图像检测与修复方法，对人脸图像进行分块处理，避免人眼亮斑亮度与人脸较亮区域亮度相似造成亮斑无法有效检出，对人眼区域和非人眼区域进行结合人脸亮度的自适应人脸图像增强，并在后续的亮斑分割时结合人脸亮度分布进行，能够使亮斑分割得到更好的效果；对亮斑分割后的图像利用亮斑面积分析和形态分析作为亮斑检测条件，对非亮斑情况进行过滤，能够避免可能出现的修复异常；根据当前照度情况采用不同方式进行亮斑修复，能够使得对于照度好的红外彩色融合图像以及纯红外模式或者低照度的图像都有较好的修复效果，修复效果较为自然真实，接近真实彩色图像效果，无区域过渡不自然现象或者明显异常感，而且不受镜片反光影响，还可以顺带消除红外补光造成的镜片反光，使融合图像更加接近正常彩色图像。
[0087]
本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read
‑
only memory，rom)或随机存储记忆体(random access memory，ram)等。
[0088]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。