一种亮度非均匀性在线补偿的图像处理方法与流程

1.本发明涉及机器视觉缺陷检测领域，尤其涉及一种亮度非均匀性在线补偿的图像处理方法。


背景技术：

2.目前，制造业对生产效率和产品质量提升的需求不断增加，随着图像算法的普及以及算力成本的迅速下降，基于图像信息实现对产品质量检测以及生产工艺优化的机器视觉方法在工业界得到了广泛的应用。机器视觉系统主要包括光源、镜头、成像相机和计算硬件四个组件，同时每个组件根据不同的应用场景可以选用不同的类型，例如光源的形状、颜色、是否同轴等参数，镜头的视场、口径、是否远心等参数，相机的像素分辨率、线阵或面阵等参数以及计算硬件的系统架构、实时性等参数。
3.机器视觉系统的检测能力是否能够达到要求，前提是能够获得低噪声、低失真的图像信息。相机每个成像像素的光电信号响应函数可以表示为y=k*x b ，其中x为像素表面接收到的光信号强度，y为像素对应输出电压幅值，k对应光电转换环节中的增益值，b对应光电转换环节中的偏置值。理想情况下，每个像素的光电信号响应函数完全相同；实际情况中，不同像素的增益k、偏置值b由于cmos制造工艺、adc等外围电路的增益和噪声波动，不会完全一致。因此在相机厂家出厂时以及搭配整套光学系统进行成像时，都有必要进行相应的预采集和校正工作。常规采用的校正操作包括对光学系统进行暗信号非均匀性(dark signal non-uniformity，dsnu)和光响应非均匀性(photo response non-uniformity，prnu)的校正。暗信号非均匀性的校正步骤为在全黑的环境下（ x=0 ）获得像素响应电平值的波动并进行偏置补偿；光响应非均匀性的校正步骤为在完全均匀的光照条件下（像素间x相等）获得像素响应电平值的波动并进行增益补偿。
4.上述的校正步骤已经能够满足大多数工业检测的需求，前提在于视场范围内光照亮度均匀或者光照不均匀性引起的图像噪声可以忽略。然而，当视场范围内光照亮度不均匀，并且光照亮度不均匀性引起的图像噪声会直接影响到检测精度时，上述的校正步骤无法满足最终的测量要求，需要补充对光照亮度不均匀性的校正步骤。
5.相机像素光电信号响应函数中像素表面接收到的光信号强度x可以分解为x=i*r，其中i为该像素位置对应的光照亮度，r为该像素位置对应的工件表面反射率参数，因此常规的光照亮度不均匀性的校正步骤可以参考光响应非均匀性的校正方法，在实际的不均匀光照亮度条件下，获得像素响应电平值的波动，并进行k*i总增益参数的补偿。
6.如图1所示，上述的光照亮度不均匀性校正步骤在检测开始前独立实施，是一种离线的补偿方式，在整个检测环节采用一套固定的k*i总增益补偿参数，因此要求整个检测环节中光照亮度不均匀性始终保持一致，否则则会导致过补偿或欠补偿的情况。
7.然而，机器视觉系统在实际工作场景中，光照亮度的不均匀性会随着光源稳定性、检测成像距离等条件的变化而变化。例如在大多数精密检测测量系统中，为获得更高的空间分辨力，往往采用小视场、浅景深的共焦光学系统，在检测过程中工件成像距离的变化会
导致工件表面成像亮度的明显变化，无法获得清晰的检测图像。
8.为了获得清晰的检测图像，可以通过对焦高度控制使得工件的成像距离恒定，从而光源在特定位置的不均匀性分布也保持恒定。若无法实现工件表面的对焦高度自动控制，则需要一种针对光照亮度不均匀性的在线的补偿方式。如图3所示，根据光照亮度不均匀性在图像中表现的特征形态，有算法提出对应的特征提取算法并将这类特征从图像中滤除，例如光源不均匀性在线阵相机图像中呈现条状特征，通过fft滤波去除图像中的阴影和条纹。这个方法的不足之处在于，频域处理带来的频谱泄漏会导致部分细节特征边缘模糊，并且fft滤波处理只能针对矩形图像区域，当成像到工件边缘轮廓区域时，图像中工件表面区域存在阴影和条纹特征，非工件表面区域为纯黑背景，fft滤波方法无法对这类图像进行处理。
9.因此，提供一种亮度非均匀性在线补偿的图像处理方法是本领域技术人员亟待解决的一个技术问题。


技术实现要素：

10.为了克服现有技术中存在的缺陷，本发明公开了一种亮度非均匀性在线补偿的图像处理方法。
11.本发明采用的技术方案包括以下步骤：步骤1：通过机器视觉检测系统对成像相机进行暗信号非均匀性和光响应非均匀性的校正工作；所述步骤1中：成像相机每个成像像素的光电信号响应函数表述为：y
ij =k
ij
*i ij *r
ij
b
ij
其中，i,j为像素坐标；k
ij
为出厂状态下相机每个像素的增益值；b
ij
为出厂状态下相机每个像素的偏置值；i
ij
为每个像素位置对应的光照亮度；r
ij
为每个像素位置对应的成像表面反射率；y
ij
为像素对应输出电压幅值，即为像素值；经过暗信号非均匀性和光响应非均匀性的校正工作后，光电信号响应函数变为：y
ij = k
ij *k'
ij
* i
ij *r
ij
b
ij
b'
ij
使k
ij *k'
ij
为恒值， b
ij
b'
ij
为零值后，光电信号响应函数简化为：y
ij =g * i
ij * r
ij
其中，g= k
ij * k'
ij
；k'
ij
为补偿增益；b'
ij
为补偿偏置。
12.步骤2：2.1）将待检工件置于机器视觉检测系统的检测区域中，打开系统的照明光源，成像相机对检测区域进行成像；2.2）将待检工件移动微小距离，成像相机在同一位置继续对检测区域进行成像；也可以不移动待检工件，在待检工件没有缺陷的位置进行多次成像。
13.所述微小距离为一个像素的距离；2.3）重复步骤2.2），获得多幅（超过五十幅）图像文件；所述步骤2中：每次成像获得的图像文件对应的光电信号响应函数为：
其中，n表示图像对应的序号。
14.具体实施时，对于线阵相机，沿线阵相机像素排列的垂直方向依次移动待检工件，将每次移动后成像获得的线阵相机图像序列进行拼接得到工件表面图像，为未经过亮度非均匀性补偿操作的图像。
15.所述步骤2中：待检工件的移动总距离大于所有缺陷特征中最大典型尺寸的十倍。
16.所述步骤2中：待检工件具有均匀介质表面。
17.步骤3：步骤2获得的这些图像成像位置相邻或重合，可以认为光源的不均匀性在这些图像中保持一致，取步骤2每幅图像中相同像素位置的像素值组成序列，求取像素值序列的中位数或平均数，作为当前像素位置在工件表面无缺陷情况时的像素值y
ij
；所述步骤3中：由于步骤2获取的图像成像位置相邻或重合，故将图像中光源的不均匀性视为一致，即：；因此，步骤2成像获得的图像对应的光电信号响应函数为：。
18.步骤4：根据步骤3对每幅图像中的所有像素位置进行遍历，获得所有像素位置对应的像素值；所述步骤4中：根据步骤3获得所有像素位置在工件表面无缺陷情况下的像素值y
ij
；由于工件为均匀介质表面，故将每个像素位置对应的成像表面反射率视为一致，即：r
00
=r
01
=r
10
=
⋯rpq
=r，p,q分别为相机在两个方向上的像素数量；因此所有像素位置的像素值y
ij
与对应像素位置的光照亮度i
ij
成比例关系：y
ij
=g*i
ij
*r。
19.步骤5：设定像素均匀亮度值m，将设定的像素均匀亮度值除以每个像素位置对应的像素像素值，即得每个像素最终对应的补偿增益；所述步骤5中：设定将不均匀的光源亮度均匀化的像素均匀亮度值m，则每个像素对应的补偿增益c
ij
为像素均匀亮度值除以每个像素位置对应的像素值，即c
ij
=m/y
ij
；图像中第i个像素经补偿后的像素值为：其中，c
ij
* y
ij
=m为恒值，因此c
ij *i
ij
也为恒值，从而实现了对该区域内光照亮度不均匀性i
ij
的补偿。
20.步骤6：将步骤5得到的每个像素对应的补偿增益按序排列得到补偿增益表，将该补偿增益表用于当前检测区域图像的增益补偿，从而实现当前检测区域内光照亮度不均匀性的补偿。
21.步骤7：进入其他检测区域后，按照上述步骤1~6重新计算，实现亮度非均匀性的在线补偿效果。
22.本发明的有益效果如下：本发明方法避免了亮度非均匀性离线补偿方法使用单一视场区域计算补偿增益导致的工件表面其他区域出现过补偿或欠补偿的情况，并避免了fft滤波等在线图像处理
算法导致的图像细节特征失真和无法适应工件边缘图像等问题。
23.本发明方法结合机器视觉缺陷检测场景的特征，通过序列图像提取邻近区域内非均匀性光照在工件表面非缺陷区域上的成像亮度信息，参考光响应非均匀性的校正步骤，设定均匀光照亮度期望值，获得该区域内非均匀亮度的补偿增益参数，实现亮度非均匀性的在线补偿。
附图说明
24.图1是亮度非均匀性离线补偿的流程示意图；图2是亮度非均匀性在线补偿的流程示意图；图3是fft滤波图像处理流程示意图；图4是亮度非均匀性在线补偿图像处理流程示意图；图5是实施例1中采用线阵相机获得的未经过亮度非均匀性补偿操作的原始图像；图6是实施例1中采用线阵相机获得的原始图像经过fft滤波图像处理算法得到的图像；图7是实施例1中采用线阵相机获得的原始图像经过亮度非均匀性在线补偿操作的图像；图8是实施例1中采用线阵相机获得的原始图像经过亮度非均匀性离线补偿操作的图像；图9是实施例1中采用线阵相机经过亮度非均匀性离线补偿操作后再次进行fft滤波图像处理算法得到的图像；图10是实施例1中采用线阵相机经过亮度非均匀性离线补偿操作后再次进行在线补偿操作后的图像；图11是实施例1中采用线阵相机获得的包括工件边缘轮廓的原始图像；图12是实施例1中采用线阵相机获得的包括工件边缘轮廓的原始图像经过fft滤波图像处理算法得到的图像；图13是实施例1中采用线阵相机获得的包括工件边缘轮廓的原始图像经过亮度非均匀性在线补偿操作的图像；图14是对均匀条纹图像分别采用fft滤波器和本发明方法处理的对比图；图14中的（a）为均匀条纹图像；图14中的（b）为图像fft频域分布；图14中的（c）为fft竖条纹滤波器；图14中的（d）为fft滤波后图像；图14中的（e）为本发明方法处理图像；图15是对带边缘的均匀条纹图像分别采用fft滤波器和本发明方法处理的对比图；图15中的（a）为带边缘均匀条纹图像；图15中的（b）为图像fft频域分布；图15中的（c）为fft竖条纹滤波器；图15中的（d）为fft滤波后图像；图15中的（e）为本发明方法处理图像。
具体实施方式
25.以下将对本发明提供的一种亮度非均匀性在线补偿的图像处理方法做进一步的详细描述。
26.下面将参照附图对本发明进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明而仍然实现本发明的有利效果。因
此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。
27.为了清楚，不描述实际实施例的全部特征。在下列描述中，不详细描述公知的功能和结构，因为它们会使本发明由于不必要的细节而混乱。应当认为在任何实际实施例的开发中，必须作出大量实施细节以实现开发者的特定目标，例如按照有关系统或有关商业的限制，由一个实施例改变为另一个实施例。另外，应当认为这种开发工作可能是复杂和耗费时间的，但是对于本领域技术人员来说仅仅是常规工作。
28.为使本发明的目的、特征更明显易懂，下面结合附图对本发明的具体实施方式作进一步的说明。需说明的是，附图均采用非常简化的形式且均使用非精准的比率，仅用以方便、明晰地辅助说明本发明实施例的目的。
29.实施例1：如图2和图4所示，本实施例将针对线阵相机作为成像相机进行亮度非均匀性在线补偿图像算法的说明。
30.步骤（1）通过机器视觉检测系统对成像相机进行暗信号非均匀性和光响应非均匀性的校正工作。
31.线阵相机每个成像像素的光电信号响应函数可以表述为：yi=ki*ii*ri bi其中，i为线阵相机像素坐标；ki为出厂状态下相机每个像素的增益值；bi为出厂状态下相机每个像素的偏置值；ii为每个像素位置对应的光照亮度；ri为每个像素位置对应的成像表面反射率；yi为像素对应输出电压幅值，即为像素值。
32.进一步地，所述步骤（1）进行暗信号非均匀性和光响应非均匀性的校正工作后，光电信号响应函数变为y
i = k
i *k'i* i
i *ri bi b'i，k'i为补偿增益，b'i为补偿偏置；使得k
i *k'i为恒值，bi b'i为零值，因此此时光电信号响应函数可以简化为y
i =g * i
i * ri，其中g= k
i * k'i。
33.步骤（2）将待检工件置于机器视觉检测系统的检测区域中，打开系统的照明光源，相机在当前位置对检测区域进行成像。待检工件移动微小距离（一个像素的距离），相机在当前位置进行成像。重复该操作，最终获得超过一定数量（如五十幅）的图像文件；进一步地，所述步骤（2）对待检工件邻近区域进行多次成像，获得的图像文件对应的光电信号响应函数为，其中n对应图像序号。
34.本实施例中将工件沿线阵相机像素排列方向的垂直方向固定间距移动，获得的线阵相机图像序列拼接后可得到工件表面图像，为未经过亮度非均匀性补偿操作的图像。图5中，横向为线阵相机的像素排列方向，竖向为线阵相机的移动方向。
35.如图5所示，可以观察到光照亮度非均匀性在特定像素位置保持一致，因此能够看到拼接图像中光照亮度非均匀性引起的明暗条纹特征。
36.步骤（3）这些图像成像位置相邻或重合，可以认为光源的不均匀性在这些图像中保持一致，因此需要对这些图像进行处理：取每幅图像中相同像素坐标位置的像素值组成序列，求得该序列的中位数或平均数，作为该点像素位置对应的光源亮度；进一步地，图像成像位置相邻或重合的情况下，可以认为光源的不均匀性在这些图像中保持一致，即，因此。机器视觉缺陷检测系统
中工件表面往往是均匀介质表面，缺陷检测是对表面稀疏存在的缺陷数量和种类进行识别和分类，工件表面的缺陷最小特征尺寸与相机的像素空间分辨率相当，缺陷特征尺寸一般远小于相机成像视场，例如平板显示玻璃、半导体晶圆、手机背板等工件的缺陷检测场景。进行所述步骤（3）取像素序列的中位数或平均数，可以将图像中的缺陷信息滤除掉，获得当前像素位置在工件表面无缺陷情况下的亮度信息。针对本实施例，即对未经过亮度非均匀性补偿操作的图5中每列像素的像素值序列取中位数，从而获得工件表面无缺陷情况下的像素值yi。
37.步骤（4）根据步骤3对所有像素位置进行遍历，获得所有像素位置对应的像素亮度值；进一步地，进行所述步骤（4），获得所有像素位置在工件表面无缺陷情况下的像素值yi，工件为均匀介质表面，此时可以认为r0=r1=
⋯ꢀrp
=r，p为线阵相机的像素数量。因此此时所有像素位置的像素值yi将直接与对应像素位置的光照亮度ii成比例关系，yi=g*ii*r。
38.步骤（5）设定将不均匀的光源亮度均匀化的像素均匀亮度值，该均匀化的亮度值除以每个像素位置对应的像素值即可得到最终每个像素对应的补偿增益；进一步地，进行所述步骤（5），设定希望得到的像素均匀亮度值m，则每个像素对应的补偿增益为该均匀亮度值除以每个像素位置对应的亮度值，即ci=m/yi，最终得到第i个像素经补偿后的像素值y'i=ci*yi=ci*g*ii*r，ci* yi=m为恒值，因此c
i *ii也为恒值，从而实现了对该区域内光照亮度不均匀性ii的补偿。图7为经过上述亮度非均匀性在线补偿操作后的图像。
39.步骤（6）将上述步骤得到的每个像素对应的补偿增益按序排列得到补偿增益表，将该补偿增益表用于当前检测区域图像的增益补偿。
40.步骤（7）进入其他区域后，按照上述步骤重新计算，实现亮度非均匀性的在线补偿效果。
41.本发明提出的一种亮度非均匀性在线补偿的图像处理方法同样可以对离线补偿算法得到的欠补偿或过补偿的图像进行处理，提高图像质量。如图8是获得的原始图像经过亮度非均匀性离线补偿操作的图像，可以看到由于非离线补偿区域的光照不均匀性发生变化，采用离线补偿区域处的补偿增益会导致欠补偿或过补偿的情况，具体表现为图像中仍存在部分的条纹特征，通过上述在线补偿算法对该图像进行二次补偿后的图像如图10，可以看到能够有效地滤除条纹特征而不引起其他图像信息的失真。
42.图6和图9分别是对图5和图8采用fft滤波去除图像中竖向条纹和阴影的处理结果，可以看到在条纹去除的同时，细节特征边缘存在一定的模糊失真。图12和图13分别是采用上述fft滤波方法和本发明方法对图11包含工件边缘的图像进行处理的结果图，可以看到，fft滤波在边缘附近的处理结果和原始图像存在较大的失真，而本发明方法采用的是像素值序列中取特征值，可以通过设置图像掩码的方式排查工件边缘外区域对算法的影响，因此能够得到准确的去除条纹的图像。图14和图15分别是对模拟生成的均匀条纹图像和带边缘的均匀条纹图像进行fft滤波器和本发明方法处理的对比图。可以看到亮度阶跃变化的均匀条纹图像，其在fft频域中能够观察到一条较亮的水平中心线，代表图像中存在水平分布的特征，fft竖条纹滤波器的原理即为将该频域中水平中心线对应的值置零，从而消除对应空间域的水平分布特征，即竖条纹。如图14所示，fft滤波器和本发明方法对均匀条纹
图像都能实现条纹特征的去除。针对图15中带边缘的均匀条纹图像，其fft变换后频域分布中将出现边缘区域的频域信息，并且和竖条纹对应的水平中心线产生交叉耦合，采用水平中心线对应的值置零的方式将导致工件边缘外区域和工件表面边缘邻近区域图像处理严重失真，采用本发明的方法则可以实现对带边缘的均匀条纹图像进行处理。
43.实施例2：本实施例将针对面阵相机作为成像相机进行亮度非均匀性在线补偿图像算法的说明。
44.步骤（1）完成机器视觉检测系统的暗信号非均匀性和光响应非均匀性的校正工作。
45.相机每个成像像素的光电信号响应函数可以表述为y
ij =k
ij
*i ij *r
ij
b
ij
，其中i,j为像素坐标，k
ij
为出厂状态下相机每个像素的增益值，b
ij
为出厂状态下相机每个像素的偏置值，i
ij
为每个像素位置对应的光照亮度，r
ij
为每个像素位置对应的成像表面反射率，y
ij
为像素对应输出电压幅值。
46.进一步地，所述步骤（1）进行暗信号非均匀性和光响应非均匀性的校正工作后，光电信号响应函数变为y
ij = k
ij *k'
ij
* i
ij *r
ij
b
ij
b'
ij
，使得k
ij *k'
ij
为恒值， b
ij
b'
ij
为零值，因此此时光电信号响应函数可以简化为y
ij =g * i
ij * r
ij
，其中g= k
ij * k'
ij
。
47.步骤（2）将待检工件置于机器视觉检测系统的检测区域中，打开系统的照明光源，相机在当前位置进行成像。移动待检工件微小距离，相机在当前位置进行成像。重复该操作，最终获得超过一定数量（如五十幅）的图像文件；进一步地，所述步骤（2）对待检工件邻近区域进行多次成像，获得的图像文件对应的光电信号响应函数为，其中n对应图像序号。
48.步骤（3）这些图像成像位置相邻，可以认为光源的不均匀性在这些图像中保持一致，因此需要对这些图像进行处理：取每幅图像中相同像素坐标位置的像素值组成序列，求得该序列的中位数或平均数，作为该点像素位置对应的光源亮度；进一步地，图像成像位置相邻的情况下，可以认为光源的不均匀性在这些图像中保持一致，即，因此。机器视觉缺陷检测系统中工件表面往往是均匀介质表面，缺陷检测是对表面稀疏存在的缺陷数量和种类进行识别和分类，工件表面的缺陷最小特征与相机的像素空间分辨率相当，缺陷特征尺寸一般远小于相机成像视场，例如平板显示玻璃、半导体晶圆、手机背板等工件的缺陷检测场景。进行所述步骤（3）取像素序列的中位数或平均数，可以将图像中的缺陷信息滤除掉，获得当前像素位置在工件表面无缺陷情况下的亮度信息。
49.步骤（4）对所有像素位置进行遍历，获得所有像素位置对应的光源亮度值；进一步地，进行所述步骤（4），获得所有像素位置在工件表面无缺陷情况下的亮度信息y
ij
，工件为均匀介质表面，此时可以认为r
00
=r
01
=r
10
=
⋯rpq
=r，p,q分别为相机在两个方向上的像素数量。因此此时所有像素位置的亮度信息y
ij
将直接与对应像素位置的光照亮度i
ij
成比例关系，y
ij
=g*i
ij
*r。
50.步骤（5）设定希望将不均匀的光源亮度均匀化的像素背景亮度值，该均匀化的亮度值除以每个像素位置对应的像素值即可得到最终每个像素对应的补偿增益；
进一步地，进行所述步骤（5），设定希望得到的像素均匀亮度值m，则每个像素对应的补偿增益为该均匀亮度值除以每个像素位置对应的亮度值，即c
ij
=m/y
ij
，最终得到，c
ij
* y
ij
=m为恒值，因此c
ij *i
ij
也为恒值，从而实现了对该区域内光照亮度不均匀性i
ij
的补偿。
51.步骤（6）将上述步骤得到的每个像素对应的补偿增益按序排列得到补偿增益表，将该补偿增益表用于当前检测区域图像的增益补偿。
52.步骤（7）进入其他区域后，按照上述步骤重新计算，实现亮度非均匀性的在线补偿效果。