一种大靶面图像传感器非均匀性校正方法、系统及介质与流程

摘要: 本发明属于机器视觉领域,尤其涉及一种大靶面图像传感器非均匀性校正方法、系统及介质。背景技术:1、随着工业检测领域对成像分辨率与幅面要求的不断提高,大靶面cmos...
一种大靶面图像传感器非均匀性校正方法、系统及介质与流程

本发明属于机器视觉领域,尤其涉及一种大靶面图像传感器非均匀性校正方法、系统及介质。

背景技术:

1、随着工业检测领域对成像分辨率与幅面要求的不断提高,大靶面cmos图像传感器被应用到越来越多的场景。为在保持读出速度的前提下实现超大面阵,大靶面cmos图像传感器普遍采用多读出区拼接架构:像素阵列被划分为若干独立的读出区,各读出区拥有独立的读出电路(列读出通道、模拟前端、adc 组),相邻读出区之间的物理边界称为拼缝(seam)。此类传感器在成像时存在多种非均匀性来源,具体可归纳为以下四类:第一,列向固定图案噪声(vfpn):各列读出电路之间的增益差异,表现为列方向的高频条纹,实测其形状不变,幅度在75~3077dn区间内随亮度基本呈线性变化;第二,像素响应非均匀性(prnu):像素及像素块之间光电转换效率的差异,表现为块级增益不均;在拼缝邻域局部表现为奇列与偶列之间的响应差异,实测该差异在图像边缘可达±2%~4%,且随行位置与信号电平变化;第三,拼缝台阶:拼缝两侧的平均亮度台阶(实测垂直拼缝下半为0.4%~0.7%,水平拼缝右半为0.1%~0.9%);第四,光学渐晕:镜头光学系统与传感器微透镜阵列的主光线角(cra)失配所导致的平滑二维亮度衰减,属于光学系统固有属性,在校正中必须予以保留。上述非均匀性在实际图像中相互混叠,严重影响图像质量与后续测量精度。

2、传统非均匀性校正存在以下两个问题:

3、问题一:非均匀照明下无法获得物理均匀的平场图。参数的计算方法是:在积分球等均匀光源下采集多帧平场图像,每帧除以自身帧电平归一化后叠加平均,直接得到校正系数场。该方法依赖以下前提:入射光照在传感器靶面上是物理均匀的,即平场图的帧内变化完全由传感器自身的非均匀性引起。然而,对于大靶面传感器,该假设并不成立。由于主光线角(cra)随像素离轴距离连续变化,即使采用积分球均匀光源,传感器实际接收到的照度仍呈显著径向衰减,边角与中心照度比可低至0.485。由此产生的后果是光学渐晕与传感器 prnu、vfpn 在平场图中完全混叠,无法区分各自贡献,导致校正系数中错误地包含了本应保留的光学分量。

4、问题二:分块系数插值在拼缝处存在原理性缺陷。像素级校正的常规实现方式是为每个像素存储一个增益系数。对于亿像素级传感器,像素级系数存储量达到上百 mb,无法在片上实现。因此工程上普遍采用分块系数加插值的架构:将像素阵列划分为规则块(例如64×64像素),为每块存储一个增益系数;为每个块赋予一个代表位置(通常为块中心);对任意像素,以其所处位置在相邻块中心之间做双线性插值,得到该像素的增益系数,再乘以像素值。该架构以极小的系数存储开销获得了空间连续、无块状痕迹的平滑校正效果,是工业相机与消费电子isp的主流做法。然而,当校正对象是传感器内部的一条拼缝时,该架构存在原理性的缺陷。拼缝两侧的传感器响应差是一个位于单列(或单行)上的物理突变,理想的校正量也应当是一个位于同一列上的增益阶跃。但双线性插值的设计目标是“抹平”相邻块之间的落差,其数学本质是一个在块中心距(例如 64 像素)上展开的线性过渡,无法校正突变的不均匀性。

5、因此本发明一方面为了在无法获得物理均匀照明的条件下,从非均匀照明的原始图像序列中,将光学渐晕、列向固定图案噪声与像素响应非均匀性三个分量联合解耦;另一方面为了在采用分块系数加插值的实时校正架构中,避免插值运算对拼缝校正阶跃的摊薄与展宽,从而在不增加系数存储量的前提下实现拼缝伪影的无残留校正,提供了一种大靶面图像传感器非均匀性校正方法、系统及介质。

技术实现思路

1、本发明的目的在于克服现有技术存在的以上问题,提供一种大靶面图像传感器非均匀性校正方法、系统及介质。

2、为实现上述技术目的,达到上述技术效果,本发明通过以下技术方案实现:

3、一种大靶面图像传感器非均匀性校正方法,包括:

4、采集非均匀照明下若干帧原始图像,并在叠加平均后,计算所有读出区对应图像的各列亮度均值;

5、计算各读出区的各列亮度均值经过平滑滤波后形成的平滑曲线与各列亮度均值之比,以作为列增益系数,并将经过列增益系数补偿后的图像均分为若干个子区域,得到各子区域亮度均值;

6、基于阶数不超过预设值的多项式对所有子区域亮度均值作二维拟合,得到光滑曲面,以光滑曲面与子区域亮度均值的比值作为子区域增益系数;

7、获取待校正图像数据,判断各像素是否位于与拼缝相邻的子区域:若是,则以对应子区域的子区域增益系数作为校正系数;若否,则基于相邻子区域的子区域增益系数进行插值,得到校正系数;

8、输出待校正图像数据依次经过对应列增益系数、校正系数校正后的图像数据;

9、其中,不同读出区之间的所述平滑曲线相互独立,所述拼缝位于相邻两个读出区之间;当子区域被所述拼缝穿越时,将该子区域沿拼缝拆分为两个从属子区域,并分别确定各自的子区域增益系数。

10、进一步地,叠加平均之前,计算所有原始图像的全图亮度均值或中位数,剔除全图亮度均值或中位数偏离设定阈值区间的原始图像,并分别除以自身的全图亮度均值或中位数实现归一化。

11、进一步地,所述子区域增益系数为子区域奇列增益系数或子区域偶列增益系数,子区域奇列增益系数为所述光滑曲面与子区域奇数列亮度均值的比值,用于子区域内奇数列像素的校正,子区域偶列增益系数为所述光滑曲面与子区域偶数列亮度均值的比值,用于子区域内偶数列像素的校正。

12、进一步地,所述插值通过对子区域奇列增益系数和子区域偶列增益系数分别进行双线性插值。

13、进一步地,所述二维拟合为总阶不超过8的二维多项式最小二乘拟合,且子区域的行列索引归一化到[-1,1]。

14、进一步地,所述列增益系数范围为0.9-1.1。

15、进一步地,输出的图像数据经过上限剪裁,上限为输出位宽上限或预设最大增益对应值。

16、进一步地,还包括:将列增益系数、子区域增益系数分别乘以同一常数,使所得数值均不小于1,并按预设定取整规则编码为整数存储。

17、本发明还提供一种大靶面图像传感器非均匀性校正系统,包括:

18、初始采集模块,用于采集非均匀照明下若干帧原始图像,并在叠加平均后,计算所有读出区对应图像的各列亮度均值;

19、平滑分析模块,用于计算各读出区的各列亮度均值经过平滑滤波后形成的平滑曲线与各列亮度均值之比,以作为列增益系数,并将经过列增益系数补偿后的图像均分为若干个子区域,得到各子区域亮度均值;其中,不同读出区之间的所述平滑曲线相互独立;

20、子区域分析模块,用于基于阶数不超过预设值的多项式对所有子区域亮度均值作二维拟合,得到光滑曲面,以光滑曲面与子区域亮度均值的比值作为子区域增益系数;

21、边缘分析模块,用于获取待校正图像数据,判断各像素是否位于与拼缝相邻的子区域:若是,则以对应子区域的子区域增益系数作为校正系数;若否,则基于相邻子区域的子区域增益系数进行插值,得到校正系数;所述拼缝位于相邻两个读出区之间,当子区域被所述拼缝穿越时,将该子区域沿拼缝拆分为两个从属子区域,并分别确定各自的子区域增益系数;

22、校正输出模块,用于输出待校正图像数据依次经过对应列增益系数、校正系数校正后的图像数据。

23、本发明还提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述校正方法。

24、本发明的有益效果是:

25、本发明针对非均匀照明下光学渐晕、列向固定图案噪声和像素响应非均匀性相互混叠,以及分块插值在拼缝处摊薄校正阶跃的问题,实现了三分量联合解耦。通过读出区独立平滑列增益,保留拼缝台阶;通过拼缝邻域系数复制、内部区域插值,使校正阶跃精确对齐物理拼缝。由此可在强渐晕条件下同时消除列条纹、块级非均匀性和拼缝伪影,保留真实光学渐晕,且不增加系数存储量,硬件代价低,并支持roi与binning自适应。