一种图像传感器缺陷矫正方法、系统及介质与流程

本发明属于机器视觉领域，尤其涉及一种图像传感器缺陷矫正方法、系统及介质。

背景技术：

1、图像传感器作为相机的核心感光元件，其制造和封装过程中不可避免地会引入各类缺陷。常见的缺陷类型包括：传感器表面的颗粒污染、晶圆工艺不良导致的团簇坏点、滤光片或封窗玻璃上的划痕与灰尘污染、气孔等。这些缺陷通常表现为图像传感器的固定位置出现大面积像素响应异常，使得缺陷区域覆盖连续多个像素，且在相同空间位置持续出现，严重影响成像质量。

2、针对上述固定位置缺陷的像素矫正，现有技术主要分为两大类：第一类，基于邻域替换/插值的矫正方法。其利用缺陷像素周围正常像素的灰度值，通过替换、线性插值、中值滤波等方式估算缺陷像素的理想值，而图像传感器上固定位置缺陷，无法有效处理团簇型缺陷，当缺陷区域覆盖多个相邻像素时，缺陷像素的邻域像素本身亦为异常值，基于错误邻域的插值结果同样失真，矫正效果急剧劣化。而实际应用中，滤光片气孔、灰尘污染、晶圆工艺缺陷等往往并非孤立单点，而是呈现块状或条带状分布，严重限制了该类方法的适用范围；第二类，基于全局逐点矫正的方法。该类方法预先标定传感器每个像素的响应差异，生成全幅面矫正系数矩阵，在图像输出时对所有像素进行逐点乘除运算，否则，会导致缺陷区域与非缺陷区域间出现明显的过渡边界，而采用逐点矫正对资源的需求量要求比较大，为了保证对每个像素的响应度进行调整，对于大幅面的传感器需要将所有像素的响应度修正量进行存储，耗费大量内存及成本。

3、基于此，现有技术缺乏一种既能有效矫正各类固定位置缺陷（特别是团簇型缺陷）、又能控制存储与计算资源消耗、同时保证矫正区域过渡自然的图像传感器缺陷矫正方案。因此，提供了一种图像传感器缺陷矫正方法、系统及介质。

技术实现思路

1、本发明的目的在于克服现有技术存在的以上问题，提供一种图像传感器缺陷矫正方法、系统及介质。

2、为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

3、一种图像传感器缺陷矫正方法，对图像传感器采集的多帧图像求平均，得到像素响应分布图，其特征在于，包括：

4、识别所述像素响应分布图中的缺陷区域，每个缺陷区域构成一个点集；

5、基于各缺陷区域中像素的位置坐标，计算各缺陷区域对应的最小包络矩形，分析最小包络矩形的邻域区域的像素均值，以确定点集中各像素的预期灰度值；

6、根据各像素的预期灰度值与像素响应分布图中各像素的原灰度值间的比值，确定各像素的矫正系数；

7、对各点集的矫正系数实施行稀疏编码，生成与图像传感器扫描行顺序对应的矫正系数元组，其中，所述矫正系数元组由与图像传感器的扫描行相重叠的点集的行开始坐标、该扫描行的点集宽度及该扫描行上点集的矫正系数所构成；

8、判断同一扫描行上各点集的矫正系数元组是否存在重叠区域，若存在重叠区域，则提取重叠区域内同一像素在两个点集中的矫正系数并求平均，以更新重叠区域各像素的矫正系数，采用缺陷区域中各像素对应的矫正系数，对像素响应分布图进行矫正。

9、进一步地，提取最小包络矩形中各像素所对应的邻域区域内的相对位置的非缺陷像素所对应的灰度值，求平均，获得最小包络矩形中各像素的平均灰度值；基于各点集中各像素与最小包络矩形中各像素间的映射关系，确定点集中各像素的预期灰度值。

10、进一步地，所述像素响应分布图中缺陷区域的识别方法，包括：提取与邻域像素的灰度值间的差值小于设定灰度变化量阈值的像素的灰度值，采用曲面拟合修正像素响应分布图中各像素的灰度值，对修正后的像素响应分布图进行阈值化处理，以确定存在缺陷的像素。

11、进一步地，对阈值化处理后的像素响应分布图进行连通域分析，筛选面积大于设定面积阈值的区域，作为缺陷区域。

12、进一步地，所述最小包络矩形的确定方法，包括：提取同一点集中横坐标的最大值和最小值，以及纵坐标的最大值和最小值；

13、基于横坐标和纵坐标的最小值，确定最小包络矩形的左上角位置坐标，基于横坐标和纵坐标的最大值，确定最小包络矩形的右下角位置坐标。

14、进一步地，对各点集的矫正系数实施行稀疏编码的方法，包括：判定图像传感器的各行图像与所有缺陷区域所对应的点集是否存在重叠，若存在重叠，则提取该行图像对应的矫正系数，若不存在重叠，则不提取该行图像对应的矫正系数。

15、进一步地，判断所述图像传感器的各扫描行与各点集是否存在重叠，采用的方法，包括：提取各点集所对应的最小包络矩形所覆盖的纵坐标的最大值和最小值，若所述扫描行的索引值不大于纵坐标的最大值，且不小于纵坐标的最小值，则所述扫描行与该点集存在重叠，反之，所述扫描行与该点集不存在重叠。

16、进一步地，当同一行图像与不少于一个缺陷区域所对应的点集重叠时，根据各矫正系数所对应的横坐标按照从小到大的顺序对各矫正系数进行排列。

17、基于同一发明构思，本发明一种图像传感器缺陷矫正系统，对图像传感器采集的多帧图像求平均，得到像素响应分布图，包括：

18、缺陷识别模块，用于识别所述像素响应分布图中的缺陷区域，每个缺陷区域构成一个点集；

19、邻域分析模块，基于各缺陷区域中像素的位置坐标，计算各缺陷区域对应的最小包络矩形，分析最小包络矩形的邻域区域的像素均值，以确定点集中各像素的预期灰度值；

20、编码调整模块，用于根据各像素的预期灰度值与像素响应分布图中各像素的原灰度值间的比值，确定各像素的矫正系数；

21、对各点集的矫正系数实施行稀疏编码，生成与图像传感器扫描行顺序对应的矫正系数元组，其中，所述矫正系数元组由与图像传感器的扫描行相重叠的点集的行开始坐标、该扫描行的点集宽度及该扫描行上点集的矫正系数所构成；

22、去重矫正分析模块，用于判断同一扫描行上各点集的矫正系数元组是否存在重叠区域，若存在重叠区域，则提取重叠区域内同一像素在两个点集中的矫正系数并求平均，以更新重叠区域各像素的矫正系数，采用缺陷区域中各像素对应的矫正系数，对像素响应分布图进行矫正。

23、一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的矫正方法。

24、本发明的有益效果是：

25、本发明通过对缺陷识别、矫正系数计算、行稀疏编码及实时矫正有机整合，形成完整的技术闭环，能够有效地处理团簇缺陷、存储资源消耗及过渡区域不平滑等问题，实现图像传感器固定位置缺陷矫正的实时性、精准性和高效性，大大降低成本，具有显著的应用价值。

26、本发明通过对缺陷区域所对应的最小包络矩形进行确定，并采用最小包络矩形的邻域区域的像素均值，确定最小包络矩形中各异常像素对应的预期灰度值，有效避免邻域的缺陷像素本身对预期灰度值的干扰，能够获得准确可靠的矫正系数，为图像传感器输出的原始灰度值提供矫正依据，实现对团簇性缺陷的有效矫正，突破缺陷矫正的局限性。

27、本发明利用缺陷分布的稀疏性，仅存储与缺陷区域重叠的扫描行所对应的矫正系数元组，筛选与同一行图像存在重叠的点集按照横坐标从小到大的顺序进行排列，将存储需求从全幅面矩阵压缩至仅缺陷区域对应的有效数据，大幅降低了内存占用与硬件成本，使得缺陷区域所对应的矫正系数在资源受限的系统中仍可高效部署，通过行稀疏编码大幅压缩存储开销，平衡了矫正效果与资源消耗。

28、本发明通过判断同一扫描行上各矫正系数元组是否存在重叠区域并对重叠区域的矫正系数取平均值进行融合，消除了相邻缺陷区域在列方向上的系数冲突，避免了矫正区域与非矫正区域之间的响应断崖，保证了同一像素坐标对应唯一矫正系数，使得矫正后的图像在缺陷区域边缘过渡自然、视觉连续，从而保证去重融合后，缺陷区域矫正后与非缺陷区域能够平滑过渡。