一种基于自适应均匀性指导的Bayer图像去马赛克方法及系统

摘要: 本发明涉及图像处理,尤其涉及一种基于自适应均匀性指导的bayer图像去马赛克方法及系统。背景技术:1、数字图像传感器通过彩色滤光阵列采集图像,每个像素仅记录红、...
一种基于自适应均匀性指导的Bayer图像去马赛克方法及系统

本发明涉及图像处理,尤其涉及一种基于自适应均匀性指导的bayer图像去马赛克方法及系统。

背景技术:

1、数字图像传感器通过彩色滤光阵列采集图像,每个像素仅记录红、绿、蓝三种颜色中的一种,这种稀疏采样的数据称为bayer raw数据。去马赛克技术从bayer raw数据中恢复每个像素的完整rgb三通道值,是图像信号处理器(isp)中的基础处理环节。

2、去马赛克的核心问题在于方向选择。在纹理和边缘区域,沿纹理方向插值能够获得准确的结果,而跨纹理方向插值会引入色彩失真和锯齿。为每个像素选择正确的插值方向直接决定去马赛克的图像质量。

3、双线性插值方法不进行方向选择,直接对邻域像素取平均,在纹理区域容易产生色彩伪影和摩尔纹(即图像中出现规律性条纹干扰)。边缘导向插值方法利用亮度梯度判断边缘方向并沿该方向插值,但仅依据亮度信息选择方向,在亮度相近而色彩差异较大的区域容易选择错误方向,导致色彩过渡不自然。自适应均匀性方法通过比较两个方向的均匀性来选择插值方向,图像质量较好,但其均匀性度量涉及较大范围的邻域计算和矩阵操作,计算量大,在fpga和asic等嵌入式硬件上难以实现实时处理。

4、上述现有技术在方向选择上存在共同不足:方向选择所依据的判据要么仅考虑亮度信息而忽略色彩信息,要么计算复杂度过高而难以在嵌入式硬件中部署。缺少一种既能同时利用亮度信息和色彩信息进行方向选择,又能在硬件资源受限条件下实时实现的去马赛克方法。

技术实现思路

1、为了解决上述现有技术中存在的技术问题,本发明提供一种基于自适应均匀性指导的bayer图像去马赛克方法及系统,能够通过亮度梯度阈值与色彩梯度阈值的联合度量评估局部均匀性,自适应选择插值方向,降低去马赛克过程中的色彩伪影和拉链效应。

2、本发明公开一种基于自适应均匀性指导的bayer图像去马赛克方法,包括以下步骤:

3、s1、获取bayer raw数据并进行预处理,得到预处理后的bayer图像;

4、s2、对预处理后的bayer图像分别进行第一方向插值和第二方向插值,得到第一方向全彩色rgb图像和第二方向全彩色rgb图像;

5、s3、将第一方向全彩色rgb图像和第二方向全彩色rgb图像分别转换至亮度与色度分离的色彩空间,得到对应的亮度通道和色度通道数据;

6、s4、在亮度与色度分离的色彩空间中,分别计算亮度梯度阈值和色彩梯度阈值,亮度梯度阈值表征局部区域的亮度变化程度,色彩梯度阈值表征局部区域的色彩变化程度;

7、s5、基于亮度梯度阈值和色彩梯度阈值,分别计算第一方向和第二方向的局部均匀性得分,局部均匀性得分反映对应方向上局部区域的均匀程度;

8、s6、比较第一方向和第二方向的局部均匀性得分,选择局部均匀性得分较高方向对应的全彩色rgb图像作为融合结果;

9、s7、输出融合后的全彩色rgb图像。

10、需要说明的是,bayer图像传感器通过彩色滤光阵列使每个像素仅采集红、绿、蓝三种颜色中的一种,输出的bayer raw数据中每个像素位置只含有一个颜色通道的采样值。去马赛克的任务是从这种稀疏采样数据中恢复每个像素的完整rgb三通道值。本发明的方法通过两个方向分别插值得到两套候选结果,再基于亮度与色彩双重梯度阈值计算局部均匀性得分,依据得分高低自适应选择插值方向。以下对各步骤进行详细说明(可以结合图1理解)。

11、关于所述步骤s1,可以理解,bayer raw数据是图像传感器直接输出的原始数据。raw数据通常以打包格式存储,例如10bit打包格式中每5个字节存储4个像素的10位采样值。预处理包括以下操作:将打包数据解包为逐像素的整型数组;扣除光学黑电平以消除传感器暗电流导致的固定偏移;根据当前场景色温对r、g、b通道施加白平衡增益以校正色温偏差;根据bayer模式(rggb、grbg、gbrg、bggr中的一种)生成各通道的掩码矩阵,掩码矩阵标识每个像素所属的颜色通道。经过预处理后,bayer图像的像素值消除了传感器固有偏移和色温偏差,为后续插值步骤提供准确的输入数据。

12、关于所述步骤s2,可以理解,以第一方向为水平方向、第二方向为垂直方向为例说明插值过程。在水平方向插值中,针对每个缺失某种颜色的像素,利用同一行上邻近像素的同色采样值进行插值计算,依次完成绿色通道、红色通道和蓝色通道的恢复,得到一幅完整的水平方向全彩色rgb图像。垂直方向插值的处理方式与水平方向相同,区别在于利用同一列上的邻近像素进行插值,得到一幅垂直方向全彩色rgb图像。第一方向和第二方向不限于水平方向和垂直方向,还可以是对角线方向或其他两个不同的方向,水平方向和垂直方向是本发明的一种优选实施方式。

13、由于两个方向所利用的邻近像素位置不同,两幅rgb图像在边缘和纹理区域存在像素值差异。产生差异的原因是:沿纹理方向插值时,邻近像素属于同一纹理区域,插值结果较为准确;跨纹理方向插值时,邻近像素跨越了纹理边界,插值结果容易出现色彩失真。因此,两幅候选rgb图像分别代表两种可能的插值结果,后续步骤通过均匀性评估来判断哪个方向的插值结果更可靠。

14、关于所述步骤s3,可以理解,将两幅全彩色rgb图像分别转换至亮度与色度分离的色彩空间(如ycbcr色彩空间),得到对应的亮度通道y和色度通道cb、cr。这一转换的目的是将像素的亮度信息与色彩信息分离到不同的通道中。后续步骤需要分别评估局部区域的亮度变化程度和色彩变化程度,在rgb空间中亮度与色彩信息混合在三个通道中,难以直接分别度量;而在ycbcr等亮度色度分离的空间中,y通道独立表征亮度,cb和cr通道独立表征色度,使得两类变化程度可以分别计算。两幅rgb图像各自完成转换后,得到两组ycbcr数据,分别对应第一方向和第二方向的插值结果,后续的梯度阈值计算和均匀性评分将在这两组数据上分别进行。

15、关于所述步骤s4,可以理解,亮度梯度阈值通过计算亮度通道在第一方向和第二方向的梯度值获得。梯度值反映局部区域亮度变化的剧烈程度:梯度值越大,说明该区域亮度变化越剧烈,纹理或边缘越密集。色彩梯度阈值通过计算色度通道在两个方向的梯度值获得。梯度值反映局部区域色彩变化的剧烈程度:梯度值越大,说明该区域色彩变化越明显。

16、两类阈值各自度量不同物理量的变化,具有互补性。仅使用亮度梯度阈值时,对于亮度相近但色彩差异较大的区域(如红色与绿色交界处,亮度可能接近但色度差异大),无法识别该区域的色彩变化程度;仅使用色彩梯度阈值时,对于色彩相近但亮度差异较大的区域(如明暗交界处,色度可能接近但亮度差异大),同样无法识别该区域的亮度变化程度。两类阈值联合使用,能够覆盖亮度变化和色彩变化两种不同的场景特征

17、关于所述步骤s5,可以理解,以每个像素为中心,在其邻域内统计同时满足以下两个条件的像素个数,作为局部均匀性得分。条件一:邻域像素与中心像素的亮度差绝对值小于亮度梯度阈值,表明两者在亮度上接近。条件二:邻域像素与中心像素在色度通道cb和cr上的差值平方之和小于色彩梯度阈值的平方,表明两者在色彩上接近。满足两个条件的邻域像素越多,局部均匀性得分越高,表明该方向上局部区域的亮度和色彩均较为一致。

18、亮度梯度阈值和色彩梯度阈值在均匀性得分计算中被联合使用,构成双条件判据。这一双条件判据要求邻域像素在亮度和色彩上同时满足阈值条件才计入得分。如果某一方向上邻域像素与中心像素亮度接近但色彩差异大,仅凭亮度条件会判定为均匀,但该方向实际存在色彩突变,插值结果可能不准确。双条件判据排除了这类亮度均匀但色彩不均匀的情况,从而使均匀性得分能够反映该方向插值的实际可靠性。

19、第一方向和第二方向各自独立计算均匀性得分,得到两个得分值,分别量化两个方向上局部区域的均匀程度。

20、关于所述步骤s6,可以理解,比较同一像素在第一方向和第二方向的局部均匀性得分,选择得分较高方向对应的rgb插值结果作为该像素的融合结果。得分较高意味着该方向上局部区域的亮度和色彩一致性更好,沿该方向插值时,邻近像素更可能属于同一纹理或平坦区域,插值引入的色彩失真和锯齿更少。

21、每个像素独立进行方向选择,使得图像中不同区域可以采用不同方向的插值结果。在水平纹理区域选择水平方向,在垂直纹理区域选择垂直方向,在平坦区域两个方向得分接近,选择任一方向的插值结果均可。这种逐像素的自适应方向选择避免了全局统一方向插值在复杂纹理区域产生的色彩伪影和拉链效应等方向性失真。其中,拉链效应是指在边缘处相邻像素值交替高低波动所形成的条纹状失真。

22、关于所述步骤s7,可以理解,将每个像素选定方向的rgb插值结果组合,形成完整的全彩色rgb图像并输出。

23、上述各步骤之间的技术关系与配合过程如下:

24、s1的预处理为s2提供消除了传感器偏移和色温偏差的输入数据。s2的两方向插值产生两套候选rgb图像,是后续均匀性比较的对象。s3的色彩空间转换将rgb数据分离为亮度和色度通道,为s4的梯度计算和s5的均匀性统计提供可以分别度量亮度和色度变化的数据基础。s4计算的两类阈值是s5双条件判据的阈值来源,s4和s5之间构成阈值计算与阈值应用的衔接关系。s5的均匀性得分是s6方向选择的依据。s6的选择结果决定s7输出的像素值来源。

25、s4和s5是整个方法的技术核心。s4的双梯度阈值设计确保了对亮度和色彩两类变化的联合度量,s5的双条件计数确保了均匀性评估的准确性,两者共同决定了s6方向选择的正确性。如果s4仅计算亮度梯度阈值而忽略色彩梯度阈值,s5的均匀性判据将退化为仅判断亮度一致性,在色彩变化区域会出现方向选择错误。反之,如果s4仅计算色彩梯度阈值,s5将无法识别亮度突变区域。两类阈值均不能省略,共同构成方向选择的判据基础。

26、本发明的一种基于自适应均匀性指导的bayer图像去马赛克方法及系统具有以下技术效果:

27、首先,本发明将两个方向的插值结果转换至ycbcr空间,使亮度和色彩的变化能够被独立度量。在此基础上分别计算亮度梯度阈值和色彩梯度阈值:仅用亮度阈值时,亮度相近但色彩差异大的区域无法识别,会误选插值方向;仅用色彩阈值时同理。两类阈值联合使用,使均匀性评估能够同时覆盖亮度变化和色彩变化两种场景。

28、其次,本发明在均匀性统计中采用双条件判据,要求邻域像素在亮度和色彩上同时满足阈值才计入得分。在亮度均匀但色彩突变的区域,仅凭亮度条件会误判为均匀,但该方向实际存在色彩边界,沿该方向插值会产生色彩失真。双条件判据排除了这类误判,使均匀性得分更准确地反映对应方向插值结果的实际可靠性。

29、并且,本发明中每个像素根据自身邻域的均匀性得分独立选择第一方向或第二方向的插值结果。不同区域可以使用不同方向,避免全局统一方向在复杂纹理区域产生的色彩伪影和拉链效应。

30、最后,本发明的梯度阈值基于局部区域数据计算,随图像内容自适应调整。纹理密集区域梯度值大,阈值相应较大;平坦区域梯度值小,阈值相应较小,使判断标准能够根据不同区域的纹理特征自动调整。