一种基于离散权重的Bayer去噪颜色插值方法与流程

一种基于离散权重的bayer去噪颜色插值方法
技术领域
1.本发明涉及图像处理方法，具体涉及bayerrgb图像的颜色插值方法。


背景技术：

2.图像传感器在将实际景物转化为图像数据的时候，通常使用不同的滤光片获取红、绿、蓝三种颜色的分量用以合成图像。但是考虑到成本等原因，大部分图像传感器使用的是一张红绿蓝三色都有所遍布的滤光片，获取的bayer阵列图像的每个像素点呈现rgb中一种颜色。由于bayerrgb图像存储着最原始的图像信息，在isp(image signal processor，图像信号处理器)中通常会对bayerrgb图像进行去噪以防止isp后续处理对本质图像产生影响。在bayerrgb图像去噪之后，为了进一步处理图像，isp会将bayerrgb图像补充为常用的rgb图像，此操作即为颜色插值。
3.传统isp中，去噪模块与颜色插值模块分开进行，两个模块各需要分配一块内存，而且由于这两个模块算法相较其他模块复杂很多，需要占用较多资源。


技术实现要素：

4.发明目的：针对上述现有技术，提出一种基于离散权重的bayer去噪颜色插值方法，作用于isp时，isp不再需要单独的去噪模块。
5.技术方案：一种基于离散权重的bayer去噪颜色插值方法，包括：对于单通道的rggb排列的bayerrgb图像，首先计算各g点的梯度均值，然后根据所述梯度均值计算各g点的梯度离散因子；采用3*3矩阵插值算法进行插值计算，包括以下情况：情况一：原图中为r，在3*3矩阵中，r在中间，四边为g，四角为b；1）r值使用原值；2）还原g值，根据梯度离散因子判断，包括2种情况：若r四边的g分别对应的梯度离散因子均小于等于阈值a：若r四边的g分别对应的梯度均值中无离群值，则采用均值插值；若有离群值，则去掉离群值对应的g值后进行均值插值；若r四边的g分别对应的梯度离散因子中至少有一个的值大于阈值a：根据r四边的g的插值权重进行g值插值；3）还原b值，根据梯度离散因子判断，包括2种情况：若r四边的g分别对应的梯度离散因子均小于等于阈值a，则采用均值插值；若r四边的g分别对应的梯度离散因子中至少有一个的值大于阈值a时，则根据r四边的g的插值权重进行b值插值；情况二：原图中为b，在3*3矩阵中，b在中间，四边为g，四角为r；1）b值使用原值；2）还原g值，根据梯度离散因子判断，包括2种情况：若b四边的g分别对应的梯度离散因子均小于等于阈值a：若b四边的g分别对应的
梯度均值中无离群值，则采用均值插值；若有离群值，则去掉离群值对应的g值后进行均值插值；若b四边的g分别对应的梯度离散因子中至少有一个的值大于阈值a：根据b四边的g的插值权重进行g值插值；3）还原r值，根据梯度离散因子判断，包括2种情况：若b四边的g分别对应的梯度离散因子均小于等于阈值a，则采用均值插值；若b四边的g分别对应的梯度离散因子中至少有一个的值大于阈值a时，则根据b四边的g的插值权重进行b值插值；情况三：原图中为g，在3*3矩阵中，g在中间，上下为b，左右为r；1）r值使用均值插值原值；2）b值使用均值插值原值；3）原值g值时，根据梯度均值判断，包括如下2种情况：若矩阵中间的g点的梯度均值小于等于阈值a，则g值使用原值；若矩阵中间的g点的梯度均值大于阈值a，则采用均值插值；情况四：原图中为g，在3*3矩阵中，g在中间，上下为r，左右为b；1）r值使用均值插值原值；2）b值使用均值插值原值；3）原值g值时，根据梯度均值判断，包括如下2种情况：若矩阵中间的g点的梯度均值小于等于阈值a，则g值使用原值；若矩阵中间的g点的梯度均值大于阈值a，则采用均值插值。
6.进一步的，以bayerrgb图像g点为中心的3*3矩阵块求得所述各g点的梯度均值。
7.进一步的，以每个梯度均值矩阵中每个梯度均值为中心的7*7矩阵块求得所述各g点的梯度离散因子。
8.进一步的，所述离群值为与中位数相差超过三倍换算mad的元素，其中，换算mad为 1.48*median(abs(a-median(a)))，其中median(a)代表求数组a的中位数，abs(a)代表求a的绝对值。
9.进一步的，所述阈值a的取值范围为0~50。
10.进一步的，所述阈值a的取值25。
11.进一步的，在3*3矩阵中，将r上、下、左、右四个g分别记为g1’、g2’、g3’、g4’，四个g的梯度均值对应记为ga1’、ga2’、ga3’、ga4’，所述插值权重的计算方法包括：首先，计算ga1’、ga2’、ga3’、ga4’的均值；然后，计算ga1’、ga2’、ga3’、ga4’与均值的差值的绝对值；接着，计算g1’、g2’、g3’、g4’的插值权重。
12.进一步的，所述情况一中，还原g值，记为r_g，根据r四边的g的插值权重进行g值插
值，得到。
13.有益效果：本方法在对bayerrgb图像进行颜色插值的同时考虑到了图像的噪点问题，通过在插值的过程中基于离散因子的判断进行去离群值后的均值插值操作尽可能的将噪点降到最低。本方法作用于isp时，isp不需要单独做bayerrgb去噪模块，相对于原先两个模块的做法，减小了算法复杂度并且减小了资源的占用。
附图说明
14.图1为bayerrgb图像；图2为长/宽补充2行/列后的bayerrgb图像；图3为最小梯度矩阵块；图4为梯度均值图；图5为长/宽补充6行/列后的梯度均值图；图6为最小梯度离散因子矩阵块；图7为梯度离散因子图；图8 为长/宽补充2行/列后的梯度离散因子图；图9为本方法情况一和情况二的插值流程图；图10为本方法情况三和情况四的插值流程图；图11为本实施例处理对象的bayerrgb灰度图；图12为截取图11中的局部图像的放大图；图13为图12最左上角的18*18矩阵块bayerrgb数据放大图；图14为图13中数据对应的梯度均值图；图15为图13中数据对应的梯度离散因子图；图16为图13对应插值处理后的结果图；图17为图12中实线框内18*18矩阵块的bayerrgb数据放大图；图18为图17中数据对应的梯度均值图；图19为图17中数据对应的梯度离散因子图；图20为图17对应插值处理后的结果图；图21为图11对应插值处理后的结果图。
具体实施方式
15.下面结合附图对本发明做更进一步的解释。
16.利用如图1所示的一张单通道的rggb排列的bayerrgb图像数据说明本发明方法的具体实施过程，最终插值结果为三通道的rgb图像。由于人眼对绿色反应更加敏感，以下梯度均值以及梯度离散因子的计算仅考虑bayerrgb中的g分量。
17.步骤一：计算梯度均值。
18.为使计算兼容图像边缘，将原始分辨率为h*w的图像扩充为如图2所示的(h 2)*(w 2)的图像。具体的，图2第一行中间w个数据为图1第二行数据，第(h 2)行中间w个数据为图1第(h-1)行数据；第一列中间h个数据为图1第二列数据，第(w 2)列中间h个数据为图1第
(w-1)列数据；图2左上角数据为图1第二行第二列数据，图2右上角数据为图1第二行第(w-1)列数据，图2左下角数据为图1第(h-1)行第2列数据，图2右下角数据为图1第(h-1)行第(w-1)列数据；图2实线内部数据与图1数据相同。
19.如图2中虚线部分为例，以原bayerrgb图像即图2中实线内的数据中每个g点为中心的3*3区域划分出最小梯度矩阵块。如图3所示的最小梯度矩阵块中，将5个g点分别记为g1、g2、g3、g4、g5，计算该最小梯度矩阵块的中间点g3的梯度均值ga=((|g1-g3|) (|g2-g3|) (|g4-g3|) (|g5-g3|))/4。通过此公式逐个求出原bayerrgb图中每个g点的梯度均值ga，并得到图4所示梯度均值图。
20.步骤二：计算梯度离散因子。
21.为使计算兼容图像边缘，将图4中小为h*w的梯度均值图补充为图5所示大小为(h 6)*(w 6)的图。具体的，图5第1、2、3行中间w个数据分别对应为图4第2、1、2行数据，图5第(h 4)、(h 5)、(h 6)行中间w个数据分别对应为图4第(h-1)、h、(h-1)行数据；图5第1、2、3列中间h个数据分别对应为图4第2、1、2列数据，图5第(w 4)、(w 5)、(w 6)列中间h个数据分别对应为图4第(w-1)、w、(w-1)列数据；图5左上角、右上角、左下角、右下角3*3矩阵块的数据分别对应为图4左上角、右上角、左下角、右下角3*3矩阵块的数据；图5实线内数据与图4数据相同。
22.如图5中虚线部分为例，以实线内每个ga点为中心的7*7区域划分出最小梯度离散因子矩阵块，实线内每个ga点的梯度离散因子即为以其所在位置为中心的最小梯度离散因子矩阵块中25个数的均值。如图6所示，将25个ga点分别记为ga1~ga25，ga13点的梯度离散因子。通过该公式计算原bayerrgb图中每个g点的梯度离散因子，其与原图的对应关系如图7所示。
23.步骤三：颜色插值。
24.该步骤通过g点的梯度离散因子判断原bayerrgb图中每个像素的插值方法。考虑计算对图像边缘的兼容性，对图7进行补充，与图1到图2的补充类似，不再做详细说明，结果见图8。插值过程包括如下4中情况：情况一：原图中为r，在3*3矩阵中，r在中间，四边为g，四角为b，其插值过程如图9所示，图9中仅包括了判断梯度离散因子的插值算法的部分，其他保持原值不变或者是未经过判断直接使用的均值插值未在图中涉及。
25.1)r值使用原值。
26.2)还原其g值，记为r_g，具体为：将r点上、下、左、右四个g点分别记为g1’、g2’、g3’、g4’，四个g点的梯度均值对应记为ga1’、ga2’、ga3’、ga4’，梯度离散因子对应记为gdf1、gdf2、gdf3、gdf4。根据梯度离散因子判断，包括如下2种情况：
①
gdf1、gdf2、gdf3、gdf4均小于等于25：判断ga1’、ga2’、ga3’、ga4’中是否有离群值，离群值定义为与中位数相差超过三倍换算mad的元素，换算mad定义为 1.48*median(abs(a-median(a)))，其中median(a)代表求数组a的中位数，abs(a)代表求a的绝对值。如无离群值，则r_g=(g1’ g2’ g3’ g4’)/4；如
有离群值，则将离群值对应的g点值记为gout，此时r_g=(g1’ g2’ g3’ g4
’‑
gout)/3。
27.②
gdf1、gdf2、gdf3、gdf4至少有一个的值大于25：首先，计算ga1’、ga2’、ga3’、ga4’的均值；然后，计算ga1’、ga2’、ga3’、ga4’与均值的差值的绝对值；接着，计算g1’、g2’、g3’、g4’的插值权重；此时。
28.3)还原其b值，记为r_b，具体为：将r点左上角、右下角、左下角、右上角四个b点分别记为b1、b2、b3、b4。根据r点上、下、左、右四个g点的梯度离散因子判断，包括如下2种情况：
①
gdf1、gdf2、gdf3、gdf4均小于等于25：r_b=(b1 b2 b3 b4)/4
②
gdf1、gdf2、gdf3、gdf4至少有一个的值大于25：。
29.情况二：原图中为b，在3*3矩阵中，b在中间，四边为g，四角为r。
30.1)b值使用原值。
31.2)还原其g值，记为b_g，具体为：将b点上、下、左、右四个g点分别记为g1’、g2’、g3’、g4’，四个g点的梯度均值对应记为ga1’、ga2’、ga3’、ga4’，梯度离散因子对应记为gdf1、gdf2、gdf3、gdf4。根据梯度离散因子判断，包括如下2种情况：
①
gdf1、gdf2、gdf3、gdf4均小于等于25：与r_g的求解方法相同，判断ga1’、ga2’、ga3’、ga4’中是否有离群值，如无离群值则，b_g=(g1’ g2’ g3’ g4’)/4；如有离群值，则将离群值对应的g点值记为gout，此时b_g=(g1’ g2’ g3’ g4
’‑
gout)/3。
32.②
gdf1、gdf2、gdf3、gdf4至少有一个的值大于25：首先，计算ga1’、ga2’、ga3’、ga4’的均值；然后，计算ga1’、ga2’、ga3’、ga4’与均值的差值的绝对值；
接着，计算g1’、g2’、g3’、g4’的插值权重；此时。
33.3)还原其r值，记为b_r，具体为：将b点左上角、右下角、左下角、右上角四个r点分别记为r1、r2、r3、r4。根据b点上、下、左、右四个g点的梯度离散因子判断，包括如下2种情况：
①
gdf1、gdf2、gdf3、gdf4均小于等于25：b_r=(r1 r2 r3 r4)/4
②
gdf1、gdf2、gdf3、gdf4至少有一个的值大于25：。
34.情况三：原图中为g，在3*3矩阵中，g在中间，上下为b，左右为r，即原图中为rgrgrgrgrgrgrg...行中的g。
35.将g左右两个r点分别记为r1、r2；g上下两个b点分别记为b1、b2；g左上角、右上角、左下角、右下角四个g点记为g1’、g2’、g3’、g4’。其插值过程如图10所示，图10中仅包括了判断梯度均值的插值算法的部分，其他保持原值不变或者是未经过判断直接使用的均值插值未在图中涉及。
36.1)还原其r值，记为rg_r：rg_r=(r1 r2)/2。
37.2)还原其b值，记为rg_b：rg_b=(b1 b2)/2。
38.3)还原其g值，记为rg_g，根据梯度均值判断，包括如下2种情况：
①
g点梯度均值ga小于等于25：rg_g=g。
39.②
g点梯度均值ga大于25：rg_g=(g1 g2 g3 g4)/4。
40.情况四：原图中为g，在3*3矩阵中，g在中间，上下为r，左右为b，即原图中为gbgbgbgbgbgbgb...行中的g。
41.将g左右两个b点分别记为b1、b2；g上下两个r点分别记为r1、r2；g左上角、右上角、左下角、右下角四个g点记为g1’、g2’、g3’、g4’。
42.1)还原其r值，记为bg_r：bg_r=(r1 r2)/2。
43.2)还原其b值，记为bg_b：bg_b=(b1 b2)/2。
44.3)还原其g值，记为bg_g，根据梯度均值判断，包括如下2种情况：
①
g点梯度均值ga小于等于25：bg_g=g。
45.②
g点梯度均值ga大于25：bg_g=(g1 g2 g3 g4)/4。
46.本实施例以图11的bayerrgb灰度图为处理对象。截取图11中的局部图像，如图12为例对具体说明本发明的效果。截取如图12的bayerrgb灰度图中最左上角的18*18矩阵块bayerrgb数据，如图13所示，并计算得到其梯度均值如图14所示以及梯度离散因子如图15所示。最左上角的18*18矩阵块bayerrgb数据中存在较多的图像边缘，导致了相邻的像素值之间参差不齐，从而使得计算出的梯度均值偏大，而梯度均值越大，梯度离散因子也就越大。本发明对梯度离散因子进行判断，当周围梯度离散因子均小于等于25时则用去离群值的均值插值，此处的离群值即为噪点。当周围的梯度离散因子至少有一个大于25则判断出此处梯度离散因子偏大是边缘的像素值激增所导致的，为了避免边缘像素对算法效果造成影响，此处使用权重插值，降低边缘像素的影响力，得到如图16所示的插值结果。
47.截取图12中实线框内18*18矩阵块的bayerrgb数据，放大后如图17所示，并计算得到其梯度均值如图18所示以及梯度离散因子如图19所示。图17中黑色噪点对应的梯度均值为图18中带方框的数值。此矩阵块在bayerrgb图中处于比较平缓的区域，可以看出突兀的黑色噪点会造成该处的梯度均值极高，此时根据梯度均值的判断进行的均值插值可去除该噪点，得到如图20所示的插值结果。但是也由于此处极为平坦，所以导致在这种情况下梯度离散因子值较低。
48.图21为采样本实施例对图11进行颜色插值后的结果，其中的梯度均值和梯度离散因子的判断阈值选取25，是通过于matlab仿真多次给出的推荐值。对于噪声更多的图像，梯度均值和梯度离散因子的判断阈值可以对应提高，对于噪声更少的图像判断阈值可以减少，该判断阈值的取值范围为0~50。
49.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。