基于Bayer格式的raw图像的去噪装置及方法与流程

基于bayer格式的raw图像的去噪装置及方法
技术领域
1.本发明涉及图像信号处理技术，具体涉及一种基于bayer格式的raw图像的去噪装置及方法。


背景技术：

2.摄像系统(以下简称camera)中图像噪声的种类繁多，成因也比较复杂。
3.从摄像系统上来看，目前市面上大部分的消费类camera都是通过搭载单个color filter array(cfa，彩色滤光片阵列)的光敏传感器(sensor)来获取图像信息的，sensor直接输出的是raw图像，其中，出于制作成本和算法实现等因素的考虑，raw图像通常以bayer格式为主流。而demosaic算法则是意图通过插值的方式补全缺失的颜色信息。随着光电系统的进步，现如今的摄像机在曝光条件良好的场景下能够输出高质量的图像，但是，在低光照场景下，由于进入成像系统的光子个数较少，cfa获得的raw图像的信噪比很低，使得大部分摄像机输出了噪声。与此同时，在此类场景下，摄像机系统往往会通过提高自身感光度(iso level)来自适应低电平信号，这样就进一步放大了输出噪声。这类噪声通常以斑点(splotches)的形式出现，对人眼视觉系统来说十分突兀。
4.从统计角度来看，根据欧洲相机测试标准emva1288中的定义，camera噪声总体上可以分为两类：第一类是，由有效信号带来的符合泊松分布的统计涨落噪声。由于光电转换的电荷数的波动符合统计规律，根据量子力学理论，该波动符合泊松分布，因此，该波动的方差等于累积电荷数的平均值，对应计算公式(1)如下：
[0005][0006]
其中，为电荷数波动的方差；μe为电荷数的平均值。第一类噪声也叫散粒噪声，是由基本物理定律决定的，对任何类型的camera都具有普适性。
[0007]
第二类是，由camera本身固有且与信号无关的噪声，它是由图像传感器读出电路、camera信号处理与放大电路等带来的噪声，每台camera的固有噪声都不一样，对应计算公式(2)如下：
[0008][0009]
其中，为噪声的方差；为dark signal引起的噪声；为量化噪声；μy为数字信号的平均值；μ
y_dark
为暗电流的数字值；k为整个系统增益。
[0010]
此外，对于数字camera来说，在对视频信号进行模数转换时，会产生量化噪声，且量化精度越低，噪声越大。
[0011]
在研究过噪声的成因之后，我们就能够更好地利用图像噪声的数学模型进行去噪处理，其中，去噪处理可以在demosaic算法之后的rgb域进行，也可以在再之后的灰度或色度域进行，那么为什么还要在raw图像上进行去噪处理呢？其主要原因是：sensor直接输出的raw图像的噪声模型可以用上述数学模型进行描述，有了数学描述，就可以建立信号强度与噪声强度之间的对应关系。理论上，我们就能够对图像进行有噪声数学模型支持的去噪
处理，使处理后的图像噪声更接近高斯分布。反之，待raw图像的图像数据经过isp各级模块，每一级的处理都会对图像噪声分布产生不同的影响，图像噪声的性质就会更加复杂，导致更难以处理。
[0012]
关于现有的去噪方法，截止目前，除了新兴的实现代价较大的机器学习、深度学习方法以外，传统的去噪方法大致可以分为以下几类：
[0013]
(1)滤波类，以非局部均值滤波算法(nl-means，buades等人于2005年发表的《a non_local algorithm for image denoising》)为例，其主要思想是：当前像素点v(i)的去噪结果均由周围一定范围内所有像素点v(j)加权得到，其中各v(j)的权重大小由各v(j)邻域和v(i)邻域的相似度计算得到。
[0014]
(2)域变换类，以小波阈值算法(wavelet threshold，donoho等人于1992年发表的《de-noising by soft-thresholding》)为例，其主要思想是：将原始带噪图像在各个尺度上进行正交小波分解，保留大尺度(即低分辨率)下的全部分解值，而对于小尺度(即高分辨率)下的分解值，通过设置阈值，将低于该阈值的小波系数置为零，高于该阈值的小波系数保留或经过一定修正，最后将处理完成的小波系数通过小波逆变换进行重构。
[0015]
(3)稀疏表达类：以非局部集中稀疏表达算法(ncsr，dong等人于2011年发表的《nonlocally centralized sparse respresentation for image restoration》)为例，其主要思想是：将图像中的各个像素块(patch)使用k-means聚类算法分为k类，其中的每一类都学习出一个pca子字典。对于每个给定的patch，通过计算其与所有聚类的距离来确认该patch属于哪一类聚类，然后选择对应pca子字典编码重构该patch。
[0016]
因此，如何提供一种应用场景为消费类camera，并在平滑噪声图像的同时尽可能保留高频有效信息，同时便于硬件实现的图像去噪算法，已成为目前需要解决的重要问题。


技术实现要素：

[0017]
本发明的目的在于，提供一种基于bayer格式的raw图像的去噪装置及其方法，相较于现有技术，可以更好地去除噪声，同时还可以提升以往传统方法的去噪效果，且有利于硬件实现。
[0018]
为了解决上述问题，本发明提供一种基于bayer格式的raw图像的去噪装置，包括：
[0019]
图像数据输入单元，用于根据原始带噪图像获得基于bayer格式的raw图像的图像数据；
[0020]
局部参数估计单元，用于根据所述raw图像的图像数据估算出所述raw图像中每个像素点对应的局部去噪强度和局部噪声回加比例；
[0021]
相似度计算单元，用于根据所述raw图像的图像数据计算出所述raw图像在每个预设窗口区域内不同类型邻域之间的相似度；
[0022]
权重计算单元，用于根据所述局部去噪强度和相似度计算出每个所述像素点周围的每个所述预设窗口区域内同通道各像素点的权重；
[0023]
纹理计算单元，用于根据所述权重计算出每个所述像素点周围的所述预设窗口区域内的局部纹理信息；
[0024]
权重修正单元，用于根据所述局部纹理信息对所述权重进行修正，以得到新的权重；
[0025]
加权平均单元，用于将所述新的权重和每个预设窗口区域内各同通道的每个像素点进行加权平均，以得到当前点的去噪结果，从而得到去噪图像；以及
[0026]
噪声回加单元，用于根据所述去噪图像和局部噪声回加比例获得最终的去噪结果，从而得到最终的去噪图像。
[0027]
可选的，所述预设窗口区域为15x15区域。
[0028]
进一步的，所述局部参数估计单元包括：
[0029]
亮度计算单元，用于对所述raw图像在每个所述预设窗口区域中的同通道像素点进行滤波处理，以得到所述预设窗口区域中每个像素点对应的亮度值；
[0030]
第一分段线性映射单元，用于根据所述预设窗口区域中的每个像素点对应的亮度值进行5段线性映射和平方根，以得到所述预设窗口区域中的每个像素点对应的局部去噪强度；以及
[0031]
第二分段线性映射单元，用于根据所述预设窗口区域中的每个像素点对应的亮度值进行5段线性映射，以得到所述预设窗口区域中的每个像素点对应的局部噪声回加比例。
[0032]
进一步的，所述亮度值luma满足以下计算公式：
[0033]
luma＝(input
15
×
15
[16] input
15
×
15
[18] input
15
×
15
[20] input
15
×
15
[22]
[0034]
input
15
×
15
[24] input
15
×
15
[26] input
15
×
15
[28] input
15
×
15
[46]
[0035]
input
15
×
15
[48] input
15
×
15
[50] input
15
×
15
[52] input
15
×
15
[54]
[0036]
input
15
×
15
[56] input
15
×
15
[58] input
15
×
15
[76] input
15
×
15
[78]
[0037]
input
15
×
15
[80] input
15
×
15
[84] input
15
×
15
[86] input
15
×
15
[88]
[0038]
input
15
×
15
[106] input
15
×
15
[108] input
15
×
15
[116] input
15
×
15
[118]
[0039]
input
15
×
15
[136] input
15
×
15
[138] input
15
×
15
[140] input
15
×
15
[144]
[0040]
input
15
×
15
[146] input
15
×
15
[148] input
15
×
15
[166] input
15
×
15
[168]
[0041]
input
15
×
15
[170] input
15
×
15
[172] input
15
×
15
[174] input
15
×
15
[176]
[0042]
input
15
×
15
[178] input
15
×
15
[196] input
15
×
15
[198] input
15
×
15
[200]
[0043]
input
15
×
15
[202] input
15
×
15
[204] input
15
×
15
[206] input
15
×
15
[208]
[0044][0045]
2
×
(input
15
×
15
[82] input
15
×
15
[110] input
15
×
15
[114] input
15
×
15
[142])
[0046]
4
×
input
15
×
15
[112])/56
[0047]
其中，input
15
×
15
为每个像素点的周围15x15区域的像素值。
[0048]
进一步的，所述局部去噪强度的估计值sigma的计算公式如下：
[0049][0050]
其中，luma为所述raw图像的预设窗口区域中每个像素点的亮度值；s
s0～4
为5段线性映射中每段的斜率；x
s0～4
为5段线性映射中每段起始点的横坐标值；y
s0～4
为5段线性映射中每段起始点的纵坐标值。
[0051]
进一步的，所述局部噪声回加比例的估计值addbackratio的计算公式如下：
[0052][0053]
其中，luma为所述raw图像的预设窗口区域中每个像素点的亮度值；s
a0～4
为5段线性映射中每段的斜率；x
a0～4
为5段线性映射中每段起始点的横坐标值；y
a0～4
为5段线性映射中每段起始点的纵坐标值。
[0054]
进一步的，所述相似度计算单元包括并行设置的8个邻域类型，以及相似度计算子单元，所述相似度计算单元通过每个所述邻域类型均和相似度计算子单元计算出一个相似度矩阵，最终得到8个相似度矩阵；
[0055]
其中，所述8个邻域类型分别为各像素点在其垂直水平方向上的邻域和斜对角方向的邻域。
[0056]
进一步的，每个相似度矩阵dist
i,j,k
的计算公式如下：
[0057][0058]
其中，center为所述raw图像的预设窗口区域中每个像素点及其邻域的像素值；neighbor为所述raw图像的预设窗口区域中每个像素点周围15
×
15区域内其他同通道点及其邻域的像素值；c为通道，且c＝0时与道和中心像素点相同的通道，c＝1时与中心像素点不同的通道；dist为相似度矩阵，其大小为7
×7×
8；i和j分别为dist矩阵的二维坐标位置；k为dist矩阵的第三维坐标位置。
[0059]
进一步的，所述权重计算单元根据8个相似度矩阵获得8个权重矩阵，每个所述权重矩阵weight1
i,j,k
的计算公式如下：
[0060][0061]
其中，dist为相似度矩阵，其大小为7
×7×
8；sigma为所述raw图像在每个预设窗口区域中的每个像素点对应的局部去噪强度；weight1为每个像素点的周围15
×
15区域内同通道点的权重矩阵，其大小为7
×7×
8；e代表指数运算；i和j分别为dist矩阵以及weight1矩阵的二维坐标位置；k为dist矩阵以及weight1矩阵的第三维坐标位置。
[0062]
进一步的，所述纹理计算单元根据所述8个权重矩阵得到8个纹理度，每个所述纹理度texturek的计算公式如下：
[0063][0064]
其中，weight1为每个像素点的周围15
×
15区域内同通道点的权重矩阵，其大小为7
×7×
8；highpasskernel为高通滤波器的参数；texture为每个像素点的周围15
×
15区域内的纹理度，其大小为1
×
8；i和j分别为weight1矩阵的二维坐标位置；k为weight1矩阵第三维坐标位置。
[0065]
进一步的，所述权重修正单元包括双边滤波单元，所述双边滤波单元用于以所述
纹理计算单元输出的8个纹理度作为平滑参数，对所述权重计算单元输出的8个权重矩阵进行双边滤波，以得到8个新的权重矩阵。
[0066]
进一步的，每个新的权重矩阵weight2
i,j,k
的满足以下计算公式：
[0067]di,j,k2
＝(x
i,j,k-x
center
)2 (y
i,j,k-y
center
)2[0068][0069]ri,j,k2
＝(weight1
i,j,k-weight1
center,k
)2[0070][0071][0072][0073]
其中，x
i,j
为每种邻域类型中7
×
7窗内点(i，j)在笛卡尔坐标系中的横坐标；y
i,j
为每种邻域类型中7
×
7窗内点(i，j)在笛卡尔坐标系中的纵坐标；d
i,j
为每种邻域类型中7
×
7窗内点(i，j)至7
×
7窗中心点的欧式距离；texture为每个像素点的周围15
×
15区域内的纹理度，其代表平滑强度；gaind为平滑强度的固定增益1；gaussiankernel为高斯核的值，其大小为7
×7×
8；weight为每个像素点的周围15
×
15区域内同通道点的权重矩阵，其大小为7
×7×
8；r
i,j
为每种邻域类型中7
×
7窗内点(i，j)的中心点的残差；gainr为平滑强度的固定增益2；residualkernel为残差核的值，其大小为7
×7×
8；bilateralkernel为双边滤波核的值，其大小为7
×7×
8；i和j分别为weight1矩阵和weight2矩阵的二维坐标位置；k为weight1矩阵和weight2矩阵的第三维坐标位置。
[0074]
进一步的，通过所述加权平均单元得到的去噪结果nrout满足公式：
[0075][0076]
其中，input
15
×
15当前点
为所述raw图像中每个像素点的周围15
×
15区域内的同通道像素点(7
×
7)；weight2为每个像素点周围15
×
15区域内同通道点的权重矩阵，其大小为7
×7×
8；nrout的大小为1
×
1；i和j分别为dist矩阵以及weight2矩阵的二维坐标位置；k为dist矩阵以及weight2矩阵的第三维坐标位置。
[0077]
进一步的，通过所述噪声回加单元得到的最终的去噪结果output满足以下公式：
[0078]
wa＝clip(addbackratio offset,0,1)
[0079]
output＝(1-wa)
×
nrout wa×
input
[0080]
其中，addbackratio为所述raw图像在每个预设区域的每个像素点对应的局部噪
声回加比例；wa为所述raw图像的噪声回加的权重；offset为全局噪声回加比例；clip(a,b,c)为自定义运算符，其具有如下运算逻辑：
[0081]
若a《b，则a＝b；
[0082]
若a》c，则a＝c；
[0083]
若均不符合上述2种判断条件，则a＝a。
[0084]
另一方面，本发明还提供一种基于bayer格式的raw图像的去噪方法，采用上述所述的基于bayer格式的raw图像的去噪装置，包括以下步骤：
[0085]
s1：所述图像数据输入单元根据所述原始带噪图像获得基于bayer格式的raw图像的图像数据；
[0086]
s2：所述局部参数估计单元根据raw图像的图像数据估算出所述raw图像中每个像素点对应的局部去噪强度和局部噪声回加比例，同时，所述相似度计算单元根据所述raw图像的图像数据计算出所述raw图像在每个预设窗口区域内不同类型邻域之间的相似度；
[0087]
s3：所述权重计算单元根据所述局部去噪强度和所述相似度，计算出每个所述像素点周围的每个所述预设窗口区域内同通道各像素点的权重；
[0088]
s4：所述纹理计算单元根据所述权重计算出每个所述像素点周围的所述预设窗口区域内的局部纹理信息；
[0089]
s5：所述权重修正单元根据所述局部纹理信息对所述权重进行修正，以得到新的权重；
[0090]
s6：所述加权平均单元将所述新的权重和每个预设窗口区域内各同通道的每个像素点进行加权平均，以得到当前点的去噪结果，从而得到去噪图像；以及
[0091]
s7：所述噪声回加单元根据所述去噪图像和局部噪声回加比例获得最终的去噪结果，从而得到最终的去噪图像。
[0092]
可选的，步骤s2具体包括如下步骤：
[0093]
s21：所述亮度计算单元对所述raw图像在每个所述预设窗口区域中的同通道像素点进行滤波处理，以得到所述预设窗口区域中的每个像素点对应的亮度值；其中，所述预设窗口区域为15
×
15区域；
[0094]
s22：所述第一分段线性映射单元根据所述预设窗口区域中的每个像素点对应的亮度值进行5段线性映射和平方根，以得到所述预设窗口区域中的每个像素点对应的局部去噪强度；
[0095]
s23：所述第二分段线性映射单元根据所述预设窗口区域中的每个像素点对应的亮度值进行5段线性映射，以得到所述预设窗口区域中的每个像素点对应的局部噪声回加比例；以及
[0096]
s24：所述相似度计算单元对所述raw图像在每个预设窗口区域内进行8个方向上的1
×
2类型邻域中对应通道像素点相减再求绝对值操作，得到8个相似度矩阵。
[0097]
可选的，在s3中，所述权重计算单元的具体实现方法是：对所述相似度计算单元输出的8个相似度矩阵通过负指数函数运算得到8个权重矩阵。
[0098]
可选的，在s4中，所述纹理计算单元的具体实现方法是：对所述权重计算单元输出的8个权重矩阵通过高通滤波处理运算，并得到8个纹理度。
[0099]
可选的，在s5中，所述权重修正单元的具体实现方法是：以所述纹理计算单元输出
的8个纹理度作为平滑参数，对所述权重计算单元输出的8个权重矩阵进行双边滤波，再将滤波结果与每个权重矩阵相乘得到8个新的权重矩阵。
[0100]
可选的，在s6中，所述加权平均单元的具体实现方法是：对所述图像数据输入单元输出的所述raw图像在每个15
×
15区域内对应的同通道像素点分别进行加权平均得到8个去噪结果，最后将8个结果再次平均得到去噪图像。
[0101]
可选的，在s7中，所述噪声回加单元的具体实现方法是：将所述去噪图像与局部噪声回加比例进行加权平均得到最终结果。
[0102]
进一步的，所述噪声回加单元根据第二分段线性映射单元输出的局部噪声回加比例将加权平均单元的输出结果和所述raw图像的图像数据进行加权平均运算。
[0103]
与现有技术相比，本发明具有以下有益效果：
[0104]
本发明提供一种基于bayer格式的raw图像的去噪装置及其方法，去噪装置包括图像数据输入单元、局部参数估计单元、相似度计算单元、权重计算单元、纹理计算单元、权重修正单元、加权平均单元和噪声回加单元，图像数据输入单元用于根据原始带噪图像获得基于bayer格式的raw图像的图像数据；局部参数估计单元用于根据所述raw图像的图像数据估算出所述raw图像中每个像素点对应的局部去噪强度和局部噪声回加比例；相似度计算单元用于根据所述raw图像的图像数据计算出所述raw图像在每个预设窗口区域内不同类型邻域之间的相似度；权重计算单元用于根据所述局部去噪强度和相似度计算出每个所述像素点周围的每个所述预设窗口区域内同通道各像素点的权重；纹理计算单元用于根据所述权重计算出每个所述像素点周围的所述预设窗口区域内的局部纹理信息；权重修正单元用于根据所述局部纹理信息对所述权重进行修正，以得到新的权重；加权平均单元用于将所述新的权重和每个预设窗口区域内各同通道的每个像素点进行加权平均，以得到当前点的去噪结果，从而得到去噪图像；以及噪声回加单元用于根据所述去噪图像和局部噪声回加比例获得最终的去噪结果，从而得到最终的去噪图像。本发明通过相似度计算单元计算局部不同类型邻域的相似度，以及权重修正单元的权重自修正可以更好地去除噪声，同时，局部参数估计单元根据raw图像的局部信息自适应估计去噪参数(即局部去噪强度和局部噪声回加比例)，提升了去噪效果，且有利于硬件实现。
附图说明
[0105]
图1为本发明一实施例的一种基于bayer格式的raw图像的去噪装置的结构示意图；
[0106]
图2为本发明一实施例提供的局部参数估计单元的结构示意图；
[0107]
图3为本发明一实施例的原始图像当前点的周围像素input
15
×
15
的示意图；
[0108]
图4为本发明一实施例提供的相似度计算单元的结构示意图；
[0109]
图5为本发明一实施例提供的8种邻域类型的示意图；
[0110]
图6为本发明一实施例提供的权重修正单元的结构示意图；
[0111]
图7a-7b为本发明一实施例的基于bayer格式的raw图像的去噪方法的流程示意图。
[0112]
附图标记说明：
[0113]
1-图像数据输入单元；2-局部参数估计单元；21-亮度计算单元；22-第一分段线性
映射单元；23-第二分段线性映射单元；3-相似度计算单元；311-第一邻域类型；312-第二邻域类型；313-第三邻域类型；314-第四邻域类型；315-第五邻域类型；316-第六邻域类型；317-第七邻域类型；318-第八邻域类型；32-相似度计算子单元；4-权重计算单元；5-纹理计算单元；6-权重修正单元；61-双边滤波单元；7-加权平均单元；8-噪声回加单元。
具体实施方式
[0114]
以下将对本发明的一种基于bayer格式的raw图像的去噪装置及其方法作进一步的详细描述。下面将参照附图对本发明进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明而仍然实现本发明的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。
[0115]
为了清楚，不描述实际实施例的全部特征。在下列描述中，不详细描述公知的功能和结构，因为它们会使本发明由于不必要的细节而混乱。应当认为在任何实际实施例的开发中，必须做出大量实施细节以实现开发者的特定目标，例如按照有关系统或有关商业的限制，由一个实施例改变为另一个实施例。另外，应当认为这种开发工作可能是复杂和耗费时间的，但是对于本领域技术人员来说仅仅是常规工作。
[0116]
为使本发明的目的、特征更明显易懂，下面结合附图对本发明的具体实施方式作进一步的说明。需说明的是，附图均采用非常简化的形式且均使用非精准的比率，仅用以方便、明晰地辅助说明本发明实施例的目的。
[0117]
图1为本实施例的一种基于bayer格式的raw图像的去噪装置的结构示意图。如图1所示，本实施例提供一种基于bayer格式的raw图像的去噪装置，包括图像数据输入单元1、局部参数估计单元2、相似度计算单元3、权重计算单元4、纹理计算单元5、权重修正单元6、加权平均单元7和噪声回加单元8。
[0118]
所述图像数据输入单元1用于根据原始带噪图像获得基于bayer格式的raw图像的图像数据，并将所述raw图像的图像数据输出至局部参数估计单元2、相似度计算单元3和加权平均单元7。其中，根据配置的不同，所述图像数据输入单元1输出的raw图像的图像数据的位宽不同，通常默认为12bit位宽的图像数据。所述图像数据包括亮度信息。
[0119]
图2为本实施例提供的局部参数估计单元的结构示意图。图3为本实施例的原始图像当前点的周围像素input
15
×
15
的示意图。如图2-3所示，所述局部参数估计单元2用于根据所述raw图像的图像数据估算出所述raw图像中每个像素点对应的局部去噪强度和局部噪声回加比例，并将所述局部去噪强度输出至权重计算单元4，将所述局部噪声回加比例输出至所述噪声回加单元8。详细的，所述局部参数估计单元2将所述raw图像按照预设窗口区域的大小进行逐一像素点扫描，以计算出每个所述预设窗口区域的局部去噪强度和局部噪声回加比例。
[0120]
由于去噪强度估计的目的是实现去噪参数自适应，其理论依据为emva1288标准中所定义的噪声模型，具体参见公式(2)，也就是说，理论上可以根据亮度平均值标定噪声强度；噪声回加比例计算的目的是根据不同的亮度计算出与其对应的噪声回加比例，一般来说，在同一图像中，图像的暗区的信噪比会低于其他区域的信噪比，因此，往往会加入一定比例的原始带噪信息。
[0121]
基于上述理论，所述局部参数估计单元2可以根据所述raw图像的每个预设窗口区域的局部亮度信息估计出当前像素点所对应的局部噪声强度和局部噪声回加比例。
[0122]
所述局部参数估计单元2包括亮度计算单元21、第一分段线性映射单元22和第二分段线性映射单元23。所述亮度计算单元21用于对所述raw图像在每个所述预设窗口区域中的同通道像素点进行滤波处理，以得到所述预设窗口区域中每个像素点对应的亮度值。详细的，所述亮度计算单元21计算所述预设窗口区域中每个像素点对应的亮度值的具体实现方法是：通过计算所述raw图像中每个所述像素点的周围预设窗口区域内同通道像素点的加权平均值。本实施例以所述预设窗口区域为15x15区域为例，所述亮度计算单元21对所述raw图像在每个15
×
15区域中的同通道像素点进行滤波处理，以得到所述预设窗口区域中的每个像素点对应的亮度值luma。
[0123]
其中，所述亮度值luma满足以下计算公式：
[0124]
luma＝(input
15
×
15
[16] input
15
×
15
[18] input
15
×
15
[20] input
15
×
15
[22]
[0125]
input
15
×
15
[24] input
15
×
15
[26] input
15
×
15
[28] input
15
×
15
[46]
[0126]
input
15
×
15
[48] input
15
×
15
[50] input
15
×
15
[52] input
15
×
15
[54]
[0127]
input
15
×
15
[56] input
15
×
15
[58] input
15
×
15
[76] input
15
×
15
[78]
[0128]
input
15
×
15
[80] input
15
×
15
[84] input
15
×
15
[86] input
15
×
15
[88]
[0129]
input
15
×
15
[106] input
15
×
15
[108] input
15
×
15
[116] input
15
×
15
[118]
[0130]
input
15
×
15
[136] input
15
×
15
[138] input
15
×
15
[140] input
15
×
15
[144]
[0131]
input
15
×
15
[146] input
15
×
15
[148] input
15
×
15
[166] input
15
×
15
[168]
[0132]
input
15
×
15
[170] input
15
×
15
[172] input
15
×
15
[174] input
15
×
15
[176]
[0133]
input
15
×
15
[178] input
15
×
15
[196] input
15
×
15
[198] input
15
×
15
[200]
[0134]
input
15
×
15
[202] input
15
×
15
[204] input
15
×
15
[206] input
15
×
15
[208]
[0135][0136]
2
×
(input
15
×
15
[82] input
15
×
15
[110] input
15
×
15
[114] input
15
×
15
[142])
[0137]
4
×
input
15
×
15
[112])/56(3)
[0138]
其中，input
15
×
15
为每个像素点的周围15x15区域的像素值。
[0139]
所述第一分段线性映射单元22用于根据所述预设窗口区域中的每个像素点对应的亮度值进行5段线性映射和平方根，以得到所述预设窗口区域中的每个像素点对应的局部去噪强度。
[0140]
其中，所述局部去噪强度的估计值sigma的计算公式如下：
[0141][0142]
其中，luma为所述raw图像的预设窗口区域中每个像素点的亮度值；s
s0～4
为配置参数，具体为5段线性映射中每段的斜率；x
s0～4
为配置参数，具体为5段线性映射中每段起始点的横坐标值；y
s0～4
为配置参数，具体为5段线性映射中每段起始点的纵坐标值。
[0143]
所述第二分段线性映射单元23用于根据所述预设窗口区域中的每个像素点对应
的亮度值进行5段线性映射，以得到所述预设窗口区域中的每个像素点对应的局部噪声回加比例。
[0144]
其中，所述局部噪声回加比例的估计值addbackratio的计算公式如下：
[0145][0146]
其中，luma为所述raw图像的预设窗口区域中每个像素点的亮度值；s
a0～4
为配置参数，具体为5段线性映射中每段的斜率；x
a0～4
为配置参数，具体为5段线性映射中每段起始点的横坐标值；y
a0～4
为配置参数，具体为5段线性映射中每段起始点的纵坐标值。
[0147]
图4为本实施例提供的相似度计算单元的结构示意图。如图4所示，所述相似度计算单元3用于根据所述raw图像的图像数据计算出所述raw图像在每个预设窗口区域内同通道各像素点的邻域与中心像素点的邻域之间的相似度。详细的，所述相似度计算单元3的具体实现方法是：对所述raw图像在每个所述预设窗口区域(例如15
×
15区域)内进行8个方向上的1
×
2类型邻域中对应通道像素点相减再求绝对值操作，得到8个相似度矩阵。
[0148]
进一步的，所述相似度计算单元3包括并行设置的8个邻域类型，以及相似度计算子单元32，通过每个所述邻域类型均和相似度计算子单元32计算出一个相似度矩阵，最终得到8个相似度矩阵。图5为本实施例提供的8种邻域类型的示意图。如图5所示，在本实施例中，8个邻域类型例如为8个方向上的1
×
2邻域相似度计算类型(具体例如第一邻域类型311、第二邻域类型312、第三邻域类型313、第四邻域类型314、第五邻域类型315、第六邻域类型316、第七邻域类型317和第八邻域类型318)，这8种邻域类型分别代表各像素点的垂直水平方向上的邻域和斜对角方向的邻域，能够更好地还原图像的细节信息，且有效降低人工去噪痕迹。所述相似度计算子单元32在计算相似度时，需要将周围每个像素点的邻域(即1
×
2矩阵)与中心像素点的邻域(即1
×
2矩阵)按同通道相减再计算绝对值，最终得到8个7
×
7的相似度矩阵dist。
[0149]
每个相似度矩阵dist
i,j,k
的计算公式如下：
[0150][0151]
其中，center为所述raw图像的预设窗口区域中每个像素点及其邻域的像素值；neighbor为所述raw图像的预设窗口区域中每个像素点周围15
×
15区域内其他同通道点及其邻域的像素值；c为通道，且c＝0时与道和中心像素点相同的通道，c＝1时与中心像素点不同的通道；dist为相似度矩阵，其大小例如为7
×7×
8；i和j分别为dist矩阵的二维坐标位置；k为dist矩阵的第三维坐标位置。
[0152]
所述权重计算单元4用于根据所述raw图像在每个预设窗口区域内同通道各像素点的邻域与中心像素点的邻域之间的相似度，以及所述raw图像中每个像素点对应的局部去噪强度，计算出每个像素点周围的每个预设窗口区域内同通道各像素点的权重，并将所述权重输出至所述纹理计算单元5和权重修正单元6。详细的，所述权重计算单元4的具体实现方法是：对所述相似度计算单元3输出的8个相似度矩阵通过负指数函数运算得到8个权
重矩阵。一般地，相似度越高，权重越大，反之越小。
[0153]
每个所述权重矩阵weight1
i,j,k
的计算公式如下：
[0154][0155]
其中，dist为相似度矩阵，其大小例如为7
×7×
8；sigma为所述raw图像在每个预设窗口区域中的每个像素点对应的局部去噪强度；weight1为每个像素点的周围15
×
15区域内同通道点的权重矩阵，其大小为7
×7×
8；e代表指数运算；i和j分别为dist矩阵以及weight1矩阵的二维坐标位置；k为dist矩阵以及weight1矩阵的第三维坐标位置。
[0156]
所述纹理计算单元5用于根据所述权重(具体的为8个权重矩阵)计算出每个像素点周围在每个预设窗口区域内的局部纹理信息。由于这里不直接使用原始图像(即所述raw图像)的局部区域进行纹理度计算的原因是原始图像没有经过白化处理，不同亮度区域的残差值不能统一，且在低光照场景下更容易受到噪声的影响。因此，所述纹理计算单元5的具体实现方法是：对所述权重计算单元4输出的8个权重矩阵通过高通滤波处理运算，并得到8个纹理度。
[0157]
每个纹理度texturek的计算公式如下：
[0158][0159]
其中，weight为每个像素点的周围15
×
15区域内同通道点的权重矩阵，其大小例如为7
×7×
8；highpasskernel为配置参数，具体为高通滤波器的参数；texture为每个像素点的周围15
×
15区域内的纹理度，其大小为1
×
8；i和j分别为weight1矩阵的二维坐标位置；k为weight1矩阵第三维坐标位置。
[0160]
所述权重修正单元6用于根据所述局部纹理信息对所述权重进行修正。由于所述权重计算单元4输出的权重仅考虑了像素点之间的相似度，没有体现整体局部纹理上的方向性，因此，所述权重修正单元6对所述权重进行自适应双边滤波，其中，自适应双边滤波所需的自适应参数为局部纹理信息。所述权重修正单元6的具体实现方法是：以所述纹理计算单元5输出的8个纹理度作为平滑参数，对所述权重计算单元4输出的8个权重矩阵进行双边滤波，以得到滤波结果，并将所述滤波结果与每个所述权重矩阵相乘得到8个新的权重矩阵。
[0161]
图6为本发明一实施例提供的权重修正单元的结构示意图。如图6所示，所述权重修正单元6包括双边滤波单元61，所述双边滤波单元61用于以所述纹理计算单元5输出的8个纹理度作为平滑参数，对所述权重计算单元4输出的8个权重矩阵进行双边滤波以得到滤波结果，所述权重修正单元6将滤波结果与每个权重矩阵相乘得到8个新的权重矩阵，并将新的权重矩阵输出至所述加权平均单元7。所述权重修正单元6的计算过程中涉及的公式如下：
[0162]di，j，k2
＝(x
i，j，k-x
center
)2 (y
i，j，k-y
center
)2(9)
[0163]
[0164]ri，i，k2
＝(weight
i，j，k-weight1
center，k
)2(11)
[0165][0166][0167]
其中，x
i,j
为每种邻域类型中7
×
7窗内点(i，j)在笛卡尔坐标系中的横坐标；y
i,j
为每种邻域类型中7
×
7窗内点(i，j)在笛卡尔坐标系中的纵坐标；d
i,j
为每种邻域类型中7
×
7窗内点(i，j)至7
×
7窗中心点的欧式距离；texture为每个像素点的周围15
×
15区域内的纹理度，其代表平滑强度；gaind为配置参数，具体为平滑强度的固定增益1；gaussiankernel为中间结果，具体为高斯核的值，其大小例如为7
×7×
8；weight为每个像素点的周围15
×
15区域内同通道点的权重矩阵，其大小例如为7
×7×
8；r
i,j
为每种邻域类型中7
×
7窗内点(i，j)的中心点的残差；gainr为配置参数，具体为平滑强度的固定增益2；residualkernel为中间结果，具体为残差核的值，其大小例如为7
×7×
8；bilateralkernel为双边滤波核的值，其大小例如为7
×7×
8；i和j分别为weight1矩阵的二维坐标位置；k为weight1矩阵的第三维坐标位置。
[0168]
在通过上述计算得到双边核矩阵后，直接和权重矩阵对应的位置相乘即得到修正后的权重(即新的权重矩阵)，每个新的权重矩阵weight2
i,j,k
的计算公式如下：
[0169][0170]
其中，i和j分别为weight1矩阵和weight2矩阵的二维坐标位置；k为weight1矩阵和weight2矩阵的第三维坐标位置；bilateralkernel为双边滤波核的值。
[0171]
所述加权平均单元7用于将所述权重修正单元6输出的权重和每个预设窗口区域内各同通道的每个像素点进行加权平均，以得到所述raw图像的当前通道像素点的去噪结果。所述加权平均单元7的具体实现方法是对所述图像数据输入单元1输出的所述raw图像在每个15
×
15区域内对应的同通道像素点分别进行加权平均得到8个去噪结果，最后将8个结果再次平均得到去噪图像。进一步的，所述加权平均单元7对所述raw图像中的当前通道像素点(如图3中的黑色区域)按照所述权重修正单元6输出的8个权重进行加权平均计算，再将8种邻域类型的加权平均结果再求平均。
[0172]
所述去噪结果nrout满足公式：
[0173][0174]
其中，input
15
×
15当前点
为所述raw图像中每个像素点的周围15
×
15区域内的同通道像素点(7
×
7)；weight2为每个像素点周围15
×
15区域内同通道点的权重矩阵，其大小为7
×7×
8；nrout的大小例如为1
×
1；i和j分别为dist矩阵以及weight2矩阵的二维坐标位置；k为dist矩阵以及weight2矩阵的第三维坐标位置。
[0175]
所述噪声回加单元8根据所述去噪图像和局部噪声回加比例获得最终去噪结果，从而完成原始带噪图像的去噪，即得到最终的去噪图像。所述噪声回加单元8的目的是在所述加权平均单元7去噪完成的基础上根据局部区域的亮度保留一定的噪声，主要针对所述raw图像中的较暗区域，以提高其信噪比，同时在一定程度上避免有效信息的丢失。详细的，所述噪声回加单元8的具体实现方法是：将所述去噪图像与局部噪声回加比例进行加权平均得到最终结果。进一步的，所述噪声回加单元8根据第二分段线性映射单元23输出的局部噪声回加比例将加权平均单元7的输出结果(即去噪图像)和所述raw图像的图像数据进行加权平均运算。
[0176]
所述最终去噪结果output满足以下公式：
[0177]
wa＝clip(addbackratio offset，0，1)(16)
[0178]
output＝(1-wa)
×
nrout wa×
input(17)
[0179]
其中，addbackratio为所述raw图像在每个预设区域的每个像素点对应的局部噪声回加比例；wa为中间结果，具体为所述raw图像的噪声回加的权重；offset为配置参数，具体为全局噪声回加比例；clip(a,b,c)为自定义运算符，具体如下运算逻辑：
[0180]
若a《b，则a＝b；
[0181]
若a》c，则a＝c；
[0182]
若均不符合上述2种判断条件，则a＝a。
[0183]
图7a-7b为本实施例的基于bayer格式的raw图像的去噪方法的流程示意图。如图7a-7b所示，本实施例还提供一种基于bayer格式的raw图像的去噪方法，包括以下步骤：
[0184]
s1：所述图像数据输入单元1根据所述原始带噪图像获得基于bayer格式的raw图像的图像数据；
[0185]
s2：所述局部参数估计单元2根据所述raw图像的图像数据估算出所述raw图像中每个像素点对应的局部去噪强度和局部噪声回加比例，同时，所述相似度计算单元3根据所述raw图像的图像数据计算出所述raw图像在每个预设窗口区域内不同类型邻域之间的相似度；
[0186]
s3：所述权重计算单元4根据所述局部去噪强度以及所述相似度，计算出每个所述像素点周围的每个所述预设窗口区域内同通道各像素点的权重；
[0187]
s4：所述纹理计算单元5根据所述权重计算出每个所述像素点周围在每个所述预设窗口区域内的局部纹理信息；
[0188]
s5：所述权重修正单元6根据所述局部纹理信息对所述权重进行修正，以得到新的权重；
[0189]
s6：所述加权平均单元7将所述新的权重和每个预设窗口区域内各同通道的每个像素点进行加权平均，以得到当前点的去噪结果，从而去噪图像；
[0190]
s7：所述噪声回加单元8根据所述去噪图像和局部噪声回加比例获得最终的去噪结果，从而得到最终的去噪图像。
[0191]
在步骤s1中，根据配置的不同，所述图像数据输入单元1输出不同位宽的所述raw图像的图像数据，通常默认为12bit的图像数据。
[0192]
步骤s2具体包括如下步骤：
[0193]
s21：所述亮度计算单元21对所述raw图像在每个所述预设窗口区域中的同通道像素点进行滤波处理，以得到所述预设窗口区域中的每个像素点对应的亮度值。其中，所述预设窗口区域例如为15
×
15区域。
[0194]
s22：所述第一分段线性映射单元22根据所述预设窗口区域中的每个像素点对应的亮度值进行5段线性映射和平方根，以得到所述预设窗口区域中的每个像素点对应的局部去噪强度。
[0195]
s23：所述第二分段线性映射单元23根据所述预设窗口区域中的每个像素点对应的亮度值进行5段线性映射，以得到所述预设窗口区域中的每个像素点对应的局部噪声回加比例。
[0196]
s24：所述相似度计算单元3对所述raw图像在每个预设窗口区域内进行8个方向上的1
×
2类型邻域中对应通道像素点相减再求绝对值操作，得到8个相似度矩阵。
[0197]
在s3中，所述权重计算单元4的具体实现方法是：对所述相似度计算单元3输出的8个相似度矩阵通过负指数函数运算得到8个权重矩阵。
[0198]
在s4中，所述纹理计算单元5的具体实现方法是：对所述权重计算单元4输出的8个权重矩阵通过高通滤波处理运算，并得到8个纹理度。
[0199]
在s5中，所述权重修正单元6的具体实现方法是：以所述纹理计算单元5输出的8个纹理度作为平滑参数，对所述权重计算单元4输出的8个权重矩阵进行双边滤波，再将滤波结果与每个权重矩阵相乘得到8个新的权重矩阵。
[0200]
在s6中，所述加权平均单元7的具体实现方法是：对所述图像数据输入单元1输出的所述raw图像在每个15
×
15区域内对应的同通道像素点分别进行加权平均得到8个去噪结果，最后将8个结果再次平均得到去噪图像。
[0201]
在s7中，所述噪声回加单元8的具体实现方法是：将所述去噪图像与局部噪声回加比例进行加权平均得到最终结果。进一步的，所述噪声回加单元8根据第二分段线性映射单元23输出的局部噪声回加比例将加权平均单元7的输出结果和所述raw图像的图像数据进行加权平均运算。
[0202]
综上所述，本发明提供一种基于bayer格式的raw图像的去噪装置及其方法，通过计算局部不同类型邻域的相似度，以及权重自修正的方法更好地去除噪声，同时，根据raw图像的局部信息，自适应估计去噪参数，提升了以往传统方法的去噪效果，且有利于硬件实现。
[0203]
此外，需要说明的是，除非特别说明或者指出，否则说明书中的术语“第一”、“第二”的描述仅仅用于区分说明书中的各个组件、元素、步骤等，而不是用于表示各个组件、元素、步骤之间的逻辑关系或者顺序关系等。
[0204]
可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。