Bayer图像处理的方法、装置、电子设备和存储介质与流程

bayer图像处理的方法、装置、电子设备和存储介质
技术领域
1.本发明涉及图像处理技术领域，特别涉及一种bayer图像处理的方法、装置、电子设备和存储介质。


背景技术：

2.目前常用的图像传感器ccd或者cmos，只能感应光照强度，不能分辨颜色。实际应用中，通常在感光器前放置一个彩色滤镜阵列(cfa)，每个像素点只记录一个颜色分量红色像素(绿色像素或蓝色像素)。因此需要插值出像素点的其余两个颜色分量，以得到图像的真实颜色。此种只含有红色像素(绿色像素或者蓝色像素)的cfa又称为bayercfa，其中最小的单元为2x2，包含一个红色像素点和一个蓝色像素点，两个绿色像素点。
3.cfa插值算法一般分为两步。首先是利用周围像素信息插值出绿色像素点，由于绿色像素的占比为1/2,其他两个都为1/4，一般情况下先插值绿色像素，然后根据绿色像素点插值红色或蓝色像素点。利用绿色像素点插值红色或蓝色像素，可以比较快速得到真实图像颜色。因此绿色像素的插值结果的准确性，直接影响能否将bayer图像准确地转换为rgb图像。通常bayer待处理图像存在一定的噪声，而且在第一步绿色像素插值的过程也会引入噪声，所述在利用绿色像素的插值结果计算其他两种像素的过程中会产生误差传递，影响最终红色像素和蓝色像素的插值结果。


技术实现要素：

4.本发明提供一种bayer图像处理的方法、装置、电子设备和存储介质，能够有效地对bayer图像进行插值并去除平坦区域的噪声，保留图像边缘信息，最大限度的还原图像真实彩色信息。本降噪方法不局限于用在绿色像素插值完成后，也可以通用于bayer图像降噪。
5.根据本发明的第一方面，提供了一种bayer图像处理的方法，所述方法包括：
6.获取待处理图像；
7.对所述待处理图像中指定像素点进行插值，得到所述指定像素点的绿色像素值，所述指定像素点的指定颜色的像素值是已确定的，其中，部分指定像素点的指定颜色为红色，部分指定像素点的指定颜色为蓝色；
8.对所有像素点的绿色像素值进行滤波；
9.基于滤波后的绿色像素值，以及所述指定像素点的的像素值，对每个像素点的剩余颜色的像素值进行插值，得到每个像素点最终的红色像素值、绿色像素值与蓝色像素值。
10.根据本发明的第二方面，提供了一种bayer图像处理的装置，包括：
11.获取模块，用于获取待处理图像；
12.绿色插值模块，用于对所述待处理图像中指定像素点的进行插值，得到所述指定像素点的绿色像素值，所述指定像素点的的像素值是已确定的，其中，部分指定像素点的为红色，部分指定像素点的为蓝色；
13.滤波模块，用于对所有像素点的绿色像素值进行滤波；
14.红蓝色插值模块，用于基于滤波后的绿色像素值，以及所述指定像素点的的像素值，对每个像素点的剩余颜色的像素值进行插值，得到每个像素点最终的红色像素值、绿色像素值与蓝色像素值。
15.根据本发明的第三方面，提供了一种电子设备，包括存储器与处理器，
16.所述存储器，用于存储代码；
17.所述处理器，用于执行所述存储器中的代码用以实现第一方面及其可选方案涉及的方法。
18.根据本发明的第四方面，提供了一种存储介质，其上存储有程序，所述程序被处理器执行时实现第一方面及其可选方案涉及的方法。
19.本发明提供的bayer图像处理的方法、装置、电子设备和存储介质，在bayer图像插值所述指定像素点缺少的绿色像素值后，实现了对绿色像素值的滤波降噪，减少噪声影响，然后基于滤波后的绿色像素值计算所述指定像素点的蓝色像素值和红色像素值。通过所述方法可以有效地对bayer图像进行插值并去除平坦区域的噪声，保留图像边缘信息，最大限度的还原图像真实彩色信息，提高rgb图像的准确性，所述bayer图像处理的方法也可以用较小的芯片来实现，达到降噪目的。
附图说明
20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
21.图1是本发明一实施例中待处理图像的滑动窗口示意图；
22.图2是本发明一实施例中bayer图像处理的方法流程示意图；
23.图3是本发明一实施例中bayer图像处理的方法中s12的流程示意图；
24.图4是本发明一实施例中第一融合参考信息和第二融合参考信息的相关性示意图；
25.图5是本发明一实施例中指定像素点的绿色像素滤波过程的流程示意图；
26.图6是本发明一实施例中步骤s131的流程示意图；
27.图7是本发明一实施例中bayer图像处理的装置200的程序模块示意图；
28.图8本发明一实施例中绿色像素插值模块202的子模块示意图；
29.图9本发明一实施例中绿色像素滤波模块203的子模块示意图；
30.图10本发明一是实施例中电子设备30的结构示意图。
具体实施方式
31.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
32.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
33.下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
34.请参考图1，本发明一实施例中待处理图像的滑动窗口示意图；
35.待处理图像采用滑动窗口选取指定像素点，所述滑动窗口的中心点为所述指定像素点，所述滑动窗口的大小为2
×
r 1，其中r为所述滑动窗口的半径。
36.请参照图2，本发明一实施例中bayer图像处理的方法流程示意图，所述方法包括：
37.步骤s11：获取待处理图像；
38.待处理图像为：通过感光器前放置的彩色滤镜阵列(cfa)获取到的原始图像或基于所述原始图像而得到的图像，其中每个像素点只记录红色、绿色或者蓝色三种颜色中的一种颜色分量，其中绿色像素点数量占总像素点数量的1/2，红色像素点和蓝色像素点数量各占总像素点的1/4；待处理图像可理解为一种bayer图像，其中，红色像素点、蓝色像素点、绿色像素点的分布可参照本领域对bayer图像的常规理解。
39.步骤s12：对所述待处理图像中指定像素点进行插值，得到所述指定像素点的绿色像素值；
40.所述指定像素点的指定颜色的像素值是已确定的，其中，部分指定像素点的指定颜色为红色，部分指定像素点的指定颜色为蓝色；
41.步骤s13：对所有像素点的绿色像素值进行滤波；
42.步骤s14：基于滤波后的绿色像素值，以及所述指定像素点的指定颜色的像素值，对每个像素点的剩余颜色的像素值进行插值，得到每个像素点的红色像素值、绿色像素值与蓝色像素值。
43.以上方案中，在bayer图像插值所述指定像素点缺少的绿色像素值后，实现了对绿色像素值的滤波降噪，减少噪声影响，然后基于滤波后的绿色像素值计算所述指定像素点的蓝色像素值和红色像素值。通过所述方法可以有效去除平坦区域的噪声，保留图像边缘信息，最大限度的还原图像真实彩色信息，提高rgb图像的准确性。
44.请参照图3，本发明一实施例中bayer图像处理的方法中s12的流程示意图，包括：
45.s121：计算所述待处理图像中每个像素点所处位置的像素值在第一方向上的第一色差，以及在第二方向上的第二色差；
46.所述指定像素点的指定颜色的像素值是已确定的，其中，部分指定像素点的指定颜色为红色，部分指定像素点的指定颜色为蓝色；
47.s122：基于所述第一色差与第二色差，确定第一方向性差值、第二方向性差值和无方向差值；
48.具体可例如：基于所述第一色差与第二色差，评估所述第一方向上像素值变化影
响下指定像素点的目标差值，得到第一方向性差值，评估第二方向上像素值变化影响下指定像素点的目标差值，得到第二方向性差值，评估周围像素值变化对指定像素点的目标差值的影响，得到无方向差值；所述目标差值表征了所述指定像素点的的像素值与绿色像素值的差值；
49.s123：基于所述第一色差与所述第二色差，确定所述指定像素点的差值融合参考信息，所述差值融合参考信息表征了所述第一方向性差值、所述第二方向性差值与所述无方向差值对融合后的目标差值的影响；
50.s124：基于所述指定像素点的融合参考信息，融合所述第一方向性差值、所述第二方向性差值与所述无方向差值，得到所述指定像素点的融合后的目标差值；
51.s125：基于所述融合后的目标差值，确定所述指定像素点的绿色像素值。
52.其中s121包括：基于以下公式计算所述待处理图像中指定像素点所处位置的像素值在第一方向上的第一色差，以及在第二方向上的第二色差：
53.dh
i，j
＝c
i，j-(g
i，j-1
g
i，j 1
)/2；
54.dv
i，j
＝c
i，j-(g
i-1，j
g
i 1，j
)/2；
55.dh
i，j-1
＝g
i，j-1-(c
i，j-2
c
i，j
)/2；
56.dv
i-1，j
＝g
i-1，j-(c
i-2，j
c
i，j
)/2；
57.其中：
58.c
i，j
为所述待处理图像中(i，j)位置的指定像素点的指定像素值，若所述指定像素点为红色像素点时，公式中c
i，j
值为红色像素值，若所述指定像素点为蓝色像素点，公式中c
i，j
值为蓝色像素值；
59.dh
ixj
为所述待处理图像中(i，j)位置的指定像素点的第一色差；
60.dv
i，j
为所述待处理图像中(i，j)位置的指定像素点的第二色差；
61.c
i，j
表征了所述待处理图像中(i，j)位置的指定像素点的指定颜色的像素值；
62.c
i，j-2
表征了所述待处理图像中(i，j-2)位置的指定颜色的像素值；
63.c
i-2，j
表征了所述待处理图像中(i-2，j)位置的指定颜色的像素值；
64.g
i，j 1
为所述待处理图像中(i，j 1)位置的绿色像素值；
65.g
i-1，j
为所述待处理图像中(i-1，j)位置的绿色像素值；
66.g
i 1，j
为所述待处理图像中(i 1，j)位置的绿色像素值；
67.步骤s122中，可以基于所述第一色差与第二色差，计算所述指定像素点的东向色差、西向色差、北向色差和南向色差，所述计算步骤包括：
68.计算所述指定像素点及其沿东向的一个或多个像素点的第一色差的统计值，得到东向色差；其中的东向指所述第一方向的正向；对应的计算公式可例如：
69.deltae
i，j
＝(dh
i，j 2
dh
i，j 1
dh
i，j
)/3；
70.其中，deltae
i，j
为所述待处理图像中(i，j)位置的所述东向差值，dh
i，j 2
为所述待处理图像中(i，j 2)位置的所述第一色差，dh
i，j 1
为所述待处理图像中(i，j 1)位置的所述第一色差，dh
i，j
为所述待处理图像中(i，j)位置的所述第一色差；
71.计算所述指定像素点及其沿西向的一个或多个像素点的第一色差的统计值，得到西向差值；其中的西向指所述第一方向的负向；对应的计算公式可例如：
72.deltaw
i，j
＝(dh
i，j-2
dh
i，j-1 dh
i，j
)/3；
73.其中，
74.deltaw
i，j
为所述待处理图像中(i，j)位置的所述西向差值；
75.dh
i，j-2
为所述待处理图像中(i，j-2)位置的所述第一色差；
76.dh
i，j-1
为所述待处理图像中(i，j-1)位置的所述第一色差；
77.dh
i，j
为所述待处理图像中(i，j)位置的所述第一色差；
78.计算所述指定像素点及其沿南向的一个或多个像素点的第一色差的统计值，得到南向差值；其中的南向指所述第二方向的正向；
79.deltas
i，j
＝(dv
i 2，j
dv
i 1，j
dv
i，j
)/3；
80.其中，
81.deltas
i，j
为所述待处理图像中(i，j)位置的所述南向差值；
82.dv
i 2，j
为所述待处理图像中(i 2，j)位置的所述第二色差；
83.dv
i 1
，j为所述待处理图像中(i 1，j)位置的所述第二色差；
84.dv
i，j
为所述待处理图像中(i，j)位置的所述第二色差；
85.计算所述指定像素点及其沿北向的一个或多个像素点的第一色差的统计值，得到北向差值；其中的北向指所述第二方向的负向；
86.deltan
i，j
＝(dv
i-2，j
dv
i-1，j
dv
i，j
)/3；
87.其中，
88.deltan
i，j
为所述待处理图像中(i，j)位置的所述北向差值；
89.dv
i-2，j
为所述待处理图像中(i-2，j)位置的所述第二色差；
90.dv
i-1，j
为所述待处理图像中(i-1，j)位置的所述第二色差；
91.dv
i，j
为所述待处理图像中(i，j)位置的所述第二色差；
92.步骤s122中，可以基于所述第一色差与第二色差，计算所述指定像素点的东向融合参考信息、西向融合参考信息、南向参考信息和北向参考信息，所述计算过程包括：
93.计算所述指定像素点的东向融合参考信息：
94.we
i，j
＝|dh
i，j
| |dh
i，j 2-dh
i，j 1
| α1
×
|dh
i，j-dh
i，j 1
| α2
95.×
|dh
i-1，j-dh
i-1，j 1
| α3
×
|dh
i 1，j-dh
i 1，j 1
|
96.其中，
97.we
i，j
表征了所述待处理图像中(i，j)位置的所述指定像素点的东向融合参考信息；
98.dh
i，j
表征了所述待处理图像中(i，j)位置的所述第一色差；
99.dh
i，j 2
表征了所述待处理图像中(i，j 2)位置的所述第一色差；
100.dh
i，j 1
表征了所述待处理图像中(i，j 1)位置的所述第一色差；
101.dh
i，j
表征了所述待处理图像中(i，j)位置的所述第一色差；
102.dh
i-1，j
表征了所述待处理图像中(i-1，j)位置的所述第一色差；
103.dh
i-1，j 1
表征了所述待处理图像中(i-1，j 1)位置的所述第一色差；
104.dh
i 1j
表征了所述待处理图像中(i 1，j)位置的所述第一色差；
105.dh
i 1，j 1
表征了所述待处理图像中(i 1，j 1)位置的所述第一色差；
106.a1、a2、a3为计算所述融合参考信息使用的系数，0≤a1、a2、a3≤1；
107.计算所述指定像素点西向融合参考信息：
108.ww
i，j
＝|dh
i，j
| |dh
i，j-2-dh
i，j-1
| α1
×
|dh
i，j-dh
i，j-1
| α2
109.×
|dh
i-1，j-dh
i-1，j-1
| α3
×
|dh
i 1，j-dh
i i，j-1
|
110.ww
i，j
表征了所述待处理图像中(i，j)位置的所述指定像素点的西向融合参考信息；
111.dh
i，j
表征了所述待处理图像中(i，j)位置的所述第一色差；
112.dh
i，j-2
表征了所述待处理图像中(i，j-2)位置的所述第一色差；
113.dh
i，j-1
表征了所述待处理图像中(i，j-1)位置的所述第一色差；
114.dh
i-1，j
表征了所述待处理图像中(i-1，j)位置的所述第一色差；
115.dh
i-1，j-1
表征了所述待处理图像中(i-1，j-1)位置的所述第一色差；
116.dh
i 1，j
表征了所述待处理图像中(i 1，j)位置的所述第一色差；
117.a1、a2、a3为计算所述融合参考信息使用的系数，0≤a1、a2、a3≤1；
118.计算所述指定像素点的南向融合参考信息：
119.ws
i，j
＝|dv
i，j
| |dv
i 2，j-dv
i 1，j
| α1
×
|dv
i，j-dv
i 1，j
| α2
120.×
|dv
i，j-1-dv
i 1，j-1
| α3
×
|dv
i，j 1-dv
i 1，j 1
|
121.ws
i，j
表征了所述待处理图像中(i，j)位置的所述指定像素点的南向融合参考信息；
122.dv
i 2，j
表征了所述待处理图像中(i 2，j)位置的所述第二色差；
123.dv
i 1，j
表征了所述待处理图像中(i 1，j)位置的所述第二色差；
124.dv
i，j
表征了所述待处理图像中(i，j)位置的所述第二色差；
125.dv
i 1，j-1
表征了所述待处理图像中(i 1，j-1)位置的所述第二色差；
126.dv
i，j-1
表征了所述待处理图像中(i，j-1)位置的所述第二色差；
127.dv
i 1，j 1
表征了所述待处理图像中(i 1，j 1)位置的所述第二色差；
128.dv
ij 1
表征了所述待处理图像中(i，j 1)位置的所述第二色差；
129.a1、a2、a3为计算所述融合参考信息使用的系数，0≤a1、a2、a3≤1；
130.计算所述指定像素点的北向融合参考信息：
131.wn
i，j
＝|dv
i，j
| |dv
i-2，j-dv
i-1，j
| α1
×
|dv
i，j-dv
i-1，j
| α2
132.×
|dv
i，j-1-dv
i-1，j-1
| α3
×
|dv
i，j 1-dh
i-1，j 1
]
133.wn
i，j
表征了所述待处理图像中(i，j)位置的所述指定像素点的北向融合参考信息；
134.dv
i，j
表征了所述待处理图像中(i，j)位置的所述第二色差；
135.dv
i-1j
表征了所述待处理图像中(i-1，j)位置的所述第二色差；
136.dv
i-2，j
表征了所述待处理图像中(i-2，j)位置的所述第二色差；
137.dv
i，j-1
表征了所述待处理图像中(i，j-1)位置的所述第二色差；
138.dv
i-1，j-1
表征了所述待处理图像中(i-1，j-1)位置的所述第二色差；
139.dv
i，j 1
表征了所述待处理图像中(i，j 1)位置的所述第二色差；
140.dv
i-1，j 1
表征了所述待处理图像中(i-1，j 1)位置的所述第二色差；
141.a1、a2、a3为计算所述融合参考信息使用的系数，0≤a1、a2、a3≤1；
142.融合参考信息计算使用滑动窗的大小并不唯一。
143.步骤s122中，可以基于所述东向融合参考信息、所述西向融合参考信息，对所述东
向色差与所述西向色差进行加权求和，得到所述第一方向性差值：
[0144][0145]
其中：
[0146]
deltah
i，j
表征了所述待处理图像中(i，j)位置的所述指定像素点的第一方向性差值；
[0147]
deltax
i，j
表征了所待处理图像中(i，j)位置的x方向差值，其中x为东向和西向；
[0148]
wx
i，j
表征了所待处理图像中(i，j)位置的x方向融合参考信息，其中x的方向为东向和西向；
[0149]
基于所述南向融合参考信息、所述北向融合参考信息，对所述南向色差与所述北向色差进行加权求和，得到所述第二方向性差值：
[0150][0151]
其中：
[0152]
deltav
i，j
表征了所述待处理图像中(i，j)位置的所述指定像素点的第二方向性差值；
[0153]
deltax
i，j
表征了所待处理图像中(i，j)位置的x方向差值，其中x为南向和北向；
[0154]
wx
i，j
表征了所待处理图像中(i，j)位置的x方向融合参考信息，其中x为南向和北向；
[0155]
基于以下公式计算所述无方向差值：
[0156][0157]
其中：
[0158]
deltahvi，j表征了所述待处理图像中(i，j)位置的所述指定像素点的无方向差值；
[0159]
deltax
i，j
表征了所待处理图像中(i，j)位置的x方向差值，其中x为东向、西向、南向和北向；
[0160]
wx
i，j
表征了所待处理图像中(i，j)位置的x方向融合参考信息，其中x的方向为东向、西向、南向和北向。
[0161]
步骤s123：基于所述第一色差与第二色差，计算所述指定像素点的差值融合参考信息，
[0162]
计算过程包括：
[0163]
基于以下公式计算所述第一梯度和第二梯度：
[0164]
diffh
i，j
＝|dh
i，j-1-dh
i，j 1
|
[0165]
diffv
i，j
＝|dv
i-1，j-dv
i 1，j
|
[0166]
其中，
[0167]
diffh
i，j
表征了所述待处理图像中(i，j)位置的所述指定像素点的所述第一梯度；
[0168]
diffv
i，j
表征了所述待处理图像中(i，j)位置的所述指定像素点的所述第二梯度；
[0169]
dh
i，j-1
表征了所述待处理图像中(i，j-1)位置的所述第一色差；
[0170]
dh
i，j 1
表征了所述待处理图像中(i，j 1)位置的所述第一色差；
[0171]
dv
i-1，j
表征了所述待处理图像中(i-1，j)位置的所述第二色差；
[0172]
dv
i 1，j
表征了所述待处理图像中(i 1，j)位置的所述第二色差；
[0173]
基于以下公式计算所述第一梯度阈值上限、第一梯度阈值下限、第二梯度阈值上限、第二梯度阈值下限：
[0174]
thl1＝diffv
i，j
×
coef1；thh1＝diffv
i，j
×
coef2
[0175]
thl2＝diffv
i，j
×
coef3；thh2＝diffv
i，j
×
coef4
[0176]
其中，cofe1＜cofe2，cofe3＜cofe4，
[0177]
cofe1≥1，cofe2≥1，0≤cofe3≤1，0≤cofe4≤1
[0178]
其中，
[0179]
thl1表征了所述待处理图像中的所述指定像素点的第一梯度阈值下限；
[0180]
thh1表征了所述待处理图像中的所述指定像素点的第一梯度阈值上限；
[0181]
thl2表征了所述待处理图像中的所述指定像素点的第二梯度阈值下限；
[0182]
thh2表征了所述待处理图像中的所述指定像素点的第二梯度阈值上限；
[0183]
diffv
i，j
表征了所述待处理图像中(i，j)位置的所述指定像素点的所述第二梯度；
[0184]
coef1、coef2表征了所述待处理图像中的所述第一梯度阈值的评估系数；
[0185]
coef3、coef4表征了所述待处理图像中的所述第二梯度阈值的评估系数；
[0186]
基于以下公式计算所述第一融合参考信息和第二融合参考信息：
[0187][0188][0189]
其中：
[0190]
alphah
i，j
表征了所述待处理图像中的所述指定像素点的所述第一融合参考信息；
[0191]
alphav
i，j
表征了所述待处理图像中的所述指定像素点的所述第二融合参考信息；
[0192]
diffh
i，j
表征了所述待处理图像中(i，j)位置的所述指定像素点的所述第一梯度；
[0193]
diffv
i，j
表征了所述待处理图像中(i，j)位置的所述指定像素点的所述第二梯度；
[0194]
thl1表征了所述待处理图像中的所述指定像素点的第一梯度阈值下限；
[0195]
thh1表征了所述待处理图像中的所述指定像素点的第一梯度阈值上限；
[0196]
thl2表征了所述待处理图像中的所述指定像素点的第二梯度阈值下限；
[0197]
thh2表征了所述待处理图像中的所述指定像素点的第二梯度阈值上限。
[0198]
步骤s124：基于所述指定像素点的融合参考信息，融合所述第一方向性差值、所述第二方向性差值与所述无方向差值，得到所述指定像素点的融合后的目标差值，所述计算过程包括：
[0199][0200]
其中：
[0201]
delta
i，j
表征了所述待处理图像中(i，j)位置的所述指定像素点的所述融合后的目标差值；
[0202]
deltah
i，j
表征了所述待处理图像中(i，j)位置的所述指定像素点的所述第一方向性差值；
[0203]
deltav
i，j
表征了所述待处理图像中(i，j)位置的所述指定像素点的所述第二方向性差值；
[0204]
deltahv
i，j
表征了所述待处理图像中(i，j)位置的所述指定像素点的所述无方向差值；
[0205]
alphah
i，j
表征了所述待处理图像中(i，j)位置的所述指定像素点的所述第一融合参考信息；
[0206]
alphav
i，j
表征了所述待处理图像中(i，j)位置的所述指定像素点的所述第二融合参考信息；
[0207]
diffh
i，j
表征了所述待处理图像中(i，j)位置的所述指定像素点的所述第一梯度；
[0208]
diffv
i，j
表征了所述待处理图像中(i，j)位置的所述指定像素点的所述第二梯度；
[0209]
thl1表征了所述待处理图像中的所述指定像素点的第一梯度阈值下限；
[0210]
thh1表征了所述待处理图像中的所述指定像素点的第一梯度阈值上限；
[0211]
thl2表征了所述待处理图像中的所述指定像素点的第二梯度阈值下限；
[0212]
thh2表征了所述待处理图像中的所述指定像素点的第二梯度阈值上限。
[0213]
请参考图4，本发明一实施例中所述第一融合参考信息和第二融合参考信息的相关性示意图。
[0214]
所述融合后的目标差值delta
i，j
的计算过程采用的阈值包括所述第一融合参考信息alphah
i，j
和第二融合参考信息alphav
i，j
，当阈值为多个时，曲线线段也对应的增加。
[0215]
另一实施例中，可以采用几种滑动窗口的计算结果共同融合得到所述所述第一梯度差值diffh
i，j
和所述第二梯度差值diffv
i，j
。
[0216]
可选的，当所述梯度阈值为一个的情况下，所述目标差值的计算公式如下：
[0217][0218]
所述alpha为配置参数，一般情况下，alpha的取值为0～1。
[0219]
deltah
i，j
表征了所述待处理图像中(i，j)位置的所述指定像素点的所述第一方向性差值；
[0220]
deltav
i，j
表征了所述待处理图像中(i，j)位置的所述指定像素点的所述第二方向性差值；
[0221]
deltahv
i，j
表征了所述待处理图像中(i，j)位置的所述指定像素点的所述无方向差值；
[0222]
步骤s125：基于所述融合后的目标差值，确定所述指定像素点的绿色像素值，所述计算过程包括：
[0223]
计算所述指定像素点的融合后的目标差值与所述指定像素点的原始像素值之和，得到所述指定像素点的绿色像素值：
[0224]gi，j
＝c
i，j
delta
i，j
；
[0225]
其中：
[0226]gi，j
表征了所述待处理图像中的(i，j)位置的所述指定像素点的绿色像素值，即所述绿色像素的插值结果；
[0227]ci，j
表征了所述待处理图像中的(i，j)位置的所述指定像素点的的像素值；
[0228]
delta
i，j
表征了所述待处理图像中的(i，j)位置的所述指定像素点的所述融合后的目标差值。
[0229]
本发明的实施例中，基于所述指定像素点的融合参考信息选择所述绿色像素的插值方向。所述阈值的选择及阈值关系是本发明的重点内容之一。阈值可以是单个或者多个。本发明分别以两个阈值和单阈值时的融合参考信息计算所述目标差值。不论哪种阈值选择方式，都符合本发明的宗旨，达到所述插值方向性选择及插值结果融合的目的。
[0230]
请参考图5，本发明一实施例中所述指定像素点的绿色像素滤波方法的流程示意图，由于红色像素和蓝色像素插值依赖于绿色像素，绿色像素的插值结果精确与否直接影响图像的质量，所以绿色像素插值完成后，对所有绿色像素进行噪声处理，以减少噪声对bayer图像转换为rgb图像的影响。
[0231]
步骤s13可以包括：
[0232]
步骤s131：基于所述待处理图像中每个像素点所处位置的绿色像素值和原始像素值，确定所述指定像素点的绿色像素修正值；
[0233]
步骤s132：基于所述待处理图像中每个像素点所处位置的原始像素值，确定每个像素点的滤波融合参考信息；所述滤波融合参考信息表征了对应像素点的绿色像素值和绿色像素修正值对融合后的绿色像素值的影响；
[0234]
步骤s133：基于所述滤波融合参考信息，融合所述绿色像素值与所述绿色像素修正值，得到对应像素点的融合后的绿色像素值，并以所述融合后的绿色像素值作为所述滤波后的绿色像素值。
[0235]
请参考图6，本发明一实施例中步骤s131的流程示意图；
[0236]
所述步骤s131包括：
[0237]
s1311：基于所述待处理图像中每个像素点所处位置的绿色像素值，评估所述第一方向上绿色像素值变化影响下对应像素点的均值，得到第一方向性均值；评估第二方向上绿色像素值变化影响下指定像素点的均值，得到第二方向性均值；
[0238]
基于以下公式计算所述第一方向性均值：
[0239][0240]
其中：
[0241]
gh
i，j
表征了所述第一方向上绿色像素值变化影响下对应像素点的均值，即所述第一方向均值；
[0242]gi，j-1
表征了所述待处理图像中的(i，j-1)位置的绿色像素值；
[0243]gi，j
表征了所述待处理图像中的(i，j)位置的绿色像素值；
[0244]gi，j 1
表征了所述待处理图像中的(i，j 1)位置的绿色像素值；
[0245]
基于以下公式计算所述第二方向性均值：
[0246][0247]
gv
i，j
表征了所述第二方向上绿色像素值变化影响下对应像素点的均值，即所述第二方向均值；
[0248]gi，j
表征了所述待处理图像中的(i，j)位置的绿色像素值；
[0249]gi-1，j
表征了所述待处理图像中的(i-1，j)位置的绿色像素值；
[0250]gi 1，j
表征了所述待处理图像中的(i 1，j)位置的绿色像素值；
[0251]
s1312：基于所述待处理图像中每个像素点所处位置的原始像素值，确定所述第一方向的第一方向滤波融合参考信息以及所述第二方向的第二方向滤波融合参考信息；
[0252]
基于以下公式计算所述第一方向滤波融合参考信息和所述第二方向滤波融合参考信息：
[0253][0254][0255]
wh
i，j
表征了所述待处理图像中的(i，j)位置的所述第一方向滤波融合参考信息；
[0256]
wv
i，j
表征了所述待处理图像中的(i，j)位置的所述第二方向滤波融合参考信息；
[0257]ii，j
表征了所述待处理图像中(i，j)位置的原始像素值；
[0258]ii-1，j-1
表征了所述待处理图像中(i-1，j-1)位置的原始像素值；
[0259]ii-1，j
表征了所述待处理图像中(i-1，j)位置的原始像素值；
[0260]ii-1，j 1
表征了所述待处理图像中(i-1，j 1)位置的原始像素值；
[0261]ii，j-1
表征了所述待处理图像中(i，j-1)位置的原始像素值；
[0262]ii，j 1
表征了所述待处理图像中(i，j 1)位置的原始像素值；
[0263]ii 1，j-1
表征了所述待处理图像中(i 1，j-1)位置的原始像素值；
[0264]ii 1，j
表征了所述待处理图像中(i 1，j)位置的原始像素值；
[0265]ii 1，j 1
表征了所述待处理图像中(i 1，j 1)位置的原始像素值；
[0266]
s1313：基于一个或多个像素点的第一滤波融合参考信息，确定第一方向性滤波参考信息，并基于一个或多个像素点的第二滤波融合参考信息，确定第二方向性滤波参考信息；
[0267]
可基于以下公式计算所述第一方向性滤波参考信息和所述第二方向性滤波参考信息：
[0268][0269][0270]
其中：
[0271]
表征了所述待处理图像中(i，j)位置的所述指定像素点的第一方向性滤波参考信息；
[0272]
表征了所述待处理图像中(i，j)位置的所述指定像素点的第二方向性滤波参考信息；
[0273]
r1为半径，表征了所述待处理图像中计算时所选取的所述第一方向正向、所述第一方向负向、所述第二方向正向和所述第二方向负向上的像素点的数量；
[0274]
n表征了在所述半径为r1的范围内的像素点总数；
[0275]
wh
m，n
表征了所述待处理图像中以r1为半径范围内的像素点的所述第一方向滤波参考信息，其中：-r1≤m≤r1，-r1≤n≤r1；
[0276]
wv
m，n
表征了所述待处理图像中以r为半径范围内的像素点的所述第二方向滤波参考信息，其中：-r1≤m≤r1，-r1≤n≤r1；
[0277]
s1314：基于所述第一方向性均值、所述第二方向性均值、所述第一方向性滤波参考信息和所述第二方向性滤波参考信息，计算所述指定像素点的绿色像素修正值；
[0278]
具体可基于以下公式计算：
[0279][0280]
其中：
[0281]
gest
i，j
表征了所述待处理图像中(i，j)位置的绿色像素修正值；
[0282]
表征了所述待处理图像中(i，j)位置的第一方向性滤波参考信息；
[0283]
表征了所述待处理图像中(i，j)位置的第二方向性滤波参考信息；
[0284]
gh
i，j
表征了所述待处理图像中的(i，j)位置的所述第一方向性均值；
[0285]
gv
i，j
表征了所述待处理图像中的(i，j)位置的所述第二方向性均值。
[0286]
步骤s132还可以包括：
[0287]
基于所述指定像素点的绿色像素修正值计算所述指定像素点的绿色像素修正值的均值和方差，基于以下公式计算；
[0288]
[0289][0290]
其中：
[0291]
表征了所述待处理图像中的(i，j)位置的所述指定像素点的所述绿色像素修正值的均值；
[0292]
r1为半径，表征了所述待处理图像中计算时所选取的所述第一方向正向、所述第一方向负向、所述第二方向正向和所述第二方向负向上的像素点的数量；
[0293]
n表征了在所述半径为r1的范围内的像素点总数；
[0294]
gest
m，n
表征了以所述待处理图像中以r1为半径范围内像素点的绿色像素修正值，其中：-r1≤m≤r，-r1≤n≤r1；
[0295]
var
i，j
表征了所述待处理图像中的(i，j)位置的所述指定像素点的所述绿色像素修正值的方差；
[0296]
本发明举例使用均值参与方差var的计算，这样可以简化计算，所述计算方法还可以利用所述绿色像素修正值的期望值代替所述均值进行所述方差var的计算。
[0297]
基于所述绿色像素修正值的均值和方差，确定所述绿色像素的滤波融合参考信息，所述滤波融合参考信息基于以下公式计算：
[0298][0299]
其中：
[0300]
var
i，j
表征了所述待处理图像中的(i，j)位置的所述指定像素点的所述绿色像素修正值的方差；
[0301]
varn表征了所述待处理图像中的(i，j)位置的所述指定像素点的噪声方差，所述噪声方差，可以根据所述待处理图像的亮度或者梯度计算得到；
[0302]
alpha表征了所述待处理图像中的(i，j)位置的所述指定像素点的所述滤波融合参考信息；
[0303]
另一实施例中，所述噪声为高斯噪声，所述滤波融合参考信息的计算公式如下：
[0304][0305]
alpha表征了所述待处理图像中的(i，j)位置的所述滤波融合参考信息；
[0306]
步骤s133：基于所述滤波融合参考信息，融合所述绿色像素值与所述绿色像素修正值，得到对应像素点的融合后的绿色像素值，并以所述融合后的绿色像素值作为所述滤波后的绿色像素值，基于以下公式计算所述滤波后的绿色像素值g
‘
i，j
：
[0307][0308]
其中：
[0309]g‘
i，j
表征了所述待处理图像中的(i，j)位置的滤波后绿色像素值；
[0310]gi，j
表征了所述待处理图像中的(i，j)位置的绿色像素值；
[0311]
alpha表征了所述待处理图像中的(i，j)位置的所述滤波融合参考信息；
[0312]
表征了所述待处理图像中的(i，j)位置的所述绿色像素修正值的均值。
[0313]
本发明提到的滤波方法也可以用在bayer域图像滤波，所述滤波融合参考信息融合所述指定像素点周围的绿色像素点或者其他方式计算，并不限制于采用本发明方法所获取的绿色像素值后使用该方法进行滤波。
[0314]
步骤s14：基于滤波后的绿色像素值，以及所述指定像素点的的像素值，对每个像素点的剩余颜色的像素值进行插值，得到每个像素点的红色像素值、绿色像素值与蓝色像素值。
[0315]
例如，若所述滑动窗中心点为蓝色像素点，所述红色像素值的计算公式如下：
[0316][0317]
其中：
[0318]ri，j
表征了所述待处理图像中的(i，j)位置的红色像素值；
[0319]g‘
i，j
表征了所述待处理图像中的(i，j)位置的滤波后绿色像素值；
[0320]g‘
i-1，j-1
表征了所述待处理图像中的(i-1，j-1)位置的滤波后绿色像素值；
[0321]g‘
i-1，j 1
表征了所述待处理图像中的(i-1，j 1)位置的滤波后绿色像素值；
[0322]g‘
i 1，j-1
表征了所述待处理图像中的(i 1，j-1)位置的滤波后绿色像素值；
[0323]g‘
i 1，j 1
表征了所述待处理图像中的(i 1，j 1)位置的滤波后绿色像素值；
[0324]ri-1，j-1
表征了所述待处理图像中的(i-1，j-1)位置的红色像素值；
[0325]ri-1，j 1
表征了所述待处理图像中的(i-1，j 1)位置的红色像素值；
[0326]ri 1，j-1
表征了所述待处理图像中的(i 1，j-1)位置的红色像素值；
[0327]ri 1，j 1
表征了所述待处理图像中的(i 1，j 1)位置的红色像素值。
[0328]
若所述滑动窗中心点为红色像素点，用蓝色像素值替换以上计算公式中的红色像素值即可得到蓝色像素值的计算公式，从而计算出对应的蓝色像素值。
[0329]
一种像素点插值方式中，若所述滑动窗中心点为绿色像素点gb，所述gb可理解为水平方向上与蓝色分量相邻的绿色分量，所述滑动窗中心点的红色像素值和蓝色像素值的计算公式如下：
[0330][0331][0332]ri，j
表征了所述待处理图像中的(i，j)位置的红色像素值；
[0333]g‘
i，j
表征了所述待处理图像中的(i，j)位置的波后绿色像素值；
[0334]ri-1，j
表征了所述待处理图像中的(i-1，j)位置的红色像素值；
[0335]ri 1，j
表征了所述待处理图像中的(i 1，j)位置的红色像素值；
[0336]g‘
i-1，j
表征了所述待处理图像中的(i-1，j)位置的滤波后绿色像素值；
[0337]g‘
i 1，j
表征了所述待处理图像中的(i 1，j)位置的滤波后绿色像素值；
[0338]bi，j
表征了所述待处理图像中的(i，j)位置的蓝色像素值；
[0339]bi，j-1
表征了所述待处理图像中的(i，j-1)位置的蓝色像素值；
[0340]bi，j 1
表征了所述待处理图像中的(i，j 1)位置的蓝色像素值；
[0341]g‘
i，j-1
表征了所述待处理图像中的(i，j-1)位置的滤波后绿色像素值；
[0342]g‘
i，j 1
表征了所述待处理图像中的(i，j 1)位置的滤波后绿色像素值；
[0343]
若所述滑动窗中心点为绿色像素点gr，所述gr可理解为水平方向上与红色分量相邻的绿色分量，所述滑动窗中心点的红色像素值和蓝色像素值的计算公式如下：
[0344][0345][0346]ri，j
表征了所述待处理图像中的(i，j)位置的红色像素值；
[0347]g‘
i，j
表征了所述待处理图像中的(i，j)位置的滤波后绿色像素值；
[0348]ri-1，j
表征了所述待处理图像中的(i-1，j)位置的红色像素值；
[0349]ri 1，j
表征了所述待处理图像中的(i 1，j)位置的红色像素值；
[0350]g‘
i-1，j
表征了所述待处理图像中的(i-1，j)位置的滤波后绿色像素值；
[0351]g‘
i 1，j
表征了所述待处理图像中的(i 1，j)位置的滤波后绿色像素值；
[0352]bi，j
表征了所述待处理图像中的(i，j)位置的蓝色像素值；
[0353]bi，j-1
表征了所述待处理图像中的(i，j-1)位置的蓝色像素值；
[0354]bi，j 1
表征了所述待处理图像中的(i，j 1)位置的蓝色像素值；
[0355]g‘
i，j-1
表征了所述待处理图像中的(i，j-1)位置的滤波后绿色像素值；
[0356]g‘
i，j 1
表征了所述待处理图像中的(i，j 1)位置的滤波后绿色像素值。
[0357]
请参考图7，提供了一种bayer图像处理的装置200包括：
[0358]
获取模块201，用于获取待处理图像；
[0359]
绿色插值模块202，用于对所述待处理图像中指定像素点进行插值，得到所述指定像素点的绿色像素值，所述指定像素点的指定颜色的像素值是已确定的，其中，部分指定像素点的指定颜色为红色，部分指定像素点的指定颜色为蓝色；
[0360]
滤波模块203，用于对所有像素点的绿色像素值进行滤波；
[0361]
红蓝色插值模块204，用于基于滤波后的绿色像素值，以及所述指定像素点的原始像素值，对每个像素点的剩余颜色的像素值进行插值，得到每个像素点的红色像素值、绿色像素值与蓝色像素值；
[0362]
请参考图8，所述绿色插值模块202的子模块示意图；
[0363]
色差计算子模块2021，用于计算所述待处理图像中每个像素点所处位置的像素值在第一方向上的第一色差，以及在第二方向上的第二色差；所述指定像素点的指定颜色的像素值是已确定的，其中，部分指定像素点的为红色，部分指定像素点的为蓝色；
[0364]
方向性差值计算子模块2022，用于基于所述第一色差与第二色差，评估所述第一方向上像素值变化影响下指定像素点的目标差值，得到第一方向性差值，评估第二方向上像素值变化影响下指定像素点的目标差值，得到第二方向性差值，评估周围像素值变化影响下指定像素点的目标差值，得到无方向差值；所述目标差值表征了所述指定像素点的原始像素值与绿色像素值的差值；
[0365]
差值融合参考信息计算子模块2023，用于基于所述第一色差与所述第二色差，确定所述指定像素点的差值融合参考信息，所述差值融合参考信息表征了所述第一方向性差值、所述第二方向性差值与所述无方向差值对融合后的目标差值的影响；
[0366]
目标差值计算子模块2024，基于所述指定像素点的融合参考信息，融合所述第一方向性差值、所述第二方向性差值与所述无方向差值，得到所述指定像素点的融合后的目标差值；
[0367]
绿色像素融合子模块2025，基于所述融合后的目标差值，确定所述指定像素点的绿色像素值。
[0368]
请参考图9，所述滤波模块203的子模块示意图；
[0369]
绿色像素修正值计算子模块2031，用于基于每个像素点所处位置的绿色像素值和原始像素值，确定所述指定像素点的绿色像素修正值；
[0370]
滤波融合参考信息计算子模块2032，用于基于每个像素点所处位置的绿色像素值，确定每个像素点的滤波融合参考信息；所述滤波融合参考信息表征了对应像素点的绿色像素值和绿色像素修正值对融合后的绿色像素值的影响；
[0371]
绿色像素滤波融合子模块2033，用于基于所述滤波融合参考信息，融合所述绿色像素值与所述绿色像素修正值，得到对应像素点的融合后的绿色像素值，并以所述融合后的绿色像素值作为所述滤波后的绿色像素值。
[0372]
本发明提供的bayer图像处理的方法、装置、电子设备和存储介质，在bayer图像插值所述指定像素点缺少的绿色像素后，获得一灰度图像，通过对所述灰度图像进行降噪，减少噪声影响，然后基于所述指定像素的所述绿色像素插值计算所述指定像素点的蓝色像素值和红色像素值。通过所述方法能够提高rgb图像的精确性，也可以用较小的芯片实现等方面的代价达到降噪目的。
[0373]
请参考图10，提供了一种电子设备30，包括：
[0374]
处理器31；以及，
[0375]
存储器32，用于存储所述处理器的可执行指令；
[0376]
其中，所述处理器31配置为经由执行所述可执行指令来执行以上所涉及的方法。
[0377]
处理器31能够通过总线33与存储器32通讯。
[0378]
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所涉及的方法。
[0379]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0380]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。