图像处理方法、装置、电子设备和计算机可读存储介质与流程

1.本技术涉及计算机技术领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。


背景技术：

2.随着电子设备的发展，越来越多的用户通过电子设备拍摄图像。其中，电子设备中的摄像头中包括图像传感器，图像传感器中通常设置了以拜耳阵列形式排布的滤光片阵列。在拍摄过程中，图像传感器中的像素阵列能够接收穿过滤光片的光线，从而生成不同色彩通道的像素信号。然后，将不同色彩通道的像素信号进行插值处理，就可以生成目标图像。
3.然而，在将不同色彩通道的像素信号进行插值处理生成目标图像的过程中，插值结果准确性较低，进而导致最终所生成的目标图像的清晰度较低。


技术实现要素：

4.本技术实施例提供了一种图像处理方法、装置、电子设备、计算机可读存储介质，可以提高了最终所得到的目标图像的清晰度。
5.一方面，提供了一种图像处理方法，应用于电子设备，所述电子设备包括图像传感器，所述图像传感器包括滤光片阵列和像素阵列，所述滤光片阵列包括最小重复单元，所述最小重复单元包括多个滤光片组，所述滤光片组包括彩色滤光片和全色滤光片；在所述滤光片组中所述彩色滤光片设置在第一对角线方向，所述全色滤光片设置在第二对角线方向，所述第一对角线方向与所述第二对角线方向不同；所述像素点阵列包括多个全色像素和多个彩色像素，每个所述全色像素对应所述全色滤光片，每个所述彩色像素对应所述彩色滤光片；
6.所述方法包括：
7.对通过所述图像传感器获取到的原始图像进行插值处理，生成全尺寸全色通道图像；其中，所述原始图像包括彩色像素以及全色像素；
8.通过所述全尺寸全色通道图像对所述原始图像中各不同颜色的彩色像素进行滤波处理，生成与各不同颜色的彩色像素分别对应的特定彩色通道图像；
9.基于各所述特定彩色通道图像，生成目标图像。
10.另一方面，还提供了一种图像处理装置，应用于电子设备，所述电子设备包括图像传感器，所述图像传感器包括滤光片阵列和像素阵列，所述滤光片阵列包括最小重复单元，所述最小重复单元包括多个滤光片组，所述滤光片组包括彩色滤光片和全色滤光片；在所述滤光片组中所述彩色滤光片设置在第一对角线方向，所述全色滤光片设置在第二对角线方向，所述第一对角线方向与所述第二对角线方向不同；所述像素点阵列包括多个全色像素和多个彩色像素，每个所述全色像素对应所述全色滤光片，每个所述彩色像素对应所述彩色滤光片；
11.所述装置包括：
12.第一生成模块，用于对通过所述图像传感器获取到的原始图像进行插值处理，生成全尺寸全色通道图像；其中，所述原始图像包括彩色像素以及全色像素；
13.第二生成模块，用于对所述全尺寸全色通道图像对所述原始图像中各不同颜色的彩色像素进行滤波处理，生成与各不同颜色的彩色像素分别对应的特定彩色通道图像；
14.第三生成模块，用于基于各所述特定彩色通道图像，生成目标图像。
15.另一方面，提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述的图像处理方法的步骤。
16.另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的方法的步骤。
17.上述图像处理方法和装置、电子设备、计算机可读存储介质，首先，对通过图像传感器获取到的原始图像进行插值处理，生成全尺寸全色通道图像。由于插值所得的全尺寸全色通道图像，能够大大提高图像的亮度，使得画面层次更加分明、画面更加通透。因此，可以通过全尺寸全色通道图像对原始图像中各不同颜色的彩色像素进行滤波处理，生成与各不同颜色的彩色像素分别对应的特定彩色通道图像。最后，基于各特定彩色通道图像，生成目标图像，进而提高了最终所得到的目标图像的清晰度、使得分辨率更高。
附图说明
18.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为一个实施例中图像处理方法的应用环境图；
20.图2为一个实施例中图像处理方法的流程图；
21.图3为一个实施例中三个通道经由双边滤波计算后整合输出为bayer格式的输出图像的示意图；
22.图4为一个实施例中对w通道图像中的w像素及原始图像中的彩色像素进行滤波处理的示意图；
23.图5为一个实施例中图像处理流程的示意图；
24.图6为图2中对通过图像传感器获取到的原始图像进行插值处理，生成全尺寸全色通道图像的流程图；
25.图7为图6中生成新的w像素的像素值的流程图；
26.图8为一个实施例中生成用新的w像素的像素值的示意图；
27.图9为一个实施例中针对平坦区域，生成用于替换彩色像素a的新的w像素的像素值的示意图；
28.图10为一个实施例中针对非平坦区域，生成用于替换彩色像素a的新的w像素的像素值的示意图；
29.图11为一个实施例中各纹理方向的w像素对的示意图；
30.图12为另一个实施例中各纹理方向的w像素对的示意图；
31.图13为一个实施例中w像素的权重矩阵w_weight、彩色像素的权重矩阵rgb_weight、b像素的分布矩阵b_mask的示意图；
32.图14为一个具体的实施例中图像处理方法的流程图；
33.图15为图14中计算输入像素的纹理方向方法的流程图；
34.图16为一个实施例中图像传感器的结构示意图；
35.图17为一个实施例中像素阵列和读出电路的连接示意图；
36.图18为一个实施例中图像处理装置的结构框图；
37.图19为一个实施例中电子设备的内部结构示意图。
具体实施方式
38.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
39.可以理解，本技术所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本技术的范围的情况下，可以将第一预设区域称为第二预设区域，且类似地，可将第二预设区域称为第一预设区域。第一预设区域和第二预设区域两者都是预设区域，但其不是同一预设区域。
40.图1为一个实施例中图像处理方法的应用环境示意图。如图1所示，该应用环境包括电子设备120，电子设备120包括图像传感器，图像传感器包括滤光片阵列和像素阵列，滤光片阵列包括最小重复单元，最小重复单元包括多个滤光片组，滤光片组包括彩色滤光片和全色滤光片；在滤光片组中彩色滤光片设置在第一对角线方向，全色滤光片设置在第二对角线方向，第一对角线方向与第二对角线方向不同；像素点阵列包括多个全色像素和多个彩色像素，每个全色像素对应全色滤光片，每个彩色像素对应彩色滤光片。
41.电子设备120对通过图像传感器获取到的原始图像进行插值处理，生成全尺寸全色通道图像；其中，原始图像包括彩色像素以及全色像素；通过全尺寸全色通道图像对原始图像中各不同颜色的彩色像素进行滤波处理，生成与各不同颜色的彩色像素分别对应的特定彩色通道图像；基于各特定彩色通道图像，生成目标图像。其中，电子设备可以是手机、平板电脑、pda(personal digital assistant，个人数字助理)、穿戴式设备(智能手环、智能手表、智能眼镜、智能手套、智能袜子、智能腰带等)、vr(virtual reality，虚拟现实)设备、智能家居、无人驾驶汽车等任意终端设备。
42.图2为一个实施例中图像处理方法的流程图。本实施例中的图像处理方法，以运行于图1中的电子设备上为例进行描述。如图2所示，图像处理方法包括步骤220至步骤260。其中，
43.步骤220，对通过图像传感器获取到的原始图像进行插值处理，生成全尺寸全色通道图像；其中，原始图像包括彩色像素以及全色像素。
44.电子设备包括图像传感器，图像传感器包括滤光片阵列和像素阵列，通过滤光片阵列和像素阵列就可以获取到原始图像。其中，像素阵列可以称之为rgbw像素阵列。其中，
原始图像也可以称之为rgbw图像，包括r通道(红色通道)、g通道(绿色通道)、b通道(蓝色通道)、及w通道(白色通道)这四个通道的图像，即原始图像包括红色像素(r像素)、绿色像素(g像素)、蓝色像素(b像素)以及全色像素(或称之为w像素)。其中，红色像素(r像素)、绿色像素(g像素)及蓝色像素(b像素)也可以称之为彩色像素。
45.在通过滤光片阵列和rgbw像素阵列获取到原始图像之后，就可以对通过图像传感器获取到的原始图像进行插值处理，生成全尺寸全色通道图像。其中，全色通道图像指的是w通道图像，全尺寸全色通道图像指的是与原始图像的图像尺寸一致的w通道图像，即将原始图像中的彩色像素均替换为全色像素，就得到了全尺寸全色通道图像。具体的，基于原始图像中的全色像素进行插值处理，生成新的全色像素。采用该新的全色像素替换原始图像中的彩色像素，如此，就生成了全尺寸全色通道图像。
46.步骤240，通过全尺寸全色通道图像对原始图像中各不同颜色的彩色像素进行滤波处理，生成与各不同颜色的彩色像素分别对应的特定彩色通道图像。
47.由于插值所得的全尺寸全色通道图像，能够大大提高图像的亮度，使得画面层次更加分明、画面更加通透。因此，在生成目标图像时，可以通过全尺寸全色通道图像对原始图像中各不同颜色的彩色像素进行滤波处理，生成与各不同颜色的彩色像素分别对应的特定彩色通道图像。特定彩色通道图像包括特定的r通道图像、特定的g通道图像、特定的b通道图像。特定的r通道图像包括滤波处理后在特定位置上所生成r像素，特定的g通道图像包括滤波处理后在特定位置上所生成g像素，以及特定的b通道图像包括滤波处理后在特定位置上所生成b像素。这里，并不对特定位置进行限定。具体的，可以通过该全尺寸全色通道图像对原始图像中各不同颜色的彩色像素(r像素、g像素、b像素)进行滤波处理，在特定位置上生成r像素、g像素、b像素。
48.可选的，可以采用双边滤波方法生成各个彩色像素对应的彩色通道图像。其中，双边滤波主要是将平坦区进行一个平滑的处理，处理过程如下表达式：
[0049][0050]
其中，ω表示一个局部窗口，可以是7乘7的，也可以是其他大小。q表示像素的坐标位置，iq表示滤波前窗口内的像素值。f表示9
×
9窗口每个坐标点的权重，是固定的，越靠近中心权重越大。g表示其他位置的像素与中心像素差异的权重，差异越大，权重越小。p为待求位置，jp为某通道待求的像素值。
[0051]
在以p为中心，ω表示的局部窗口中，寻找待求通道的原有值的坐标q，iq为其强度值，kp为待求通道的原有值的个数，jp等于局部窗口ω所有iq加权平均值。通过f函数可计算出iq对应的权重距离，通过g函数可计算每个iq对应的强度差异权重，f函数是距离函数，越靠近中心权重越大；g是强度差异函数，强度差异越大，权重越小。
[0052]
如图3所示，为一个实施例中三个通道经由双边滤波计算后整合输出为bayer格式的输出图像的示意图。基于全尺寸全色通道图像302，采用双边滤波对原始图像304中各不同颜色的彩色像素分别插值得到r通道图像306、g通道图像308、以及b通道图像310。将r通道图像306、g通道图像308、以及b通道图像310进行融合处理，得到目标图像312。
[0053]
如图4所示，以b像素为例，待求b像素的像素位置为(i,j)，在原始图像中以像素位置(i,j)处作为中心的n
×
n的窗口402，基于上面的距离权重函数f算出n
×
n窗口402中的b
像素的距离权重f，f为n
×
n的矩阵。在全尺寸全色通道图像中以像素位置(i,j)处作为中心的n
×
n的窗口404，基于上面的强度差异函数g算出n
×
n窗口中的全色像素的强度差异权重g。j为n
×
n的全色像素窗口，i为n
×
n的b像素窗口，无b像素的地方，矩阵值为0。
[0054]
对于每个n
×
n的窗口402中的各个b像素，计算各个b像素与(i,j)的b像素之间的距离权重f(可视为一个固定的权重模板)，确定各个b像素在窗口404对应的全色像素，计算各个像素位置与(i,j)的全色像素之间的强度差异权重g。hf为g与f的在b像素位置下的乘积权重，mosaicb为原有b像素的位置矩阵，则可按照以下公式计算出目标图像406中像素位置为(i,j)的b像素的像素值b(i,j)：
[0055]
hf＝g.*f.*mosaicb
[0056]
meanw＝sum(sum(hf.*j))
[0057]
meanb＝sum(sum(hf.*i))
[0058]
b(i,j)＝w(i,j)*meanb/meanw。
[0059]
以上采用双边滤波方法对w通道图像中全色像素及原始图像中的彩色像素进行插值处理，生成各个彩色像素对应的彩色通道图像的过程中，针对每个待插值的像素位置(i,j)，均考虑了该像素位置(i,j)对应到全尺寸全色通道图像中的目标全色像素与全尺寸全色通道图像中的其他全色像素之间的强度差异权重。还考虑了原始图像中该像素位置(i,j)周围的同一色彩的像素之间的距离权重，同一色彩的像素指的是与该像素位置(i,j)处待插值生成的像素同一色彩的像素。因此，这里的像素差权重可以从全尺寸全色通道图像的角度出发，对待插值的像素位置(i,j)处的像素的像素值进行调控，再结合距离权重，就可以提高待插值的像素位置(i,j)处的像素的像素值的准确性。
[0060]
步骤260，基于各特定彩色通道图像，生成目标图像。
[0061]
在通过全尺寸全色通道图像对原始图像中各不同颜色的彩色像素进行滤波处理，生成与各不同颜色的彩色像素分别对应的特定彩色通道图像之后，将特定的r通道图像、特定的g通道图像、以及特定的b通道图像进行融合处理，得到目标图像。其中，该目标图像可以为拜耳阵列图像。
[0062]
具体的，特定的r通道图像包括滤波处理后在特定位置上所生成r像素，特定的g通道图像包括滤波处理后在特定位置上所生成g像素，以及特定的b通道图像包括滤波处理后在特定位置上所生成b像素。因此，对特定的r通道图像、特定的g通道图像、以及特定的b通道图像进行融合处理，就可以得到r像素、g像素及b像素按照特定拜耳阵列排列的目标图像。例如，可以得到按照rggb/grbg/gbrg/bggr等拜耳阵列排列的目标图像。在本技术中，并未对拜耳阵列的排列类型进行限定，还可以包括除拜尔阵列以外的其他像素阵列。
[0063]
结合图5所示，为一个实施例中图像处理流程的示意图。首先，通过图像传感器sensor获取到原始图像502；其次，对通过图像传感器获取到的原始图像进行插值处理(interpolation)，生成全尺寸全色通道图像504。然后，可以通过全尺寸全色通道图像对原始图像中各不同颜色的彩色像素进行滤波处理，生成特定的r通道图像506、特定的g通道图像508、特定的b通道图像510。最后，基于特定的r通道图像506、特定的g通道图像508、特定的b通道图像510进行融合(fusion)，生成目标图像512。
[0064]
本实施例中的图像处理方法，首先，对通过图像传感器获取到的原始图像进行插值处理，生成全尺寸全色通道图像。由于插值所得的全尺寸全色通道图像，能够大大提高图
像的亮度，使得画面层次更加分明、画面更加通透。因此，可以通过全尺寸全色通道图像对原始图像中各不同颜色的彩色像素进行滤波处理，生成与各不同颜色的彩色像素分别对应的特定彩色通道图像。最后，基于各特定彩色通道图像，生成目标图像，进而提高了最终所得到的目标图像的清晰度、使得分辨率更高。
[0065]
在一个实施例中，如图6所示，步骤220，对通过图像传感器获取到的原始图像进行插值处理，生成全尺寸全色通道图像，包括：
[0066]
步骤222，通过图像传感器获取原始图像，遍历原始图像中各像素；
[0067]
步骤224，在确定原始图像的当前像素为彩色像素的情况下，基于包含彩色像素的第一预设区域内的各全色像素将当前像素插值为新的全色像素；
[0068]
步骤226，直到原始图像中所有彩色像素被插值为新的全色像素，生成全尺寸全色通道图像。
[0069]
具体的，通过图像传感器获取原始图像，然后，在将原始图像转换为全尺寸全色通道图像时，首先，遍历原始图像中各像素，判断该当前像素是否为彩色像素；在确定原始图像的当前像素为彩色像素的情况下，在该彩色像素周围获取包含彩色像素的第一预设区域，例如，将以该彩色像素为中心的预设尺寸的区域作为第一预设区域。如图5所示，在计算原始图像502中彩色像素a(图5中未示出)所处位置处的全色像素的像素值时，则从原始图像中获取以该彩色像素a为中心的11*11的区域作为第一预设区域。其中，11*11的区域表示沿水平方向依次排布了11个像素、沿垂直方向也依次排布了11个像素的区域。当然，本技术对预设尺寸不做限定，还可以选择其他尺寸，例如，5*5、9*9、15*15等。
[0070]
其次，从第一预设区域内获取全色像素的像素值，这里可以是从第一预设区域内获取所有全色像素的像素值，也可以是获取部分全色像素的像素值，本技术对此不做限定。且本技术不对所获取的全色像素的数目进行限定，可以是一个或多个。
[0071]
再次，基于包含彩色像素的第一预设区域内的各全色像素将当前像素插值为新的全色像素。若从第一预设区域内获取所有全色像素的像素值，则计算第一预设区域内的所有全色像素的像素值的加权平均值，生成新的全色像素的像素值，该新的全色像素即为当前像素的像素值。若从第一预设区域内获取部分全色像素的像素值，则计算第一预设区域内的该部分全色像素的像素值的加权平均值，生成新的全色像素的像素值，该新的全色像素即为当前像素的像素值，本技术对此不做限定。
[0072]
最后，在计算出当次遍历的当前像素的像素值之后，执行下一次遍历，直至原始图像中所有彩色像素被插值为新的全色像素，生成全尺寸全色通道图像。
[0073]
遍历原始图像中各像素，在确定原始图像的当前像素为彩色像素的情况下，针对原始图像中各彩色像素，均基于包含彩色像素的第一预设区域内的各全色像素将当前像素插值为新的全色像素。如此，就将原始图像502转换为了全尺寸全色通道图像504。
[0074]
本实施例中的图像处理方法，针对原始图像中各彩色像素，在计算该彩色像素所处位置处的全色像素的像素值时，首先，通过图像传感器获取原始图像，遍历原始图像中各像素。其次，在确定原始图像的当前像素为彩色像素的情况下，基于包含彩色像素的第一预设区域内的各全色像素将当前像素插值为新的全色像素。最后，循环遍历直到原始图像中所有彩色像素被插值为新的全色像素，生成全尺寸全色通道图像，如此，就将原始图像转换为了全尺寸全色通道图像。基于包含彩色像素的第一预设区域内的一个或多个全色像素，
能够准确地插值出新的全色像素。进而，提高了所生成的全尺寸全色通道图像的准确性。
[0075]
在一个实施例中，如图7所示，步骤224，针对原始图像中的各彩色像素，对包含彩色像素的第一预设区域内的全色像素的像素值进行插值处理，生成用于替换彩色像素的新的全色像素的像素值，包括：
[0076]
步骤224a，针对原始图像中的各彩色像素，获取包含彩色像素的第二预设区域的区域类型；区域类型包括平坦区域及非平坦区域；
[0077]
步骤224b，根据区域类型，基于第一预设区域内的全色像素对彩色像素插值为新的全色像素。
[0078]
具体的，针对原始图像中各彩色像素，在计算该彩色像素所处位置处的全色像素的像素值时，首先，在该彩色像素周围获取包含彩色像素的第二预设区域，且第二预设区域中的像素能够体现出该区域的区域类型，即根据第二预设区域内的像素可以确定出第二预设区域的区域类型。其中，第二预设区域的位置与尺寸可以与第一预设区域相同，也可以是第一预设区域不同，本技术对此不做限定。例如，将以该彩色像素为中心的预设尺寸的区域作为第二预设区域。在计算原始图像502中彩色像素a所处位置处的全色像素的像素值时，则从原始图像中获取以该彩色像素a为中心的5*5的区域作为第一预设区域。其中，5*5的区域表示沿水平方向依次排布了5个像素、沿垂直方向也依次排布了5个像素的区域。当然，本技术对预设尺寸不做限定，还可以选择其他尺寸，例如，4*4、5*7等。
[0079]
这里的区域类型主要体现为不同的纹理方向，其中，区域类型包括平坦区域及非平坦区域。平坦区域则无具体的纹理方向，非平坦区域则有具体的纹理方向。其中，不同类型的区域具有不同的纹理方向，且不同纹理方向的图像中的像素排布具有不同的特点。例如，水平纹理的图像中的像素在同一水平方向上的像素值较相似，相反地，垂直纹理的图像中的像素在同一垂直方向上的像素值较相似。因此，在生成用于替换彩色像素的新的全色像素的像素值时，不同的区域类型就会对应了不同的计算方式。
[0080]
然后，根据区域类型确定了新的全色像素的像素值的计算方式之后，就可以基于第一预设区域内的全色像素对彩色像素插值为新的全色像素。具体的，对包含该彩色像素的第一预设区域内的各全色像素的像素值进行插值处理，生成用于替换该彩色像素的新的全色像素的像素值。例如，根据区域类型从第一预设区域内确定用于计算新的全色像素的像素值的目标全色像素，并确定目标全色像素的插值权重。再基于目标全色像素及目标全色像素的插值权重，计算新的全色像素的像素值。
[0081]
本实施例中的图像处理方法，针对原始图像中的各彩色像素，获取包含彩色像素的第二预设区域的区域类型。其中，不同类型的区域具有不同的纹理方向，且不同纹理方向的图像中的像素排布具有不同的特点。因此，根据区域类型采用不同的计算方式，基于第一预设区域内的全色像素对彩色像素插值为新的全色像素。实现了对不同类型的区域，均可以准确地插值出新的全色像素，提高了最终所得到的全尺寸全色通道图像的准确性。
[0082]
在一个实施例中，针对原始图像中的各彩色像素，获取包含彩色像素的第二预设区域的区域类型，包括：
[0083]
针对原始图像中的各彩色像素，获取包含彩色像素的第二预设区域；
[0084]
根据第二预设区域内的全色像素的像素值计算各全色像素的标准差，将标准差作为第二预设区域的区域类型特征值；
[0085]
若区域类型特征值小于第一预设阈值，则确定包含彩色像素的第二预设区域的区域类型为平坦区域；若区域类型特征值大于或等于第一预设阈值，则确定包含彩色像素的第二预设区域的区域类型为非平坦区域。
[0086]
具体的，针对原始图像中的各彩色像素，首先，在该彩色像素周围获取包含彩色像素的第二预设区域。其次，根据第二预设区域内的全色像素的像素值，计算区域类型特征值。例如，计算第二预设区域内的全色像素的像素均值，根据第二预设区域内的各全色像素的像素值及全色像素的像素均值，计算各全色像素的标准差，将标准差作为第二预设区域的区域类型特征值。其中，区域类型特征值用于表征第二预设区域是否为平坦区域或非平坦区域。
[0087]
再次，判断区域类型特征值是否小于第一预设阈值，若区域类型特征值小于第一预设阈值，则确定包含彩色像素的第二预设区域的区域类型为平坦区域。最后，若区域类型特征值大于或等于第一预设阈值，则确定包含彩色像素的第二预设区域的区域类型为非平坦区域。其中，第一预设阈值为根据经验值所设定的阈值，用于区分平坦区域或非平坦区域，本技术对此不做限定。
[0088]
本实施例中的图像处理方法，针对原始图像中的各彩色像素，获取包含彩色像素的第二预设区域。根据第二预设区域内的全色像素的像素值计算各全色像素的标准差，将标准差作为第二预设区域的区域类型特征值。然后，就可以基于区域类型特征值与第一预设阈值之间的大小关系，准确地确定包含彩色像素的第二预设区域的区域类型为平坦区域或非平坦区域。进而，便于后续根据区域类型，基于第一预设区域内的全色像素对彩色像素插值为新的全色像素。实现了对不同类型的区域，均可以准确地生成新的全色像素，提高了最终所得到的全尺寸全色通道图像的准确性。
[0089]
在一个实施例中，根据第二预设区域内的全色像素的像素值计算各全色像素的标准差，将标准差作为第二预设区域的区域类型特征值，包括：
[0090]
计算包含彩色像素的第二预设区域内的全色像素的像素均值；
[0091]
根据包含彩色像素的第二预设区域内的各全色像素的像素值及全色像素的像素均值，计算各全色像素的标准差，将标准差作为第二预设区域的第二预设区域的区域类型特征值。
[0092]
其中，计算包含彩色像素的第二预设区域内的全色像素的像素均值，可以是计算第二预设区域内的所有全色像素的像素均值，也可以是计算第二预设区域内的部分全色像素的像素均值wmean，本技术对此不做限定。
[0093]
如图8所示，在计算原始图像802中彩色像素a所处位置处的全色像素的像素值时，则从原始图像中获取以该彩色像素a为中心、沿水平及垂直方向的3*5的区域作为第二预设区域。其中，3*5的区域表示沿水平方向依次排布了5个像素、沿垂直方向也依次排布了3个像素的区域。还可以在计算原始图像804中彩色像素a所处位置处的全色像素的像素值时，则从原始图像中获取以该彩色像素a为中心、沿水平及垂直方向的5*3的区域作为第二预设区域。其中，5*3的区域表示沿水平方向依次排布了3个像素、沿垂直方向也依次排布了5个像素的区域。还可以在计算原始图像606中彩色像素a所处位置处的全色像素的像素值时，则从原始图像中获取以该彩色像素a为中心、沿反对角线方向的2*4的区域作为第二预设区域。其中，2*4的区域表示沿对角线方向依次排布了2个像素、沿反对角线方向也依次排布了
4个像素的区域。当然，本技术对预设尺寸不做限定，还可以选择其他尺寸，例如，4*4、5*7等。
[0094]
然后，计算第二预设区域内的各全色像素的像素值w与像素均值wmean之间的商w/wmean，再计算所有的w/wmean的标准差，将标准差作为第二预设区域的区域类型特征值，就得到了第二预设区域的区域类型特征值。
[0095]
本实施例中的图像处理方法，基于第二预设区域内的全色像素的像素值，来计算第二预设区域的区域类型特征值。具体的，计算包含彩色像素的第二预设区域内的全色像素的像素均值，再根据包含彩色像素的第二预设区域内的各全色像素的像素值及全色像素的像素均值，计算各全色像素的标准差，将标准差作为第二预设区域的第二预设区域的区域类型特征值。如此，基于各全色像素的像素值与全色像素的像素均值之间的差异程度，就可以准确地计算出第二预设区域的区域类型特征值，进而准确地确定第二预设区域为平坦区域或非平坦区域。
[0096]
在一个实施例中，根据区域类型，基于第一预设区域内的全色像素对彩色像素插值为新的全色像素，包括：
[0097]
若区域类型为平坦区域，则从第一预设区域内的全色像素中确定与彩色像素在水平方向及垂直方向上相邻预设区域的目标全色像素；
[0098]
根据目标全色像素的像素值及目标全色像素的插值权重，计算新的全色像素的像素值。
[0099]
具体的，针对原始图像中的各彩色像素，根据第二预设区域内的全色像素的像素值计算各全色像素的标准差，将标准差作为第二预设区域的区域类型特征值；若区域类型特征值小于第一预设阈值，则确定包含彩色像素的第二预设区域的区域类型为平坦区域。
[0100]
若区域类型为平坦区域，则从包含彩色像素的第一预设区域内的全色像素中确定与彩色像素在水平方向及垂直方向上相邻预设区域的目标全色像素。结合图9所示，在计算原始图像902中彩色像素a所处位置处的全色像素的像素值时，基于包含彩色像素a的第二预设区域内的全色像素的像素值所计算出的区域类型特征值小于第一预设阈值，则确定包含彩色像素的第二预设区域的区域类型为平坦区域。由于平坦区域无具体的纹理方向，即处于平坦区域的像素的像素值较相似，因此，从包含该彩色像素a的第一预设区域内的全色像素中，确定与彩色像素在水平方向及垂直方向上相邻预设区域的全色像素(w1像素、w2像素、w3像素及w4像素)作为目标全色像素。
[0101]
然后，根据目标全色像素的像素值及目标全色像素的插值权重，计算新的全色像素的像素值。例如，采用以下公式计算新的全色像素的像素值：
[0102]
out(i,j)＝(w1 w2 w3 w4)/4；
[0103]
其中，(i,j)为处于b像素所处的像素位置，out(i,j)为新的全色像素的像素值，w1为处于b像素上方的全色像素的像素值，w2为处于b像素下方的全色像素的像素值，w3为处于b像素左方的全色像素的像素值，w4为处于b像素右方的全色像素的像素值。这里，每个目标全色像素的插值权重均为1/4，当然，在其他实施例中，插值权重可以不为1/4，本技术对此不做限定。
[0104]
本实施例中的图像处理方法，针对第二预设区域的区域类型为平坦区域的情况，由于平坦区域无具体的纹理方向，即处于平坦区域的像素的像素值较相似。因此，从第一预
设区域内的全色像素中确定与彩色像素在水平方向及垂直方向上相邻预设区域的目标全色像素。根据目标全色像素的像素值及目标全色像素的插值权重，计算新的全色像素的像素值。如此，基于与彩色像素在水平方向及垂直方向这两个方向上相邻预设区域的目标全色像素来计算新的全色像素的像素值，提高了在平坦区域所生成的新的全色像素的像素值的准确性。
[0105]
在一个实施例中，步骤224b，根据区域类型，对包含彩色像素的第一预设区域内的全色像素的像素值进行插值处理，生成用于替换彩色像素的新的全色像素的像素值，包括：
[0106]
若区域类型为非平坦区域，则计算彩色像素的纹理方向；
[0107]
沿着彩色像素的纹理方向，从包含彩色像素的第一预设区域内的全色像素中确定与彩色像素在纹理方向上相邻预设区域的目标全色像素；
[0108]
根据目标全色像素的像素值及目标全色像素的插值权重，计算新的全色像素的像素值。
[0109]
具体的，针对原始图像中的各彩色像素，根据包含彩色像素的第二预设区域内的全色像素的像素值计算区域类型特征值。也可以根据包含彩色像素的第二预设区域内的彩色像素的像素值计算区域类型特征值，本技术对此不做限定。若区域类型特征值大于或等于第一预设阈值，则确定包含彩色像素的第二预设区域的区域类型为非平坦区域。非平坦区域有具体的纹理方向，其中，不同类型的非平坦区域具有不同的纹理方向，且不同纹理方向的图像中的像素排布具有不同的特点。例如，水平纹理的图像中的像素在同一水平方向上的像素值较相似，相反地，垂直纹理的图像中的像素在同一垂直方向上的像素值较相似。因此，若区域类型为非平坦区域，则需要计算彩色像素的纹理方向。
[0110]
在计算出彩色像素的纹理方向之后，沿着彩色像素的纹理方向，从包含彩色像素的第一预设区域内的全色像素中确定与彩色像素在纹理方向上相邻预设区域的目标全色像素。结合图10中(a)所示，原始图像1002上b(蓝色)像素(图中a位置所示)的纹理方向为水平方向，则沿着水平方向，从包含b像素的第一预设区域内的全色像素中确定与b像素在水平方向上相邻预设区域全色像素(w3像素、w4像素)作为目标全色像素。
[0111]
然后，根据目标全色像素的像素值及目标全色像素的插值权重，计算新的全色像素的像素值。例如，采用以下公式计算新的全色像素的像素值：
[0112]
out(i,j)＝(w3 w4)/2；
[0113]
其中，(i,j)为处于b像素所处的像素位置，out(i,j)为新的全色像素的像素值，w3为处于b像素左方的全色像素的像素值，w4为处于b像素右方的全色像素的像素值。这里，每个目标全色像素的插值权重均为1/2，当然，在其他实施例中，插值权重可以不为1/2，本技术对此不做限定。
[0114]
结合图10中(b)所示，原始图像1002上b(蓝色)像素(图中a位置所示)的纹理方向为垂直方向，则沿着垂直方向，从包含b像素的第一预设区域内的全色像素中确定与b像素在水平方向上相邻预设区域全色像素(w1像素、w2像素)作为目标全色像素。
[0115]
然后，根据目标全色像素的像素值及目标全色像素的插值权重，计算新的全色像素的像素值。例如，采用以下公式计算新的全色像素的像素值：
[0116]
out(i,j)＝(w1 w2)/2；
[0117]
其中，(i,j)为处于b像素所处的像素位置，out(i,j)为新的全色像素的像素值，w1
为处于b像素上方的全色像素的像素值，w2为处于b像素下方的全色像素的像素值。这里，每个目标全色像素的插值权重均为1/2，当然，在其他实施例中，插值权重可以不为1/2，本技术对此不做限定。
[0118]
结合图10中(c)所示，原始图像1002上b(蓝色)像素(图中a位置所示)的纹理方向为反对角线方向，则沿着反对角线方向，从包含b像素的第一预设区域内的全色像素中确定与b像素在反对角线方向上相邻预设区域全色像素(w1像素、w2像素、w3像素、w4像素、w5像素、w6像素、w7像素、w8像素)作为目标全色像素。
[0119]
然后，根据目标全色像素的像素值及目标全色像素的插值权重，计算新的全色像素的像素值。例如，采用以下公式计算新的全色像素的像素值：
[0120]
out(i,j)＝(w1 2*w2 2*w3 w4 w5 2*w6 2*w7 w8)/12；
[0121]
其中，(i,j)为处于b像素所处的像素位置，out(i,j)为新的全色像素的像素值，w1、w2、w3、w4为处于b像素左上方的全色像素的像素值，w5、w6、w7、w8为处于b像素右下方的全色像素的像素值。这里，每个目标全色像素的插值各不相同，当然，在其他实施例中，插值权重可以取其他数值，本技术对此不做限定。
[0122]
结合图10中(d)所示，原始图像1002上b(蓝色)像素(图中a位置所示)的纹理方向为主对角线方向，则沿着主对角线方向，从包含b像素的第一预设区域内的全色像素中确定与b像素在主对角线上相邻预设区域全色像素(w1像素、w2像素、w3像素、w4像素、w5像素、w6像素、w7像素、w8像素)作为目标全色像素。
[0123]
然后，根据目标全色像素的像素值及目标全色像素的插值权重，计算新的全色像素的像素值。例如，采用以下公式计算新的全色像素的像素值：
[0124]
out(i,j)＝(w1 2*w2 2*w3 w4 w5 2*w6 2*w7 w8)/12；
[0125]
其中，(i,j)为处于b像素所处的像素位置，out(i,j)为新的全色像素的像素值，w1、w2、w3、w4为处于b像素右上方的全色像素的像素值，w5、w6、w7、w8为处于b像素左下方的全色像素的像素值。这里，每个目标全色像素的插值各不相同，当然，在其他实施例中，插值权重可以取其他数值，本技术对此不做限定。
[0126]
本实施例中的图像处理方法，针对原始图像中的各彩色像素，根据包含彩色像素的第二预设区域内的全色像素的像素值计算区域类型特征值。若区域类型特征值大于或等于第一预设阈值，则确定包含彩色像素的第二预设区域的区域类型为非平坦区域。由于非平坦区域有具体的纹理方向，因此，计算彩色像素的纹理方向，并沿着彩色像素的纹理方向，从包含彩色像素的第一预设区域内的全色像素中确定与彩色像素在纹理方向上相邻预设区域的目标全色像素。最后，根据目标全色像素的像素值及目标全色像素的插值权重，计算新的全色像素的像素值。实现了针对具有不同纹理方向的彩色像素，采用不同的计算方式计算替换彩色像素的新的全色像素的像素值，提高了在非平坦区域所生成的新的全色像素的像素值的准确性。
[0127]
在一个实施例中，计算彩色像素的纹理方向，包括：
[0128]
以彩色像素为中心，在不同预设方向上获取至少一个第一全色像素对；
[0129]
根据至少一个第一全色像素对的像素值的差值，计算彩色像素在不同预设方向上的第一像素值梯度；第一像素值梯度用于表征彩色像素的纹理方向；
[0130]
根据不同预设方向的第一像素值梯度之间的大小关系，确定彩色像素的纹理方
向。
[0131]
图11为一个实施例中各纹理方向的全色像素对的示意图。如图11所示，以11*11的像素窗口为例，展示了彩色像素(图中黑色圆点所在位置的像素)分别在水平方向、垂直方向、反对角线方向、主对角线方向上的全色像素对。该全色像素对为图11中箭头所指向的全色像素。
[0132]
若预设方向为水平方向，则对于水平方向的三个全色像素对，计算各同一箭头所指向的两个全色像素对的差值的绝对值，可得到三个绝对值。对水平方向的三个绝对值计算加权平均值，得到彩色像素在水平方向上的第一像素值梯度dirh。按照相同的处理方式，可得到彩色像素在垂直方向上的第一像素值梯度dirv、彩色像素在反对角线方向上的第一像素值梯度dira及彩色像素在主对角线方向上的第一像素值梯度dird。
[0133]
根据不同预设方向的第一像素值梯度之间的大小关系，确定彩色像素的纹理方向。具体的，对不同预设方向的第一像素值梯度进行按照大小顺序排序，得到排序结果为dirh>dirv>dira>dird。然后，可以从排序结果中获取最小的第一像素值梯度dird及次小的第一像素值梯度dira。根据最小的第一像素值梯度dird及次小的第一像素值梯度dira之间的大小关系，确定彩色像素的纹理方向。即在最小的第一像素值梯度dird及次小的第一像素值梯度dira之间的差值满足一定的阈值时，才可以将最小的第一像素值梯度dird作为彩色像素的纹理方向。
[0134]
本实施例中的图像处理方法，在确定彩色像素的纹理方向时，以彩色像素为中心，在预设方向上获取至少一个第一全色像素对。然后，计算至少一个第一全色像素对的像素值的差值的加权平均值，将加权平均值作为彩色像素在预设方向上的第一像素值梯度。此时，并未直接将最小的第一像素值梯度对应的预设方向，确定为彩色像素的纹理方向，而是，再结合最小的第一像素值梯度及次小的第一像素值梯度之间的大小关系，确定彩色像素的纹理方向。从而，进一步提高了所确定的彩色像素的纹理方向的准确性。
[0135]
在一个实施例中，根据最小的第一像素值梯度及次小的第一像素值梯度之间的大小关系，确定彩色像素的纹理方向，包括：
[0136]
判断最小的第一像素值梯度及次小的第一像素值梯度之间的差是否满足预设条件；
[0137]
若是，则确定彩色像素的纹理方向为最小的第一像素值梯度对应的预设方向。
[0138]
具体的，在判断最小的第一像素值梯度及次小的第一像素值梯度之间的差是否满足预设条件时，首先，判断彩色像素所处区域的亮度是否大于第一预设亮度阈值。若彩色像素所处区域的亮度大于第一预设亮度阈值，则判断最小的第一像素值梯度及次小的第一像素值梯度之间的差是否满足第一预设条件。其中，可以设置第一预设亮度阈值为200坎德拉/平方米(cd/m2)，本技术并不对此进行限定。若彩色像素所处区域的亮度大于200坎德拉/平方米(cd/m2)，此时，则确定彩色像素所处区域为亮区。
[0139]
若彩色像素所处区域的亮度小于或等于第一预设亮度阈值，则判断最小的第一像素值梯度及次小的第一像素值梯度之间的差是否满足第二预设条件。若彩色像素所处区域的亮度小于或等于200坎德拉/平方米(cd/m2)，此时，则确定彩色像素所处区域为暗区。
[0140]
且针对处于亮区的彩色像素，可以设置所计算出的最小的第一像素值梯度及次小的第一像素值梯度之间的差，大于针对处于暗区的彩色像素，所计算出的最小的第一像素
值梯度及次小的第一像素值梯度之间的差。因为亮区的像素的像素值差异较大，所以当如此所计算出的最小的第一像素值梯度及次小的第一像素值梯度之间的差较大时，才可以准确地确定彩色像素的纹理方向为最小的第一像素值梯度对应的预设方向。
[0141]
例如，针对处于亮区的彩色像素，第一预设条件为dira>a*dird；针对处于暗区的彩色像素，第二预设条件为dira>dird b。其中，a和b可以根据实际情况进行设定，本技术对此不做限定。
[0142]
本实施例中的图像处理方法，在根据最小的第一像素值梯度及次小的第一像素值梯度之间的大小关系，确定彩色像素的纹理方向时，首先将彩色像素划分为处于亮区的彩色像素及处于暗区的彩色像素。然后，针对两种彩色像素，分别判断是否符合对应的不同预设条件。若是，则确定彩色像素的纹理方向为最小的第一像素值梯度对应的预设方向。对彩色像素基于亮度划分为处于亮区的彩色像素及处于暗区的彩色像素，然后针对性地判断最小的第一像素值梯度及次小的第一像素值梯度之间的差是否满足不同的预设条件。从而，能够更加准确地得到彩色像素的纹理方向。
[0143]
在一个实施例中，提供了一种图像处理方法，还包括：
[0144]
若最小的第一像素值梯度及次小的第一像素值梯度之间的差不满足预设条件，则以彩色像素为中心，在预设方向上获取至少一个第二全色像素对；第二全色像素对的数量大于第一全色像素对的数量，且第二全色像素对之间的距离大于第一全色像素对之间的距离；
[0145]
基于至少一个第二全色像素对的像素值的差值，计算彩色像素在预设方向上的第二像素值梯度；
[0146]
根据不同预设方向的第二像素值梯度之间的大小关系，确定彩色像素的纹理方向。
[0147]
具体的，若彩色像素所处区域的亮度大于第一预设亮度阈值，则最小的第一像素值梯度及次小的第一像素值梯度之间的差不满足第一预设条件。若彩色像素所处区域的亮度小于或等于第一预设亮度阈值，则最小的第一像素值梯度及次小的第一像素值梯度之间的差不满足第二预设条件。以上两种情况均为最小的第一像素值梯度及次小的第一像素值梯度之间的差不满足预设条件的情况。
[0148]
针对以上两种情况，则以彩色像素为中心，在预设方向上获取至少一个第二全色像素对；第二全色像素对的数量大于第一全色像素对的数量，且第二全色像素对之间的距离大于第一全色像素对之间的距离。
[0149]
图12为另一个实施例中各纹理方向的全色像素对的示意图。结合图12所示，以11*11的像素窗口为例，展示了彩色像素(图中a所在位置的像素)分别在水平方向、垂直方向、反对角线方向、主对角线方向上的全色像素对。该全色像素对为图12中箭头所指向的全色像素。
[0150]
若预设方向为水平方向，则对于水平方向的五个全色像素对，计算各同一箭头所指向的两个全色像素对的差值的绝对值，可得到五个绝对值。对水平方向的五个绝对值计算加权平均值，得到彩色像素在水平方向上的第一像素值梯度dirh。按照相同的处理方式，可得到彩色像素在垂直方向上的第一像素值梯度dirv、彩色像素在反对角线方向上的第一像素值梯度dira及彩色像素在主对角线方向上的第一像素值梯度dird。因为在图12这种方
法下所采集的全色像素对的数目比在图11这种方法下所采集的全色像素对的数目较多，因此，可以将图12这种方法称之为采用高频方式确定彩色像素的纹理方向。而将图11这种方法称之为采用低频方式确定彩色像素的纹理方向。
[0151]
然后，根据不同预设方向的第一像素值梯度之间的大小关系，确定彩色像素的纹理方向。具体的，对不同预设方向的第一像素值梯度进行按照大小顺序排序，得到排序结果为dirh>dirv>dira>dird。然后，可以从排序结果中获取最小的第一像素值梯度dird及次小的第一像素值梯度dira。根据最小的第一像素值梯度dird及次小的第一像素值梯度dira之间的大小关系，确定彩色像素的纹理方向。即在最小的第一像素值梯度dird及次小的第一像素值梯度dira之间的差值满足一定的阈值时，才可以将最小的第一像素值梯度dird作为彩色像素的纹理方向。
[0152]
具体的，在判断最小的第一像素值梯度及次小的第一像素值梯度之间的差是否满足预设条件时，首先，判断彩色像素所处区域的亮度是否大于第一预设亮度阈值。若彩色像素所处区域的亮度大于第一预设亮度阈值，则判断最小的第一像素值梯度及次小的第一像素值梯度之间的差是否满足第一预设条件。其中，可以设置第一预设亮度阈值为200坎德拉/平方米(cd/m2)，本技术并不对此进行限定。若彩色像素所处区域的亮度大于200坎德拉/平方米(cd/m2)，此时，则确定彩色像素所处区域为亮区。
[0153]
若彩色像素所处区域的亮度小于或等于第一预设亮度阈值，则判断最小的第一像素值梯度及次小的第一像素值梯度之间的差是否满足第二预设条件。若彩色像素所处区域的亮度小于或等于200坎德拉/平方米(cd/m2)，此时，则确定彩色像素所处区域为暗区。
[0154]
且针对处于亮区的彩色像素，可以设置所计算出的最小的第一像素值梯度及次小的第一像素值梯度之间的差，大于针对处于暗区的彩色像素，所计算出的最小的第一像素值梯度及次小的第一像素值梯度之间的差。因为亮区的像素的像素值差异较大，所以当如此所计算出的最小的第一像素值梯度及次小的第一像素值梯度之间的差较大时，才可以准确地确定彩色像素的纹理方向为最小的第一像素值梯度对应的预设方向。
[0155]
例如，针对处于亮区的彩色像素，第一预设条件为dira>a*dird；针对处于暗区的彩色像素，第二预设条件为dira>dird b。其中，a和b可以根据实际情况进行设定，本技术对此不做限定。
[0156]
本实施例中的图像处理方法，在判断最小的第一像素值梯度及次小的第一像素值梯度之间的差不满足预设条件时，采用以下方法确定彩色像素的纹理方向：以彩色像素为中心，在预设方向上获取至少一个第二全色像素对。然后，计算至少一个第二全色像素对的像素值的差值的加权平均值，将加权平均值作为彩色像素在预设方向上的第二像素值梯度。此时，并未直接将最小的第二像素值梯度对应的预设方向，确定为彩色像素的纹理方向，而是，再结合最小的第二像素值梯度及次小的第二像素值梯度之间的大小关系，确定彩色像素的纹理方向。从而，进一步提高了所确定的彩色像素的纹理方向的准确性。
[0157]
接前一个实施例中，提供了一种图像处理方法，还包括：
[0158]
若最小的第二像素值梯度及次小的第二像素值梯度之间的差不满足预设条件，则基于包含彩色像素的第一预设区域内各彩色像素的像素均值及全色像素的像素均值，计算各新的全色像素的像素值。
[0159]
具体的，若最小的第一像素值梯度及次小的第一像素值梯度之间的差不满足预设
条件，则以彩色像素为中心，在预设方向上获取至少一个第二全色像素对。基于至少一个第二全色像素对的像素值的差值，计算彩色像素在预设方向上的第二像素值梯度。此时，最小的第二像素值梯度及次小的第二像素值梯度之间的差仍然不满足预设条件，则说明该rgbw图像的纹理方向难以判别，为特殊的纹理方向。
[0160]
此时，可以基于包含彩色像素的第一预设区域内各彩色像素的像素均值及全色像素的像素均值，计算各新的全色像素的像素值。首先，针对每一种彩色像素，基于包含彩色像素的第一预设区域内彩色像素的像素值及彩色像素的权重矩阵，计算包含彩色像素的第一预设区域内彩色像素的像素均值。其中，针对rgbw图像中的r像素，r像素的权重矩阵为对rgbw图像中的r像素所处的位置赋予了权重，所得到的矩阵。同理，可以得到g像素的权重矩阵、b像素的权重矩阵及全色像素的权重矩阵。
[0161]
其次，基于包含彩色像素的第一预设区域内全色像素的像素值及全色像素的权重矩阵，计算包含彩色像素的第一预设区域内全色像素的像素均值。其中，针对rgbw图像中的全色像素，全色像素的权重矩阵为对rgbw图像中的全色像素所处的位置赋予了权重，所得到的矩阵。
[0162]
最后，根据彩色像素的像素值、彩色像素的像素均值及全色像素的像素均值，计算各新的全色像素的像素值。
[0163]
本实施例中的图像处理方法，针对rgbw图像的纹理方向难以判别，为特殊的纹理方向的情况，针对每一种彩色像素，不用根据纹理方向来确定目标全色像素，而是直接根据包含彩色像素的第一预设区域内全色像素的像素均值、包含彩色像素的第一预设区域内彩色像素的像素均值，来计算新的全色像素的像素值。因为在计算过程中所涉及到的全色像素、彩色像素的数目较多，也能够提高所计算出的新的全色像素的像素值的准确性。
[0164]
在一个实施例中，基于包含彩色像素的第一预设区域内各彩色像素的像素均值及全色像素的像素均值，计算各新的全色像素的像素值，包括：
[0165]
针对每一种彩色像素，基于包含彩色像素的第一预设区域内彩色像素的像素值及彩色像素的权重矩阵，计算包含彩色像素的第一预设区域内彩色像素的像素均值；
[0166]
基于包含彩色像素的第一预设区域内全色像素的像素值及全色像素的权重矩阵，计算包含彩色像素的第一预设区域内全色像素的像素均值；
[0167]
根据彩色像素的像素值、彩色像素的像素均值及全色像素的像素均值，计算各新的全色像素的像素值。
[0168]
具体的，结合图13所示，以11*11的像素窗口为例，图13中(a)所示为全色像素的权重矩阵w_weight的示意图，图13中(b)所示为彩色像素(包括rgb三种像素)的权重矩阵rgb_weight的示意图，图13中(c)所示为b像素的分布矩阵b_mask的示意图。其中，w_weight可以是高斯型的权重矩阵，符合越靠近中心权重越大。
[0169]
针对处于11*11的像素窗口中心的b像素为例，计算包含b像素的第一预设区域内b像素的像素均值g_mean的公式如下所示：
[0170]
g_mean＝i.*rgb_weight.*b_mask/sum(sum(rgb_weight.*b_mask))；
[0171]
计算包含彩色像素的第一预设区域内全色像素的像素均值w_mean的公式如下所示：
[0172]
w_mean＝i.*w_weight/sum(sum(w_weight))；
[0173]
计算各新的全色像素的像素值的公式如下所示：
[0174]
out(i,j)＝i(i,j)*w_weight/g_weight；
[0175]
其中，(i,j)为处于b像素所处的像素位置，i表示rgbw图像中11*11的数据窗口的像素值矩阵。
[0176]
本实施例中的图像处理方法，针对rgbw图像的纹理方向难以判别，为特殊的纹理方向的情况，针对每一种彩色像素，不用根据纹理方向来确定目标全色像素，而是直接根据包含彩色像素的第一预设区域内全色像素的像素均值、包含彩色像素的第一预设区域内彩色像素的像素均值，来计算新的全色像素的像素值。因为在计算过程中所涉及到的全色像素、彩色像素的数目较多，也能够提高所计算出的新的全色像素的像素值的准确性。
[0177]
在一个具体的实施例中，如图14所示，提供了一种图像处理方法，包括如下步骤：
[0178]
步骤1410，通过图像传感器sensor获取到原始图像；
[0179]
步骤1420，判断输入像素(i)是否为全色像素(又称之为w像素)；若是，则进入；若否，则进入；
[0180]
步骤1430，判断包含输入像素的预设区域是否为平坦区域；若是，则进入；若否，则进入；
[0181]
步骤1440，采用与平坦区域对应的计算方法，计算新的w像素的像素值，具体为：从包含输入像素的预设区域内的全色像素中确定与输入像素在水平方向及垂直方向上相邻预设区域的目标全色像素；根据目标全色像素的像素值及目标全色像素的插值权重，计算新的全色像素的像素值；
[0182]
步骤1450，计算输入像素的纹理方向；
[0183]
如图15所示，步骤1450，包括：步骤1451，以彩色像素为中心，在预设方向上获取至少一个第一全色像素对(又称之为第一w像素对)；
[0184]
步骤1452，计算至少一个第一全色像素对的像素值的差值的加权平均值，将加权平均值作为彩色像素在预设方向上的第一像素值梯度；
[0185]
步骤1453，从不同预设方向的第一像素值梯度中获取最小的第一像素值梯度及次小的第一像素值梯度；
[0186]
步骤1454，判断彩色像素所处区域的亮度是否大于第一预设亮度阈值；
[0187]
步骤1455，若彩色像素所处区域的亮度大于第一预设亮度阈值，则判断最小的第一像素值梯度及次小的第一像素值梯度之间的差是否满足第一预设条件；
[0188]
步骤1456，若彩色像素所处区域的亮度小于或等于第一预设亮度阈值，则判断最小的第一像素值梯度及次小的第一像素值梯度之间的差是否满足第二预设条件；
[0189]
步骤1457，若是，则确定彩色像素的纹理方向为最小的第一像素值梯度对应的预设方向；
[0190]
步骤1458，若最小的第一像素值梯度及次小的第一像素值梯度之间的差不满足预设条件，则以彩色像素为中心，在预设方向上获取至少一个第二全色像素对；第二全色像素对的数量大于第一全色像素对的数量，且第二全色像素对之间的距离大于第一全色像素对之间的距离；
[0191]
步骤1459，基于至少一个第二全色像素对的像素值的差值，计算彩色像素在预设方向上的第二像素值梯度；
[0192]
步骤1460，根据不同预设方向的第二像素值梯度之间的大小关系，确定彩色像素的纹理方向。
[0193]
步骤1470，沿着彩色像素的纹理方向，从包含彩色像素的第一预设区域内的全色像素中确定与彩色像素在纹理方向上相邻预设区域的目标全色像素；
[0194]
步骤1480，根据目标全色像素的像素值及目标全色像素的插值权重，计算新的全色像素的像素值；
[0195]
步骤1490，将各新的全色像素的像素值输出，采用该新的全色像素替换原始图像中的彩色像素生成全尺寸全色通道图像；
[0196]
步骤1492，对w通道图像中全色像素及原始图像中的彩色像素进行双边滤波处理，生成各个彩色像素对应的特定的r通道图像、特定的g通道图像、以及特定的b通道图像；
[0197]
步骤1494，将特定的r通道图像、特定的g通道图像、以及特定的b通道图像进行融合处理，得到目标图像。
[0198]
本技术实施例中，针对原始图像中各彩色像素，在计算该彩色像素所处位置处的全色像素的像素值时，首先，通过图像传感器获取原始图像，遍历原始图像中各像素；其次，在确定原始图像的当前像素为彩色像素的情况下，基于包含彩色像素的第一预设区域内的各全色像素将当前像素插值为新的全色像素。最后，按照该彩色像素的位置，将原始图像中该彩色像素的像素值替换为新的全色像素的像素值，如此，就将原始图像转换为了全尺寸全色通道图像。基于包含彩色像素的第一预设区域内的一个或多个全色像素，能够准确地计算出用于替换该彩色像素的新的全色像素的像素值。进而，提高了所生成的全尺寸全色通道图像的准确性。因此，可以基于该全尺寸全色通道图像中的全色像素以及原始图像中的彩色像素进行滤波处理，生成各个彩色像素对应的彩色通道图像。最后，基于各彩色通道图像，生成目标图像，进而提高了最终所得到的目标图像的清晰度，使得分辨率更高。
[0199]
在一个实施例中，提供了一种图像传感器包括滤光片阵列和像素阵列，滤光片阵列包括最小重复单元，最小重复单元包括多个滤光片组，滤光片组包括彩色滤光片和全色滤光片，每个滤光片组包括8个全色滤光片和8个色彩相同的彩色滤光片，且每个滤光片组包括4个滤光片单元，滤光片单元包括2个全色滤光片和2个彩色滤光片；在滤光片单元中每2个彩色滤光片在第一对角线方向上排列，每2个全色滤光片在第二对角线方向上排列，且第一对角线方向与第二对角线方向不同。其中，每个彩色像素对应彩色滤光片。
[0200]
具体的，如图16所示，为一个实施例中图像传感器的结构示意图。图像传感器包括滤光片阵列1620和像素阵列1630，其中，滤光片阵列1620包括多个最小重复单元1621。最小重复单元1621包括多个滤光片组1622。在本实施例中，最小重复单元1621包括4个滤光片组1622，并且4个滤光片组1622呈矩阵排列。每个滤光片组1622包括多个全色滤光片1623和多个彩色滤光片1624，例如，每个滤光片组1622可以包括8个全色滤光片1623和8个彩色滤光片1624，且每2个全色滤光片1623呈对角线排列、每2个彩色滤光片1624也呈对角线排列。在不同的滤光片组中包括有不同的彩色滤光片1624。其中，在最小重复单元1621中全色像素占50％，g像素占25％，r像素和b像素占12.5％。
[0201]
同样的，像素阵列1630包括多个最小重复单元1631，最小重复单元1631包括多个像素组1632，与最小重复单元1621中的滤光片组1622对应。在本实施例中，最小重复单元1631包括4个像素组1632，并且4个像素组1632呈矩阵排列，每个像素组1632对应一个滤光
片组1622。通过全色滤光片1623透过的光线投射至全色像素点1633，可以得到全色像素；通过彩色滤光片1624透过的光线投射至彩色像素点1634，可以得到彩色像素。像素阵列1630包括多个全色像素和多个彩色像素，每个全色像素对应全色滤光片1623，每个彩色像素对应彩色滤光片1624。
[0202]
其中，最小重复单元为32个全色滤光片及32个彩色滤光片按照预设排布方式进行排布所生成的8行8列阵列，预设排布方式为：
[0203][0204][0205]
其中，w表示全色滤光片，r、g、b均表示彩色滤光片。
[0206]
如图17所示，读出电路1740与像素阵列1730电连接，用于控制像素阵列1730的曝光以及像素点的像素值的读取和输出。读出电路1740包括垂直驱动单元1741、控制单元1742、列处理单元1743和水平驱动单元1744。垂直驱动单元1741包括移位寄存器和地址译码器。垂直驱动单元1741包括读出扫描和复位扫描功能。控制单元1742根据操作模式配置时序信号，利用多种时序信号来控制垂直驱动单元1741、列处理单元1743和水平驱动单元1744协同工作。列处理单元1743可以具有用于将模拟像素信号转换为数字格式的模数(a/d)转换功能。水平驱动单元1744包括移位寄存器和地址译码器。水平驱动单元1744顺序逐列扫描像素阵列1730。
[0207]
本实施例中的图像传感器，每个滤光片组中均为同一种彩色像素，因此，在对所生成的像素阵列进行二级合并时，不会跨行将同通道的像素进行合并，因此，不会造成信息干扰。同时，在每个滤光片组中全色像素均匀排布，可以均匀地采集到亮度信息，以便在基于全色像素判断纹理方向时能够准确地进行判断。进而，就提高了基于纹理方向对原始图像进行插值处理，生成全尺寸全色通道图像的准确性。最终，提高了所得到的目标图像的清晰度，使得分辨率更高。
[0208]
在一个实施例中，一种成像设备，包括微透镜、滤光片及图像传感器，其特征在于，微透镜、滤光片及图像传感器依次位于入射光路上；
[0209]
图像传感器包括滤光片阵列和像素阵列，滤光片阵列包括最小重复单元，最小重复单元包括多个滤光片组，滤光片组包括彩色滤光片和全色滤光片，每个滤光片组包括8个全色滤光片和8个彩色滤光片，且每2个全色滤光片呈对角线排列、每2个彩色滤光片呈对角线排列；像素阵列包括多个全色像素和多个彩色像素，每个全色像素对应全色滤光片，每个彩色像素对应彩色滤光片。
[0210]
结合图16所示，微透镜阵列1610包括多个微透镜1611，微透镜1611、滤光片阵列1620中的子滤光片和像素阵列1630中的像素点一一对应设置，微透镜1611用于将入射的光线进行聚集，聚集之后的光线会穿过对应的子滤光片，然后投射至像素点上，被对应的像素点接收，像素点再将接收的光线转化成电信号。
[0211]
本实施例中的成像设备，每个滤光片组中均为同一种彩色像素，因此，在对所生成的像素阵列进行二级合并时，不会跨行将同通道的像素进行合并，因此，不会造成信息干扰。同时，在每个滤光片组中全色像素均匀排布，可以均匀地采集到亮度信息，以便在基于全色像素判断纹理方向时能够准确地进行判断。进而，就提高了基于纹理方向对原始图像进行插值处理，生成全尺寸全色通道图像的准确性。最终，提高了所得到的目标图像的清晰度，使得分辨率更高。
[0212]
在一个实施例中，如图18提供了一种图像处理装置1800，应用于电子设备，电子设备包括图像传感器，图像传感器包括滤光片阵列和像素阵列，滤光片阵列包括最小重复单元，最小重复单元包括多个滤光片组，滤光片组包括彩色滤光片和全色滤光片；在滤光片组中彩色滤光片设置在第一对角线方向，全色滤光片设置在第二对角线方向，第一对角线方向与第二对角线方向不同；像素点阵列包括多个全色像素和多个彩色像素，每个全色像素对应全色滤光片，每个彩色像素对应彩色滤光片；
[0213]
该图像处理装置1800包括：
[0214]
第一生成模块1820，用于对通过图像传感器获取到的原始图像进行插值处理，生成全尺寸全色通道图像；其中，原始图像包括彩色像素以及全色像素；
[0215]
第二生成模块1840，用于对全尺寸全色通道图像对原始图像中各不同颜色的彩色像素进行滤波处理，生成与各不同颜色的彩色像素分别对应的特定彩色通道图像；
[0216]
第三生成模块1860，用于基于各特定彩色通道图像，生成目标图像。
[0217]
在一个实施例中，第一生成模块1820，包括：
[0218]
原始图像获取单元，用于通过图像传感器获取原始图像，遍历原始图像中各像素；
[0219]
全色像素生成单元，用于在确定原始图像的当前像素为彩色像素的情况下，基于包含彩色像素的第一预设区域内的各全色像素将当前像素插值为新的全色像素；
[0220]
全尺寸全色通道图像生成单元，用于直到原始图像中所有彩色像素被插值为新的全色像素，生成全尺寸全色通道图像。
[0221]
在一个实施例中，全色像素生成单元，还用于针对原始图像中的各彩色像素，获取包含彩色像素的第二预设区域的区域类型；区域类型包括平坦区域及非平坦区域；根据区域类型，基于第一预设区域内的全色像素对彩色像素插值为新的全色像素。
[0222]
在一个实施例中，全色像素生成单元，还用于针对原始图像中的各彩色像素，获取包含彩色像素的第二预设区域；根据第二预设区域内的全色像素的像素值计算各全色像素的标准差，将标准差作为第二预设区域的区域类型特征值；若区域类型特征值小于第一预设阈值，则确定包含彩色像素的第二预设区域的区域类型为平坦区域；若区域类型特征值大于或等于第一预设阈值，则确定包含彩色像素的第二预设区域的区域类型为非平坦区域。
[0223]
在一个实施例中，全色像素生成单元，还用于若区域类型为平坦区域，则从第一预设区域内的全色像素中确定与彩色像素在水平方向及垂直方向上相邻预设区域的目标全色像素；根据目标全色像素的像素值及目标全色像素的插值权重，计算新的全色像素的像素值。
[0224]
在一个实施例中，全色像素生成单元，还用于若区域类型为非平坦区域，则计算彩色像素的纹理方向；沿着彩色像素的纹理方向，从包含彩色像素的第一预设区域内的全色
像素中确定与彩色像素在纹理方向上相邻预设区域的目标全色像素；根据目标全色像素的像素值及目标全色像素的插值权重，计算新的全色像素的像素值。
[0225]
在一个实施例中，全色像素生成单元，还用于以彩色像素为中心，在不同预设方向上获取至少一个第一全色像素对；根据至少一个第一全色像素对的像素值的差值，计算彩色像素在不同预设方向上的第一像素值梯度；第一像素值梯度用于表征彩色像素的纹理方向；根据不同预设方向的第一像素值梯度之间的大小关系，确定彩色像素的纹理方向。
[0226]
在一个实施例中，预设方向包括水平方向、垂直方向、对角线方向及反对角线方向；全色像素生成单元，还用于计算至少一个第一全色像素对的像素值的差值的加权平均值，将加权平均值作为彩色像素在预设方向上的第一像素值梯度。
[0227]
在一个实施例中，全色像素生成单元，还用于从不同预设方向的第一像素值梯度中获取最小的第一像素值梯度及次小的第一像素值梯度；根据最小的第一像素值梯度及次小的第一像素值梯度之间的大小关系，确定彩色像素的纹理方向。
[0228]
在一个实施例中，全色像素生成单元，还用于判断最小的第一像素值梯度及次小的第一像素值梯度之间的差是否满足预设条件；若是，则确定彩色像素的纹理方向为最小的第一像素值梯度对应的预设方向。
[0229]
在一个实施例中，全色像素生成单元，还用于若彩色像素所处区域的亮度大于第一预设亮度阈值，则判断最小的第一像素值梯度及次小的第一像素值梯度之间的差是否满足第一预设条件。
[0230]
在一个实施例中，预设条件包括第二预设条件，全色像素生成单元，还用于若彩色像素所处区域的亮度小于或等于第一预设亮度阈值，则判断最小的第一像素值梯度及次小的第一像素值梯度之间的差是否满足第二预设条件。
[0231]
在一个实施例中，全色像素生成单元，还用于若最小的第一像素值梯度及次小的第一像素值梯度之间的差不满足预设条件，则以彩色像素为中心，在预设方向上获取至少一个第二全色像素对；第二全色像素对的数量大于第一全色像素对的数量，且第二全色像素对之间的距离大于第一全色像素对之间的距离；基于至少一个第二全色像素对的像素值的差值，计算彩色像素在预设方向上的第二像素值梯度；根据不同预设方向的第二像素值梯度之间的大小关系，确定彩色像素的纹理方向。
[0232]
在一个实施例中，全色像素生成单元，还用于从不同预设方向的第二像素值梯度中获取最小的第二像素值梯度及次小的第二像素值梯度；根据最小的第二像素值梯度及次小的第二像素值梯度之间的大小关系，确定彩色像素的纹理方向。
[0233]
在一个实施例中，全色像素生成单元，还用于判断最小的第二像素值梯度及次小的第二像素值梯度之间的差是否满足预设条件；若是，则确定彩色像素的纹理方向为最小的第二像素值梯度对应的预设方向。
[0234]
在一个实施例中，全色像素生成单元，还用于若最小的第二像素值梯度及次小的第二像素值梯度之间的差不满足预设条件，则基于包含彩色像素的第一预设区域内各彩色像素的像素均值及全色像素的像素均值，计算各新的全色像素的像素值。
[0235]
在一个实施例中，全色像素生成单元，还用于针对每一种彩色像素，基于包含彩色像素的第一预设区域内彩色像素的像素值及彩色像素的权重矩阵，计算包含彩色像素的第一预设区域内彩色像素的像素均值；基于包含彩色像素的第一预设区域内全色像素的像素
值及全色像素的权重矩阵，计算包含彩色像素的第一预设区域内全色像素的像素均值；根据彩色像素的像素值、彩色像素的像素均值及全色像素的像素均值，计算各新的全色像素的像素值。
[0236]
在一个实施例中，每个滤光片组包括8个全色滤光片和8个色彩相同的彩色滤光片，且每个滤光片组包括4个滤光片单元，滤光片单元包括2个全色滤光片和2个彩色滤光片；在滤光片单元中每2个彩色滤光片在第一对角线方向上排列，每2个全色滤光片在第二对角线方向上排列，且第一对角线方向与第二对角线方向不同。
[0237]
在一个实施例中，最小重复单元为32个全色滤光片及32个彩色滤光片按照预设排布方式进行排布所生成的8行8列阵列，预设排布方式为：
[0238][0239]
其中，w表示全色滤光片，r、g、b均表示彩色滤光片。
[0240]
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0241]
上述图像处理装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。
[0242]
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0243]
图19为一个实施例中电子设备的内部结构示意图。该电子设备可以是手机、平板电脑、笔记本电脑、台式电脑、pda(personal digital assistant，个人数字助理)、pos(point of sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器可以包括一个或多个处理单元。处理器可为cpu(central processing unit,中央处理单元)或dsp(digital signal processing，数字信号处理器)等。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。
[0244]
本技术实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本技术实施例中所描述方法的步骤。
[0245]
本技术实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行图像处理方法的步骤。
[0246]
本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。
[0247]
本技术所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括rom(read
‑
only memory，只读存储器)、prom(programmable read
‑
only memory，可编程只读存储器)、eprom(erasable programmable read
‑
only memory，可擦除可编程只读存储器)、eeprom(electrically erasable programmable read
‑
only memory，电可擦除可编程只读存储器)或闪存。易失性存储器可包括ram(random access memory，随机存取存储器)，它用作外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如sram(static random access memory，静态随机存取存储器)、dram(dynamic random access memory，动态随机存取存储器)、sdram(synchronous dynamic random access memory，同步动态随机存取存储器)、双数据率ddr sdram(double data rate synchronous dynamic random access memory，双数据率同步动态随机存取存储器)、esdram(enhanced synchronous dynamic random access memory，增强型同步动态随机存取存储器)、sldram(sync link dynamic random access memory，同步链路动态随机存取存储器)、rdram(rambus dynamic random access memory，总线式动态随机存储器)、drdram(direct rambus dynamic random access memory，接口动态随机存储器)。
[0248]
以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。