一种图像处理系统及图像处理方法与流程

1.本技术涉及图像传感器设计领域，尤其涉及一种图像处理系统及图像处理方法。


背景技术：

2.传统的rgbir传感器在rgb通道感应一部分红外分量，且红外分量较大。在部分存在红外光能量较多的场景中，去除可见光通道的红外分量后，色彩信息会有一定程度的丢失。并且，rgb通道与红外通道的曝光参数相同，较难兼顾两路信息均达到曝光合适。


技术实现要素：

3.有鉴于此，本技术提供一种图像传感器、图像处理系统及图像处理方法。
4.具体地，本技术是通过如下技术方案实现的：
5.根据本技术实施例的第一方面，提供一种图像处理系统，至少包括图像传感器单元、光学单元、图像处理单元、曝光控制单元；其中，
6.所述光学单元，用于对入射光的部分波长区间光谱进行阻挡，输出入射所述图像传感器的目标光信号；
7.所述图像传感器单元，包括一个图像传感器，用于通过所述图像传感器的像素阵列中各像素对所述目标光信号的感光转化为电信号，并经过所述图像传感器的读出电路后，输出第一格式的图像信号，其中，所述图像处理器传感器的像素阵列中至少包括两类像素，其中第一类像素允许通过的近红外光的强度强于第二类像素允许通过的近红外光的强度；
8.所述曝光控制单元，用于输出曝光控制信号给所述图像传感器单元，以控制所述图像传感器单元的所述图像传感器的像素阵列中各像素的各个通道的曝光；
9.所述图像处理单元，用于将所述第一格式的图像信号进行第一处理得到第一格式的第一处理图像；将所述第一格式的第一处理图像进行第二处理得到第二格式的第二处理图像。
10.根据本技术实施例的第二方面，提供一种图像处理方法，包括：
11.将图像传感器输出的第一格式的图像信号进行第一处理得到第一格式的第一处理图像，其中，所述图像处理器传感器的像素阵列中至少包括两类像素，其中第一类像素允许通过的近红外光的强度强于第二类像素允许通过的近红外光的强度；
12.将所述第一格式的处理图像进行第二处理得到第二格式的第二处理图像。
13.本技术实施例的图像处理系统，通过至少设置图像传感器单元、光学单元、图像处理单元和曝光控制单元，光学单元，用于对入射光的部分波长区间光谱进行阻挡，输出入射图像传感器的目标光信号；图像传感器单元，包括一个图像传感器，用于通过图像传感器的像素阵列中各像素对目标光信号的感光转化为电信号，并经过图像传感器的读出电路后，输出第一格式的图像信号；曝光控制单元，用于输出曝光控制信号给所述图像传感器单元，以控制图像传感器单元的图像传感器的像素阵列中各像素的各个通道的曝光；图像处理单
元，用于将第一格式的图像信号进行第一处理得到第一格式的第一处理图像；将第一格式的第一处理图像进行第二处理得到第二格式的第二处理图像，优化了图像处理效果。
14.像素阵列，该像素阵列包括红色像素、绿色像素、蓝色像素、暗光像素和白光像素，像素阵列中的每个像素包含微透镜、滤色单元及感光单元，该像素阵列包含多个rgbdw像素单元，该rgbdw像素单元中白光像素占所有像素的1/2，红色像素、绿色像素、蓝色像素、暗光像素分别占所有像素数的1/8；该rgbdw像素单元中白光像素按照每隔一个像素且相邻行交叉错位的方式排列，该rgbdw像素单元中的红色像素、绿色像素、蓝色像素与暗光像素填满剩余位置，且红色像素、绿色像素、蓝色像素与暗光像素中同一通道的两个像素斜向间隔一个像素，通过上述图像传感器设置，实现了单传感器同时获取多光谱响应数据，既能保证低照度补光情况下插值图像亮度分量的信噪比，又能最大限度地保证了图像色彩信息和各个色彩分量的信息量相同，且色彩通道的插值可以利用w通道的图像插值信息，能够兼顾色彩与图像细节。
附图说明
15.图1是本技术一示例性实施例示出的一种图像传感器的结构示意图；
16.图2是本技术又一示例性实施例示出的另一种图像传感器的结构示意图；
17.图3a～图3f是本技术示例性实施例示出的rgbdw像素单元的像素排列示意图；
18.图4是本技术一示例性实施例示出的一种不同通道光谱响应曲线的示意图；
19.图5是本技术一示例性实施例示出的一种两路控制信号场景下的信号走线示意图；
20.图6是本技术一示例性实施例示出的一种曝光时序的示意图；
21.图7是本技术一示例性实施例示出的一种图像处理系统的结构示意图；
22.图8是本技术一示例性实施例示出的另一种图像处理系统的结构示意图；
23.图9是本技术一示例性实施例示出的另一种图像处理系统的结构示意图；
24.图10是本技术一示例性实施例示出的一种图像处理方法的流程示意图；
25.图11是本技术一示例性实施例示出的一种第一处理图像经过不同的滤波器组进行卷积操作处理的示意图；
26.图12是本技术一示例性实施例示出的一种像素排列示意图；
27.图13是本技术一示例性实施例示出的一种不同通道光谱响应曲线的示意图；
28.图14是本技术一示例性实施例示出的一种近红外补光控制方法的流程示意图；
29.图15是本技术一示例性实施例示出的一种曝光控制方法的流程示意图；
30.图16是本技术一示例性实施例示出的一种图像处理装置的结构示意图；
31.图17是本技术一示例性实施例示出的一种曝光控制装置的结构示意图；
32.图18是本技术一示例性实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
33.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附
权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
34.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
35.为了使本领域技术人员更好地理解本技术实施例提供的技术方案，并使本技术实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本技术实施例中技术方案作进一步详细的说明。
36.请参见图1，为本技术实施例提供的一种图像传感器的结构示意图，如图1所示，该图像传感器可以包括：像素阵列，该像素阵列包括红色像素、绿色像素、蓝色像素、暗光像素和白光像素，像素阵列中的每个像素包含微透镜110、滤色单元120及感光单元130。
37.示例性的，像素阵列包含多个rgbdw(red，green，blue，dark，white，红、绿、蓝、暗光、白光)像素单元，rgbdw像素单元是红色像素、绿色像素、蓝色像素、暗光像素和白光像素构成的4*4单元。
38.示例性的，rgbdw像素单元可以为像素阵列中的最小独立单元。
39.示例性的，rgbdw像素单元中，白光像素占所有像素的1/2，红色像素、绿色像素、蓝色像素、暗光光像素分别占所有像素数的1/8；
40.rgbdw像素单元中，白光像素按照每隔一个像素且相邻行交叉错位的方式排列；
41.rgbdw像素单元中的红色像素、绿色像素、蓝色像素与暗光像素填满剩余位置，且红色像素、绿色像素、蓝色像素与暗光像素中同一通道的两个像素斜向间隔一个像素。
42.示例性的，通道是指一种像素在图像传感器中的集合，本技术中的图像传感器可理解为5通道的传感器，包含r通道、g通道、b通道、w通道和d通道。
43.例如，rgbdw像素单元中，红色像素对应r通道(可以称为红色光通道)，rgbdw像素单元中的两个r像素(即红色像素)之间斜向间隔一个其他像素。
44.rgbdw像素单元中，暗光像素对应d通道(可以称为暗光通道)，rgbdw像素单元中的两个d像素(即暗光像素)之间斜向间隔一个其他像素。
45.本技术实施例中，该图像传感器可以包括像素阵列，像素阵列可以包括红色像素(简称r像素)、绿色像素(简称g像素)、蓝色像素(简称b像素)、暗光像素(简称d像素)和白光像素(简称w像素)，像素阵列中每个像素包含微透镜、滤色单元及感光单元。
46.示例性的，每个像素可通过感光单元进行感光，并将光信号转化为电信号。
47.示例性的，像素阵列中w像素占所有像素的1/2，r像素、g像素、b像素、d像素分别占所有像素数的1/8。
48.像素阵列中，r像素、g像素、b像素、d像素和w像素可以以4*4最小独立单元重复(可以称为rgbdw像素单元)排列。w按照每隔一个像素且相邻行交叉错位的方式排列；r像素、g像素、b像素与d像素填满剩余位置，并满足同一通道的两个像素斜向间隔一个像素，其示意图可以如图3a～图3f中任一图所示。
49.需要说明的是，图3a～图3f中所示的rgbdw像素单元排列方式(即4*4的rgbdw像素单元中满足上述要求的r像素、g像素、b像素、d像素和w像素的排列方式)仅仅是本技术实施例中rgbdw像素单元排列方式的具体示例，而并不是对本技术保护范围的限定，例如，对图3a所示的rgbdw像素单元排列方式，将其去除第一列(即4*4的rgbdw像素单元中左上角为w，
右下角也为w)、去除前两列、去除前三列、去除第一行、去除第一行和第一列、去除第一行和前两列、或去除第一行和前三列，均可以得到新的rgbdw像素单元排列方式(共存在7种新的排列方式)，即图3a所示rgbdw像素单元排列方式下可以通过扩展共得到8种rgbdw像素单元排列方式；同理，图3b～图3f中任一图示的rgbdw像素单元排列方式也分别可以扩展得到8种排列方式，即共可以存在48种rgbdw像素单元排列方式。
50.示例性的，一方面，像素阵列中w数量占整体像素数的一半，能够保证低照度补光情况下插值图像亮度分量的信噪比。另一方面，剩余一半像素分散均匀排布，使可见通道感光像素数相同，最大限度地保证了图像色彩信息和各个色彩分量的信息量相同，且色彩通道的插值可以利用w通道的图像插值信息，能够兼顾色彩与图像细节。
51.在一些实施例中，rgbdw单元中位于同一行的r像素和d像素之间间隔一个像素。
52.示例性的，由于在光谱响应上r像素和d像素比较接近，r像素与d像素在像素排列上分布均匀，在插值过程中，邻域像素对称性较好，更有利于d像素插值时利用r通道信息，因此，像素阵列的4*4最小独立单元中，r像素与d像素同行同列，且同一行的r像素和d像素间隔一个像素，其示意图可以如图3a或图3b所示。
53.示例性的，不同通道的像素依靠滤色单元上涂覆不同的滤光材料对其进行区分，使各通道对应的滤色单元允许通过的光线的波长范围不同。
54.在一些实施例中，w像素对应的滤色单元涂覆的滤光材料允许红色光、绿色光、蓝色光以及近红外光通过；
55.d像素对应的滤色单元涂覆的滤波材料允许通过的可见光(包括红色光、绿色光以及蓝色光)的强度，弱于w像素对应的滤色单元涂覆的滤光材料允许通过的可见光的强度，且d像素对应的滤色单元涂覆的滤波材料允许近红外光通过；
56.r像素对应的滤色片像素单元涂覆的滤光材料允许红色光和部分近红外光通过；
57.g像素对应的滤色片像素单元涂覆的滤光材料允许绿色光和部分近红外光通过；
58.b像素对应的滤色片像素单元涂覆的滤光材料允许蓝色光和部分近红外光通过；
59.示例性的，近红外光可以指短波近红外光，其波长在1100nm以内。
60.示例性的，r像素、g像素和像素b对应的滤色单元涂覆的滤波材料允许通过部分近红外光，即r像素、g像素和b像素对应的滤色片单元涂覆的滤波材料允许通过的近红外光的能量小于w允许通过的近红外光的能量。
61.示例性的，r像素、g像素和b像素对应的滤色单元涂覆的滤波材料允许通过部分近红外光，即r像素、g像素和b像素对应的滤色片单元涂覆的滤波材料允许通过的近红外光的能量小于d像素允许通过的近红外光的能量。
62.示例性的，w像素、d像素、r像素、g像素和b像素允许通过的近红外光的波长范围可以不完全相同，r像素、g像素和b像素允许通过的近红外光的波长范围小于w像素和d像素允许通过的近红外光的波长范围。
63.示例性的，r像素、g像素和b像素对应的滤色单元涂覆的滤波材料允许通过的近红外光的强度，弱于w对应的滤色单元涂覆的滤光材料允许通过的近红外光的强度。
64.在一些实施例中，在第一波长范围[t1，t2]内，w像素的光谱响应曲线的积分值分别大于r像素的光谱响应曲线的积分值、g像素的光谱响应曲线的积分值、以及b像素的光谱响应曲线的积分值，且d像素的光谱响应曲线的积分值大于r像素的光谱响应曲线的积分
值、g像素的光谱响应曲线的积分值、以及b像素光谱响应曲线的积分值；
[0065]
示例性的，第一波长范围t1》700nm，t2《1000nm。
[0066]
需要说明的是，相同能量的不同波长光线通过滤色单元及光电转换单元转化为电信号的大小是不同的，可以将指定能量的某一波长光线通过滤色单元及光电转换单元转化为的电信号的大小称为该波长光线的光谱响应。
[0067]
由于[t1,t2]区间内w光谱响应曲线的积分值越大，其图像信噪比的上限越高。r像素的光谱响应曲线的积分值、g像素的光谱响应曲线的积分值、以及b光谱响应曲线的积分值越低，rgb图像信号中的红外成分越低。在保证w通道图像信噪比的补光强度下，可见光像素(即r像素、g像素和b像素)的红外成分较少，有利于rgb通道的rgb色彩信息恢复。
[0068]
此外，考虑到d光谱响应曲线的积分值越高，红外图像信噪比的上限越高。用该红外图像去除可见光通道中红外分量的图像噪声越小。
[0069]
需要说明的是，若未特殊说明，本技术实施例中提及的红外可以指代上文中所述的1100nm以内的近红外光。
[0070]
示例性的，在[t1，t2]内，可以使图像传感器中w像素的光谱响应曲线的积分值分别大于r像素的光谱响应曲线的积分值、g像素的光谱响应曲线的积分值、以及b像素的光谱响应曲线的积分值，在保证w通道图像信噪比的补光强度下，减少rgb像素的红外成分，提升rgb通道的rgb色彩恢复效果；此外，d像素的光谱响应曲线的积分值分别大于r像素的光谱响应曲线的积分值、g像素的光谱响应曲线的积分值、以及b像素光谱响应曲线的积分值，从而，降低可见光通道中红外分量去除后的图像噪声，优化图像效果。
[0071]
在一个示例中，在第一波长范围[t1,t2]内，d像素的光谱响应曲线的积分值不大于w像素的光谱响应曲线的积分值。
[0072]
在一个示例中，w像素的光谱响应曲线的积分值与r像素、g像素和b像素的光谱响应曲线的积分值的比值大于等于3。
[0073]
示例性的，在[t1，t2]内，可以使图像传感器中w像素的光谱响应曲线的积分值与rgb光谱响应曲线的积分值的比例大于等于3，即w像素的光谱响应曲线的积分值与r像素的光谱响应曲线的积分值大于等于3，w像素的光谱响应与g像素的光谱响应曲线的积分值大于等于3，以及w像素的光谱响应曲线的积分值与b像素的光谱响应曲线的积分值大于等于3。
[0074]
需要说明的是，图像传感器中r像素的光谱响应曲线的积分值、g像素的光谱响应曲线的积分值以及b像素的光谱响应曲线的积分值相近，即两两之间的差值均小于预设阈值。
[0075]
在一些实施例中，在第二波长范围[t3，t4]内，r像素、g像素和b像素的光谱响应曲线的积分值均大于d像素的光谱响应曲线的积分值。
[0076]
示例性的，第二波长范围380nm≤t3≤480nm，600nm≤t4≤700nm，t4＜t1。
[0077]
示例性的，在第二波长范围内(也可以称为可见光波长范围，本文中记为[t3，t4])，d像素的光谱响应曲线的积分值应低于r像素的光谱响应曲线的积分值、g像素的光谱响应曲线的积分值以及b像素的光谱响应曲线的积分值。
[0078]
在一个示例中，r像素、g像素和b像素的光谱响应与d像素的光谱响应的比例均大于8。
[0079]
示例性的，为了保证去除红外过程中排除红外像素的可见光响应干扰，可以使[t3，t4]内，r像素、g像素和b像素的光谱响应曲线的积分值与d像素的光谱响应曲线的积分值的比例均大于8。
[0080]
示例性的，滤色片涂覆符合上述要求的滤光材料后不同通道光谱响应曲线可以如图4所示。
[0081]
示例性的，如图2所示，图像传感器中，在像素阵列的下方，是传感器的电路部分，包括电荷读出及控制电路，该电荷读取及控制电路可以包括电荷读出以及控制电路两部分。
[0082]
电荷读出用于将传感器曝光时间内累计的电信号(电荷)进行转移，在电路的控制信号作用下，将像素的电荷读出。
[0083]
示例性的，图像传感器处理的整体物理过程为：光线进入像素阵列后，通过微镜头阵列以及滤色片，在像素阵列中按照入射光能量大小以及传感器的光谱响应曲线将光能量转化为电荷值。电荷读出模块将所述感光器件累积的电荷输出，得到感光结果。
[0084]
在一些实施例中，图像传感器还可以包括：曝光时间控制电路(图中未示出)；曝光时间控制电路用于输出至少一路曝光时间控制信号，第一路曝光时间控制信号至少用于控制非白光像素的曝光时间，非白光像素包括r像素、g像素、b像素和d像素。
[0085]
示例性的，图像传感器可以通过曝光时间控制电路实现对各像素的曝光时间控制。
[0086]
示例性的，图像传感器的曝光时间控制电路可以用于输出至少一路曝光时间控制信号。
[0087]
作为一种可能的实现方式，图像传感器的曝光时间控制电路可以用于输出一路曝光时间控制信号(可以称为第一路曝光时间控制信号)，该第一路曝光时间控制信号用于控制非白光像素和w像素的曝光时间。
[0088]
示例性的，图像传感器的曝光时间控制电路可以通过一路曝光时间控制信号来控制w像素、d像素、r像素、g像素和b像素的曝光时间，降低图像传感器的工艺实现难度。
[0089]
作为另一种可能的实现方式，图像传感器的曝光时间控制电路可以用于输出两路曝光时间控制信号，该两路曝光时间控制信号中第一路曝光时间控制信号用于控制非白光像素的曝光时间，第二路曝光时间控制信号用于控制w像素的曝光时间。
[0090]
示例性的，考虑到rgb通道、d通道以及w通道的光谱响应曲线的类型不同，且考虑到w通道的独立性较高，因此，可以通过一路曝光时间控制信号控制非白光像素的曝光时间，另一路曝光时间控制信号控制w的曝光时间，通过w单独控制曝光时间，可以保证在可见光曝光充分的情况下，减少白光路，即补光路图像中的运动物体拖尾模糊等，有利于提升图像效果。
[0091]
示例性的，曝光时间控制电路通过两路曝光时间控制信号分别控制非白光像素和w像素的曝光时间的示意图可以如图5所示。
[0092]
需要说明的是，图5所示控制信号中，信号走线只表示信号的连接关系，并不代表物理硬件或软件上的实现。
[0093]
举例来说，假设r为像素在传感器阵列的行位置，c为像素在传感器阵列的列位置。
[0094]
所有r％2＝1且y％2＝0或r％2＝0且y％2＝1的像素位置是w像素，其中％为求余
运算。其余位置的像素表示r像素、g像素、b像素或d像素，都由一根控制信号线相连。
[0095]
需要说明的是，对于其他的满足要求的rgbdw排列方式传感器，信号线的连接会有所不同。
[0096]
在一个示例中，当曝光时间控制电路用于输出至少一路曝光时间控制信号，第一路曝光时间控制信号至少用于控制非白光像素的曝光时间时，第一路曝光时间控制信号至少用于控制r像素、g像素、b像素以及d像素的曝光起始时间；
[0097]
或者，第一路曝光时间控制信号至少用于控制r像素、g像素、b像素以及d像素的曝光结束时间；
[0098]
或者，第一路曝光时间控制信号至少用于控制r像素、g像素、b像素以及d像素的曝光起始时间和曝光结束时间。
[0099]
示例性的，图像传感器的曝光时间控制电路输出的曝光时间控制信号可以用于对曝光起始时间和/或曝光结束时间进行控制，以控制对应像素的曝光时间。
[0100]
当曝光时间控制电路用于输出至少一路曝光时间控制信号，第一路曝光时间控制信号至少用于控制非白光像素的曝光时间时，该第一路曝光时间控制信号可以至少用于控制r像素、g像素、b像素以及d像素的曝光起始时间；或者，第一路曝光时间控制信号可以至少用于控制r像素、g像素、b像素以及d像素的曝光结束时间；或者，第一路曝光时间控制信号可以至少用于控制r像素、g像素、b像素以及d像素的曝光起始时间和曝光结束时间。
[0101]
在一些实施例中，图像传感器还可以包括：传感器增益控制电路，传感器增益控制电路用于输出至少两路增益控制信号，其中，第一路增益控制信号用于控制r像素、g像素以及b像素的增益，第二路增益控制信号至少用于控制w像素的增益。
[0102]
示例性的，图像传感器可以通过传感器增益控制电路实现对各像素的增益控制。
[0103]
示例性的，增益可以包括模拟增益和/或数字增益。
[0104]
示例性的，考虑到不同通道的光谱响应特性，白光通道和rgb通道的感光量相差较大，若传感器配置以某一个通道的感光量所适合的增益，则其他通道的图像或者欠曝或过曝，不利于后续的图像处理效果，因此，图像传感器的传感器增益控制电路可以通过至少两路增益控制信号对各像素的增益进行控制，以优化图像效果。
[0105]
示例性的，图像传感器的传感器增益控制电路可以至少输出两路增益控制信号，第一路增益控制信号用于控制r像素、g像素和b像素的增益；第二路增益控制信号至少用于控制w像素的增益。
[0106]
作为一种可能的实现方式，传感器增益控制电路可以输出两路增益控制信号，第二路增益控制信号用于控制w像素和d像素的增益。
[0107]
作为另一种可能的实现方式，传感器增益控制电路可以输出三路增益控制信号，第二路增益控制信号用于控制w像素的增益，第三路增益控制信号用于控制d像素的增益。
[0108]
在一个示例中，曝光时间控制电路用于输出两路曝光时间控制信号，其中，第一路曝光时间控制信号用于控制非白光像素的曝光时间，第二路曝光时间控制信号用于控制w像素的曝光时间，传感器增益控制电路用于输出三路增益控制信号，其中，第一路增益控制信号用于控制r像素、g像素以及b像素的增益，第二路增益控制信号用于控制w像素的增益，第三路增益控制信号用于控制d像素的增益。
[0109]
示例性的，图像传感器可以通过曝光时间控制电路输出两路曝光时间控制信号控
制各像素的曝光时间。一路曝光时间控制信号(即上述第一路曝光时间控制信号)用于控制非白光像素的曝光时间，另一路曝光时间控制信号(可以称为第二路曝光时间控制信号)用于控制w像素的曝光时间，通过w像素单独控制曝光时间，可以保证在可见光曝光充分的情况下，减少白光路也即补光路图像中的运动物体拖尾模糊等，有利于提升图像效果。
[0110]
示例性的，考虑到非白光像素和w像素的曝光时间分开控制的情况下，rgbd通道与白光通道的曝光时间可能不同，因此rgbd路与白光需要用不同的增益达到合适曝光。
[0111]
此外，d像素如果和rgb路增益保持相同，则rgb路相同增益的情况下，d像素由于红外成分响应高于rgb像素，容易过曝。因此，d像素需要和rgb路分开控制增益。
[0112]
因而，图像传感器可以通过传感器增益控制电路输出三路增益控制信号控制各像素的增益。一路增益控制信号(可以称为第一路增益控制信号)用于控制r像素、g像素和b像素的增益，另一路增益控制信号(可以称为第二路增益控制信号)用于控制w像素的增益，最后一路增益控制信号(可以称为第三路增益控制信号)用于控制d像素的增益，以优化图像处理效果。
[0113]
需要说明的是，在本技术实施例中，在曝光时间控制电路输出两路曝光时间控制信号的情况下，传感器增益控制电路可以输出三路模拟增益控制信号，第一路模拟增益控制信号用于控制r像素、g像素以及b像素的模拟增益，第二路模拟增益控制信号用于控制w像素的模拟增益，第三路模拟增益控制信号用于控制d像素的模拟增益。
[0114]
或者，
[0115]
在曝光时间控制电路输出两路曝光时间控制信号的情况下，传感器增益控制电路可以输出三路数字增益控制信号，第一路数字增益控制信号用于控制r像素、g像素以及b像素的数字增益，第二路数字增益控制信号用于控制w像素的数字增益，第三路数字增益控制信号用于控制d像素的数字增益。
[0116]
或者，
[0117]
在曝光时间控制电路输出两路曝光时间控制信号的情况下，传感器增益控制电路可以输出三路模拟增益控制信号和三路数字增益控制信号，第一路模拟增益控制信号和第一路数字增益控制信号用于控制r像素、g像素以及b像素的模拟增益和数字增益，第二路模拟增益控制信号和第二路数字增益控制信号用于控制w像素的模拟增益和数字增益，第三路模拟增益控制信号和第三路数字增益控制信号用于控制d像素的模拟增益和数字增益。在一个示例中，第一路曝光时间控制信号用于控制r像素、g像素、b像素以及d像素的曝光起始时间，第二路曝光时间控制信号用于控制w的曝光起始时间，
[0118]
或者，第一路曝光时间控制信号用于控制r像素、g像素、b像素以及d像素的曝光结束时间，第二路曝光时间控制信号用于控制w的曝光结束时间；
[0119]
或者，第一路曝光时间控制信号用于控制r像素、g像素、b像素以及d像素的曝光起始时间和曝光结束时间，第二路曝光时间控制信号用于控制w的曝光起始时间和曝光结束时间。
[0120]
作为一种可能的实现方式，第一路曝光时间控制信号用于控制r像素、g像素、b像素以及d像素的曝光起始时间；第二路曝光时间控制信号用于控制w的曝光起始时间；其中，r像素、g像素、b像素、d像素以及w像素的曝光结束时间相同。
[0121]
示例性的，第一路曝光时间控制信号控制r像素、g像素、b像素以及d像素的曝光起
始时间，第二路曝光时间控制信号控制w路的曝光起始时间，且r像素、g像素、b像素、d像素以及w像素使用统一的曝光结束时间(如通过一个统一的曝光结束信号控制曝光结束)。两路曝光时间控制信号信号(即第一路曝光时间控制信号和第二路曝光时间控制信号)彼此独立。
[0122]
示例性的，r像素、g像素、b像素以及d像素的曝光结束时间相同，能够保证在去红外操作时，r通道、g通道、b通道和d通道的图像不会由于曝光时间不同而导致的运动错位，从而能够避免去红外后的运动区域效果瑕疵。w像素单独控制曝光时间的优势在于，一方面在环境可见光较弱时，可通过增加rgb通道曝光时间提高进光量，另一方面，减少w像素曝光时间，可以避免两组通道(rgbd通道和w通道)的曝光不匹配导致的图像动态范围损失，同时还能够减少由于曝光时间较长而导致的图像运动较快区域的运动模糊问题。
[0123]
举例来说，以图6所示曝光时序(即曝光时间控制信号)为例，曝光开始后，第一路曝光时间控制信号以及第二路曝光时间控制信号选通对应像素开始曝光(r像素、g像素、b像素、d像素的曝光起始时间不晚于w像素的曝光起始时间，图中以r像素、g像素、b像素、d像素的曝光起始时间早于w的曝光起始时间为例)，当达到传感器配置的所需曝光时间后，传感器的曝光时间控制电路的曝光结束信号上升沿统一曝光结束时间，结束曝光。从曝光开始信号的上升沿到控制信号输出上升沿的时间即为对应像素的曝光时间。由于两路曝光时间控制信号独立，因此脉冲信号时间不同对应了不同的曝光时间。
[0124]
需要说明的是，上述电路控制触发方式可以为脉冲触发的上升沿或下降沿，也可以是按照高低电平触发使能(即曝光时间内都是高电平，曝光时间之外都是低电平，曝光信号持续一段时间)，本技术实施例对此不做限定。
[0125]
此外，上一示例仅属于本技术实施例中曝光控制的一种举例，本技术实施例中，还可以设计为w像素和r像素、g像素、b像素以及d像素的结束曝光时间不同，采用曝光起始信号控制曝光起始时间相同等其他方式，本技术实施例对能够控制不同曝光时间的方式也不做限定。
[0126]
在一个示例中，曝光时间控制电路用于输出一路曝光时间控制信号，第一路曝光时间控制信号用于控制非白光像素和w像素的曝光时间；
[0127]
传感器增益控制电路用于输出两路增益控制信号，其中，第一路增益控制信号用于控制r像素、g像素以及b像素的增益，第二路增益控制信号用于控制w像素和d像素的增益。
[0128]
示例性的，图像传感器可以通过曝光时间控制电路输出一路曝光时间控制信号控制各像素的曝光时间，该一路曝光时间控制信号(可以称为第一路曝光时间控制信号)用于控制非白光像素和w像素的曝光时间，由于通过一路曝光时间控制全部像素的曝光时间，因此，可以降低图像传感器的控制成本，以及降低图像传感器的工艺实现难度。
[0129]
示例性的，考虑到rgbdw的曝光时间均相同的情况下，暗光通道由于红外成分与白光通道更接近，因此，暗光通道可以与白光通道一起进行增益控制。
[0130]
因而，图像传感器可以通过传感器增益电路输出两路增益控制信号，其中一路增益控制信号(可以称为第一路增益控制信号)用于控制r像素、g像素和b像素的增益，另一路增益控制信号(可以称为第二路增益控制信号)用于控制w像素和d像素的增益。
[0131]
需要说明的是，在本技术实施例中，在曝光时间控制电路输出一路曝光时间控制
信号的情况下，传感器增益控制电路可以输出两路模拟增益控制信号，第一路模拟增益控制信号用于控制r像素、g像素以及b像素的模拟增益，第二路模拟增益控制信号用于控制w像素和d像素的模拟增益。
[0132]
或者，
[0133]
在曝光时间控制电路输出一路曝光时间控制信号的情况下，传感器增益控制电路可以输出两路数字增益控制信号，第一路数字增益控制信号用于控制r像素、g像素以及b像素的数字增益，第二路数字增益控制信号用于控制w像素和d像素的数字增益。
[0134]
或者，
[0135]
在曝光时间控制电路输出一路曝光时间控制信号的情况下，传感器增益控制电路可以输出两路模拟增益控制信号和两路数字增益控制信号，第一路模拟增益控制信号和第一路数字增益控制信号用于控制r像素、g像素以及b像素的模拟增益和数字增益，第二路模拟增益控制信号和第二路数字增益控制信号用于控制w像素和d像素的模拟增益和数字增益。
[0136]
在一个示例中，第一路曝光时间控制信号用于控制非白光像素和w像素的曝光起始时间，
[0137]
或者，第一路曝光时间控制信号用于控制非白光和w像素的曝光结束时间；
[0138]
或者，第一路曝光时间控制信号用于控制非白光和w像素的曝光起始时间和曝光结束时间。
[0139]
请参见图7，为本技术实施例提供的一种图像处理系统的结构示意图，如图7所示，该图像处理系统至少可以包括图像传感器单元710、光学单元720、图像处理单元730、曝光控制单元740。
[0140]
示例性的，该图像传感器单元710可以包括上述任一实施例中描述的图像传感器。
[0141]
示例性的，光学单元720，用于对入射光的部分波长区间光谱进行阻挡，输出入射图像传感器的目标光信号；
[0142]
图像传感器单元710，用于通过图像传感器的像素阵列中各像素对目标光信号的感光转化为电信号，并经过图像传感器的读出电路后，输出第一格式的图像信号；
[0143]
示例性的，图像处理器传感器的像素阵列中可以至少包括两类像素，其中第一类像素允许通过的近红外光的强度强于第二类像素允许通过的近红外光的强度。
[0144]
在一个示例中，第一类像素包括w像素和d像素，第二类像素包括r像素、g像素和b像素。
[0145]
在另一个示例中，第一类型像素包括d像素，第二类像素包括r像素、g像素和b像素。
[0146]
在另一个示例中，第一类型像素包括w像素，第二类像素包括r像素、g像素和b像素。
[0147]
曝光控制单元740，用于输出曝光控制信号给图像传感器单元710，以控制图像传感器单元的图像传感器的像素阵列中各像素的各个通道的曝光；
[0148]
图像处理单元730，用于将第一格式的图像信号进行第一处理得到第一格式的第一处理图像；将第一格式的第一处理图像进行第二处理得到第二格式的第二处理图像。
[0149]
示例性的，光学单元720可以用于对入射光的部分波长区间光谱进行阻挡，得到入
射图像传感器的光信号(本文中称为目标光信号)。
[0150]
在一些实施例中，光学单元720可以包括光学成像镜头及滤光装置。
[0151]
示例性的，滤光装置位于光学成像镜头和图像传感器之间，图像传感器位于滤光装置的出光侧。入射光通过光学成像镜头后，由滤光装置对入射光进行过滤，阻挡部分波长区间光谱，过滤后的光信号(即目标光信号)入射图像传感器。
[0152]
在一个示例中，滤光装置包括第一滤光片、第二滤光片和切换部件，第一滤光片和第二滤光片均与切换部件连接。
[0153]
示例性的，切换部件，用于将第二滤光片切换到图像传感器的入光侧，或者将第一滤光片切换到图像传感器的入光侧。
[0154]
示例性的，为了提高滤光装置滤光的灵活性和可控性，滤光装置可以包括两个滤光片(本文中称为第一滤光片和第二滤光片)以及切换部件。第一滤光片和第二滤光片均与切换部件连接。
[0155]
切换部件可以根据指定策略控制第一滤光片切换到图像传感器的入光侧，或，控制第二滤光片切换到图像传感器的入光侧，以实现不同的滤光需求。
[0156]
在一个示例中，第一滤光片使可见光和部分近红外光通过；第二滤光片使可见光通过，阻挡近红外光。
[0157]
作为一种可能的实现方式，第一滤光片为双峰滤光片，该双峰滤光片用于使可见光波段[t3,t4]、及波段范围位于第一波长范围[t1，t2]内的红外光通过，以滤除红外波段内红色光通道，蓝色光通道，绿色光通道光谱响应不同的部分。
[0158]
在另一个示例中，光学成像镜头上镀有滤光膜，该滤光膜用于使可见光波段[t3,t4]、及波段范围位于第一波长范围[t1，t2]内的红外光通过；第一滤光片为全通滤光片，第二滤光片使可见光通过，阻挡所有近红外光。
[0159]
需要说明的是，第一滤光片也可以替换为玻片。
[0160]
示例性的，考虑到本技术实施例中的光学镜头需要根据需求使指定波长范围内的可见光，或者，指定波长范围内的可见光和指定波长范围内的红外光通过，对于其它波长范围的光信号需要进行阻挡。
[0161]
针对上述需求，除了可以分别通过不同滤光片来实现指定光信号的阻挡之外，还可以通过在光学成像镜头上增加滤光膜的方式实现。
[0162]
示例性的，光学成像镜头上可以镀有用于使可见光波段[t3,t4]、及波段范围位于第一波长范围[t1，t2]内的红外光通过的滤光膜，以实现对其它波长范围的光信号的阻挡。
[0163]
对于需要近红外光的场景，可以将为全通滤光片的第一滤光片切换到图像传感器的入光侧；对于不需要近红外光的场景，可以将使可见光通过，但阻挡所有近红外光的第二滤光片切换到图像传感器的入光侧，以实现对近红外光的阻挡。
[0164]
需要说明的是，由于第一滤光片为全通滤光片的情况下，第一滤光片并不会对入射的光信号进行过滤，因此，第一滤光片可以一直处于图像传感器的入光侧，并根据需求选择是否将第二滤光片切换到图像传感器的入光侧；或者，可以不需要部署为全通滤光片的第一滤光片，而是根据需求选择是否将第二滤光片切换到图像传感器的入光侧。
[0165]
在一个示例中，如图8所示，图像处理系统还包括驱动控制单元750，驱动控制单元750，用于在图像处理系统使用第一工作模式时，控制切换部件将第二滤光片切换到图像传
感器的入光侧；在图像处理系统使用第二工作模式时，控制切换部件将第一滤光片切换到图像传感器的入光侧。
[0166]
示例性的，为了适用不同的图像处理场景，图像处理系统可以设置至少两个不同的工作模式(本文中称为第一工作模式和第二工作模式)，不同工作模式下对于入射光中光信号的需求不同。
[0167]
示例性的，图像处理系统可以根据所使用的工作模式，通过驱动控制单元750控制切换部件将第一滤光片切换到图像传感器的入光侧，或，将第二滤光片切换到图像传感器的入光侧。
[0168]
示例性的，驱动控制单元750可以在图像处理系统使用第一工作模式时，控制切换部件将第二滤光片切换到图像传感器的入光侧；在图像处理系统使用第二工作模式时，控制切换部件将第一滤光片切换到图像传感器的入光侧。
[0169]
示例性的，第二工作模式可以针对低照度环境的工作模式，第一工作模式可以为针对非低照度环境的工作模式，在第二工作模式下，可以允许部分近红外光通过，实现补光，以优化图像处理效果。
[0170]
在一个示例中，在图7或图8所示图像处理的基础上，如图9所示(以在图7所示图像处理系统的基础上进行优化为例)，图像处理系统还可以包括：近红外补光控制单元760和近红外补光单元770；
[0171]
近红外补光控制单元760，用于向近红外补光单元发送补光控制信号，补光控制信号至少用于控制近红外补光单元770开启和关闭；
[0172]
近红外补光单元770，用于基于补光控制信号开启近红外补光或关闭近红外补光；其中，在第二滤光片切换到图像传感器的入光侧时，补光控制信号用于控制近红外补光单元关闭近红外补光；在第一滤光片切换到图像传感器的入光侧时，补光控制信号用于控制近红外补光单元开启近红外补光。
[0173]
示例性的，图像处理系统还可以包括近红外补光控制单元和近红外补光单元。
[0174]
近红外补光控制单元可以根据需求向近红外补光单元发送用于控制近红外补光单元开启和关闭的补光控制信号。
[0175]
示例性的，在第二滤光片对近红外光进行阻挡的情况下，若第二滤光片切换到图像传感器的入光侧，即当前不需要近红外光入射图像传感器时，可以通过近红外补光控制单元向近红外补光单元发送控制红外补光单元关闭的控制信号，以控制近红外补光单元关闭近红外补光，以节省系统资源；在第一滤光片不对近红外光进行阻挡，或，对部分近红外光进行阻挡的情况下，若第一滤光片切换到图像传感器的入光侧，即当前需要近红外光入射图像传感器时，可以通过近红外补光控制单元向近红外补光单元发送控制红外补光单元开启的控制信号，以控制近红外补光单元开启近红外补光，实现补光，以优图像处理效果。
[0176]
在一些实施例中，图像传感器单元710的图像传感器包括曝光时间控制电路；曝光控制单元740包括曝光时间控制单元，该曝光时间控制单元用于输出曝光时间控制信号给曝光时间控制电路；
[0177]
该曝光时间控制电路用于根据曝光时间控制单元输出的曝光时间控制信号，至少输出第一路曝光时间控制信号，第一路曝光时间控制信号至少用于控制非白光像素的曝光时间，非白光像素包括r像素、g像素、b像素和d像素。
[0178]
示例性的，曝光控制单元740可以包括曝光时间控制单元，曝光时间控制单元可以通过输出曝光时间控制信号给图像传感器中的曝光时间控制电路，以控制图像传感器中各像素的曝光时间。
[0179]
示例性的，图像传感器中的曝光时间控制电路接收到曝光时间控制单元输出的曝光时间控制信号时，可以至少输出第一路曝光时间控制信号，该第一路曝光时间控制信号至少用于控制非白光像素和w像素的曝光时间。
[0180]
示例性的，图像传感器的曝光时间控制电路可以通过一路曝光时间控制信号来控制w像素、d像素、r像素、g像素和b像素的曝光时间，降低图像传感器的工艺实现难度。
[0181]
作为另一种可能的实现方式，图像传感器的曝光时间控制电路可以用于输出两路曝光时间控制信号，该两路曝光时间控制信号中第一路曝光时间控制信号用于控制非白光像素的曝光时间，第二路曝光时间控制信号用于控制w像素的曝光时间。
[0182]
示例性的，考虑到rgb通道、d通道以及w通道的光谱响应曲线的类型不同，且考虑到w通道的独立性较高，因此，可以通过一路曝光时间控制信号控制非白光像素的曝光时间，另一路曝光时间控制信号控制w像素的曝光时间，通过w像素单独控制曝光时间，可以保证在可见光曝光充分的情况下，减少白光路，即补光路图像中的运动物体拖尾模糊等，有利于提升图像效果。
[0183]
在一个示例中，第一路曝光时间控制信号至少用于控制r像素、g像素、b像素以及d像素的曝光起始时间；
[0184]
或者，第一路曝光时间控制信号至少用于控制r像素、g像素、b像素以及d像素的曝光结束时间；
[0185]
或者，第一路曝光时间控制信号至少用于控制r像素、g像素、b像素以及d像素的曝光起始时间和曝光结束时间。
[0186]
在一个示例中，图像传感器单元710的图像传感器还包括：传感器增益控制电路，
[0187]
曝光控制单元740还包括增益控制单元，增益控制单元用于输出增益控制信号给传感器增益控制电路；
[0188]
传感器增益控制电路用于根据增益控制单元输出的增益控制信号，输出至少两路增益控制信号，其中，第一路增益控制信号用于控制r像素、g像素以及b像素的增益，第二路增益控制信号至少用于控制w像素的增益。
[0189]
示例性的，曝光控制单元740还可以包括增益控制单元，增益控制单元可以通过输出增益控制信号给图像传感器中的传感器增益控制电路，以控制图像传感器中各像素的传感器增益。
[0190]
示例性的，考虑到不同通道的光谱响应特性，白光通道和rgb通道的感光量相差较大，若传感器配置以某一个通道的感光量所适合的增益，则其他通道的图像或者欠曝或过曝，不利于后续的图像处理效果，因此，增益控制单元可以输出增益控制信号，控制图像传感器的传感器增益控制电路输出至少两路增益控制信号，分别对各像素的增益进行控制，以优化图像效果。
[0191]
示例性的，图像传感器中的传感器增益控制电路接收到增益控制单元输出的增益控制信号时，可以至少输出两路曝光时间控制信号。
[0192]
示例性的，第一路增益控制信号用于控制r像素、g像素以及b像素的增益。第二路
增益控制信号至少用于控制w像素的增益。
[0193]
示例性的，增益可以包括模拟增益和/或数字增益。
[0194]
作为一种可能的实现方式，增益控制单元可以通过增益控制信号控制传感器增益控制电路输出两路增益控制信号，第二路增益控制信号用于控制w像素和d像素的增益。
[0195]
作为另一种可能的实现方式，增益控制单元可以通过增益控制信号控制传感器增益控制电路输出三路增益控制信号，第二路增益控制信号用于控制w的增益，第三路增益控制信号用于控制d像素的增益。
[0196]
在一个示例中，曝光时间控制电路用于根据曝光时间控制单元输出的曝光时间控制信号输出两路曝光时间控制信号，其中，第一路曝光时间控制信号用于控制非白光像素的曝光时间，第二路曝光时间控制信号用于控制w像素的曝光时间，
[0197]
传感器增益控制电路用于根据增益控制单元输出的增益控制信号输出三路增益控制信号，其中，第一路增益控制信号用于控制r像素、g像素以及b像素的增益，第二路增益控制信号用于控制w像素的增益，第三路增益控制信号用于控制d像素的增益。
[0198]
示例性的，曝光时间控制单元可以通过曝光控制信号控制曝光时间控制电路输出两路曝光时间控制信号控制各像素的曝光时间。一路曝光时间控制信号(即上述第一路曝光时间控制信号)用于控制非白光像素的曝光时间，另一路曝光时间控制信号(可以称为第二路曝光时间控制信号)用于控制w像素的曝光时间，通过w像素单独控制曝光时间，可以保证在可见光曝光充分的情况下，减少白光路也即补光路图像中的运动物体拖尾模糊等，有利于提升图像效果。
[0199]
示例性的，考虑到非白光像素和w像素的曝光时间分开控制的情况下，rgbd通道与白光通道的曝光时间可能不同，因此rgbd路与白光需要用不同的增益达到合适曝光。
[0200]
此外，d像素如果和rgb路增益保持相同，则rgb路相同增益的情况下，d像素由于红外成分响应高于rgb像素，容易过曝。因此，d像素需要和rgb路分开控制增益。
[0201]
因而，增益控制单元可以通过增益控制信号控制传感器增益控制电路输出三路增益控制信号控制各像素的增益。一路增益控制信号(可以称为第一路增益控制信号)用于控制r像素、g像素和b像素的增益，另一路增益控制信号(可以称为第二路增益控制信号)用于控制w的增益，最后一路增益控制信号(可以称为第三路增益控制信号)用于控制d像素的增益，以优化图像处理效果。
[0202]
示例性的，第一路曝光时间控制信号用于控制r像素、g像素、b像素以及d像素的曝光起始时间，第二路曝光时间控制信号用于控制w像素的曝光起始时间，
[0203]
或者，第一路曝光时间控制信号用于控制r像素、g像素、b像素以及d像素的曝光结束时间，第二路曝光时间控制信号用于控制w像素的曝光结束时间；
[0204]
或者，第一路曝光时间控制信号用于控制r像素、g像素、b像素以及d像素的曝光起始时间和曝光结束时间，第二路曝光时间控制信号用于控制w的曝光起始时间和曝光结束时间。
[0205]
作为一种可能的实施方式，在图像处理系统处于第二工作模式时，r像素、g像素、b像素以及d像素的曝光时间不小于w像素的曝光时间。
[0206]
示例性的，在图像处理系统使用第二工作模式，即允许部分近红外光入射图像传感器，例如，对于环境可见光较弱的场景，且w像素和非白光像素的曝光时间分开控制的情
况下，可通过增加rgb通道曝光时间提高进光量，并减少w像素曝光时间，避免两组通道(rgbd通道和w通道)的曝光不匹配导致的图像动态范围损失，同时还能够减少由于曝光时间较长而导致的图像运动较快区域的运动模糊问题。
[0207]
举例来说，以图6所示曝光时序(即曝光时间控制信号)为例，曝光开始后，第一控制信号以及第二控制信号选通对应像素开始曝光(r像素、g像素、b像素、d像素的曝光起始时间不晚于w的曝光起始时间，图中以r像素、g像素、b像素、d像素的曝光起始时间早于w像素的曝光起始时间为例)，当达到传感器配置的所需曝光时间后，传感器的曝光时间控制电路的曝光结束信号上升沿统一曝光结束时间，结束曝光。从曝光开始信号的上升沿到控制信号输出上升沿的时间即为对应像素的曝光时间。由于两路控制信号独立，因此脉冲信号时间不同对应了不同的曝光时间。
[0208]
示例性的，在图像处理系统处于第二工作模式时，r像素、g像素和b像素的增益大于w像素的增益；r像素、g像素和b像素的增益不小于d像素的增益。
[0209]
示例性的，可以通过增益控制信号，控制rgb像素的增益(模拟增益与数字增益之和)大于w像素的增益(模拟增益与数字增益之和)，且rgb的增益(模拟增益与数字增益之和)不小于d像素的增益(模拟增益与数字增益之和)。
[0210]
例如，r像素的模拟增益大于w像素的模拟增益，且r像素和w像素均不启用数字增益；g像素的模拟增益大于w像素的模拟增益，且g像素和w像素均不启用数字增益；b像素的模拟增益大于w像素的模拟增益，且b像素和w像素均不启用数字增益；
[0211]
或者，r像素的模拟增益与w像素的增益相同，且r像素的数字增益大于w像素的数字增益；g像素的模拟增益与w像素的增益相同，且g像素的数字增益大于w像素的数字增益；b像素的模拟增益与w像素的增益相同，且b像素的数字增益大于w像素的数字增益。
[0212]
由于对于低照度场景，rgb通道的感光会比较差，而由于d通道和w通道存在红外光，d通道和w通道的感光均会比rgb通道好。因而，为了保证rgb通道、d通道以及w通道的曝光效果，避免出现欠曝或过曝的情况，可以控制r像素、g像素和b像素的增益不小于d像素的增益，r像素、g像素和b像素的增益大于w像素的增益，以优化图像的曝光效果。
[0213]
在一个示例中，曝光时间控制电路用于根据曝光时间控制单元输出的曝光时间控制信号输出一路曝光时间控制信号，第一路曝光时间控制信号用于控制非白光像素和w像素的曝光时间；
[0214]
传感器增益控制电路用于根据增益控制单元输出的增益控制信号输出两路增益控制信号，其中，第一路增益控制信号用于控制r像素、g像素以及b像素的增益，第二路增益控制信号用于控制w像素和d像素的增益。
[0215]
示例性的，曝光时间控制单元可以通过曝光时间控制信号控制曝光时间控制电路输出一路曝光时间控制信号，以控制各像素的曝光时间，该一路曝光时间控制信号(可以称为第一路曝光时间控制信号)用于控制非白光像素和w像素的曝光时间，由于通过一路曝光时间控制全部像素的曝光时间，因此，可以降低图像传感器的控制成本，以及降低图像传感器的工艺实现难度。
[0216]
示例性的，考虑到rgbdw的曝光时间均相同的情况下，暗光通道由于红外成分与白光通道更接近，因此，暗光通道可以与白光通道一起进行增益控制。
[0217]
因而，增益控制单元可以通过增益控制信号控制传感器增益电路输出两路增益控
制信号，其中一路增益控制信号(可以称为第一路增益控制信号)用于控制r像素、g像素和b像素的增益，另一路增益控制信号(可以称为第二路增益控制信号)用于控制w像素和d像素的增益。
[0218]
作为一种可能的实施方式，在图像处理系统处于第二工作模式时，r像素、g像素、b像素和d像素的曝光时间等于w像素的曝光时间。
[0219]
示例性的，在图像处理系统使用第二工作模式，即允许部分近红外光入射图像传感器，例如，对于环境可见光较弱的场景，且w像素和非白光像素的曝光时间统一控制，以及rgb像素和dw像素的增益分开控制的情况下，r像素、g像素、b像素、d像素和w像素的曝光时间可以相同。
[0220]
示例性的，在图像处理系统处于第二工作模式时，r像素、g像素和b像素的增益大于w像素的增益。
[0221]
示例性的，可以通过增益控制信号，控制r像素、g像素和b像素的增益(模拟增益与数字增益之和)大于w像素的增益(模拟增益与数字增益之和)。
[0222]
例如，r像素的模拟增益大于w像素的模拟增益，且r像素和w像素均不启用数字增益；g像素的模拟增益大于w像素的模拟增益，且g像素和w像素均不启用数字增益；b像素的模拟增益大于w像素的模拟增益，且b像素和w像素均不启用数字增益；
[0223]
或者，r像素的模拟增益与w像素的增益相同，且r像素的数字增益大于w像素的数字增益；g像素的模拟增益与w像素的增益相同，且g像素的数字增益大于w像素的数字增益；b像素的模拟增益与w像素的增益相同，且b像素的数字增益大于w像素的数字增益。
[0224]
由于对于低照度场景，rgb通道的感光会比较差，而由于w通道存在红外光，w通道的感光会比rgb通道好，在rgbdw曝光时间相同的情况下，为了保证rgb通道和w通道的曝光效果，避免出现欠曝或过曝的情况，可以控制r像素、g像素和b像素的增益(模拟增益 数字增益)大于w像素的增益，以优化图像的曝光效果。
[0225]
在一个示例中，上述近红外补光控制单元760可以包括近红外补光强度控制单元。
[0226]
近红外补光强度控制单元，可以用于确定近红外补光强度相关系数，根据近红外补光强度相关系数确定近红外补光单元的补光强度；
[0227]
示例性的，当近红外补光强度相关系数大于第一阈值时，将近红外补光单元的当前补光强度调低；当近红外补光强度相关系数小于第二阈值时，将近红外补光单元的当前补光强度调高。
[0228]
示例性的，第一阈值大于第二阈值。
[0229]
示例性的，为了优化近红外补光效果，可以根据补光需求调节近红外补光单元的补光强度。
[0230]
示例性的，可以通过近红外补光强度相关系数来表征补光需求。
[0231]
示例性的，近红外补光强度相关系数可以与补光需求负相关，当近红外光补光强度相关系数较大，如大于第一阈值时，确定补光需求低，可以将近红外补光单元的当前补光强度调低；当近红外光补光强度相关系数较小，如小于第二阈值时，确定补光需求高，可以将近红外补光单元的当前补光强度调高，以便将近红外光强度控制在合适范围时，提高w通道的信噪比，以及提高对rgb通道进行去红外处理后，rgb通道的信噪比，优化图像效果。
[0232]
作为一种可能的实现方式，近红外补光强度相关系数为rgb通道的近红外光能量
与可见光能量的能量占比。
[0233]
示例性的，考虑到rgb通道的近红外光能量与可见光能量的能量占比越高，对补光需求越低，因此，可以将rgb通道的近红外光能量与可见光能量的能量占比作为近红外补光强度相关系数。
[0234]
示例性的，确定近红外补光强度相关系数的方式可以包括但不限于以下两种方式：
[0235]
方式一、基于图像传感器输出的第一格式的图像信号的图像中的rgb通道平均亮度以及暗光通道平均亮度，确定能量占比。
[0236]
举例来说，假设图像传感器输出的第一格式的图像信号的图像中的rgb通道平均亮度为y1，暗光通道平均亮度为y2，则能量占比可以为(y2/y1)*k＇，k＇为校正系数。
[0237]
需要说明的是，在基于图像传感器输出的第一格式的图像信号确定能量占比时，可以依据图像传感器输出的第一格式的图像信号的原始信号进行能量占比的计算，以使确定的能量占比与实际场景更相符。
[0238]
作为一种示例，将第一格式的图像信号进行第一处理得到第一格式的第一处理图像，可以为对第一格式的图像信号进行3d(时空域)降噪，以优化图像效果，因此，在计算能量占比时，也可以根据3d降噪后的第一处理图像来计算占比，以优化在进行了3d降噪处理情况下的补光效果。
[0239]
示例性的，对第一格式的图像信号进行3d降噪处理的具体实现可以在下文中进行说明。
[0240]
方式二、获取图像传感器单元的r通道、g通道、b通道各自的感光度iso、暗光通道的感光度iso以及暗光通道与r通道、g通道和b通道在第一波长范围的光谱响应曲线的积分值的比值；基于r通道、g通道、b通道各自的感光度iso、暗光通道的感光度iso以及暗光通道与r通道、g通道和b通道在第一波长范围的光谱响应曲线的积分值的比值，确定能量占比。
[0241]
举例来说，假设图像传感器单元的r通道的感光度iso为g11、g通道的感光度iso为g12、b通道的感光度iso为g13、暗光通道的感光度iso为g2，暗光通道与r通道在第一波长范围，即[t1,t2]的光谱响应曲线的积分值的比值为k1，暗光通道与g通道在第一波长范围内的光谱响应曲线的积分值的比值为k2，暗光通道与b通道在第一波长范围内的光谱响应曲线的积分值的比值为k3，则能量占比可以为：g1/(g2*k)。
[0242]
示例性的，g1可以根据g11、g12和g13确定，如g1为g11、g12和g13的平均值。
[0243]
示例性的，k可以根据k1、k2和k3确定，如k为k1、k2和k3的平均值。
[0244]
请参见图10，为本技术实施例提供的一种图像处理方法的流程示意图，其中，该图像处理方法可以应用于图像处理系统，该图像处理系统可以包括上述任一实施例中描述的图像传感器，如图10所示，该图像处理方法可以包括以下步骤：
[0245]
步骤s1000、将图像传感器输出的第一格式的图像信号进行第一处理得到第一格式的第一处理图像。
[0246]
示例性的，图像处理器传感器的像素阵列中至少包括两类像素，其中第一类像素允许通过的近红外光的强度强于第二类像素允许通过的近红外光的强度。
[0247]
例如，第一类像素包括w像素和d像素，第二类像素包括r像素、g像素和b像素。
[0248]
或者，第一类像素包括d像素，第二类像素包括r像素、g像素和b像素。
[0249]
或者，第一类像素包括w像素，第二类像素包括r像素、g像素和b像素。
[0250]
本技术实施例中，图像传感器可以将入射的目标光信号通过光电转换，转化为电信号，并将指定像素的电信号读取出来进行信号处理，得到图像信号(本文中称为第一格式图像信号)。
[0251]
示例性的，图像信号是图像传感器根据接收到的曝光控制信号调整各个通道的曝光参数之后采集得到的。
[0252]
图像传感器根据接收到的曝光控制信号调整各个通道的曝光参数的具体实现可以参见上述实施例中的相关描述。
[0253]
本技术实施例中，对于图像传感器输出的第一格式的图像信号，可以对其进行指定处理(本文中称为第一处理)，得到指定格式(本文中称为第一格式)的图像(本文中称为第一处理格式的图像)。
[0254]
在一个示例中，步骤s1000中的第一处理可以为3d降噪。
[0255]
示例性的，为了降低图像传感器采集到的第一格式的图像信号中的噪声，可以对该第一格式的图像信号进行3d降噪。例如，raw域3d降噪。
[0256]
示例性的，raw域3d降噪的主要作用是在raw域对图像进行时域空域降噪加权。一般分为噪声估计、运动估计、raw域空域降噪以及raw域时域降噪。
[0257]
通过运动估计，判断出第一格式的图像信号中的运动区域与静止区域。运动区域进行空域降噪，其中降噪强度可由噪声估计输出的噪声大小进行不同强度的降噪，具体降噪算法可采用bm3d等空域滤波技术降低图像噪声。静止区域采用时域降噪，即采用历史帧与当前帧加权，降低静止区域噪声。
[0258]
步骤s1010、将第一格式的处理图像进行第二处理得到第二格式的第二处理图像。
[0259]
本技术实施例中，对于步骤s1000中处理得到的第一格式的第一处理图像，可以通过处理(本文中称为第二处理)将其处理为另一格式(本文中称为第二格式)的图像(本文中称为第二处理图像)。
[0260]
示例性的，可以通过对第一格式的第一处理图像进行第二处理，得到去除第一处理图像中的近红外成分的全分辨率3通道(r通道、g通道以及b通道)可见光图像(即上述第二格式的第二处理图像)。
[0261]
示例性的，对第一格式的图像信号进行第一处理可以包括：对第一格式的图像信号进行降噪处理得到降噪后的第一格式的第一处理图像；
[0262]
将第一处理图像进行第二处理可以包括：将降噪后的第一处理图像从第一格式转换为第二格式，用于去除第一处理图像中的近红外成分得到第二格式的第二处理图像。
[0263]
在一些实施例中，步骤s1010中，将第一格式的处理图像进行第二处理得到第二格式的第二处理图像，可以包括：
[0264]
将第一格式的第一处理图像输入到一个或多个卷积滤波器组进行卷积操作，得到由一个或多个卷积滤波器组输出的可见光全分辨图像，可见光全分辨率图像为第二格式的第二处理图像。
[0265]
示例性的，可以通过卷积滤波器组对第一处理图像进行卷积操作的方式实现对第一处理图像的近红外成分去除，并插值得到可见光全分辨率图像。
[0266]
在一个示例中，可见光全分辨率图像至少可以包括不含红外光成分的红色全分辨
率图像、不含红外光成分的绿色全分辨率图像和不含红外光成分的蓝色全分辨率图像。
[0267]
示例性的，对于步骤s1010中得到的第一格式的第一处理图像，可以通过卷积滤波器组进行卷积操作后得到去除第一处理图像中的近红外成分的全分辨率3通道(r通道、g通道以及b通道)可见光图像(即上述第二格式的第二处理图像)。
[0268]
在一个示例中，当图像传感器的像素阵列包括rgbdw像素单元时，上述卷积滤波器组用于输出可见光全分辨率图像，上述卷积滤波器组至少包括以下卷积滤波器：
[0269]
用于对rgbdw像素单元中的白光位置分别进行r像素、g像素和b像素插值和去红外的卷积滤波器；
[0270]
用于对rgbdw像素单元中的暗光位置进行r像素、g像素和b像素插值和去红外的卷积滤波器；
[0271]
用于对rgbdw像素单元中的绿色位置进行r像素和b像素插值和去红外的卷积滤波器；
[0272]
用于对rgbdw像素单元中的红色位置进行g像素和b像素插值和去红外的卷积滤波器；
[0273]
用于对rgbdw像素单元中的蓝色位置进行r像素和g像素插值和去红外的卷积滤波器。
[0274]
示例性的，当图像传感器的像素阵列包括rgbdw像素单元时，可以通过一个卷积滤波器组对第一处理图像进行卷积操作，得到去除红外光成分的可见光全分辨率图像。
[0275]
示例性的，该卷积滤波器组可以包括对不同像素位置进行相同或不同像素的插值和去红外的卷积滤波器。
[0276]
示例性的，上述对不同像素位置进行像素插值和去红外的卷积滤波器可以为同一个卷积滤波器，也可以为不同卷积滤波器，即上述卷积滤波器组中可以包括一个或多个卷积滤波器。
[0277]
例如，上述卷积滤波器组中可以包括5个卷积滤波器，分别对不同像素位置进行上述像素插值和去红外处理，以提升图像处理性能。
[0278]
示例性的，当上述卷积滤波器组中包括多个卷积滤波器，各卷积滤波器可以同步进行不同像素位置的插值和去红外处理，以提升图像处理效率。
[0279]
在另一个示例中，当图像传感器的像素阵列包括rgbw像素单元时，上述卷积滤波器组用于输出可见光全分辨率图像，上述卷积滤波器组至少包括以下卷积滤波器：
[0280]
用于对rgbw像素单元中的白光位置分别进行r像素、g像素和b像素插值和去红外的卷积滤波器；
[0281]
用于对rgbw像素单元中的绿色位置进行r像素和b像素插值和去红外的卷积滤波器；
[0282]
用于对rgbw像素单元中的红色位置进行g像素和b像素插值和去红外的卷积滤波器；
[0283]
用于对rgbw像素单元中的蓝色位置进行r像素和g像素插值和去红外的卷积滤波器。
[0284]
示例性的，当图像传感器的像素阵列包括rgbw像素单元时，可以通过一个卷积滤波器组对第一处理图像进行卷积操作，得到去除红外光成分的可见光全分辨率图像。
[0285]
示例性的，该卷积滤波器组可以包括对不同像素位置进行相同或不同像素的插值和去红外的卷积滤波器。
[0286]
示例性的，上述对不同像素位置进行像素插值和去红外的卷积滤波器可以为同一个卷积滤波器，也可以为不同卷积滤波器，即上述卷积滤波器组中可以包括一个或多个卷积滤波器。
[0287]
例如，上述卷积滤波器组中可以包括4个卷积滤波器，分别对不同像素位置进行上述像素插值和去红外处理，以提升图像处理性能。
[0288]
示例性的，当上述卷积滤波器组中包括多个卷积滤波器，各卷积滤波器可以同步进行不同像素位置的插值和去红外处理，以提升图像处理效率。
[0289]
在另一个示例中，当图像传感器的像素阵列包括rgbd像素单元时，上述卷积滤波器组用于输出可见光全分辨率图像，上述卷积滤波器组至少包括以下卷积滤波器：
[0290]
用于对rgbd像素单元中的暗光位置分别进行r像素、g像素和b像素插值和去红外的卷积滤波器；
[0291]
用于对rgbd像素单元中的绿色位置进行r像素和b像素插值和去红外的卷积滤波器；
[0292]
用于对rgbd像素单元中的红色位置进行g像素和b像素插值和去红外的卷积滤波器；
[0293]
用于对rgbd像素单元中的蓝色位置进行r像素和g像素插值和去红外的卷积滤波器。
[0294]
示例性的，当图像传感器的像素阵列包括rgbd像素单元时，可以通过一个卷积滤波器组对第一处理图像进行卷积操作，得到去除红外光成分的可见光全分辨率图像。
[0295]
示例性的，该卷积滤波器组可以包括对不同像素位置进行相同或不同像素的插值和去红外的卷积滤波器。
[0296]
示例性的，上述对不同像素位置进行像素插值和去红外的卷积滤波器可以为同一个卷积滤波器，也可以为不同卷积滤波器，即上述卷积滤波器组中可以包括一个或多个卷积滤波器。
[0297]
例如，上述卷积滤波器组中可以包括4个卷积滤波器，分别对不同像素位置进行上述像素插值和去红外处理，以提升图像处理性能。
[0298]
示例性的，当上述卷积滤波器组中包括多个卷积滤波器，各卷积滤波器可以同步进行不同像素位置的插值和去红外处理，以提升图像处理效率。
[0299]
在一个示例中，上述卷积滤波器组包括第一卷积滤波器组，第二卷积滤波器组和第三卷积滤波器组。
[0300]
第一卷积滤波器组用于输出不含红外光成分的红色全分辨率图像；
[0301]
第二卷积滤波器组用于输出不含红外光成分的绿色全分辨率图像；
[0302]
第三卷积滤波器组用于输出不含红外光成分的蓝色全分辨率图像。
[0303]
示例性的，第一卷积滤波器组至少包括以下同步进行卷积滤波操作的卷积滤波器：
[0304]
用于对rgbdw像素单元中的白光像素位置进行r像素插值和去红外的卷积滤波器；用于对rgbdw像素单元中的暗光像素位置进行r像素插值和去红外的卷积滤波器；用于对
rgbdw像素单元中的绿色像素位置进行r像素插值和去红外的卷积滤波器；用于对rgbdw像素单元中的蓝色像素位置进行r像素插值和去红外的卷积滤波器；
[0305]
示例性的，第二卷积滤波器组至少包括以下同步进行卷积滤波操作的卷积滤波器：
[0306]
用于对rgbdw像素单元中的白光像素位置进行g像素插值和去红外的卷积滤波器；用于对rgbdw像素单元中的暗光像素位置进行g像素插值和去红外的卷积滤波器；用于对rgbdw像素单元中的红色像素位置进行g像素插值和去红外的卷积滤波器；用于对rgbdw像素单元中的蓝色像素位置进行g像素插值和去红外的卷积滤波器；
[0307]
示例性的，第三卷积滤波器组至少包括以下同步进行卷积滤波操作的卷积滤波器：
[0308]
用于对rgbdw像素单元中的白光像素位置进行b像素插值和去红外的卷积滤波器；用于对rgbdw像素单元中的暗光像素位置进行b像素插值和去红外的卷积滤波器；用于对rgbdw像素单元中的红色像素位置进行b像素插值和去红外的卷积滤波器；用于对rgbdw像素单元中的绿色像素位置进行b像素插值和去红外的卷积滤波器。
[0309]
示例性的，可以通过不同的滤波器组分别对第一处理图像进行卷积操作，以分别得到不含红外光成分的红色全分辨率图像、绿色全分辨率图像以及蓝色全分辨率图像，其示意图可以如图11所示。
[0310]
如图11所示，可以通过卷积滤波器组1(即上述第一卷积滤波器组)对第一处理图像进行卷积操作，得到不含红外光成分的红色全分辨率图像。
[0311]
可以通过卷积滤波器组2(即上述第二卷积滤波器组)对第一处理图像进行卷积操作，得到不含红外光成分的绿色全分辨率图像。
[0312]
可以通过卷积滤波器组3(即上述第二卷积滤波器组)对第一处理图像进行卷积操作，得到不含红外光成分的蓝色全分辨率图像。
[0313]
示例性的，各卷积滤波器组中均可以包括多个同步进行卷积操作的卷积滤波器组。
[0314]
示例性的，第一卷积滤波器组中可以至少包括同步进行用于对不同像素位置进行r像素插值和去红外的卷积滤波操作的多个卷积滤波器。
[0315]
例如，第一卷积滤波器组中可以至少包括同步进行用于对rgbdw像素单元中的白光像素位置进行r像素插值和去红外的卷积滤波操作、对rgbdw像素单元中的暗光像素位置进行r像素插值和去红外的卷积滤波操作、用于对rgbdw像素单元中的绿色像素位置进行r像素插值和去红外的卷积滤波操作，以及用于对rgbdw像素单元中的蓝色像素位置进行r像素插值和去红外的卷积滤波操作的多个卷积滤波器。
[0316]
示例性的，第二卷积滤波器组中可以至少包括同步进行用于以不同像素位置进行g像素插值和去红外的卷积滤波操作的多个卷积滤波器。
[0317]
例如，第二卷积滤波器组中可以至少包括同步进行用于对rgbdw像素单元中的白光像素位置进行g像素插值和去红外的卷积滤波操作、用于对rgbdw像素单元中的暗光像素位置进行g像素插值和去红外的卷积滤波操作、用于对rgbdw像素单元中的红色像素位置进行g像素插值和去红外的卷积滤波操作，以及用于对rgbdw像素单元中的蓝色像素位置进行g像素插值和去红外的卷积滤波操作的多个卷积滤波器。
[0318]
示例性的，第三卷积滤波器组中可以至少包括同步进行用于对不同像素位置进行b像素插值和去红外的卷积滤波操作的多个卷积滤波器。
[0319]
例如，第三卷积滤波器组中可以至少包括同步进行用于对rgbdw像素单元中的白光像素位置进行b像素插值和去红外的卷积滤波操作、用于对rgbdw像素单元中的暗光像素位置进行b像素插值和去红外的卷积滤波操作、用于对rgbdw像素单元中的红色像素位置进行b像素插值和去红外的卷积滤波操作，以及用于对rgbdw像素单元中的绿色像素位置进行b像素插值和去红外的卷积滤波操作的多个卷积滤波器。
[0320]
在一个示例中，任一卷积滤波器在同步进行去红外时，可以根据暗光分量曝光修正系数对第一处理图像中的暗光分量进行修正之后再同步进行红外去除。
[0321]
示例性的，暗光分量曝光修正系数根据图像传感器单元的r通道的感光度iso、g通道的感光度iso、b通道的感光度iso与暗光通道的感光度iso确定。
[0322]
例如，假设r通道的感光度iso为g11、g通道的感光度iso为g12、b通道传感器感光度iso为g13；暗光通道传感器感光度iso为g2，暗光分量曝光修正系数可以为g1/g2。
[0323]
示例性的，g1可以根据g11、g12和g13确定，如g1为g11、g12和g13的平均值。
[0324]
作为一种可能的实现方式，任一卷积滤波器同步进行红外去除，可以包括：任一卷积滤波器基于r通道去红外系数和暗光分量曝光修正系数，对当前像素位置邻域的d像素及r像素进行红外去除。
[0325]
示例性的，考虑到r通道和d通道的光谱响应接近，因而，在插值d通道时，可利用邻域内的r分量对当前像素位置邻域的d像素及r像素进行红外去除，以提高d通道分量的红外成本估计的准确性，优化插值准确性。
[0326]
1)、rgbdw的w位置插值r像素、g像素和b像素并去红外.
[0327]
举例来说，以按照上述方式插值r像素为例进行说明，其他g像素和b像素插值可按照r插值思路类比。
[0328]
请参见图12，以w45位置插值r45为例，利用7*7邻域范围内的部分r像素以及部分w像素进行w位置的像素插值，并利用d像素及r像素进行红外去除。其7*7邻域矩阵记为p，包含图12中从左上w12起始，右下w78结束的49个像素。
[0329]
记水平竖直方向的相邻像素距离为1，斜45度方向的相邻像素距离为
[0330]
1.1)、w像素高频，按如下公式计算白光像素的高频分量：
[0331][0332]
1.2)、r像素低频分量，取以w45像素为中心的包含r
24
,r
46
,r
64
的3*5邻域进行加权，得到r45像素的低频估计值为：
[0333][0334]
1.3)、红外分量估计，取以w45像素为中心的包含r
24
,r
46
,r
64
的3*5邻域内的r
24
,r
46
,r
64
，d
44
,r
26
,r
66
进行加权：
[0335][0336]
其中，α,β为加权系数，γr为r通道去红外系数，λ为d分量曝光修正系数。
[0337]
假设rgb通道传感器感光度iso为g1；暗光通道传感器增益感光度iso为g2，变换后d分量为原值的λ＝(g1/g2)倍。
[0338]
上述计算可以统一为格式转换的卷积滤波器，取α＝1，β＝0的卷积滤波器x记为：
[0339][0340][0340]
表示矩阵点乘。
[0341]
示例性的，对w位置插值g像素时，可以利用7*7邻域范围内的部分g像素以及部分w像素进行w位置的像素插值，并利用d像素及r像素进行红外去除。在进行红外分量估计时，可以取利用3*5邻域内d像素及r像素进行加权，其具体实现思路与对w位置插值r像素的实现思路类似。
[0342]
示例性的，对w位置插值b像素时，可以利用7*7邻域范围内的部分b像素以及部分w像素进行w位置的像素插值，并利用d像素及r像素进行红外去除。在进行红外分量估计时，可以取利用3*5邻域内d像素及r像素进行加权，其具体实现思路与对w位置插值r像素的实现思路类似。
[0343]
2)、rgbdw的d位置插值r像素、g像素和b像素并去红外
[0344]
示例性的，对d位置插值r像素时，可以利用7*7邻域范围内的部分r像素以及部分d像素进行d位置的像素插值，并利用d像素及r像素进行红外去除。在进行红外分量估计时，可以取利用3*5邻域内d像素及r像素进行加权，其具体实现思路与对w位置插值r像素的实现思路类似。
[0345]
示例性的，对d位置插值g像素时，可以利用7*7邻域范围内的部分g像素以及部分d像素进行d位置的像素插值，并利用d像素及r像素进行红外去除。在进行红外分量估计时，可以取利用3*5邻域内d像素及r像素进行加权，其具体实现思路与对w位置插值r像素的实现思路类似。
[0346]
示例性的，对d位置插值b像素时，可以利用7*7邻域范围内的部分b像素以及部分d像素进行d位置的像素插值，并利用d像素及r像素进行红外去除。在进行红外分量估计时，可以取利用3*5邻域内d像素及r像素进行加权，其具体实现思路与对w位置插值r像素的实现思路类似。
[0347]
以d44插值r44像素为例，按照1)的思路计算α＝1，β＝0的格式转换的卷积滤波器可以为：
[0348][0349]
3)、rgbdw的g位置插值r像素和b像素并去红外
[0350]
示例性的，对g位置插值r像素时，可以利用7*7邻域范围内的部分r像素以及部分g像素进行g位置的像素插值，并利用d像素及r像素进行红外去除。在进行红外分量估计时，可以取利用3*5邻域内d像素及r像素进行加权，其具体实现思路与对w位置插值r像素的实现思路类似。
[0351]
示例性的，对g位置插值b像素时，可以利用7*7邻域范围内的部分g像素以及部分b像素进行g位置的像素插值，并利用d像素及r像素进行红外去除。在进行红外分量估计时，可以取利用3*5邻域内d像素及r像素进行加权，其具体实现思路与对w位置插值r像素的实现思路类似。
[0352]
以g35插值r35像素为例，按照1)的思路计算α＝1，β＝0的格式转换的卷积滤波器可以为：
[0353][0354]
4)、rgbdw的r位置插值g像素和b像素并去红外，以及b位置插值g像素和r像素去红外
[0355]
示例性的，对r位置插值g像素时，可以利用7*7邻域范围内的部分r像素以及部分g像素进行r位置的像素插值，并利用d像素及r像素进行红外去除。在进行红外分量估计时，可以取利用3*5邻域内d像素及r像素进行加权，其具体实现思路与对w位置插值r像素的实现思路类似。
[0356]
示例性的，对r位置插值b像素时，可以利用7*7邻域范围内的部分r像素以及部分b像素进行r位置的像素插值，并利用d像素及r像素进行红外去除。在进行红外分量估计时，可以取利用3*5邻域内d像素及r像素进行加权，其具体实现思路与对w位置插值r像素的实现思路类似。
[0357]
示例性的，对b位置插值r像素时，可以利用7*7邻域范围内的部分b像素以及部分r像素进行b位置的像素插值，并利用d像素及r像素进行红外去除。在进行红外分量估计时，可以取利用3*5邻域内d像素及r像素进行加权，其具体实现思路与对w位置插值r像素的实
现思路类似。
[0358]
示例性的，对b位置插值g像素时，可以利用7*7邻域范围内的部分b像素以及部分g像素进行b位置的像素插值，并利用d像素及r像素进行红外去除。在进行红外分量估计时，可以取利用3*5邻域内d像素及r像素进行加权，其具体实现思路与对w位置插值r像素的实现思路类似。
[0359]
以b55插值r55像素为例，按照1)的思路计算α＝1，β＝0的格式转换的卷积滤波器可以为：
[0360][0361]
其他位置像素的插值同上述几种情况。
[0362]
应该认识到，上述格式转化计算流程只是本技术实施例提供的实施方式的其中一种示例，而并不是对本技术保护范围的限定，本技术实施例中还可以包含其他卷积滤波等操作，或者经过多个卷积操作得到格式转换结果。
[0363]
其他格式的rgbdw像素排列也可以采用上述思路进行格式转换，主要区别在d通道分量的红外成分估计准确性上。由于r通道和d通道的光谱响应接近，在插值d通道时，可利用邻域内的r分量以优化插值准确性。
[0364]
该排列相比其他排列，有两个方面的优势：
[0365]
i)、该排列格式插值d和r分量在空间上均匀对称排布，更有利于利用相同行或相同列进行对称性的插值估计，避免了利用单一方向插值的信息损失；
[0366]
ii)、以占传感器一半像素的w像素为例，某一个w45包含3个d像素的3*5或5*3的邻域内，该排列在邻域内有3个d像素和3个r像素，优于其他排列在邻域内有3个d像素和1个r像素，更多的插值像素能获得更好的插值效果。
[0367]
在一些实施例中，在处于第二工作模式时，执行步骤s1010中的将第一格式的图像信号进行第一处理得到第一格式的第一处理图像，以及步骤s1020中的将第一格式的第一处理图像进行第二处理得到第二格式的第二处理图像的操作。
[0368]
示例性的，考虑到图像处理系统处于第二工作模式，例如，当前处于低照度环境时，通常会需使部分近红外光入射图像传感器，实现补光，相应地，在处于第二工作模式时，可以按照上述实施例中描述的将第一格式的图像信号进行第一处理得到第一格式的第一处理图像；将第一格式的第一处理图像进行第二处理得到第二格式的第二处理图像。
[0369]
在一个示例中，在处于第一工作模式时，本技术实施例提供的图像处理方法还可以包括：
[0370]
基于对第一格式的图像信号进行的宽动态处理，得到目标宽动态图像。
[0371]
示例性的，当图像处理系统处于第一工作模式，例如，当前处于非低照度环境时，可以将入射图像传感器的光信号中的全部近红外光滤除，限制进入图像传感器的波长在可
见光波段。
[0372]
示例性的，该可见光波段可以为[380～650]nm。
[0373]
在该情况下，可以对图像传感器采集到的第一格式的图像信号进行宽动态处理，以得到宽动态图像(本文中称为目标宽动态图像)。
[0374]
示例性的，在该情况下的光谱响应可以如图13所示，rgb通道和白光通道响应曲线可以与图4所示实施例中的相同，但图13中，暗光通道在整个波段范围内均有一定光谱响应，且于红外光波段，如波长大于650nm的波段范围，光谱响应为0。
[0375]
示例性的，在该情况下，可以对图像信号通过插值处理，分别得到可见光图像、白光图像、暗光图像。将暗光图像(记为img_d)与可见光图像(记为img_vis)进行宽动态融合。
[0376]
在一个示例中，可以通过以下策略实现宽动态融合：
[0377]
img_wdry＝w*img_visy (1-w)*img_d
[0378]
示例性的，img_wdry为宽动态处理结果，w为宽动态合成权重图，图像上每个点的权重图根据img_visy及img_d计算得到。当img_visy达到处理位宽亮度上限时，w＝0，即全部亮度来源于img_d。
[0379]
对于光照度比较充足的环境，可以对入射图像传感器的光信号中的全部近红外光进行滤除，rgb通道以及d通道中均为可见光，通过对暗光图像和可见光图像进行宽动态融合，可以利用d通道里的可见光信息(如灰度信息)对rgb通道的可见光信息进行补偿，从而，可以在rgb通道过曝的情况下，通过d通道提供过曝区域的可见光信息，优化图像效果。
[0380]
在一个示例中，对第一格式的图像信号进行的宽动态处理，可以包括：
[0381]
将第一格式的图像信号输入到卷积滤波器组，由卷积滤波器组对第一格式的图像信号进行宽动态处理，输出全分辨率的目标宽动态图像。
[0382]
示例性的，对于图像传感器输出的第一格式的图像信号，在处于第一工作模式时，可以将该第一格式的图像信号输入到卷积滤波器组，由卷积滤波器组对该第一格式的图像信号进行宽动态处理，并输出全分辨率的目标宽动态图像。
[0383]
请参见图14，为本技术实施例提供的一种近红外补光控制方法的流程示意图，其中，该近红外补光控制方法可以应用于上述任一实施例中描述的图像处理系统，如图14所示，该近红外补光控制方法可以包括以下步骤：
[0384]
步骤s1400、生成补光控制信号。
[0385]
步骤s1410、依据补光控制信号控制开启近红外补光或关闭近红外补光。
[0386]
示例性的，在第二滤光片切换到图像传感器的入光侧时，补光控制信号用于控制关闭近红外补光；在第一滤光片切换到图像传感器的入光侧时，补光控制信号用于控制开启近红外补光。
[0387]
本技术实施例中，为了优化图像处理效果，还可以根据实际需求选择开启近红外补光或关闭近红外补光。
[0388]
例如，在低照度环境下，开启近红外补光；在非低照度环境下，关闭近红外补光。
[0389]
示例性的，在第一滤波片允许部分近红外光通过，第二滤光片对近红外光进行阻挡的情况下，可以依据第一滤光片切换到图像传感器的入光侧或第二滤光片切换到图像传感器的入光侧选择开启近红外补光或关闭近红外补光。
[0390]
示例性的，在第二滤光片切换到图像传感器的入光侧时，可以确定当前不需要进
行近红外补光，例如，当前为非低照度环境，此时，可以生成用于控制关闭近红外补光的控制信号，并依据该控制信号控制关闭近红外补光。
[0391]
示例性的，在第一滤光片切换到图像传感器的入光侧时，可以确定当前需要进行近红外补光，例如，当前为低照度环境，此时，可以生成用于控制开启近红外补光的控制信号，并依据该控制信号控制开启近红外补光。
[0392]
在一些实施例中，本技术实施例提供的近红外补光控制方法还可以包括：
[0393]
确定近红外补光强度相关系数；
[0394]
根据所述近红外补光强度相关系数确定近红外补光的补光强度；
[0395]
示例性的，当近红外补光强度相关系数大于第一阈值时，将近红外补光的当前补光强度调低；当近红外补光强度相关系数小于第二阈值时，将近红外补光的当前补光强度调高。
[0396]
示例性的，第一阈值大于第二阈值。
[0397]
示例性的，为了优化近红外补光效果，可以根据补光需求调节近红外补光的补光强度。
[0398]
示例性的，可以通过近红外补光强度相关系数来表征补光需求。
[0399]
示例性的，近红外补光强度相关系数可以与补光需求负相关，当近红外光补光强度相关系数较大，如大于第一阈值时，确定补光需求低，可以将近红外补光的当前补光强度调低；当近红外光补光强度相关系数较小，如小于第二阈值时，确定补光需求高，可以将近红外补光的当前补光强度调高，以便将近红外光强度控制在合适范围时，提高w通道的信噪比，以及提高对rgb通道进行去红外处理后，rgb通道的信噪比，优化图像效果。
[0400]
在一个示例中，近红外补光强度相关系数为rgb通道的近红外光能量与可见光能量的能量占比；
[0401]
上述确定近红外补光强度相关系数，可以包括：
[0402]
基于图像传感器输出的第一格式的图像信号的图像中的rgb通道平均亮度以及暗光通道平均亮度，确定能量占比；
[0403]
或，
[0404]
获取图像传感器单元的r通道、g通道、b通道各自的感光度iso、暗光通道的感光度iso以及暗光通道分别与r通道、g通道和b通道在第一波长范围的光谱响应曲线的积分值的比值；基于r通道、g通道、b通道各自的感光度iso、暗光通道的感光度iso以及暗光通道分别与r通道、g通道和b通道在第一波长范围的光谱响应曲线的积分值的比值，确定能量占比。
[0405]
示例性的，考虑到rgb通道的近红外光能量与可见光能量的能量占比越高，对补光需求越低，因此，可以将rgb通道的近红外光能量与可见光能量的能量占比作为近红外补光强度相关系数。
[0406]
示例性的，确定近红外补光强度相关系数的方式可以包括但不限于以下两种方式：
[0407]
方式一、基于图像传感器输出的第一格式的图像信号的图像中的rgb通道平均亮度以及暗光通道平均亮度，确定能量占比。
[0408]
举例来说，假设图像传感器输出的第一格式的图像信号的图像中的rgb通道平均亮度为y1，暗光通道平均亮度为y2，则能量占比可以为(y2/y1)*k＇，k＇为校正系数。
[0409]
需要说明的是，在基于图像传感器输出的第一格式的图像信号确定能量占比时，可以依据图像传感器输出的第一格式的图像信号的原始信号进行能量占比的计算，以使确定的能量占比与实际场景更相符。
[0410]
请参见图15，为本技术实施例提供的一种曝光控制方法的流程示意图，其中，该曝光控制方法可以应用于上述任一实施例中描述的图像处理系统，如图15所示，该曝光控制方法可以包括以下步骤：
[0411]
步骤s1500、生成曝光控制信号。
[0412]
步骤s1510、依据曝光控制信号控制图像传感器的像素阵列中各像素的各个通道的曝光。
[0413]
本技术实施例中，可以通过曝光控制信号控制图像传感器的像素阵列中各像素的各个通道的曝光，以优化各个通道的曝光效果，进而优化图像效果。
[0414]
在一些实施例中，图像传感器包括曝光时间控制电路；曝光控制信号包括曝光时间控制信号；
[0415]
步骤s1510中，依据曝光控制信号控制图像传感器的像素阵列中各像素的各个通道的曝光，可以包括：
[0416]
将曝光时间控制信号输出给曝光时间控制电路。
[0417]
示例性的，曝光时间控制电路用于根据曝光时间控制单元输出的曝光时间控制信号，至少输出第一路曝光时间控制信号，第一路曝光时间控制信号至少用于控制非白光像素的曝光时间，非白光像素包括r像素、g像素、b像素和d像素。
[0418]
示例性的，图像传感器可以包括曝光时间控制电路，可以通过曝光时间控制信号控制图像传感器的曝光时间控制电路输出至少一路曝光时间控制信号，控制图像传感器的像素阵列中各像素的各个通道的曝光时间。
[0419]
示例性的，图像传感器中的曝光时间控制电路接收到曝光时间控制信号时，可以至少输出第一路曝光时间控制信号，该第一路曝光时间控制信号至少用于控制非白光像素和w像素的曝光时间。
[0420]
作为一种可能的实现方式，图像传感器的曝光时间控制电路可以通过一路曝光时间控制信号来控制w像素、d像素、r像素、g像素和b像素的曝光时间，降低图像传感器的工艺实现难度。
[0421]
作为另一种可能的实现方式，图像传感器的曝光时间控制电路可以用于输出两路曝光时间控制信号，该两路曝光时间控制信号中第一路曝光时间控制信号用于控制非白光像素的曝光时间，第二路曝光时间控制信号用于控制w像素的曝光时间。
[0422]
示例性的，考虑到rgb通道、d通道以及w通道的光谱响应曲线的类型不同，且考虑到w通道的独立性较高，因此，可以通过一路曝光时间控制信号控制非白光像素的曝光时间，另一路曝光时间控制信号控制w像素的曝光时间，通过w像素单独控制曝光时间，可以保证在可见光曝光充分的情况下，减少白光路，即补光路图像中的运动物体拖尾模糊等，有利于提升图像效果。
[0423]
在一个示例中，第一路曝光时间控制信号至少用于控制r像素、g像素、b像素以及d像素的曝光起始时间；
[0424]
或者，第一路曝光时间控制信号至少用于控制r像素、g像素、b像素以及d像素的曝
光结束时间；
[0425]
或者，第一路曝光时间控制信号至少用于控制r像素、g像素、b像素以及d像素的曝光起始时间和曝光结束时间。
[0426]
在一个示例中，图像传感器还可以包括传感器增益控制电路；上述曝光控制信号还可以包括增益控制信号；
[0427]
步骤s1510中，依据曝光控制信号控制图像传感器的像素阵列中各像素的各个通道的曝光，包括：
[0428]
将增益控制信号输出给传感器增益控制电路。
[0429]
示例性的，传感器增益控制电路用于根据接收到的增益控制信号，输出至少两路增益控制信号，其中，第一路增益控制信号用于控制r像素、g像素以及b像素的增益，第二路增益控制信号至少用于控制w像素的增益。
[0430]
示例性的，图像传感器还可以包括传感器增益控制电路，可以通过增益控制信号控制图像传感器的传感器增益控制电路输出增益控制信号，控制图像传感器的像素阵列中各像素的各个通道的增益。
[0431]
示例性的，考虑到不同通道的光谱响应特性，白光通道和rgb通道的感光量相差较大，若传感器配置以某一个通道的感光量所适合的增益，则其他通道的图像或者欠曝或过曝，不利于后续的图像处理效果，因此，可以通过增益控制信号控制图像传感器的传感器增益控制电路输出至少两路增益控制信号，分别对各像素的增益进行控制，以优化图像效果。
[0432]
示例性的，图像传感器中的传感器增益控制电路接收到增益控制信号时，可以至少输出两路曝光时间控制信号。
[0433]
示例性的，第一路增益控制信号用于控制r像素、g像素以及b像素的增益。第二路增益控制信号至少用于控制w像素的增益。
[0434]
示例性的，增益可以包括模拟增益和/或数字增益。
[0435]
作为一种可能的实现方式，可以通过增益控制信号控制传感器增益控制电路输出两路增益控制信号，第二路增益控制信号用于控制w像素和d像素的增益。
[0436]
作为另一种可能的实现方式，可以通过增益控制信号控制传感器增益控制电路输出三路增益控制信号，第二路增益控制信号用于控制w的增益，第三路增益控制信号用于控制d像素的增益。
[0437]
在一个示例中，曝光时间控制电路用于根据接收到的曝光时间控制信号输出两路曝光时间控制信号，其中，第一路曝光时间控制信号用于控制非白光像素的曝光时间，第二路曝光时间控制信号用于控制w像素的曝光时间，
[0438]
传感器增益控制电路用于根据接收到的增益控制信号输出三路增益控制信号，其中，第一路增益控制信号用于控制r像素、g像素以及b像素的增益，第二路增益控制信号用于控制w像素的增益，第三路增益控制信号用于控制d像素的增益。
[0439]
示例性的，可以通过曝光控制信号控制曝光时间控制电路输出两路曝光时间控制信号控制各像素的曝光时间。一路曝光时间控制信号(即上述第一路曝光时间控制信号)用于控制非白光像素的曝光时间，另一路曝光时间控制信号(可以称为第二路曝光时间控制信号)用于控制w像素的曝光时间，通过w像素单独控制曝光时间，可以保证在可见光曝光充分的情况下，减少白光路也即补光路图像中的运动物体拖尾模糊等，有利于提升图像效果。
[0440]
示例性的，考虑到非白光像素和w像素的曝光时间分开控制的情况下，rgbd通道与白光通道的曝光时间可能不同，因此rgbd路与白光需要用不同的增益达到合适曝光。
[0441]
此外，d像素如果和rgb路增益保持相同，则rgb路相同增益的情况下，d像素由于红外成分响应高于rgb像素，容易过曝。因此，d像素需要和rgb路分开控制增益。
[0442]
因而，可以通过增益控制信号控制传感器增益控制电路输出三路增益控制信号控制各像素的增益。一路增益控制信号(可以称为第一路增益控制信号)用于控制r像素、g像素和b像素的增益，另一路增益控制信号(可以称为第二路增益控制信号)用于控制w的增益，最后一路增益控制信号(可以称为第三路增益控制信号)用于控制d像素的增益，以优化图像处理效果。
[0443]
示例性的，第一路曝光时间控制信号用于控制r像素、g像素、b像素以及d像素的曝光起始时间，第二路曝光时间控制信号用于控制w像素的曝光起始时间，
[0444]
或者，第一路曝光时间控制信号用于控制r像素、g像素、b像素以及d像素的曝光结束时间，第二路曝光时间控制信号用于控制w像素的曝光结束时间；
[0445]
或者，第一路曝光时间控制信号用于控制r像素、g像素、b像素以及d像素的曝光起始时间和曝光结束时间，第二路曝光时间控制信号用于控制w的曝光起始时间和曝光结束时间。
[0446]
作为一种可能的实施方式，在图像处理系统处于第二工作模式时，r像素、g像素、b像素以及d像素的曝光时间不小于w像素的曝光时间。
[0447]
示例性的，在图像处理系统使用第二工作模式，即允许部分近红外光入射图像传感器，例如，对于环境可见光较弱的场景，且w像素和非白光像素的曝光时间分开控制的情况下，可通过增加rgb通道曝光时间提高进光量，并减少w像素曝光时间，避免两组通道(rgbd通道和w通道)的曝光不匹配导致的图像动态范围损失，同时还能够减少由于曝光时间较长而导致的图像运动较快区域的运动模糊问题。
[0448]
举例来说，以图6所示曝光时序(即曝光时间控制信号)为例，曝光开始后，第一控制信号以及第二控制信号选通对应像素开始曝光(r像素、g像素、b像素、d像素的曝光起始时间不晚于w的曝光起始时间，图中以r像素、g像素、b像素、d像素的曝光起始时间早于w像素的曝光起始时间为例)，当达到传感器配置的所需曝光时间后，传感器的曝光时间控制电路的曝光结束信号上升沿统一曝光结束时间，结束曝光。从曝光开始信号的上升沿到控制信号输出上升沿的时间即为对应像素的曝光时间。由于两路控制信号独立，因此脉冲信号时间不同对应了不同的曝光时间。
[0449]
示例性的，在图像处理系统处于第二工作模式时，r像素、g像素和b像素的增益大于w像素的增益；rgb像素的增益不小于d像素的增益。
[0450]
示例性的，可以通过增益控制信号，控制rgb像素的增益(模拟增益与数字增益之和)大于w像素的增益(模拟增益与数字增益之和)，且rgb的增益(模拟增益与数字增益之和)不小于d像素的增益(模拟增益与数字增益之和)。
[0451]
例如，rgb像素的模拟增益大于w像素的模拟增益，且rgb像素和w像素均不启用数字增益；或者，rbg像素的模拟增益与w像素的增益相同，且rgb像素的数字增益大于w像素的数字增益。
[0452]
由于对于低照度场景，rgb通道的感光会比较差，而由于d通道和w通道存在红外
光，d通道和w通道的感光均会比rgb通道好。
[0453]
因而，为了保证rgb通道、d通道以及w通道的曝光效果，避免出现欠曝或过曝的情况，可以控制rgb像素的增益不小于d像素的增益，rgb像素的增益大于w像素的增益，以优化图像的曝光效果。
[0454]
在一个示例中，曝光时间控制电路用于根据接收到的曝光时间控制信号输出一路曝光时间控制信号，第一路曝光时间控制信号用于控制非白光像素和w像素的曝光时间；
[0455]
传感器增益控制电路用于根据接收到的增益控制信号输出两路增益控制信号，其中，第一路增益控制信号用于控制r像素、g像素以及b像素的增益，第二路增益控制信号用于控制w像素和d像素的增益。
[0456]
示例性的，可以通过曝光时间控制信号控制曝光时间控制电路输出一路曝光时间控制信号，以控制各像素的曝光时间，该一路曝光时间控制信号(可以称为第一路曝光时间控制信号)用于控制非白光像素和w像素的曝光时间，由于通过一路曝光时间控制全部像素的曝光时间，因此，可以降低图像传感器的控制成本，以及降低图像传感器的工艺实现难度。
[0457]
示例性的，考虑到rgbdw的曝光时间均相同的情况下，暗光通道由于红外成分与白光通道更接近，因此，暗光通道可以与白光通道一起进行增益控制。
[0458]
因而，可以通过增益控制信号控制传感器增益电路输出两路增益控制信号，其中一路增益控制信号(可以称为第一路增益控制信号)用于控制r像素、g像素和b像素的增益，另一路增益控制信号(可以称为第二路增益控制信号)用于控制w像素和d像素的增益。
[0459]
作为一种可能的实施方式，在图像处理系统处于第二工作模式时，r像素、g像素、b像素和d像素的曝光时间等于w像素的曝光时间。
[0460]
示例性的，在图像处理系统使用第二工作模式，即允许部分近红外光入射图像传感器，例如，对于环境可见光较弱的场景，且w像素和非白光像素的曝光时间统一控制，以及rgb像素和dw像素的增益分开控制的情况下，r像素、g像素、b像素、d像素和w像素的曝光时间可以相同。
[0461]
示例性的，在图像处理系统处于第二工作模式时，r像素、g像素和b像素的增益大于w像素的增益。
[0462]
示例性的，可以通过增益控制信号，控制rgb的增益(模拟增益与数字增益之和)大于w像素的增益(模拟增益与数字增益之和)。
[0463]
例如，rgb像素的模拟增益大于w像素的模拟增益，且rgb像素和w像素均不启用数字增益；或者，rbg像素的模拟增益与w像素的增益相同，且rgb像素的数字增益大于w像素的数字增益。
[0464]
由于对于低照度场景，rgb通道的感光会比较差，而由于w通道存在红外光，w通道的感光会比rgb通道好，在rgbdw曝光时间相同的情况下，为了保证rgb通道和w通道的曝光效果，避免出现欠曝或过曝的情况，可以控制rgb像素的增益(模拟增益 数字增益)大于w像素的增益，以优化图像的曝光效果。
[0465]
请参见图16，为本技术实施例提供的一种图像处理装置的结构示意图，如图16所示，该图像处理装置可以包括上述任一实施例中描述的图像传感器、第一处理单元以及第二处理单元；其中：
[0466]
第一处理单元，用于将所述图像传感器输出的第一格式的图像信号进行第一处理得到第一格式的第一处理图像；
[0467]
第二处理单元，用于将所述第一格式的处理图像进行第二处理得到第二格式的第二处理图像。
[0468]
在一些实施例中，第二处理单元将所述第一格式的第一处理图像进行第二处理得到第二格式的第二处理图像，包括：
[0469]
将第一格式的所述第一处理图像输入到一个或多个卷积滤波器组进行卷积操作，得到由所述一个或多个卷积滤波器组输出的可见光全分辨图像，所述可见光全分辨率图像为第二格式的所述第二处理图像。
[0470]
在一些实施例中，所述可见光全分辨率图像至少包括不含红外光成分的r像素全分辨率图像、不含红外光成分的g像素全分辨率图像和不含红外光成分的b像素全分辨率图像。
[0471]
在一些实施例中，所述卷积滤波器组用于输出所述可见光全分辨率图像，所述卷积滤波器组至少包括以下卷积滤波器：
[0472]
用于以rgbdw像素单元中的白光像素位置分别进行r像素、g像素和b像素插值和去红外的卷积滤波器；
[0473]
用于以rgbdw像素单元中的暗光像素位置进行r像素、g像素和b像素插值和去红外的卷积滤波器；
[0474]
用于以rgbdw像素单元中的绿色像素位置进行r像素和b像素插值和去红外的卷积滤波器；
[0475]
用于以rgbdw像素单元中的红色位置进行g像素和b像素插值和去红外的卷积滤波器；
[0476]
用于以rgbdw像素单元中的蓝色像素位置进行r像素和g像素插值和去红外的卷积滤波器。
[0477]
在一些实施例中，所述卷积滤波器组包括第一卷积滤波器组，第二卷积滤波器组和第三卷积滤波器组，所述第一卷积滤波器组用于输出不含红外光成分的r像素全分辨率图像，所述第二卷积滤波器组用于输出不含红外光成分的g像素全分辨率图像,所述第三卷积滤波器组用于输出不含红外光成分的b像素全分辨率图像；
[0478]
其中，所述第一卷积滤波器组至少包括以下同步进行卷积滤波操作的卷积滤波器：
[0479]
用于以rgbdw像素单元中的白光像素位置进行r像素插值和去红外的卷积滤波器；用于以rgbdw像素单元中的暗光像素位置进行r像素插值和去红外的卷积滤波器；用于以rgbdw像素单元中的绿色像素位置进行r像素插值和去红外的卷积滤波器；用于以rgbdw像素单元中的蓝色像素位置进行r像素插值和去红外的卷积滤波器；
[0480]
其中，所述第二卷积滤波器组至少包括以下同步进行卷积滤波操作的卷积滤波器：
[0481]
用于以rgbdw像素单元中的白光像素位置进行g像素插值和去红外的卷积滤波器；用于以rgbdw像素单元中的暗光像素位置进行g像素插值和去红外的卷积滤波器；用于以rgbdw像素单元中的红色像素位置进行g像素插值和去红外的卷积滤波器；用于以rgbdw像
素单元中的蓝色像素位置进行g像素插值和去红外的卷积滤波器；
[0482]
其中，所述第三卷积滤波器组至少包括以下同步进行卷积滤波操作的卷积滤波器：
[0483]
用于以rgbdw像素单元中的白光像素位置进行b像素插值和去红外的卷积滤波器；用于以rgbdw像素单元中的暗光像素位置进行b像素插值和去红外的卷积滤波器；用于以rgbdw像素单元中的红色像素位置进行b像素插值和去红外的卷积滤波器；用于以rgbdw像素单元中的绿色像素位置进行b像素插值和去红外的卷积滤波器。
[0484]
在一些实施例中，任一所述卷积滤波器在同步进行去红外时，根据暗光分量曝光修正系数对所述第一处理图像中的暗光分量进行修正之后再同步进行红外去除，其中，所述暗光分量曝光修正系数根据所述图像传感器单元的rgb通道的感光度iso与暗光通道的感光度iso确定。
[0485]
在一些实施例中，任一所述卷积滤波器同步进行红外去除，包括：任一所述卷积滤波器基于r通道去红外系数和暗光分量曝光修正系数，对当前像素位置邻域的d像素及r像素进行红外去除。
[0486]
在一些实施例中，所述第一处理单元，具体用于在处于第二工作模式时，将所述第一格式的图像信号进行第一处理得到第一格式的第一处理图像；
[0487]
所述第二处理单元，具体用于在处于第一工作模式时，将所述第一格式的图像信号进行第一处理得到第一格式的第一处理图像。
[0488]
在一些实施例中，所述第一处理单元，还用于在处于第一工作模式时，基于对所述第一格式的图像信号进行的宽动态处理，得到目标宽动态图像。
[0489]
在一些实施例中，对所述第一格式的图像信号进行第一处理包括：对所述第一格式的图像信号进行降噪处理得到降噪后的第一格式的第一处理图像；
[0490]
将所述第一处理图像进行第二处理包括：将降噪后的所述第一处理图像从第一格式转换为第二格式，用于去除第一处理图像中的近红外成分得到第二格式的第二处理图像。
[0491]
本技术实施例还提供了一种近红外补光装置，该装置可以包括：
[0492]
用于生成补光控制信号的模块，其中，所述补光控制信号控制开启近红外补光或关闭近红外补光；在第二滤光片切换到所述图像传感器的入光侧时，所述补光控制信号用于控制关闭近红外补光；在第一滤光片切换到图像传感器的入光侧时，所述补光控制信号用于控制开启近红外补光。
[0493]
在一些实施例中，所述装置还包括执行以下步骤的模块：
[0494]
确定近红外补光强度相关系数；
[0495]
根据所述近红外补光强度相关系数确定近红外补光的补光强度；
[0496]
其中，当所述近红外补光强度相关系数大于第一阈值时，将近红外补光的当前补光强度调低；当所述近红外补光强度相关系数小于第二阈值时，将近红外补光的当前补光强度调高；所述第一阈值大于所述第二阈值。
[0497]
在一些实施例中，所述近红外补光强度相关系数为rgb通道的近红外光能量与可见光能量的能量占比；所述确定近红外补光强度相关系数，包括：
[0498]
基于所述图像传感器输出的第一格式的图像信号的图像中的rgb通道平均亮度以
及暗光通道平均亮度，确定所述能量占比；
[0499]
或，
[0500]
获取所述图像传感器单元的rgb通道的感光度、暗光通道的感光度以及暗光通道与rgb通道在所述第一波长范围的光谱响应曲线的积分值的比值；基于所述rgb通道的感光度、暗光通道的感光度以及暗光通道与rgb通道在所述第一波长范围的光谱响应曲线的积分值的比值，确定所述能量占比。
[0501]
请参见图17，为本技术实施例提供的一种曝光控制装置的结构示意图，其中，该曝光控制装置可以应用于上述任一实施例中描述的图像处理系统，如图17所示，该曝光控制装置可以包括：
[0502]
生成单元，用于生成曝光控制信号；
[0503]
控制单元，用于依据所述曝光控制信号控制图像传感器的像素阵列中各像素的各个通道的曝光。
[0504]
在一些实施例在，所述图像传感器包括曝光时间控制电路；所述曝光控制信号包括曝光时间控制信号；
[0505]
所述控制单元依据所述曝光控制信号控制图像传感器的像素阵列中各像素的各个通道的曝光，包括：
[0506]
将所述曝光时间控制信号输出给所述曝光时间控制电路；所述曝光时间控制电路用于根据所述曝光时间控制单元输出的所述曝光时间控制信号，至少输出第一路曝光时间控制信号，第一路曝光时间控制信号至少用于控制所述非白光像素的曝光时间，所述非白光像素包括所述红色像素、所述绿色像素、所述蓝色像素和所述暗光像素。
[0507]
在一些实施例中，所述第一路曝光时间控制信号至少用于控制红色像素、绿色像素、蓝色像素以及暗光像素的曝光起始时间；
[0508]
或者，所述第一路曝光时间控制信号至少用于控制红色像素、绿色像素、蓝色像素以及暗光像素的曝光结束时间；
[0509]
或者，所述第一路曝光时间控制信号至少用于控制红色像素、绿色像素、蓝色像素以及暗光像素的曝光起始时间和曝光结束时间。
[0510]
在一些实施例中，所述图像传感器还包括传感器增益控制电路；所述曝光控制信号还包括增益控制信号；
[0511]
所述控制单元依据所述曝光控制信号控制图像传感器的像素阵列中各像素的各个通道的曝光，包括：
[0512]
将所述增益控制信号输出给所述传感器增益控制电路；所述传感器增益控制电路用于根据所述增益控制信号，输出至少两路增益控制信号，其中，第一路增益控制信号用于控制红色像素、绿色像素以及蓝色像素的增益，所述第二路增益控制信号至少用于控制白光像素的增益。
[0513]
在一些实施例中，所述曝光时间控制电路用于根据所述曝光时间控制信号输出两路曝光时间控制信号，其中，第一路曝光时间控制信号用于控制所述非白光像素的曝光时间，第二路曝光时间控制信号用于控制所述白光像素的曝光时间，
[0514]
所述传感器增益控制电路用于根据所述增益控制信号输出三路增益控制信号，其中，第一路增益控制信号用于控制红色像素、绿色像素以及蓝色像素的增益，所述第二路增
益控制信号用于控制白光像素的增益，所述第三路增益控制信号用于控制暗光像素的增益。
[0515]
在一些实施例中，所述第一路曝光时间控制信号用于控制红色像素、绿色像素、蓝色像素以及暗光像素的曝光起始时间，所述第二路曝光时间控制信号用于控制所述白光像素的曝光起始时间，
[0516]
或者，所述第一路曝光时间控制信号用于控制红色像素、绿色像素、蓝色像素以及暗光像素的曝光结束时间，所述第二路曝光时间控制信号用于控制所述白光像素的曝光结束时间；
[0517]
或者，所述第一路曝光时间控制信号用于控制红色像素、绿色像素、蓝色像素以及暗光像素的曝光起始时间和曝光结束时间，所述第二路曝光时间控制信号用于控制白光像素的曝光起始时间和曝光结束时间。
[0518]
在一些实施例中，所述曝光时间控制电路用于根据所述曝光时间控制信号输出一路曝光时间控制信号，所述第一路曝光时间控制信号用于控制所述非白光像素和白光像素的曝光时间；
[0519]
所述传感器增益控制电路用于根据所述增益控制信号输出两路增益控制信号，其中，第一路增益控制信号用于控制红色像素、绿色像素以及蓝色像素的增益，所述第二路增益控制信号用于控制白光像素和暗光像素的增益。
[0520]
在一些实施例中，在所述图像处理系统处于第二工作模式时，所述红色像素、绿色像素、蓝色像素以及暗光像素的曝光时间不小于白光像素的曝光时间。
[0521]
在一些实施例中，在所述图像处理系统处于第二工作模式时，所述红色像素、绿色像素、蓝色像素以及暗光像素的曝光时间等于白光像素的曝光时间。
[0522]
在一些实施例中，在所述图像处理系统处于第二工作模式时，所述红色像素、绿色像素和蓝色像素的增益大于所述白光像素的增益；所述红色像素、绿色像素和蓝色像素的增益不小于所述暗光像素的增益。
[0523]
在一些实施例中，在所述图像处理系统处于第二工作模式时，所述红色像素、绿色像素和蓝色像素的增益大于白光像素的增益。
[0524]
请参见图18，为本技术实施例提供的一种电子设备的硬件结构示意图。该电子设备可包括处理器1801、存储有机器可执行指令的存储器1802。处理器1801与存储器1802可经由系统总线1803通信。并且，通过读取并执行存储器1802中的机器可执行指令，处理器1801可执行上文描述的图像处理、近红外补光控制或曝光控制方法。
[0525]
本文中提到的存储器1802可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：ram(radom access memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
[0526]
在一些实施例中，还提供了一种机器可读存储介质，如图18中的存储器1802，该机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现上文描述的图像处理、近红外补光控制或曝光控制方法。例如，所述机器可读存储介质可以是rom、ram、cd-rom、磁带、软盘和光数据存储设备等。
[0527]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0528]
以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术保护的范围之内。