图像处理方法、图像处理装置、电子设备及存储介质与流程

1.本技术涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理装置、电子设备及存储介质。


背景技术：

2.目前，偏振传感器主要用于工业相机，偏振传感器输出的图像数据呈非拜耳阵列，而手机等电子设备处理的图像数据呈拜耳阵列，也即是说，相关技术中的偏振传感器输出的图像数据不能够被手机等电子设备处理。


技术实现要素：

3.本技术的实施方式提供了一种图像处理方法、图像处理装置、电子设备及存储介质。
4.本技术实施方式的图像处理方法用于偏振传感器。所述偏振传感器包括偏振片阵列和像素阵列。所述偏振片阵列包括多个偏振片模块，每个所述偏振片模块包括四个偏振片组。每个所述偏振片模块中的四个所述偏振片组呈拜耳阵列排布。每个所述偏振片组包括多个偏振片。每个所述偏振片组中的各个所述偏振片的偏振方向互不相同，每个所述偏振片组中的各个所述偏振片的颜色分量相同。所述像素阵列包括多个像素单元，多个所述像素单元和多个所述偏振片一一对应设置。所述像素单元用于接收透过所述偏振片的光线以生成电信号。所述偏振传感器用于根据所述电信号生成原始图像。所述原始图像的像素呈非拜耳阵列排布。所述图像处理方法包括：根据当前场景，对所述原始图像进行转换以获得拜耳图像，所述拜耳图像的像素呈拜耳阵列排布；根据所述拜耳图像输出目标图像。
5.本技术实施方式的图像处理装置用于偏振传感器。所述偏振传感器包括偏振片阵列和像素阵列。所述偏振片阵列包括多个偏振片模块，每个所述偏振片模块包括四个偏振片组。每个所述偏振片模块中的四个所述偏振片组呈拜耳阵列排布。每个所述偏振片组包括多个偏振片。每个所述偏振片组中的各个所述偏振片的偏振方向互不相同，每个所述偏振片组中的各个所述偏振片的颜色分量相同。所述像素阵列包括多个像素单元，多个所述像素单元和多个所述偏振片一一对应设置。所述像素单元用于接收透过所述偏振片的光线以生成电信号。所述偏振传感器用于根据所述电信号生成原始图像。所述原始图像的像素呈非拜耳阵列排布。所述图像处理装置包括转换模块和输出模块。转换模块用于根据当前场景，对所述原始图像进行转换以获得拜耳图像，所述拜耳图像的像素呈拜耳阵列排布。输出模块用于根据所述拜耳图像输出目标图像。
6.本技术实施方式的电子设备包括一个或多个处理器和存储器。所述存储器存储有计算机程序。所述计算机程序被所述处理器执行的情况下，实现上述实施方式所述的图像处理方法的步骤。
7.本技术实施方式的计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行的情况下，实现上述实施方式所述的图像处理方法的步骤。
8.上述图像处理方法、图像处理装置、电子设备及存储介质，能够将偏振传感器输出的呈非拜耳阵列排布的原始图像转换成呈拜耳阵列排布的拜耳图像，从而偏振传感器输出的原始图像能够被手机等电子设备处理。
9.本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
10.本技术的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
11.图1是本技术实施方式的图像处理方法的流程示意图；
12.图2是本技术实施方式的图像处理方法的偏振传感器的立体结构示意图；
13.图3是本技术实施方式的图像处理装置的示意图；
14.图4是本技术实施方式的电子设备的示意图；
15.图5是本技术实施方式的图像处理方法的偏振传感器的偏振片模块的结构示意图；
16.图6是本技术实施方式的图像处理方法的流程示意图；
17.图7是本技术实施方式的图像处理方法的场景示意图；
18.图8是本技术实施方式的图像处理方法的流程示意图；
19.图9是本技术实施方式的图像处理方法的场景示意图；
20.图10是本技术实施方式的图像处理方法的流程示意图；
21.图11是本技术实施方式的图像处理装置的示意图；
22.图12是本技术实施方式的图像处理方法的场景示意图；
23.图13是本技术实施方式的图像处理方法的流程示意图；
24.图14是本技术实施方式的图像处理装置的示意图；
25.图15是本技术实施方式的图像处理方法的场景示意图；
26.图16本技术实施方式的图像处理方法的流程示意图；
27.图17是本技术实施方式的图像处理方法的流程示意图；
28.图18是本技术实施方式的图像处理方法的场景示意图；
29.图19是本技术实施方式的图像处理方法的流程示意图；
30.图20是本技术实施方式的图像处理方法的场景示意图；
31.图21是本技术实施方式的图像处理方法的流程示意图；
32.图22是本技术实施方式的图像处理方法的场景示意图；
33.图23是本技术实施方式的图像处理方法的场景示意图。
具体实施方式
34.下面详细描述本技术的实施方式，所述实施方式的实施方式在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本技术，而不能理解为对本技术的限制。
35.在本技术的实施方式的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本技术的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
36.请参阅图1
‑
4，本技术实施方式的图像处理方法用于偏振传感器300。偏振传感器300包括偏振片阵列310和像素阵列320。偏振片阵列310包括多个偏振片模块311，每个偏振片模块311包括四个偏振片组312。每个偏振片模块311中的四个偏振片组312呈拜耳阵列排布。每个偏振片组312包括多个偏振片314。每个偏振片组312中的各个偏振片314的偏振方向互不相同，每个偏振片组312中的各个偏振片314的颜色分量相同。像素阵列320包括多个像素单元321。多个像素单元321和多个偏振片314一一对应设置。像素单元321用于接收透过偏振片314的光线以生成电信号。偏振传感器300用于根据电信号生成原始图像。原始图像的像素呈非拜耳阵列排布。图像处理方法包括：
37.01：根据当前场景，对原始图像进行转换以获得拜耳图像，拜耳图像的像素呈拜耳阵列排布；
38.03：根据拜耳图像输出目标图像。
39.本技术实施方式的图像处理方法可由本技术实施方式的图像处理装置100实现。具体地，图像处理方法用于偏振传感器300。偏振传感器300包括偏振片阵列310和像素阵列320。偏振片阵列310包括多个偏振片模块311，每个偏振片模块311包括四个偏振片组312。每个偏振片模块311中的四个偏振片组312呈拜耳阵列排布。每个偏振片组312包括多个偏振片314。每个偏振片组312中的各个偏振片314的偏振方向互不相同，每个偏振片组312中的各个偏振片314的颜色分量相同。像素阵列320包括多个像素单元321。多个像素单元321和多个偏振片314一一对应设置。像素单元321用于接收透过偏振片314的光线以生成电信号。偏振传感器300用于根据电信号生成原始图像。原始图像的像素呈非拜耳阵列排布。图像处理装置100包括转换模块10和输出模块30。转换模块10用于根据当前场景，对原始图像进行转换以获得拜耳图像，拜耳图像的像素呈拜耳阵列排布。输出模块30用于根据拜耳图像输出目标图像。
40.本技术实施方式的图像处理方法可由本技术实施方式的电子设备200实现。具体地，电子设备200包括一个或多个处理器201和存储器202。存储器202存储有计算机程序。计算机程序被处理器201执行的情况下，实现上述步骤01、步骤03。
41.上述图像处理方法、图像处理装置100及电子设备200，能够将偏振传感器300输出的呈非拜耳阵列排布的原始图像转换成呈拜耳阵列排布的拜耳图像，从而偏振传感器300输出的原始图像能够被手机等电子设备200处理。
42.具体地，偏振传感器300能够接收外界的光线，并根据接收到的光线生成原始图像。原始图像的像素呈非拜耳阵列排布，手机等电子设备200不能够处理像素呈非拜耳阵列排布的原始图像，需要将原始图像的像素转换成呈拜耳阵列排布的格式。偏振传感器300还包括微透镜阵列330，微透镜阵列330设置在偏振片阵列310正上方，微透镜阵列330包括多个微透镜331，微透镜331、偏振片314和像素单元321一一对应。请结合图5，图5为偏振传感器300的偏振片模块311的示意图，在某些实施方式中，偏振片模块311可包括两个第一偏振片组3122、一个第二偏振片组3124和一个第三偏振片组3126，四个偏振片组312呈拜耳阵列
排布，其中，第一偏振片组3122中的所有偏振片314的颜色分量均为绿色(green，g)，第二偏振片组3124中的所有偏振片314的颜色分量均为蓝色(blue，b)，第三偏振片组3126中的所有偏振片314的颜色分量均为红色(red，r)。偏振片314的颜色分量相同，即偏振片314能够透过相同波长范围的可见光，例如都能够透过波长范围为625～740nm的红光，或者都能够透过波长范围为492～577nm的绿光，或者都能够透过波长范围为440～475nm的蓝光。两个第一偏振片组3122、一个第二偏振片组3124和一个第三偏振片组3126以2*2的形式排布，两个第一偏振片组3122沿第一对角线方向d1排布，一个第二偏振片组3124和一个第三偏振片组3126沿第二对角线方向d2排布，第一对角线方向d1与第二对角线方向d2相互垂直，在图5的示例中，偏振片模块311的排布为grbg，在其他示例中，偏振片模块311的排布也可为rggb、bggr或者gbrg。在图5的实施方式中，每个偏振片组312中的偏振片314以2*2的形式排布，即每个偏振片组312均包括四个偏振片314，四个偏振片314的偏振方向各不相同，分别为第一偏振方向、第二偏振方向、第三偏振方向和第四偏振方向。每个偏振片314的下方设置一个像素单元321，当外界光线透过偏振片314照射在像素单元321上时，像素单元321能够生成对应的电信号。在一个例子中，第一偏振方向、第二偏振方向、第三偏振方向和第四偏振方向分别为0
°
、45
°
、90
°
和135
°
。需要指出的是，在其他实施方式中，每个偏振片组312中的偏振片314还可以3*3或4*4的形式排布，当偏振片314以3*3的形式排布时，每个偏振片组312包括偏振方向不同的9个偏振片314；当偏振片314以4*4的形式排布时，每个偏振片组312包括偏振方向不同的16个偏振片314。
43.在步骤01中，当前场景可包括偏亮场景、普通场景、局部偏暗整体偏亮场景、敞亮场景。在某些实施方式中，普通场景为光线强度位于第一强度值和第二强度值之间的场景，偏亮场景为光线强度位于第三强度值和第四强度值之间的场景，敞亮场景为光线强度大于第五强度值的场景，第一强度值小于第二强度值，第二强度值不大于第三强度值，第三强度值小于第四强度值，第四强度值不大于第五强度值。在某些实施方式中，偏亮场景可包括阴天室外，在当前场景的光线强度位于2000lux
‑
3000lux之间(例如2500lux)时，可确定当前场景为阴天室外。在某些实施方式中，普通场景可包括室内商场，在当前场景的光线强度位于950lux
‑
1050lux之间(例如1000lux)时，可确定当前场景为室内商场。在某些实施方式中，局部偏暗整体偏亮场景可包括路灯夜景或夜晚有灯光的场景，在当前场景的光线强度位于300lux
‑
500lux之间(例如400lux)时，可确定当前场景为夜晚有灯光的场景。在某些实施方式中，敞亮场景可包括晴天室外，在当前场景的光线强度大于8000lux(例如9000lux)时，可确定当前场景为晴天室外。在某些实施方式中，在步骤01之前，图像处理方法还包括：确定当前场景。在某些实施方式中，电子设备200包括光线传感器，在拍摄时可根据光线传感器的测量值确定当前场景。在某些实施方式中，可基于训练模型预先对不同拍摄环境进行机器学习，从而在拍摄时根据拍摄环境自动确定当前场景。在其他实施方式中，当前场景还可由用户自行设置。在确定当前场景之后，根据当前场景对原始图像进行转换，从而获得与当前场景对应的拜耳图像，拜耳图像的像素呈拜耳阵列排布，拜耳图像可以被手机等电子设备200进一步处理。
44.在步骤03中，手机等电子设备200可包括图像管道，图像管道对拜耳图像进行处理，从而输出目标图像。在图4所示的实施方式中，电子设备200为手机，在其他实施方式中，电子设备200可包括平板电脑、智能手表或者其他配置有偏振传感器300的可移动终端。
45.请参阅图6和图7，在某些实施方式中，当前场景包括偏亮场景，步骤01包括：
46.011：在当前场景为偏亮场景的情况下，抽取每个偏振片组312中具有相同偏振方向的偏振片314对应的原始图像的像素并对抽取的像素进行组合，以获得拜耳图像。
47.上述实施方式的图像处理方法可由本技术实施方式的图像处理装置100实现。具体地，转换模块10用于在当前场景为偏亮场景的情况下，抽取每个偏振片组312中具有相同偏振方向的偏振片314对应的原始图像的像素并对抽取的像素进行组合，以获得拜耳图像。
48.上述实施方式的图像处理方法可由本技术实施方式的电子设备200实现。具体地，处理器用于在当前场景为偏亮场景的情况下，抽取每个偏振片组312中具有相同偏振方向的偏振片314对应的原始图像的像素并对抽取的像素进行组合，以获得拜耳图像。
49.如此，在偏亮场景下，不需要采用复杂的算法处理原始图像，即可输出具有单一偏振方向的拜耳图像。
50.具体地，偏亮场景可包括阴天室外。在一个例子中，每个偏振片组312中包括0
°
、45
°
、90
°
和135
°
四个偏振方向的偏振片314，在当前场景为偏亮场景的情况下，抽取每个偏振片组312中0
°
偏振方向的偏振片314对应的原始图像的像素，并按照对应的偏振片组312之间的组合方式对抽取的像素进行组合，可生成0
°
偏振图像；抽取每个偏振片组312中45
°
偏振方向的偏振片314对应的原始图像的像素，并按照对应的偏振片组312之间的组合方式对抽取的像素进行组合，可生成45
°
偏振图像；抽取每个偏振片组312中90
°
偏振方向的偏振片314对应的原始图像的像素，并按照对应的偏振片组312之间的组合方式对抽取的像素进行组合，可生成90
°
偏振图像；抽取每个偏振片组312中135
°
偏振方向的偏振片314对应的原始图像的像素，并按照对应的偏振片组312之间的组合方式对抽取的像素进行组合，可生成135
°
偏振图像，进一步地，可选择0
°
偏振图像、45
°
偏振图像、90
°
偏振图像或者135
°
偏振图像中的至少一个作为拜耳图像。在当前场景为偏亮场景的情况下，获得的每帧拜耳图像为单偏振图像，获得的每帧拜耳图像的像素数量是原始图像的像素数量的四分之一。
51.请参阅图8和图9，在某些实施方式中，当前场景包括普通场景，步骤01包括：
52.012：在当前场景为普通场景的情况下，融合每个偏振片组312中各个偏振片314对应的原始图像的像素并对融合后的像素进行组合，以获得拜耳图像。
53.上述实施方式的图像处理方法可由本技术实施方式的图像处理装置100实现。具体地，转换模块10用于在当前场景为普通场景的情况下，融合每个偏振片组312中各个偏振片314对应的原始图像的像素并对融合后的像素进行组合，以获得拜耳图像。
54.上述实施方式的图像处理方法可由本技术实施方式的电子设备200实现。具体地，处理器用于在当前场景为普通场景的情况下，融合每个偏振片组312中各个偏振片314对应的原始图像的像素并对融合后的像素进行组合，以获得拜耳图像。
55.如此，在普通场景下，不需要采用复杂的算法处理原始图像，即可输出无偏振的、具有高信噪比的拜耳图像。
56.具体地，普通场景包括室内商场。在某些实施方式中，在当前场景为普通场景的情况下，将一个偏振片组312中所有偏振片314对应的原始图像的像素值相加或求平均，以得到拜耳图像中对应该偏振片组312的位置的像素值，对所有偏振片组312执行上述操作，即可确定拜耳图像中对应每个偏振片组312的位置的像素值，这样得到的拜耳图像具有较高的信噪比。在当前场景为普通场景的情况下，获得的拜耳图像为无偏振图像，获得的拜耳图
像的像素数量是原始图像的像素数量的四分之一。
57.请参阅图10
‑
12，在某些实施方式中，当前场景包括整体偏暗局部偏亮场景，步骤01括：
58.013：在当前场景为整体偏暗局部偏亮场景的情况下，抽取每个偏振片组312中具有相同偏振方向的偏振片314对应的原始图像的像素并对抽取的像素进行组合，以获得单偏振图像；
59.014：融合每个偏振片组312中各个偏振片314对应的原始图像的像素并对融合后的像素进行组合，以获得无偏振图像；
60.015：融合单偏振图像和无偏振图像以获得拜耳图像。
61.上述实施方式的图像处理方法可由本技术实施方式的图像处理装置100实现。具体地，转换模块10包括抽取单元13、第一融合单元14、第二融合单元15。抽取单元13用于在当前场景为整体偏暗局部偏亮场景的情况下，抽取每个偏振片组312中具有相同偏振方向的偏振片314对应的原始图像的像素并对抽取的像素进行组合，以获得单偏振图像。第一融合单元14用于融合每个偏振片组312中各个偏振片314对应的原始图像的像素并对融合后的像素进行组合，以获得无偏振图像。第二融合单元15用于融合单偏振图像和无偏振图像以获得拜耳图像。
62.上述实施方式的图像处理方法可由本技术实施方式的电子设备200实现。具体地，处理器用于在当前场景为整体偏暗局部偏亮场景的情况下，抽取每个偏振片组312中具有相同偏振方向的偏振片314对应的原始图像的像素并对抽取的像素进行组合，以获得单偏振图像，及用于融合每个偏振片组312中各个偏振片314对应的原始图像的像素并对融合后的像素进行组合，以获得无偏振图像，及用于融合单偏振图像和无偏振图像以获得拜耳图像。
63.如此，在当前场景为整体偏暗局部偏亮场景的情况下，融合单偏振图像和无偏振图像，获得具有偏振信息的拜耳图像。
64.具体地，整体偏暗局部偏亮场景可包括路灯夜景或夜晚有灯光的场景。每个偏振片组312包括多个不同偏振方向的偏振片314，抽取每个偏振片组312中相同偏振方向的偏振片314对应的原始图像可获得多帧单偏振图像，每帧单偏振图像的偏振信息不同。例如，当偏振片组312中包括0
°
、45
°
、90
°
和135
°
四种偏振方向的偏振片314时，在步骤013中可获得4帧单偏振图像，分别为0
°
偏振图像、45
°
偏振图像、90
°
偏振图像和135
°
偏振图像，且每帧单偏振图像的像素数量是原始图像的像素数量的四分之一。
65.在步骤014中，将一个偏振片组312中所有偏振片314对应的原始图像的像素值相加或求平均，以得到无偏振图像中对应该偏振片组312的位置的像素值，对所有偏振片组312执行上述操作，即可确定无偏振图像中对应每个偏振片组312的位置的像素值。无偏振图像的像素数量是原始图像的像素数量的四分之一。
66.在步骤015中，在当前场景为整体偏暗局部偏亮场景的情况下，从多帧单偏振图像中选取一帧图像，从而融合一帧单偏振图像和一帧无偏振图像以获得一帧具有偏振信息的拜耳图像。由于每帧单偏振图像的像素数量是原始图像的像素数量的四分之一，每帧无偏振图像的像素数量也是原始图像的像素数量的四分之一，在当前场景为整体偏暗局部偏亮场景的情况下，融合单偏振图像和无偏振图像获得的每帧拜耳图像的像素数量是原始图像
的像素数量的四分之一，拜耳图像为融合偏振图像。
67.请参阅图13
‑
15，在某些实施方式中，步骤015包括：
68.0151：对单偏振图像和无偏振图像进行滤波；
69.0153：融合滤波后的单偏振图像和无偏振图像以获得拜耳图像。
70.上述实施方式的图像处理方法可由本技术实施方式的图像处理装置100实现。具体地，第二融合单元15包括滤波子单元151、融合子单元153。滤波子单元151用于对单偏振图像和无偏振图像进行滤波。融合子单元153用于融合滤波后的单偏振图像和无偏振图像以获得拜耳图像。
71.上述实施方式的图像处理方法可由本技术实施方式的电子设备200实现。具体地，处理器用于对单偏振图像和无偏振图像进行滤波，及用于融合滤波后的单偏振图像和无偏振图像以获得拜耳图像。
72.如此，可以获得视觉效果更好的拜耳图像。
73.具体地，在步骤0151中，在某些实施方式中，以无偏振图像为导向图，分别对单偏振图像和无偏振图像进行双边滤波，从而将平坦区进行一个平滑的处理。处理过程可由以下公式表示：其中，k
p
＝∑
q∈ω
f(||p
‑
q||)g(||i
p
′‑
i
q
′
||)，j
p
为输出像素值，k
p
为权重总和，ω为滤波窗口(例如3*3的窗口)，p为待滤波像素点在相位图中的坐标，q为滤波窗口内的像素点在相位图中的坐标，i
q
为q点对应的像素值，i
p
′
为导向图中与待滤波像素点对应的像素值，i
q
′
为导向图中与q点对应的像素值。f表示滤波窗口中每个坐标点的权重，滤波窗口中每个坐标点的权重是固定的，越靠近中心权重越大。g表示其他位置的像素与中心像素差异的权重，差异越大，权重越小。在某些实施方式中，f和g可以为任意的权重分布函数，两者可以相同或者不同，例如，f和g均为高斯函数，高斯函数例如为a、b和c为调节系数。
74.在步骤0153中，采用融合(fusion)算法融合滤波后的单偏振图像和无偏振图像以获得拜耳图像。请结合图15，以绿色像素单元作为示例。g_smooth表示滤波后的单偏振图像中的绿色像素单元，包括g1、g2、g3、g4、g5五个像素点。g
′
_smooth表示滤波后的无偏振图像中的绿色像素单元，包括g
′
1、g
′
2、g
′
3、g
′
4、g
′
5五个像素点。在融合g_smooth和g
′
_smooth的过程中，融合后中心点的像素值可由以下公式表示：g5_output＝g_mean*(g
′5/g
′
_mean)，其中，g5_output表示中心点的像素值，mean)，其中，g5_output表示中心点的像素值，∑α
n
＝1，g
n
表示gn点对应的像素值，g
′
n
表示g
′
n
点对应的像素值。滤波后的单偏振图像和无偏振图像的红色像素单元、蓝色像素单元的融合过程与绿色像素单元的融合过程基本相同，为避免冗余，在此不再赘述。
75.请参阅图16和图17，在某些实施方式中，步骤03包括：
76.031：将拜耳图像依次经过坏点补偿(bad pixel correction，bpc)模块、去马赛克(demosaic，dm)模块、色彩校正(color correction，cc)模块、伽玛(gamma)校正模块、色彩转换(color conversion，cv)模块处理后输出目标图像。
77.上述实施方式的图像处理方法可由本技术实施方式的图像处理装置100实现。具体地，输出模块30用于将拜耳图像依次经过坏点补偿模块、去马赛克模块、色彩校正模块、
伽玛校正模块、色彩转换模块处理后输出目标图像。
78.上述实施方式的图像处理方法可由本技术实施方式的电子设备200实现。具体地，处理器用于将拜耳图像依次经过坏点补偿模块、去马赛克模块、色彩校正模块、伽玛校正模块、色彩转换模块处理后输出目标图像。
79.如此，拜耳图像进入图像管道，经过图像管道的处理之后，转换为目标图像并输出。
80.具体地，目标图像包括yuv图像。在某些实施方式中，偏振传感器(sensor)300生成的原始图像(quadbayer polarized raw)依次经过摄像机串行接口解码器(camera serial interface decoder，csid)、黑电平(optical black，ob)模块、镜头阴影校正(lens shading correction，lsc)模块之后，进入双倍速率同步动态随机存储器(double data rate，ddr)，然后在binningalgorithm模块中转换成拜耳图像之后，再依次经过坏点补偿模块、去马赛克模块、色彩校正模块、伽玛校正模块、色彩转换模块处理并输出目标图像。
81.进一步地，摄像机串行接口解码器用于解码识别原始图像。偏振传感器300的电路本身会存在暗电流，导致在没有光线照射的时候，像素单元321也有一定的输出电压，因此需要减去暗电流带来的影响，也就是进行黑电平校正。镜头阴影校正是为了解决由于镜头的光学特性，即镜头对于光学折射不均匀导致的镜头周围出现阴影的情况。由于镜头本身就是一个凸透镜，由于凸透镜原理，中心的感光必然比周边多，偏振传感器300影像区的边缘区域接收的光强比中心小，所造成的中心和四角亮度不一致的现象。双倍速率同步动态随机存储器用于存储依次经过摄像机串行接口解码器、黑电平模块、镜头阴影校正模块之后的原始图像。请结合图18，binning algorithm模块能够从ddp中调取原始图像并执行步骤011、步骤012、步骤013、步骤014、步骤015、步骤0151、步骤0153以将原始图像转换为拜耳图像。坏点补偿即坏像素补偿，是指坏像素校正，在偏振传感器300中的某个像素单元321不能正常工作时，可以利用坏像素校正获得该像素单元321对应的像素值。去马赛克模块可以将拜耳阵列的拜耳图像插值成为rgb图像，其中，rgb图像可以是三帧，即分别为插值后得到的r图像、g图像和b图像。利用颜色校正后的图像的色彩饱和度更加明显，更加符合人眼感官。伽玛校正可使得图像看起来更符合人眼的特性，伽玛校正公式例如为out＝ingamma或者out＝in1/gamma，其中，in表示输入图像，out表示输出图像。色彩转换模块可以将rgb图像转换为yuv图像。
82.需要指出的是，在图16的实施方式中，流程示意图中包括步骤011和步骤031；在某些实施方式中，流程示意图可包括步骤012和步骤031；在某些实施方式中，流程示意图可包括步骤013、步骤014、步骤015和步骤031；在某些实施方式中，流程示意图可包括步骤013、步骤014、步骤0151、步骤0153和步骤031，在此不作限定。
83.请参阅图19和图20，在某些实施方式中，当前场景包括敞亮场景，步骤01包括：
84.016：在当前场景为敞亮场景的情况下，采用拜耳图像再生成(remosaic)算法对偏振传感器300输出的原始图像进行转换以获得述拜耳图像。
85.上述实施方式的图像处理方法可由本技术实施方式的图像处理装置100实现。具体地，转换模块10用于在当前场景为敞亮场景的情况下，采用拜耳图像再生成算法对偏振传感器300输出的原始图像进行转换以获得述拜耳图像。
86.上述实施方式的图像处理方法可由本技术实施方式的电子设备200实现。具体地，
处理器用于在当前场景为敞亮场景的情况下，采用拜耳图像再生成算法对偏振传感器300输出的原始图像进行转换以获得述拜耳图像。
87.如此，在当前场景为敞亮场景的情况下，采用remosaic算法可以获得分辨率较高的拜耳图像。
88.具体地，敞亮场景可包括晴天室外。在某些实施方式中，在当前场景为敞亮场景的情况下，采用remosaic算法可以将原始图像转换为具有特定偏振方向的分辨率较高的拜耳图像。在某些实施方式中，在当前场景为敞亮场景的情况下，采用remosaic算法可以将原始图像转换为无偏振信息的分辨率较高的拜耳图像。在当前场景为敞亮场景的情况下，获得的拜耳图像为特定偏振图像或全尺寸无偏振图像，获得的拜耳图像的像素数量与原始图像的像素数量相同，从而拜耳图像的分辨率较高。
89.请参阅图21
‑
23，在某些实施方式中，步骤03包括：
90.033：将拜耳图像依次经过摄像机串行接口解码器、黑电平模块、镜头阴影校正模块、坏点补偿模块、去马赛克模块、色彩校正模块、伽玛校正模块、色彩转换模块处理后输出目标图像。
91.上述实施方式的图像处理方法可由本技术实施方式的图像处理装置100实现。具体地，输出模块30用于将拜耳图像依次经过摄像机串行接口解码器、黑电平模块、镜头阴影校正模块、坏点补偿模块、去马赛克模块、色彩校正模块、伽玛校正模块、色彩转换模块处理后输出目标图像。
92.上述实施方式的图像处理方法可由本技术实施方式的电子设备200实现。具体地，处理器用于将拜耳图像依次经过摄像机串行接口解码器、黑电平模块、镜头阴影校正模块、坏点补偿模块、去马赛克模块、色彩校正模块、伽玛校正模块、色彩转换模块处理后输出目标图像。
93.如此，拜耳图像进入图像管道，经过图像管道的处理之后，转换为目标图像并输出。
94.具体地，请结合图22，在某些实施方式中，偏振传感器(sensor)300生成的原始图像(quadbayer polarized raw)经过fullsize algorithm模块之后，转换成拜耳阵列的拜耳图像，拜耳图像依次经过摄像机串行接口解码器、黑电平模块、镜头阴影校正模块、坏点补偿模块、去马赛克模块、色彩校正模块、伽玛校正模块、色彩转换模块处理后输出目标图像。fullsize algorithm模块用于执行步骤016以将原始图像转换为拜耳图像。请结合图23，在某些实施方式中，偏振传感器(sensor)300生成的原始图像(quadbayer polarized raw)经过binning algorithm模块之后，转换成拜耳阵列的拜耳图像，拜耳图像依次经过摄像机串行接口解码器、黑电平模块、镜头阴影校正模块、坏点补偿模块、去马赛克模块、色彩校正模块、伽玛校正模块、色彩转换模块处理后输出目标图像。摄像机串行接口解码器、黑电平模块、镜头阴影校正模块、坏点补偿模块、去马赛克模块、色彩校正模块、伽玛校正模块、色彩转换模块的解释说明可以参考上述实施方式。
95.需要指出的是，在图21的实施方式中，流程示意图中包括步骤016和步骤033；在某些实施方式中，流程示意图可包括步骤011和步骤033；在某些实施方式中，流程示意图可包括步骤012和步骤033；在某些实施方式中，流程示意图可包括步骤013、步骤014、步骤015和步骤033；在某些实施方式中，流程示意图可包括步骤013、步骤014、步骤0151、步骤0153和
步骤033，在此不作限定。
96.需要指出的是，上述所提到的具体数值只为了作为例子详细说明本技术的实施，而不应理解为对本技术的限制。在其他例子或实施方式或实施例中，可根据本技术来选择其他数值，在此不作具体限定。
97.本技术实施方式的计算机可读存储介质，其上存储有计算机程序，程序被处理器执行的情况下，实现上述任一实施方式的图像处理方法的步骤。
98.例如，程序被处理器执行的情况下，实现以下图像处理方法的步骤：
99.01：根据当前场景，对原始图像进行转换以获得拜耳图像，拜耳图像的像素呈拜耳阵列排布；
100.03：根据拜耳图像输出目标图像。
101.可以理解，计算机程序包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、以及软件分发介质等。处理器可以是中央处理器，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
102.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
103.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
104.尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。