拍摄方法及装置、电子设备及计算机可读存储介质与流程

1.本技术涉及图像处理技术领域，更具体而言，涉及一种拍摄方法、拍摄装置、电子设备及非易失性计算机可读存储介质。


背景技术：

2.目前，用于彩色成像的图像传感器一般都设置有滤光片，每个像素仅能接收一个颜色的光线，如目前较为常见的拜尔阵列滤光片，像素仅可接收光线中的红色分量、绿色分量或蓝色分量，需要通过去马赛克算法将像素缺失的像素信息补齐，然而，通过去马赛克算法计算得到的像素信息的准确性较低。


技术实现要素：

3.本技术实施方式提供一种拍摄方法、拍摄装置、电子设备及非易失性计算机可读存储介质。
4.本技术实施方式的拍摄方法包括在电子设备处于静止状态时，控制图像传感器平行成像面运动，并采集多帧第一图像；及根据多帧所述第一图像，生成目标图像。
5.本技术实施方式的拍摄装置包括控制模块和生成模块。所述控制模块用于在电子设备处于静止状态时，控制图像传感器平行成像面运动，并采集多帧第一图像；所述生成模块用于根据多帧所述第一图像，生成目标图像。
6.本技术实施方式的电子设备包括相机、处理器和驱动装置，所述相机包括图像传感器，在所述电子设备处于静止状态时，所述驱动装置驱动所述图像传感器平行成像面运动，所述图像传感器采集多帧第一图像；所述处理器用于根据多帧所述第一图像，生成目标图像。
7.本技术实施方式的非易失性计算机可读存储介质包含计算机程序，当所述计算机程序被一个或多个处理器执行时，使得所述处理器执行如下拍摄方法：在电子设备处于静止状态时，控制图像传感器平行成像面运动，并采集多帧第一图像；及根据多帧所述第一图像，生成目标图像。
8.本技术实施方式的拍摄方法、拍摄装置、电子设备及非易失性计算机可读存储介质，通过在电子设备处于静止状态时，控制图像传感器平行成像面运动，使得采集的多帧第一图像之间会出现偏移，同一目标对象的采集点(如对应一个像素)在不同帧对应不同颜色的滤光片，使得不同帧的第一图像可采集同一采集点的不同颜色分量的光线，从而在根据多帧第一图像生成目标图像时，无需通过去马赛克算法进行去马赛克处理，而是直接从不同帧的第一图像中，获取到目标对象的每个采集点的不同颜色分量的光线，直接生成去马赛克后的目标图像，相较于去马赛克算法得到的像素信息的准确性较差而言，无需进行去马赛克算法处理，有利于降低伪彩和拉链效应，像素信息的准确性较高。
9.本技术的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实施方式的实践了解到。
附图说明
10.本技术的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
11.图1是本技术某些实施方式的拍摄方法的流程示意图；
12.图2是本技术某些实施方式的拍摄装置的示意图；
13.图3是本技术某些实施方式的电子设备的平面示意图；
14.图4和图5是本技术某些实施方式的拍摄方法的场景示意图；
15.图6至图9是本技术某些实施方式的拍摄方法的流程示意图；
16.图10是本技术某些实施方式的拍摄方法的场景示意图；
17.图11和图12是本技术某些实施方式的拍摄方法的流程示意图；
18.图13至图15是本技术某些实施方式的拍摄方法的场景示意图；
19.图16是本技术某些实施方式的非易失性计算机可读存储介质和处理器的连接状态示意图。
具体实施方式
20.下面详细描述本技术的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本技术的实施方式，而不能理解为对本技术的实施方式的限制。
21.请参阅图1，本技术实施方式提供一种拍摄方法。该拍摄方法包括步骤：
22.011：在电子设备处于静止状态时，控制图像传感器平行成像面运动，并采集多帧第一图像；及
23.012：根据多帧第一图像，生成目标图像。
24.请参阅图2，本技术实施方式提供一种拍摄装置10。拍摄装置10包括控制模块11和生成模块12。本技术实施方式的拍摄方法可应用于拍摄装置10。其中控制模块11和生成模块12分别用于执行步骤011和步骤012。即，控制模块11用于在电子设备处于静止状态时，控制图像传感器平行成像面运动，并采集多帧第一图像和生成模块12用于根据多帧第一图像，生成目标图像
25.请参阅图3，本技术实施方式还提供一种电子设备100。电子设备100包括处理器20、相机30和驱动装置40，相机30包括图像传感器31。本技术实施方式的拍摄方法可应用于电子设备100。驱动装置40可配合图像传感器31执行步骤011，处理器20用于执行步骤012。即，在电子设备100处于静止状态时，驱动装置40驱动图像传感器31平行成像面运动，图像传感器31采集多帧第一图像；处理器20用于根据多帧第一图像，生成目标图像。
26.具体地，电子设备100还包括壳体50。电子设备100可以是手机、平板电脑、显示设备、笔记本电脑、柜员机、闸机、智能手表、头显设备、游戏机等。如图3所示，本技术实施方式以电子设备100是手机为例进行说明，可以理解，电子设备100的具体形式并不限于手机。壳体50还可用于安装电子设备100的显示装置、成像装置、供电装置、通信装置等功能模块，以使壳体50为功能模块提供防尘、防摔、防水等保护。
27.电子设备100还包括姿态传感器，姿态传感器用于采集电子设备100的姿态数据，
例如姿态传感器可以是陀螺仪，陀螺仪能够采集电子设备100绕俯仰轴、横滚轴和偏航轴的角速度，或者，姿态传感器可以是加速度计，陀螺仪能够采集电子设备100绕俯仰轴、横滚轴和偏航轴的加速度。
28.以姿态传感器为陀螺仪为例，处理器20通过姿态数据，即可确定电子设备100是否处于静止状态，可以理解，静止状态指的是电子设备100相对大地的位置不变的情况下，此时，预设姿态阈值为0，姿态数据等于预设姿态阈值时即可确定电子设备100处于静止状态；而在静止状态指的是电子设备100相对大地的位置变化小于预定差值阈值的情况下，即表示电子设备100运动的速度极慢，不同帧的第一图像拍摄的场景范围基本相同，基本不存在偏移，如预设姿态阈值可以是0.5、1、2等，姿态数据小于预设姿态阈值即可确定电子设备100处于静止状态，也即是说，在俯仰角速度、横滚角速度和偏航角速度(由于俯仰角速度、横滚角速度和偏航角速度具有方向性，可能为负值，故取俯仰角速度、横滚角速度和偏航角速度的绝对值)均小于预设姿态阈值时，即可确定电子设备100处于静止状态。
29.在电子设备100处于静止状态时，例如电子设备100处于三脚架模式进行拍摄，此时图像传感器31拍摄的多帧第一图像的场景范围始终保持不变，多帧第一图像之间不存在偏移，无法在不通过去马赛克算法进行插值的情况下，进行去马赛克处理，因此，处理器20在电子设备100处于静止状态时，通过驱动装置40驱动图像传感器31平行成像面移动，以使得图像传感器31采集的多帧第一图像之间存在偏移。其中，多帧第一图像之间存在偏移指的是，对于被摄场景的同一采集点而言，该采集点在不同帧的第一图像中像素信息不同，该采集点在不同帧的第一图像中像素信息通过该采集点反射的光线中不同的颜色分量生成。
30.驱动装置40可驱动图像传感器31沿多个运动方向运动，例如驱动装置40可驱动图像传感器31沿平行成像面的方向运动，或者驱动装置40可驱动图像传感器31沿靠近或远离成像面的方向移动，以实现对焦；可以理解，为了保证图像传感器31采集的第一图像的场景范围发生偏移，多个运动方向至少包括平行成像面的方向。在平行成像面移动时，可通过驱动装置40精确控制图像传感器31的移动方向和移动距离。
31.驱动装置40可以是音圈马达或者微型云台，音圈马达和微型云台能够实现图像传感器31的高精度的移动，从而实现图像传感器31的像素级的偏移，且偏移的距离小于预定像素距离，如偏移的距离在2个像素距离内。
32.例如，请参阅图4，为图像传感器31的部分示意图，以图像传感器31的为拜耳阵列为例进行说明，图像传感器31包括r通道、g通道和b通道，在图像传感器31未移动时，拍摄一帧第一图像p1，第一图像p1包括子图像r1、子图像g1和子图像b1，子图像r1包括r像素和空白像素，子图像g1包括g像素和空白像素，子图像b1包括b像素和空白像素，在驱动装置40驱动图像传感器31沿水平方向(如图4所示的水平向右)移动一个像素时，此时，图像传感器31再采集一帧第一图像p1，此时的第一图像p1包括子图像r2、子图像g2和子图像b2；然后在驱动装置40再一次驱动图像传感器31沿与水平方向垂直的竖直方向(如图4所示的竖直向下)移动一个像素时，此时，图像传感器31再采集一帧第一图像p1，此时的第一图像p1包括子图像r3、子图像g3和子图像b3；最后在驱动装置40驱动图像传感器31又一次沿水平方向(如图4所示的水平向左)移动一个像素时，此时，图像传感器31再采集一帧第一图像p1，此时的第一图像p1包括子图像r4、子图像g4和子图像b4；从而获取到4帧图第一图像p1。
33.其中，第一图像可以是还未进行处理的raw图，即相机30的图像传感器31输出后未
经任何算法处理的图像数据。或者第一图像可以是经过黑电平校正(black level correction，blc)和镜头阴影校正(lens shading correction，lsc)后图像，从而获取图像质量更好的第一图像。当然，第一图像还可经过不限于上述blc和lsc之外的其他算法的处理，以实现更好的图像质量。
34.在获取到多帧存在偏移的第一图像后，即可根据多帧第一图像来合成目标图像，例如，请参阅图5，4帧第一图像p1中，相同通道的子图像(如子图像r1至r4、子图像g1至g4、和子图像b1至b4)能够分别组成一帧不存在空白像素的单通道的r通道图像、g通道图像和b通道图像，然后合成r通道图像、g通道图像和b通道图像即可生成目标图像p0。由于图像传感器31在采集多帧第一图像时沿平行成像面进行了运动，因此，多帧第一图像中，对应同一采集点的多个像素接收该采集点反射的光线时，多个像素对应的滤光片的颜色不同，使得多个像素可得到该采集点反射的光线的不同的颜色分量，因此，在将对齐后的多帧第一图像合成后，每个像素均包含不同颜色分量的像素信息，从而无需进行去马赛克处理，即可生成去马赛克后的目标图像。
35.本技术实施方式的拍摄方法、拍摄装置10及电子设备100通过在电子设备100处于静止状态时，控制图像传感器31平行成像面运动，使得采集的多帧第一图像之间会出现偏移，同一目标对象的采集点(如对应一个像素)在不同帧对应不同颜色的滤光片，使得不同帧的第一图像可采集同一采集点的不同颜色分量的光线，从而在根据多帧第一图像生成目标图像时，无需通过去马赛克算法进行去马赛克处理，而是直接从不同帧的第一图像中，获取到目标对象的每个采集点的不同颜色分量的光线，直接生成去马赛克后的目标图像，相较于去马赛克算法得到的像素信息的准确性较差而言，无需进行去马赛克算法处理，有利于降低伪彩和拉链效应，像素信息的准确性较高。
36.请参阅图2、图3和图6，在某些实施方式中，拍摄方法还包括：
37.013：在电子设备100处于运动状态时，采集多帧第一图像。
38.在某些实施方式中，拍摄装置10还包括采集模块13，采集模块13用于执行步骤013。即，采集模块13用于在电子设备100处于运动状态时，采集多帧第一图像。
39.在某些实施方式中，图像传感器31还用于执行步骤013。即，图像传感器31还用于在电子设备100处于运动状态时，采集多帧第一图像。
40.具体地，处理器20可通过姿态数据来判断电子设备100是否处于运动状态，例如，处理器20判断姿态数据(如俯仰角速度、横滚角速度或偏航角速度)是否大于预设姿态阈值，预设姿态阈值可以是0、0.5、1、2等，在姿态数据大于预设姿态阈值时，确定电子设备100处于运动状态。在其他实施方式中，为了保证不同帧第一图像的偏移的多样性，在确定电子设备100处于运动状态时，可判断俯仰角速度、横滚角速度和偏航角速度是否均大于预设姿态阈值，或者俯仰角速度、横滚角速度和偏航角速度中的至少两个大于预设姿态阈值，从而保证多帧第一图像存在多个方向的偏移，对应图像传感器的滤光片颜色排布，每个采集点的光线可能够被至少三种颜色的滤光片接收，从而保证后续能够生成准确的去马赛克的目标图像。
41.当电子设备100处于运动状态时，图像传感器31采集的多帧第一图像之间已存在偏移，因此，此时无需控制驱动装置40驱动图像传感器31平行成像面移动，即可得到多帧存在偏移的第一图像，然后处理器20基于多帧存在偏移的图像，即可合成目标图像，运动状态
下获取的多帧第一图像，合成目标图像的原理、与静止状态下获取的多帧第一图像，合成目标图像的原理类似，在此不再赘述。
42.请参阅图2、图3、图7和图8，在某些实施方式中，拍摄方法还包括：
43.014：在姿态数据大于预设姿态阈值时，确定电子设备100处于运动状态；或者
44.015：在姿态数据大于预设姿态阈值时，获取多帧采集图像的帧间信息；
45.016：在帧间信息处于预设范围内时，确定电子设备100处于运动状态。
46.在某些实施方式中，拍摄装置10还包括确定模块14，第一确定模块14用于执行步骤014、步骤015和步骤016。即，确定模块14用于在姿态数据大于预设姿态阈值时，确定电子设备100处于运动状态；或者在姿态数据大于预设姿态阈值时，获取多帧采集图像的帧间信息；在帧间信息处于预设范围内时，确定电子设备100处于运动状态。
47.在某些实施方式中，处理器20还用于执行步骤014、步骤015和步骤016。即，处理器20还用于在姿态数据大于预设姿态阈值时，确定电子设备100处于运动状态；或者在姿态数据大于预设姿态阈值时，获取多帧采集图像的帧间信息；在帧间信息处于预设范围内时，确定电子设备100处于运动状态。
48.具体地，处理器20可通过姿态数据来直接判断电子设备100是否处于运动状态，例如，处理器20判断姿态数据(如俯仰角速度、横滚角速度或偏航角速度)是否大于预设姿态阈值，预设姿态阈值可以是0、0.5、1、2等，在姿态数据大于预设姿态阈值时，确定电子设备100处于运动状态。
49.然而，可能存在电子设备100和被摄对象同时在一个移动的物体上(如在平稳行驶的地铁内，电子设备100设置在三脚架上，在三脚架模式下拍摄被摄对象)，而电子设备100和被摄对象的相对位置并没有变化，此时电子设备100相对地球发生了运动，故处于运动状态，但图像传感器31采集的多帧第一图像之间是不存在偏移的，因此，无法在不通过去马赛克算法进行插值的基础上，生成去马赛克的目标图像。
50.因此，在判断姿态数据大于预设姿态阈值时，还需要进一步判断是否电子设备100和被摄对象的相对位置是不变的，处理器20可获取多帧采集图像，然后计算多帧采集图像的帧间信息，帧间信息可通过多帧采集图像中的任意两帧图像确定，例如，计算多帧图像中任意两帧图像对应位置的像素值的差值之和，以作为帧间信息，当电子设备100和被摄对象相对位置不变时，两帧图像基本是一样的，故帧间信息基本为0或者帧间信息处于预设范围内，如帧间信息小于预设差值阈值(如预设差值阈值为5、10等)。因此，通过判断帧间信息是否位于预设范围内，即可准确判断电子设备100和被摄对象的相对位置是否发生变化，从而在帧间信息处于预设范围时，确定电子设备100处于运动状态。且进行帧间信息的判断仅在能够直接获取的姿态数据大于预设姿态阈值时进行，防止在静止状态时，也计算帧间信息，从而减少电子设备100的状态判断所需的时间，提高拍摄效率。
51.请参阅图2、图3和图9，在某些实施方式中，步骤012包括：
52.0121：根据预设策略从多帧第一图像中选择一帧第一图像定义为基准帧，剩余的第一图像定义为非基准帧；
53.0122：分别计算基准帧和每一帧非基准帧的像素偏差和相似度；
54.0123：根据像素偏差和相似度生成偏差函数，并基于偏差函数确定偏差函数中最大的相似度，并根据最大的相似度对应的像素偏差，将多帧第一图像中的非基准帧与基准
帧对齐；
55.0124：合成对齐后的多帧所述第一图像，以生成所述目标图像。
56.在某些实施方式中，生成模块12还用于执行步骤0121、步骤0122:、步骤0123和步骤0124。即，生成模块12用于根据预设策略从多帧第一图像中选择一帧第一图像定义为基准帧，剩余的第一图像定义为非基准帧、分别计算基准帧和每一帧非基准帧的像素偏差和相似度、及根据像素偏差和相似度生成偏差函数，并基于偏差函数确定偏差函数中最大的相似度，并根据最大的相似度对应的像素偏差，将多帧第一图像中的非基准帧与基准帧对齐；合成对齐后的多帧所述第一图像，以生成所述目标图像。
57.在某些实施方式中，处理器20还用于执行步骤0121、步骤0122、步骤0123和步骤0124。即，处理器20用于根据预设策略从多帧第一图像中选择一帧第一图像定义为基准帧，剩余的第一图像定义为非基准帧；分别计算基准帧和每一帧非基准帧的像素偏差和相似度；及根据像素偏差和相似度生成偏差函数，并基于偏差函数确定偏差函数中最大的相似度，并根据最大的相似度对应的像素偏差，将多帧第一图像中的非基准帧与基准帧对齐；合成对齐后的多帧所述第一图像，以生成所述目标图像。
58.具体地，在对齐多帧第一图像前，处理器20需先按照预设策略选择多帧第一图像中的一帧第一图像为基准帧，剩余的第一图像为非基准帧，以确定多帧第一图像中的基准帧及非基准帧，然后以基准帧为基准进行对齐。预设策略可以是：首先计算每个第一图像的锐度，锐度可根据第一图像水平方向和垂直方向的梯度确定，然后选取锐度最大的第一图像作为基准帧，将多帧第一图像中除基准帧之外的其他第一图像作为非基准帧，然后以基准帧为基准，将非基准帧与基准帧对齐。
59.更具体地，处理器20会先分别计算基准帧和每一帧非基准帧的像素偏差和相似度，由于存在多帧第一图像，则可得到多组像素偏差和相似度的对应关系。
60.如图10所示，以两帧第一图像为例，处理器20可先识别基准帧p11的第一像素l1，然后识别非基准帧中，与第一像素l1对应的第二像素l2，并求得第一像素l1与第二像素l2之间的像素偏差，再通过下述公式(1)以求得第一特征点l1与第二特征点l2的相似度。其中，像素偏差即为基准帧与非基准帧之间的位置偏差，由于已确定多帧第一图像中的基准帧和非基准帧，因此，处理器20可通过求得第一像素l1和第二像素l2之间的位置偏差，以得到基准帧与非基准帧之间的像素偏差。
[0061][0062]
其中，d(u，v)代表基准帧与非基准帧之间的像素偏差，δ是人为设置的一个参数，用来调节相似度大小，由公式(1)可知，当像素偏差d(u，v)越大时，则相似度wij越小。
[0063]
综上，处理器20可通过基准帧p11上的第一像素l1和非基准帧p12上的第二像素l2之间的位置偏差，以得到基准帧与非基准帧之间的像素偏差d(u，v)，并将d(u，v)代入公式(1)以得到基准帧与非基准帧之间的相似度w。
[0064]
接下来，由于处理器20通过公式(1)，以得到基准帧和每一帧非基准帧的像素偏差和相似度。
[0065]
因此，处理器20可通过多组像素偏差与相似度以构建如下述公式(2)所示的偏差函数。
[0066][0067]
其中，i(x，y)为基准帧中的像素位置，u和v分别代表非基准帧相对基准帧在水平方向和垂直方向上的偏移量，w代表基准帧中的i(x，y)位置处，与非基准帧中的对应位置处的相似度。
[0068]
由此，可通过公式(2)中，以求得偏差函数中，w(相似度)的最大值，从而得到与最大值w对应的像素偏差d(u，v)，并根据与最大值w对应的像素偏差d(u，v)，将多帧第一图像中的非基准帧与基准帧对齐。
[0069]
目前，在对齐多帧图像时，仅会逐像素或逐区域的进行遍历，以求得对应位置处的非基准帧和基准帧之间的位置偏移，从而对齐多帧图像，因此，基于这种方式进行对齐的策略只能够达到像素级的对齐精度(即整数值)。
[0070]
而本实施方式通过构建关于基准帧和非基准帧之间的像素偏移和相似度的偏移函数，并根据最大的相似度对应的像素偏差，以对齐多帧第一图像。其中，当偏移函数的相似度最大时，根据偏移函数的最大的相似度计算得到的像素偏差的精度可精确到1像素以下，即亚像素级，提高了对齐精度，因此，以相似度最大时的像素偏差对齐多帧第一图像，可减少对齐误差。
[0071]
请参阅图2、图3及图11，在某些实施方式中，步骤0121：根据预设策略从多帧第一图像中选择一帧第一图像定义为基准帧，剩余的第一图像定义为非基准帧，包括步骤：
[0072]
01211：分别计算多帧第一图像的锐度，锐度根据第一图像的水平方向和垂直方向的梯度确定；
[0073]
01212：确定锐度最大的第一图像为基准帧；及
[0074]
01213：确定除基准帧之外的第一图像为非基准帧。
[0075]
在某些实施方式中，生成模块12还用于执行步骤01211、步骤01212及步骤01213。即生成模块12用于分别计算多帧第一图像的锐度，锐度根据第一图像的水平方向和垂直方向的梯度确定；确定锐度最大的第一图像为基准帧；及确定除基准帧之外的第一图像为非基准帧。
[0076]
在某些实施方式中，处理器20用于执行步骤01211、步骤01212及步骤01213。即处理器20用于分别计算多帧第一图像的锐度，锐度根据第一图像的水平方向和垂直方向的梯度确定；确定锐度最大的第一图像为基准帧；及确定除基准帧之外的第一图像为非基准帧。
[0077]
具体地，处理器20可分别计算多帧第一图像的锐度，锐度根据第一图像的水平方向和垂直方向的梯度确定。其中，锐度可直接反应图像的清晰度，当锐度在一定范围内时，锐度越大，则说明图像质量越好。
[0078]
因此，可通过计算多帧第一图像的锐度，并将锐度最大的第一图像作为基准帧，那么除基准帧之外的第一图像则为非基准帧。
[0079]
更具体地，第一图像的锐度可根据下述公式(3)计算：
[0080][0081]
其中，ix为第一图像在水平方向上的梯度，iy为第一图像在垂直方向上的梯度，s为第一图像的锐度。
[0082]
请参阅图2、图3和图12，本技术实施方式的拍摄方法，步骤012还包括步骤：
[0083]
0125：抽取第一图像中相同预设类型通道的图像数据，以生成多个单通道的第二图像；及
[0084]
0126：处理单通道的第二图像，以生成的第三图像，第三图像的尺寸大于第二图像；
[0085]
0127：合成多个第三图像，以生成目标图像，第三图像包括通道像素和填充像素，填充像素由空白像素根据通道像素得到，包括：
[0086]
01271：通过预设尺寸的轮询框轮询通道像素和空白像素，并根据轮询框内的通道像素和空白像素的位置偏移、及轮询框的梯度信息，计算通道像素的权重；及
[0087]
01272：根据轮询框中的通道像素的像素值及权重，将空白像素填充为填充像素。
[0088]
在某些实施方式中，生成模块12用于执行步骤0125、步骤0126、步骤0127、步骤01271和步骤01272。即，生成模块12用于抽取第一图像中相同预设类型通道的图像数据，以生成多个单通道的第二图像；及处理单通道的第二图像，以生成的第三图像，第三图像的尺寸大于第二图像；合成多个第三图像，以生成目标图像，第三图像包括通道像素和填充像素，填充像素由空白像素根据通道像素得到，包括：通过预设尺寸的轮询框轮询通道像素和空白像素，并根据轮询框内的通道像素和空白像素的位置偏移、及轮询框的梯度信息，计算通道像素的权重；及根据轮询框中的通道像素的像素值及权重，将空白像素填充为填充像素。
[0089]
在某些实施方式中，处理器20用于执行步骤0125、步骤0126、步骤0127、步骤01271和步骤01272。即，处理器20用于抽取第一图像中相同预设类型通道的图像数据，以生成多个单通道的第二图像；及处理单通道的第二图像，以生成的第三图像，第三图像的尺寸大于第二图像；合成多个第三图像，以生成目标图像，第三图像包括通道像素和填充像素，填充像素由空白像素根据通道像素得到，包括：通过预设尺寸的轮询框轮询通道像素和空白像素，并根据轮询框内的通道像素和空白像素的位置偏移、及轮询框的梯度信息，计算通道像素的权重；及根据轮询框中的通道像素的像素值及权重，将空白像素填充为填充像素。
[0090]
具体地，处理器20还可对多帧第一图像中相同预设类型通道的图像数据进行抽取，并对抽取后的图像数据进行融合，以生成多张单通道的第二图像。
[0091]
其中，第一图像的预设类型通道包括多个通道的图像数据，例如，对于常规拜尔阵列排布的滤光片而言，预设类型通道的数量可根据颜色确定，如第一图像的预设类型通道包括r通道、g通道和b通道，r通道、g通道和b通道的像素的数量比例为1:2:1；或者预设类型通道的数量可根据组成滤光片的基本单元包含的像素确定，拜尔阵列的基本单元包括4个像素，即第一图像包括r通道、g1通道、g2通道和b通道，其中，g1和g2的波段可相同或部分重叠；或者，第一图像包括r通道、g通道、b通道和w通道，r通道、g通道、b通道和w通道的像素数量相同；当然，第一图像的通道分布不限于上述两种方式，在此不作限制。本技术实施方式中，第一图像包括r通道、g1通道、g2通道和b通道。
[0092]
由此，处理器20可根据第一图像中最小重复单元的通道数确定抽取的第二图像的数量。如第一图像中的最小重复单元包含有r通道、g1通道、g2通道和b通道，共4个通道，则第二图像的数量为4张。处理器20还可根据第一图像中包含的颜色数量确定第二图像的数量，如第一图像中包含r、g、b三种颜色，则第二图像的数量为3张，又如，第三图像中包含r、
g、b、w四种颜色，则第二图像的数量为4张。
[0093]
需要说明的是，若第一图像最小重复单元包含有4个通道，则每帧第一图像可抽取出4张单通道的数据图，则n张第一图像，可抽取出4*n张单通道的第二图像。
[0094]
在对单通道的第二图像处理时，可对第二图像进行预定倍数的放大处理，以使生成的第三图像的分辨率放大预定倍数，如2倍、3倍、4倍及更多倍等。如图13所示，对第二图像进行2倍放大处理，即可得到如图13右图所示的第三图像，第三图像中包含有与第二图像中的每个像素的像素值相同的通道像素，和未填有像素值的填充像素，即空白像素。其中，空白像素的像素值可根据通道像素的像素值得到，由此，以得到填充像素的像素值。
[0095]
其中，单通道的第二图像包括有r(红色)通道的图像、g(绿色)通道的图像、b(蓝色)通道的图像、w(白色)通道的图像等。当对r通道的第二图像进行处理后，则生成的第三图像为r通道的第二图像的放大图；当对g通道的第二图像进行处理后，则生成的第三图像为g通道的第二图像的放大图；当对b通道的第二图像进行处理后，则生成的第三图像为b通道的第二图像的放大图。由此，当第二图像分别包含多种不同颜色的单通道图时，则生成的第三图像为多张不同颜色的单通道图。
[0096]
接下来，处理器20可通过轮询框以轮询第三图像内的通道像素和空白像素，以根据位于同一轮询框内的通道像素和空白像素的位置偏移，及轮询框的梯度信息，以计算得到通道像素的权重。
[0097]
具体地，如图14所示，以第三图像的左上角为原点，建立坐标系，s为轮询框，则当轮询框s轮询至像素n处时，位于该轮询框s内的通道像素分别为a1、a2、a4及a5，根据坐标系则可求得通道像素与空白像素的位置偏移，以一个像素为坐标轴上的一个单位为例，则通道像素a1相对空白像素的位置变化为(1，1)，通道像素a2相对空白像素的位置变化为(
‑
1，1)，通道像素a4相对空白像素的位置变化为(1，
‑
1)，通道像素a5相对空白像素的位置变化为(
‑
1，
‑
1)。而轮询框的梯度信息为该轮询框对应的第三图像的梯度信息，具体可根据该轮询框内的通道像素的梯度值得到。由此，则可根据下述公式(4)，以求得所有通道像素对应的权重。其中，通道像素与空白像素的位置偏移可根据下述公式(5)得到。例如，以轮询框s为例，则通道像素a1与空白像素的位置偏移d1为[1，1]t，将其带入公式(4)则可得到通道像素a1的权重w1。由此，则可分别求得通道像素a1的权重w1，通道像素a2的权重w2，通道像素a4的权重w4，通道像素a2的权重w5，即得到轮询框s内所有通道像素的权重。
[0098][0099]
d
i
＝[x
i
‑
x0，y
i
‑
y0]
t
ꢀꢀ
(5)
[0100]
其中，wi为第i个像素位置处的通道像素的权重，di为第i个像素位置处的通道像素与空白像素的位置偏移，c为根据该轮询框对应的第三图像的梯度信息构建的协方差矩阵，t为转置符号，r(x，y)为该轮询框轮询到的空白像素的像素值，vi为第i个像素位置处的通道像素的像素值。
[0101]
在对齐m帧图像以抽取m*n张第二图像后，m*n张第二图像则可生成多张第三图像。由此，相同预设类型通道的第二图像则会对应有多张第三图像，例如，两帧包含有r通道、g1通道、g2通道和b通道的第三图像，则会生成两张r通道的第二图像，两张g1通道的第二图像，两张g2通道的第二图像和两张b通道的第二图像，相同通道的第二图像，即为相同预设
类型的第二图像。
[0102]
以两张r通道的第二图像为例，则对应有两张r通道的第三图像，由此，处理器20可根据两张第三图像中位置对应的轮询框内的通道像素的像素值及权重来计算空白像素的像素值，如图15所示，p3和p4分别代表一张第三图像，当轮询框s2在第三图像p3中轮询至空白像素n1处时，此时，需要计算空白像素n1的像素值，则需要根据第三图像p3的轮询框s2中的通道像素r1、r2、r4及r5的像素值及对应的权重(根据上述公式(4)计算得到)，和第三图像p4中的轮询框s3中的通道像素r1’、r2’、r4’及r5’的像素值及对应的权重，并根据下述公式(6)，从而求得空白像素n1的像素值。
[0103][0104]
其中，m为第三图像的帧数m(由上述可知，第三图像的帧数m与第三图像的数量一致)。
[0105]
需要说明的是，第三图像p3中的轮询框s2与第三图像p4中的轮询框s3的位置相同，则空白像素n1和空白像素n2的位置相同，由公式(6)可知，多张第三图像中的同一位置的空白像素的计算参数是相同的，因此，多张第三图像中相同位置的空白像素的像素值相同。处理器20仅需计算一张第三图像中空白像素的像素值，则可得到所有第三图像中空白像素的像素值，从而将空白像素的像素值填充为填充像素，以得到像素填充完整的第三图像。
[0106]
可以理解，根据上述方式得到的空白像素，多张第三图像中相同位置的空白像素的像素值是相同的，因此，多张第三图像中填充像素的像素值均相同。处理器20则可根据填充像素的像素值和基准帧对应的第三图像中的通道像素的像素值，以生成第四图像。如此，可得到r通道的第四图像、g1通道的第四图像、g2通道的第四图像和b通道的第四图像。
[0107]
其中，基准帧为锐度最大的图像，根据填充像素的像素值和基准帧对应的第三图像中的通道像素的像素值生成的第四图像更接近第一图像的梯度信息。
[0108]
由于空白像素的填充参考了多帧具有偏移的第一图像对应的单通道的图像信息，从而融合了多帧第三图像的梯度信息，使得第三图像的像素信息较为准确，因此，无需通过去马赛克算法进行去马赛克，而是直接将r通道的第四图像、g1通道的第四图像、g2通道的第四图像和b通道的第四图像融合，即可生成去马赛克后的目标图像。
[0109]
在某些实施方式中，在得到目标图像后，处理器20还可对目标图像进行图像处理操作，以对目标图像的画质作进一步的提升。其中，图像处理操作包括伽马校正、色彩校正和锐化操作中至少一种。
[0110]
那么，处理器20可对目标图像进行伽马校正、色彩校正和锐化操作中至少一种。如处理器20对目标图像进行伽马校正，则可提升目标图像的亮度，又如，处理器20可对目标图像进行色彩校正，则可使目标图像的图像色彩更加符合真实情况，还如，处理器20可对目标图像进行锐化操作，则可提升目标图像的清晰度。处理器20可根据生成的目标图像的实际情况对去马赛克进行图像处理，如目标图像亮度较低，则进行伽马校正，又如目标图像图像色彩失真，则进行色彩校正，还有目标图像清晰度较低，则进行锐化操作。由此，则可得到图像质量较好的目标图像，以获得良好的视觉体验。
[0111]
请参阅图16，本技术实施方式还提供一种包含计算机程序201的非易失性拟计算
机可读存储介质200。当计算机程序201被一个或多个处理器20执行时，使得一个或多个处理器20执行上述任一实施方式的拍摄方法。
[0112]
例如，计算机程序201被一个或多个处理器20执行时，使得处理器20执行以下拍摄方法：
[0113]
011：在电子设备处于静止状态时，控制图像传感器平行成像面运动，并采集多帧第一图像；及
[0114]
012：根据多帧第一图像，生成目标图像。
[0115]
再例如，计算机程序201被一个或多个处理器20执行时，使得处理器20执行以下拍摄方法：
[0116]
013：在电子设备100处于运动状态时，采集多帧第一图像。
[0117]
在本说明书的描述中，参考术语“某些实施方式”、“一个例子中”、“示例地”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0118]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
[0119]
尽管上面已经示出和描述了本技术的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施方式进行变化、修改、替换和变型。