一种用于拍照的装置及方法与流程

1.本技术实施例涉及图像处理领域，尤其涉及一种用于拍照的装置及方法。


背景技术：

2.随着图像应用的快速发展，人们对成像质量要求越来越高。但是，在低照度环境下，成像传感器的进光量减弱，其输出信号的信噪比降低，使得图像亮度降低和噪点增加，导致成像质量下降。因此，提高低照度下图像传感器的进光量是改善低照图像质量的关键。
3.在交通抓拍相机中，由于要抓拍高速运动的车辆，若通过增加曝光时间来提高进光量会带来拖影，因此可以使用补光设备进行补光，包括可见光补光和红外补光。可见光补光可以方便地获取物体的真实色彩信息，但易对司机造成视觉干扰，存在安全隐患；而红外补光虽然对人没有明显干扰，但缺无法很好的获取物体的真实色彩信息。
4.为了获得低照度下高质量的图像，业界通过光谱图像融合技术，分别拍摄场景中的可见光成像和红外成像，对拍摄的两幅图像进行融合得到高质量图像，尽可能的保留了物体的真实色彩信息也避免了视觉干扰。
5.当前，为了获取场景中的自然光下的可见光成像和红外成像，通常采用分光棱镜对指定波长的光线进行反射和透过，光线经过分光棱镜后，被分成可见光和红外光。在两类光线的出射面上，分别放置图像传感器进行成像。但是，分光棱镜和两个图像传感器物料成本高且体积较大，不利于设备小型化以及产品兼容。
6.因此，在获得低照度下高质量图像时，如何降低成本减小体积以及提高产品兼容性成为亟待解决的问题。


技术实现要素：

7.本技术提供一种用于拍照的装置及方法，在获得低照度下高质量图像时，降低成本减小体积以及提高产品兼容性。
8.为达到上述目的，本技术采用如下技术方案：
9.第一方面，提供一种用于拍照的装置，该装置可以包括控制单元、滤光单元、图像传感器以及合成处理单元。其中，控制单元与滤光单元连接，用于控制滤光单元在第一图像曝光间隔通过入射光中的可见光且阻挡入射光中的红外光通过，且在第二图像曝光间隔中的第一时段通过入射光中的红外光，在第二图像曝光间隔的第二时段阻挡入射光通过，第一时段位于第二时段之前。控制单元还与图像传感器连接，用于控制图像传感器对入射光中在第一图像曝光间隔通过滤光单元的光线进行光电成像，从而获取第一图像，且对入射光中在第二图像曝光间隔通过滤光单元的光线进行光电成像，从而获取第二图像。合成处理单元，用于对第一图像和第二图像进行合成，从而生成第一目标图像。
10.作为另一种可替代的实现方式，所述控制单元也可以用于控制滤光单元在第一图像曝光间隔通过入射光中的红外光，且在第二图像曝光间隔中的第一时段通过入射光中的可见光且阻挡入射光中的红外光通过，在第二图像曝光间隔的第二时段阻挡入射光通过。
相应的，在该可替代的实现方式中，所述第一图像为灰度图像，所述第二图像为彩色图像。
11.通过本技术提供的用于拍照的装置，通过分时的方式在不同的图像曝光间隔中对不同类型的入射光成像，无需分光棱镜，只需一个图像传感器，大大减小了产品的体积以及降低了物料成本，在产品体积减小的情况下，产品的兼容性也相应提高。
12.进一步的，本技术在图像传感器的一个采样周期中曝光结束时刻固定的前提下，还通过滤光单元在第二图像曝光间隔的第二时段阻挡入射光通过，将第二图像的曝光结束时刻从第二图像曝光间隔结束时提前到第一时段结束时，减小了第二图像与第一图像的曝光结束时间间隔，可以在高速运动场景中降低第一图像与第二图像的画面运动误差，提高用于合成的两个图像的相关度，以提高图像合成的准确度。
13.结合第一方面，在一种可能的实现方式中，上述滤光单元可以为片状结构，上述滤光单元可以包括第一滤光片，第二滤光片和第三滤光片。其中，第一滤光片可以用于通过可见光且阻挡红外光通过，第二滤光片可以用于通过红外光，第三滤光片可以用于阻挡入射光。相应的，上述控制单元可以用于控制滤光单元旋转，以使得在在第一图像曝光间隔使用第一滤光片对入射光进行滤光，在上述第一时段使用第二滤光片对入射光进行滤光，且在上述第二时段使用第三滤光片进行滤光。以通过滤光片实现滤光单元的作用。
14.作为另一种可替代的实现方式，所述控制单元也可以用于控制滤光单元旋转，以使得在在第一图像曝光间隔使用第二滤光片对入射光进行滤光，在上述第一时段使用第一滤光片对入射光进行滤光，且在上述第二时段使用第三滤光片进行滤光。相应的，在该可替代的实现方式中，所述第一图像为灰度图像，所述第二图像为彩色图像。
15.结合第一方面或上述任一种可能的实现方式，在一种可能的实现方式中，上述滤光单元的形状可以为圆形，扇形，环形或者扇环形。上述第一滤光片，第二滤光片，或者第三滤光片的形状可以为圆形或者扇环形。上述控制单元可以包括电机，该电机用于控制滤光单元绕该滤光单元对应的圆心旋转，以使得第一滤光片在第一图像曝光间隔正对图像传感器的感光区域，第二滤光片在第一时段正对感光区域，第三滤光片在第二时段正对图像传感器的感光区域。通过将滤光单元中的滤光片进行圆周运动，分时的使用不同滤光片正对图像传感器。
16.结合第一方面或上述任一种可能的实现方式，在一种可能的实现方式中，第二滤光片对应的圆心角和第三滤光片对应的圆心角之和为π。以实现滤光单元旋转一周，得到一个第一图像一个第二图像。
17.结合第一方面或上述任一种可能的实现方式，在一种可能的实现方式中，上述滤光单元的旋转角速度为ω，ω的值可以等于该装置的帧率与2π的乘积。第一滤光片对应的圆心角为θ＝ω*t0 β，第二滤光片对应的圆心角为α＝ω*t1 β，上述β为滤光单元中完全覆盖上述图像传感器的感光区域对应的最小圆心角，t0为第一图像曝光间隔的时长，t1为第一时段的时长。
18.结合第一方面或上述任一种可能的实现方式，在一种可能的实现方式中，上述滤光单元还可以包括位置传感器，用于向上述控制单元反馈位置信息，该位置信息可以用于指示滤光单元中的滤光片与图像传感器的相对位置，或者该位置信息可以用于指示滤光单元中预先设置的标记点与图像传感器的相对位置。相应的，控制单元可以用于根据该位置信息控制图像传感器开始或者结束所述第一图像曝光间隔或者第二图像曝光间隔。
19.结合第一方面或上述任一种可能的实现方式，在一种可能的实现方式中，上述第一图像曝光间隔和第二图像曝光间隔位于同一采样周期内，上述装置的帧率为每秒内的采样周期的个数。
20.结合第一方面或上述任一种可能的实现方式，在一种可能的实现方式中，第一图像曝光间隔位于第二图像曝光间隔之前。
21.结合第一方面或上述任一种可能的实现方式，在一种可能的实现方式中，上述合成处理单元可以包括处理单元和合成单元。该处理单元可以用于根据在第二图像曝光间隔内图像传感器中任一像素的有效曝光时间信息，对该任一像素对应在第二图像中的像素值进行校正，从而得到校正后的第二图像。相应的，合成单元可以用于对第一图像和校正后的第二图像进行合成，生成上述第一目标图像。通过校正补偿过渡态(图像传感器的感光区域移动出第二滤光片进入第三滤光片，到图像传感器的感光区域完全被第三滤光片覆盖的过程)造成的图像不均衡。
22.其中，有效曝光时间信息可以用于指示第二图像曝光间隔内图像传感器中任一像素的有效曝光时长。
23.在第二图像曝光间隔内，图像传感器中任一像素的曝光时长为第二图像曝光间隔的时长。但是，由于滤光单元中第三滤波片对于入射光的阻挡，在第二图像曝光间隔内的第二时段，图像传感器中的像素会先接收到经过第二滤光片的入射光，当该像素在滤光单元中的相对位置(该像素接收到的入射光经过的滤光单元的位置)进入第三滤光片后，该像素接收不到入射光，因此，该像素在第二图像曝光间隔的第二时段内部分时段可以接收到入射光其他时段无法接收到入射光，对于像素而言，即使处于曝光间隔内，接收不到入射光时曝光无效，可以将像素在第二图像曝光间隔的第二时段中可以接收到入射光的曝光时长，定义为像素在第二时段内的有效曝光时长。应理解，像素在第二时段内的有效曝光时长取决于该像素在图像传感器中的位置。
24.一种可能的实现方式中，图像传感器中任一像素的有效曝光时间信息可以包括该任一像素在第二时段内的有效曝光时长。
25.另一种可能的实现方式中，图像传感器中任一像素的有效曝光时间信息可以包括第一时段的时长和该任一像素在第二时段内的有效曝光时长。
26.结合第一方面或上述任一种可能的实现方式，在一种可能的实现方式中，上述任一像素的有效曝光时间信息可以根据该任一像素在图像传感器上的位置得到。
27.结合第一方面或上述任一种可能的实现方式，在一种可能的实现方式中，上述任一像素在图像传感器上的位置可以包括任一像素在图像传感器的感光区域的中的坐标(x,y)，该任一像素的有效曝光时间信息可以包括第二时段内有效曝光时长t，该t可以满足以下表达式。
28.29.其中，tan为正切运算，arctan为反正切运算，b为上述图像传感器的一个边的边长，ω为滤光单元的旋转角速度，β为滤光单元中完全覆盖图像传感器的感光区域对应的最小圆心角。
30.其中，任一像素在图像传感器上的位置可以包括任一像素在图像传感器的感光区域的中的坐标(x,y)，该坐标所在坐标系对应的原点坐标可以为图像传感器的感光区域中最先正对第三滤光片的像素位置。
31.结合第一方面或上述任一种可能的实现方式，在一种可能的实现方式中，上述任一像素的有效曝光时间信息可以包括第一时段的时长t1和第二时段内有效曝光时长t，上述任一像素对应在第二图像中的像素值pixel1和该任一像素对应在校正后的第二图像中的像素值pixel0满足如下关系：
32.其中，图像传感器中每个像素的校正系数1 t/t1可以构成第二图像的较正矩阵，将第二图像除以校正矩阵则得到校正后的第二图像。
33.结合第一方面或上述任一种可能的实现方式，在一种可能的实现方式中，上述第一图像可以为彩色图像，上述第二图像可以为灰度图像，上述第一目标图像可以为彩色图像。
34.结合第一方面或上述任一种可能的实现方式，在一种可能的实现方式中，上述合成处理单元还用于：根据第一图像和第二图像之间的光流，对第一图像和第二图像进行配准，将第一图像和第二图像中的配准后的图像与第一图像和第二图像中另一图像进行合成，生成第一目标图像，第一图像和第二图像之间的光流根据第一图像与第三图像之间的光流得到，第一图像和第二图像为当前采样周期内获取到的图像，第三图像为在当前采样周期的下一采样周期中获取到的彩色图像。
35.结合第一方面或上述任一种可能的实现方式，在一种可能的实现方式中，上述控制单元具体可以用于：在确定图像传感器的增益大于预设值的情况下，控制滤光单元在第一图像曝光间隔通过入射光中的可见光且阻挡入射光中的红外光通过，且在第二图像曝光间隔中的第一时段通过入射光中的红外光，在第二图像曝光间隔的第二时段阻挡入射光通过，第一时段位于第二时段之前；以及控制图像传感器对入射光中在第一图像曝光间隔通过滤光单元的光线进行光电成像，从而获取第一图像，且对入射光中在第二图像曝光间隔通过滤光单元的光线进行光电成像，从而获取第二图像。以实现在场景环境低照度的情况下，采用本技术的方案获取高质量的图像。
36.结合第一方面或上述任一种可能的实现方式，在一种可能的实现方式中，上述控制单元还可以用于：在确定图像传感器的增益小于或等于预设值的情况下，控制滤光单元通过入射光中的具有预设振动方向的偏振光且阻挡振动方向不同于预设振动方向的光通过，并控制图像传感器对具有预设振动方向的偏振光进行光电呈现，从而获取第二目标图像。
37.结合第一方面或上述任一种可能的实现方式，在一种可能的实现方式中，上述装置还可以包括红外补光单元，该红外补光单元与上述控制单元连接，上述控制单元还可以用于在第二图像曝光间隔开始时控制红外补光单元产生红外光。
38.结合第一方面或上述任一种可能的实现方式，在一种可能的实现方式中，上述合
成处理单元可以包括处理单元和合成单元。其中，处理单元可以用于确定第一图像中是否存在目标对象。合成单元可以用于在第一图像中存在目标对象的情况下，对第一图像和第二图像进行合成，从而生成第一目标图像；合成单元还用于在第一图像不存在目标对象的情况下，将第一图像作为第一目标图像进行输出。以实现在场景中有目标对象时进行图像合成，提高装置的处理效率。
39.结合第一方面或上述任一种可能的实现方式，在一种可能的实现方式中，控制单元还可以与合成处理单元连接，用于控制合成处理单元的合成操作。
40.结合第一方面或上述任一种可能的实现方式，在一种可能的实现方式中，控制单元可以用于向合成处理单元指示，图像传感器获取的图像是第一图像或者第二图像。
41.结合第一方面或上述任一种可能的实现方式，在一种可能的实现方式中，上述装置还可以包括镜头，用于汇聚入射光。
42.结合第一方面或上述任一种可能的实现方式，在一种可能的实现方式中，上述图像传感器可以为全局快门传感器。
43.第二方面，提供一种用于拍照的方法，该方法可以用于与用于拍照的装置。该方法可以包括：控制滤光单元在第一图像曝光间隔通过入射光中的可见光且阻挡入射光中的红外光通过，且在第二图像曝光间隔中的第一时段通过入射光中的红外光，在第二图像曝光间隔的第二时段阻挡入射光通过，第一时段位于第二时段之前；通过图像传感器对入射光中在第一图像曝光间隔通过滤光单元的光线进行光电成像，从而获取第一图像，且对入射光中在第二图像曝光间隔通过滤光单元的光线进行光电成像，从而获取第二图像；对第一图像和第二图像进行合成，从而生成第一目标图像。
44.通过本技术提供的用于拍照的方法，由滤光单元在第二图像曝光间隔的第二时段阻挡入射光通过，在图像传感器连续两次数据读取时间固定的情况下，减小第二图像与第一图像的时间间隔，可以在高速运动场景中降低第一图像与第二图像的画面运动误差，以提高合成后的高质量图像的准确度。
45.结合第二方面，在一种可能的实现方式中，上述滤光单元可以为片状结构，上述滤光单元可以包括第一滤光片，第二滤光片和第三滤光片。其中，第一滤光片可以用于通过可见光且阻挡红外光通过，第二滤光片可以用于通过红外光，第三滤光片可以用于阻挡入射光。控制滤光单元在第一图像曝光间隔通过入射光中的可见光且阻挡入射光中的红外光通过，且在第二图像曝光间隔中的第一时段通过入射光中的红外光，在第二图像曝光间隔的第二时段阻挡入射光通过，具体包括：控制滤光单元旋转，以使得在第一图像曝光间隔使用第一滤光片对入射光进行滤光，在第一时段使用第二滤光片对入射光进行滤光，且在第二时段使用第三滤光片进行滤光。
46.结合第二方面或上述任一种可能的实现方式，在一种可能的实现方式中，上述滤光单元的形状可以为圆形，扇形，环形或者扇环形。上述第一滤光片，第二滤光片，或者第三滤光片的形状可以为圆形或者扇环形。所述控制滤光单元旋转，以使得在第一图像曝光间隔使用第一滤光片对入射光进行滤光，在第一时段使用第二滤光片对所述入射光进行滤光，且在第二时段使用所述第三滤光片进行滤光包括：控制滤光单元绕滤光单元对应的圆心旋转，以使得第一滤光片在第一图像曝光间隔正对图像传感器的感光区域，第二滤光片在第一时段正对感光区域，第三滤光片在所述第二时段正对感光区域。通过将滤光单元中
的滤光片进行圆周运动，分时的使用不同滤光片正对图像传感器。
47.结合第二方面或上述任一种可能的实现方式，在一种可能的实现方式中，第二滤光片对应的圆心角和所述第三滤光片对应的圆心角之和为π。
48.结合第二方面或上述任一种可能的实现方式，在一种可能的实现方式中，上述滤光单元的旋转角速度为ω，ω的值可以等于该装置的帧率与2π的乘积。第一滤光片对应的圆心角为θ＝ω*t0 β，第二滤光片对应的圆心角为α＝ω*t1 β，上述β为滤光单元中完全覆盖上述图像传感器的感光区域对应的最小圆心角，t0为第一图像曝光间隔的时长，t1为第一时段的时长。
49.结合第二方面或上述任一种可能的实现方式，在一种可能的实现方式中，本技术提供的用于拍照的方法还可以：使用位置传感器获取位置信息，该位置信息可以用于指示滤光单元中的滤光片与图像传感器的相对位置，或者该位置信息可以用于指示滤光单元中预先设置的标记点与图像传感器的相对位置；根据位置信息控制图像传感器开始或者结束第一图像曝光间隔或者第二图像曝光间隔。
50.结合第二方面或上述任一种可能的实现方式，在一种可能的实现方式中，上述第一图像曝光间隔和第二图像曝光间隔位于同一采样周期内，每秒内的采样周期的个数为第一目标图像对应的帧率。
51.结合第二方面或上述任一种可能的实现方式，在一种可能的实现方式中，第一图像曝光间隔位于第二图像曝光间隔之前。
52.结合第二方面或上述任一种可能的实现方式，在一种可能的实现方式中，所述对第一图像和第二图像进行合成，从而生成第一目标图像，包括：根据在第二图像曝光间隔内图像传感器中任一像素的有效曝光时间信息，对任一像素对应在第二图像中的像素值进行校正，从而得到校正后的第二图像；对第一图像和校正后的第二图像进行合成，生成第一目标图像。通过校正补偿过渡态(图像传感器的感光区域移动出第二滤光片进入第三滤光片，到图像传感器的感光区域完全被第三滤光片覆盖的过程)造成的图像不均衡。
53.结合第二方面或上述任一种可能的实现方式，在一种可能的实现方式中，上述任一像素的有效曝光时间信息可以根据该任一像素在图像传感器上的位置得到。
54.结合第二方面或上述任一种可能的实现方式，在一种可能的实现方式中，上述任一像素在图像传感器上的位置可以包括任一像素在图像传感器的感光区域的中的坐标(x,y)，该任一像素的有效曝光时间信息可以包括第二时段内有效曝光时长t，该t可以满足以下表达式。
[0055][0056]
其中，tan为正切运算，arctan为反正切运算，b为上述图像传感器的一个边的边长，ω为滤光单元的旋转角速度，β为滤光单元中完全覆盖图像传感器的感光区域对应的最小圆心角。
[0057]
结合第二方面或上述任一种可能的实现方式，在一种可能的实现方式中，上述任一像素的有效曝光时间信息可以包括第一时段的时长t1和第二时段内有效曝光时长t，上述任一像素对应在第二图像中的像素值pixel1和该任一像素对应在校正后的第二图像中的像素值pixel0满足如下关系：
[0058]
结合第二方面或上述任一种可能的实现方式，在一种可能的实现方式中，上述第一图像可以为彩色图像，上述第二图像可以为灰度图像，上述第一目标图像可以为彩色图像。
[0059]
结合第二方面或上述任一种可能的实现方式，在一种可能的实现方式中，所述对第一图像和第二图像进行合成，从而生成第一目标图像，具体包括：根据第一图像和第二图像之间的光流，对第一图像和第二图像进行配准，将第一图像和第二图像中的配准后的图像与第一图像和第二图像中另一图像进行合成，生成第一目标图像，第一图像和第二图像之间的光流根据第一图像与第三图像之间的光流得到，第一图像和第二图像为当前采样周期内获取到的图像，第三图像为在当前采样周期的下一采样周期中获取到的彩色图像。
[0060]
结合第二方面或上述任一种可能的实现方式，在一种可能的实现方式中，在确定图像传感器的增益大于预设值的情况下，才执行所述控制滤光单元在第一图像曝光间隔通过入射光中的可见光且阻挡入射光中的红外光通过，且在第二图像曝光间隔中的第一时段通过入射光中的红外光，在第二图像曝光间隔的第二时段阻挡入射光通过，第一时段位于第二时段之前；以及控制图像传感器对入射光中在第一图像曝光间隔通过滤光单元的光线进行光电成像，从而获取第一图像，且对入射光中在第二图像曝光间隔通过滤光单元的光线进行光电成像，从而获取第二图像。以实现在场景环境低照度的情况下，采用本技术的方案获取高质量的图像。
[0061]
结合第二方面或上述任一种可能的实现方式，在一种可能的实现方式中，在确定图像传感器的增益小于或等于预设值的情况下，控制滤光单元通过入射光中的具有预设振动方向的偏振光且阻挡振动方向不同于预设振动方向的光通过，并控制图像传感器对具有预设振动方向的偏振光进行光电呈现，从而获取第二目标图像。
[0062]
结合第二方面或上述任一种可能的实现方式，在一种可能的实现方式中，本技术提供的用于拍照的方法还可以包括：在第二图像曝光间隔开始时控制红外补光单元产生红外光。
[0063]
结合第二方面或上述任一种可能的实现方式，在一种可能的实现方式中，在第一图像中存在目标对象的情况下，才执行所述对第一图像和第二图像进行合成，从而生成第一目标图像。本技术提供的用于拍照的方法还可以包括：在第一图像不存在目标对象的情况下，将第一图像作为第一目标图像进行输出。
[0064]
第三方面，提供一种计算机可读存储介质，包括：计算机软件指令；当计算机软件指令在计算设备上运行时，使得计算设备执行如第二方面或第二方面可能的实现方式，中任一所述的用于拍照的方法。
[0065]
第四方面，提供一种计算机程序产品，当计算机程序产品在计算设备上运行时，使得计算设备执行如第二方面或第二方面可能的实现方式中任一所述的用于拍照的方法。
[0066]
可以理解地，上述提供的第二方面所述的用于拍照的方法，第三方面所述的计算
机可读存储介质，以及第四方面所述的计算机程序产品分别与上述第一方面所述的用于拍照的装置对应，因此，其所能达到的有益效果可参考上文所提供的对应的用于拍照的装置中的有益效果，此处不再赘述。
附图说明
[0067]
图1为现有技术提供的一种图像传感器的工作方式的示意图；
[0068]
图2为本技术实施例提供的一种拍摄系统的组成示意图；
[0069]
图3为本技术实施例提供的一种用于拍照的装置的结构示意图；
[0070]
图4为本技术实施例提供的一种图像传感器的工作方式的示意图；
[0071]
图5为本技术实施例提供的一种滤光单元的结构示意图；
[0072]
图6至图13为本技术实施例提供的在不同时刻滤光单元与图像传感器的相对位置关系的示意图；
[0073]
图14为本技术实施例提供的另一种用于拍照的装置的结构示意图；
[0074]
图15为本技术实施例提供的一种图像传感器的感光区域中任一像素的坐标系示意图；
[0075]
图16为本技术实施例提供的一种拍摄场景的示意图；
[0076]
图16a为本技术实施例提供的一种电子设备的结构示意图；
[0077]
图17为本技术实施例提供的一种拍摄效果的示意图；
[0078]
图18为本技术实施例提供的另一种拍摄效果的示意图；
[0079]
图19为本技术实施例提供的一种用于拍照的方法的流程示意图；
[0080]
图20为本技术实施例提供的另一种用于拍照的方法的流程示意图。
具体实施方式
[0081]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。其中，在本技术的描述中，除非另有说明，“/”表示前后关联的对象是一种“或”的关系，例如，a/b可以表示a或b；本技术中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况，其中a,b可以是单数或者复数。并且，在本技术的描述中，除非另有说明，“多个”是指两个或多于两个。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。另外，为了便于清楚描述本技术实施例的技术方案，在本技术的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
[0082]
目前，为获取场景中的可见光成像和红外成像，进而合并得到高质量的目标图像，现有拍照系统中多采用支持多类型光线曝光的图像传感器，在图像传感器不同帧的曝光间隔内，通过不同类型的滤光片控制到达图像传感器的光线类型，使得不同类型的光线(例如可见光、红外光)分时的到达图像传感器，因此，图像传感器可以在不同帧分别获取可见光成像和红外成像，进而合并得到高质量的目标图像。
[0083]
具体的，图像传感器的工作原理为：配置了每一帧的数据读取时刻，在两个数据读取时刻之间，可以根据实际需求配置开始曝光时刻，图像传感器可以在配置的开始曝光时刻开启快门进行曝光，在下一个数据读取时刻关闭快门结束曝光，读取数据获取一帧图像。
[0084]
例如，图1示意了一种图像传感器的工作方式。如图1所示，该图像传感器前一帧的数据读取时刻为rda，后一帧的数据读取时刻为rdb，rda与rdb的时间间隔为图像传感器的固有属性参数，无法更改。根据实际需求，假设配置前一帧的曝光间隔为ta，后一帧的曝光间隔为tb。若拍摄系统中的图像传感器采用图1示意的工作方式，在曝光间隔ta中控制可见光通过且阻值红外光通过，在曝光间隔tb控制红外光通过，那么，在rda的可以得到一帧彩色图像，在rdb可以得到一帧灰度图像，将该彩色图像与灰度图像合并，就能得到一帧高质量的彩色图像。
[0085]
但是，由于rda与rdb的时间间隔为图像传感器的固有属性参数无法更改，因此彩色图像与灰度图像的时间间隔较大，若拍摄高速运动场景，则不可避免存在运动误差导致图像准确度不高。
[0086]
本技术实施例提供一种用于拍照的装置，其所包含的滤光单元，在透过红外光的曝光间隔内透过红外光之后阻止入射光，使得图像传感器对红外光成像的时刻提前，实现了缩短彩色图像与灰度图像的时间间隔。这样，在拍摄高速运动场景时，减小了运动误差提高了图像准确度。
[0087]
图2为本技术实施例提供的一种拍照系统的架构示意图。如图2所示，该拍摄系统至少可以包括：用于拍照的装置201、红外补光装置202以及可见光补光装置203。
[0088]
其中，红外补光装置202用于发射红外光，对用于拍照的装置201的视野范围中的环境场景进行红外光补光，以提高环境场景的照度。可选的，红外补光装置202可以根据控制，按照需求开启。或者，红外补光装置202也可以常亮。
[0089]
可见光补光装置203用于发射可见光，对用于拍照的装置201的视野范围中的环境场景进行可见光补光，以提高环境场景的照度。可见光补光装置203可以常亮，以避免造成视线干扰。
[0090]
用于拍照的装置201用于按照本技术提供的方案，对其视野中的环境场景进行拍照。一般的，在阴天、夜间或光线不足等低照度环境下，需要对用于拍照的装置201的拍摄实施补光，以辅助用于拍照的装置201拍摄到更清晰的图像。在本技术实施例中，可利用补光灯的方式进行可见光或者红外光的补光。对于用于拍照的装置201的具体结构在以下实施例中将详细进行介绍。
[0091]
例如，该拍照系统可以为交通抓拍系统，用于拍照的装置201可以为交通抓拍相机，用于拍照的装置201可以安装于安装在道路上方的f杆上，用于抓拍道路的交通场景。
[0092]
图3为本技术实施例提供的一种用于拍照的装置201的结构示意图。如图3所示，该用于拍照的装置201可以包括控制单元301，滤光单元302，图像传感器303及合成处理单元304。其中：
[0093]
控制单元301与滤光单元302连接，用于控制滤光单元302在第一图像曝光间隔通过入射光中的可见光且阻挡入射光中的红外光通过，且在第二图像曝光间隔中的第一时段通过入射光中的红外光，在第二图像曝光间隔的第二时段阻挡入射光通过。其中，该第一时段在第二时段之前。入射光经过滤光单元302之后可以到达图像传感器。
[0094]
控制单元301还与图像传感器303连接，用于控制图像传感器303对入射光中在第一图像曝光间隔通过滤光单元302的光线进行光电成像，从而获取第一图像，且对入射光中在第二图像曝光间隔通过滤光单元302的光线进行光电成像，从而获取第二图像。
[0095]
合成处理单元304，用于对图像传感器303获取的第一图像和第二图像进行合成，从而生成第一目标图像。
[0096]
需要说明的是，在第二图像曝光间隔中第二时段图像传感器303虽然曝光，但由于滤光单元302阻挡了入射光，因此，在第二图像曝光间隔中第二时段图像传感器303曝光但不产生图像。
[0097]
例如，图4示意了图像传感器303的一种工作方式。如图4所示，图像传感器303前一帧的数据读取时刻为rd0，后一帧的数据读取时刻为rd1。假设前一帧的曝光间隔(第一图像曝光间隔)的t0，后一帧的曝光间隔(第二图像曝光间隔)为tc。控制单元301在t0中控制通过入射光中的可见光且阻挡入射光中的红外光通过，且在tc中的第一时段(t1)通过入射光中的红外光，在tc中的第二时段(t2)阻止入射光通过，那么，在rd0可以得到一帧第一图像，在rd1可以得到一帧第二图像，将该第一图像与第二图像合并，就能得到一帧高质量的第一目标图像。图像传感器303的感光区域在滤光单元302中的相对区域跨越不同的滤光片时，称为过渡态，持续时长t。在图像传感器两帧数据读取时刻的间隔相同的前提下，对比图1中和图4中两帧图像的曝光间隔，明显看出大大减小。
[0098]
通过本技术提供的用于拍照的装置，由滤光单元302在第二图像曝光间隔的第二时段阻挡入射光通过，在图像传感器连续两次数据读取时间固定的情况下，减小第二图像与第一图像的时间间隔，可以在高速运动场景中降低第一图像与第二图像的画面运动误差，以提高合成后的高质量图像的准确度。
[0099]
示例性的，本技术实施例描述的图像传感器303可以为全局快门传感器。
[0100]
具体的，图像传感器303可以支持多类型光线曝光的图像传感器，至少支持可见光成像为彩色图像，以及红外光成像为灰度图像。
[0101]
在另一些实施例中，第一图像曝光间隔可以位于第二图像曝光间隔之前。
[0102]
其中，第一图像曝光间隔与第二图像曝光间隔可以为图像传感器303中连续两帧的图像曝光间隔，第一图像曝光间隔与第二图像曝光间隔分别处于图像传感器303的连续两个数据读取时刻之前。
[0103]
在另一些实施例中，第一图像曝光间隔与第二图像曝光间隔位于图像传感器303的同一个采样周期内，用于拍照的装置201的帧率为每秒内的采样周期的个数。
[0104]
其中，采样周期可以为获取一帧第一目标图像的周期。在一个采样周期内，可以采集获取多帧用于合成第一目标图像的图像。例如，本技术实施例中获取一帧第一图像一帧第二图像作为一个采样周期。
[0105]
在另一些实施例中，第一图像可以为彩色图像，第二图像可以为灰度图像，第一目标图像可以为彩色图像。
[0106]
在一些实施例中，滤光单元302可以为片状结构，滤光单元302可以包括第一滤光片，第二滤光片和第三滤光片。其中，第一滤光片可以用于通过可见光且阻挡红外光通过，第二滤光片可以用于通过红外光，第三滤光片可以用于阻挡入射光。
[0107]
相应的，控制单元301可以用于控制滤光单元302旋转，以使得在第一图像曝光间
隔使用第一滤光片对入射光进行滤光，在第二图像曝光间隔中的第一时段使用第二滤光片对入射光进行滤光，且在第二图像曝光间隔中的第二时段使用第三滤光片进行滤光。
[0108]
可选的，可以根据实际需求(例如装置结构需求，工作原理需求或其他)，设置滤光单元302的形状，以及滤光单元302中包括的滤光片的形状。本技术实施例对于滤光单元302的形状，以及滤光单元302中包括的滤光片的形状不与限定。
[0109]
需要说明的是，根据滤光单元302中包括的滤光片的形状不同，控制单元301对于滤光单元302可以包括第一滤光片，第二滤光片和第三滤光片的控制方式也可以不同，只要能实现控制单元301在第一图像曝光间隔使用第一滤光片对入射光进行滤光，在第二图像曝光间隔中的第一时段使用第二滤光片对入射光进行滤光，且在第二图像曝光间隔中的第二时段使用第三滤光片进行滤光，即属于本技术保护范围。
[0110]
例如，滤光单元302的形状可以为圆形，扇形，环形或者扇环形等圆形相关的形状。滤光单元302中第一滤光片，第二滤光片，或者第三滤光片的形状为圆形或者扇环形。此时，滤光单元302存在其对应的圆心。
[0111]
当然，滤光单元302、滤光单元302中第一滤光片，第二滤光片，或者第三滤光片的形状还可以为其他形状，滤光单元302中第一滤光片，第二滤光片，第三滤光片的形状可以为同类型，也可以为不同类型，本技术实施例对此均不做限定。
[0112]
在另一些实施例中，当滤光单元302的形状为圆形，扇形，环形或者扇环形等圆形相关的形状，滤光单元302中第一滤光片，第二滤光片，或者第三滤光片的形状为圆形或者扇环形，控制单元301可以包括电机，该电机可以用于控制滤光单元302绕滤光单元302对应的圆心旋转，以使得第一滤光片在第一图像曝光间隔正对图像传感器303的感光区域，第二滤光片在第二图像曝光间隔中的第一时段正对图像传感器303的感光区域，第三滤光片在第二图像曝光间隔中的第二时段正对图像传感器303的感光区域。
[0113]
示例性的，滤光单元302包括的滤光片可以选择厚度为1毫米的滤光片。电机可以选取扭矩不小于5兆牛米(mnm)的无刷电机。滤光单元302的滤光片可以通过胶合剂粘在电机转子上。
[0114]
其中，滤光片正对图像传感器303的感光区域，是指滤光片完全覆盖图像传感器303的感光区域，也即图像传感器303的感光区域中每个像素都可以接收到经过该滤光片滤光后的入射光。
[0115]
示例性的，将图像传感器303的感光区域中的像素接收到的入射光通过该滤光片的位置，称为图像传感器303的感光区域中的像素在滤光片中的相对位置，将图像传感器303的感光区域中的所有像素在滤光片中的相对位置集合构成的区域，称为图像传感器303的感光区域中的像素在滤光片中的相对区域。
[0116]
一种可能的实现方式中，第二滤光片对应的圆心角和第三滤光片对应的圆心角之和可以为π。
[0117]
一种可能的实现方式中，第一滤光片对应的圆心角可以小于或等于π。
[0118]
在另一些实施例中，当滤光单元302的形状为圆形，扇形，环形或者扇环形等圆形相关的形状，滤光单元302中第一滤光片，第二滤光片，或者第三滤光片的形状为圆形或者扇环形，滤光单元302的旋转角速度为ω，ω的值可以等于用于拍照的装置201的帧率与2π的乘积。第一滤光片对应的圆心角可以为θ＝ω*t0 β，第二滤光片对应的圆心角可以为α＝
ω*t1 β，β为滤光单元302中完全覆盖图像传感器303的感光区域对应的最小圆心角，t0为第一图像曝光间隔的时长，t1为第二图像曝光间隔中第一时段的时长。
[0119]
在另一些实施例中，控制单元301具体可以用于：在确定图像传感器303的增益大于预设值的情况下，控制滤光单元302在第一图像曝光间隔通过入射光中的可见光且阻挡入射光中的红外光通过，且在第二图像曝光间隔中的第一时段通过入射光中的红外光，在第二图像曝光间隔的第二时段阻挡入射光通过，第一时段位于所述第二时段之前；以及控制图像传感器303对入射光中在第一图像曝光间隔通过滤光单元302的光线进行光电成像，从而获取第一图像，且对入射光中在第二图像曝光间隔通过滤光单元的光线进行光电成像，从而获取第二图像。
[0120]
其中，图像传感器303的增益大于预设值时，说明环境照度低，需要进行场景补光以及图像合成。
[0121]
需要说明的是，预设值是预先配置的用于界定照度正常或者照度低的门限值，可以根据实际需求配置预设值的具体取值，本技术实施例对此不予限定。
[0122]
在另一些实施例中，控制单元301还可以用于：在确定图像传感器的增益小于或等于预设值的情况下，控制滤光单元302通过入射光中的具有预设振动方向的偏振光且阻挡振动方向不同于预设振动方向的光通过，并控制图像传感器对具有预设振动方向的偏振光进行光电呈现，从而获取第二目标图像。
[0123]
一种可能的实现方式中，在用于拍照的装置201开机启动时，控制单元301的电机可以锁止，使得滤光单元302静止。然后根据图像传感器的增益与预设值的大小关系，在确定图像传感器的增益小于或等于预设值的情况下，控制单元301控制滤光单元302通过入射光中的具有预设振动方向的偏振光且阻挡振动方向不同于预设振动方向的光通过，并控制图像传感器303对具有预设振动方向的偏振光进行光电呈现，从而获取第二目标图像。在确定图像传感器303的增益大于预设值的情况下，控制单元301控制滤光单元302在第一图像曝光间隔通过入射光中的可见光且阻挡入射光中的红外光通过，且在第二图像曝光间隔中的第一时段通过入射光中的红外光，在第二图像曝光间隔的第二时段阻挡入射光通过，第一时段位于所述第二时段之前；以及控制图像传感器303对入射光中在第一图像曝光间隔通过滤光单元302的光线进行光电成像，从而获取第一图像，且对入射光中在第二图像曝光间隔通过滤光单元的光线进行光电成像，从而获取第二图像。
[0124]
另一种可能的实现方式中，滤光单元302中还可以包括第四滤光片，第四滤光片可以为偏振滤光片，用于通过入射光中的具有预设振动方向的偏振光且阻挡振动方向不同于预设振动方向的光通过。例如，在拍摄车辆的图像时，滤除偏振光可以消除车窗魔力的反光，使得获取的图像能更好的看清车内的人脸。
[0125]
例如，第四滤光片对应的圆心角可以为π-θ。θ为第一滤光片对应的圆心角。控制单元301还用于，在图像传感器303的第一数据读取时刻至第一图像曝光间隔的起始时刻之间，控制滤光单元302使用第四滤光片对入射光进行滤光。图像传感器303的第一数据读取时刻为第一图像曝光间隔的前一个数据读取时刻。
[0126]
其中，图像传感器303在第一数据读取时刻至第一图像曝光间隔的起始时刻快门可以关闭不曝光。
[0127]
在另一些实施例中，滤光单元302还可以包括位置传感器，用于向控制单元301反
馈位置信息。该位置信息可以用于指示滤光单元302中的滤光片与图像传感器303的相对位置，或者该位置信息可以用于指示滤光单元302中预先设置的标记点与图像传感器303的相对位置。
[0128]
一种可能的实现方式中，可以在滤光单元302中图像传感器303的感光区域的相对区域，设置该位置传感器。
[0129]
另一种可能的实现方式中，可以在滤光单元302中与图像传感器303的一个采样周期内的数据读取时刻对应的位置预先设置标记点。
[0130]
相应的，控制单元301可以用于根据位置传感器反馈的位置信息，控制图像传感器303开始或者结束第一图像曝光间隔或者第二图像曝光间隔。
[0131]
示例性的，图5示意了一种滤光单元302的结构，该滤光单元302的形状为圆形，其包括的第一滤光片，第二滤光片，第三滤光片以及第四滤光片，且其包括的各个滤光片的形状均为扇形。在图5示意的滤光单元302中，第一滤光片为红外滤光片，其对应的圆心角为θ；第二滤光片为全通滤光片，其对应的圆心角为α；第三滤光片为遮黑滤光片，其对应的圆心角为γ；第四滤光片为偏振滤光片，其对应的圆心角为ρ。滤光单元302中完全覆盖图像传感器的感光区域对应的最小圆心角β。图5中示意的矩形区域，为图像传感器303的感光区域在滤光单元302中的相对区域。
[0132]
例如，若拍照的装置201中的图像传感器303的工作方式如图4示意，该拍照的装置201中的滤光单元302结构如图5所示，控制单元302控制滤光单元302使得不同类型的光线分时到达图像传感器303，图像传感器303进行光电转换，获取图像。下面结合图6至图13，对拍照的装置201的工作过程进行描述。图6至图13示意了在不同时刻滤光单元302与图像传感器303的相对位置关系。
[0133]
在拍照的装置201启动工作时，控制单元301中的电机以角速度ω带动滤光单元302匀速旋转，并监测(例如根据位置传感器反馈的位置信息)图像传感器303的感光区域在滤光单元302中的相对区域。当控制单元301监测到该相对区域已完全进入第一滤光片时(如图6所示位置关系)，控制单元301控制图像传感器303开启快门进入t0，持续曝光t0时长，在t0结束时图像传感器303的感光区域在滤光单元302中的相对区域如图7所示位置关系。之后，图像传感器303在rd0读取数据，获取一帧彩色图像。
[0134]
随着滤光单元302的旋转，在t0结束时刻与下一个tc起始时刻之间(持续t)，图像传感器303的感光区域在滤光单元302中的相对区域如图8所示位置关系，部分位于第一滤光片，部分位于第二滤光片，此时图像传感器303快门关闭不曝光。
[0135]
随着滤光单元302的旋转，在tc的起始时刻，图像传感器303的感光区域在滤光单元302中的相对区域如图9所示位置关系，该相对区域已完全进入第二滤光片，控制单元301控制图像传感器303开启快门进入tc，持续曝光tc时长。在tc的第一时段t1结束时图像传感器303的感光区域在滤光单元302中的相对区域如图10所示位置关系。
[0136]
随着滤光单元302的旋转，在tc的第二时段t2的开始一段时间(图中t)，图像传感器303的感光区域在滤光单元302中的相对区域如图11所示位置关系，部分位于第二滤光片，部分位于第三滤光片，此时图像传感器303快门依然曝光，将图像传感器303的感光区域在滤光单元302中的相对区域部分位于第二滤光片部分位于第三滤光片称为过渡态。
[0137]
随着滤光单元302的旋转，在tc的第二时段t2的剩下时段(t2-t)，图像传感器303
的感光区域在滤光单元302中的相对区域如图12所示位置关系，该相对区域已完全进入第三滤光片，图像传感器303依然曝光，但由于第三滤光片对入射光的阻挡，t2的剩下时段内图像传感器303未接收到入射光也不生成图像信号。在t2结束时图像传感器303的感光区域在滤光单元302中的相对区域如图13所示位置关系。之后，图像传感器303在rd1读取数据，获取一帧灰度图像。图像传感器303在rd1读取数据获取的灰度图像，为图像传感器在t1以及过渡阶段光电转换的数据对应的图像。
[0138]
从图6到图13的示意可以看出，通过第三滤光片，将rd1处读取的数据的曝光时间，从靠近rd1提前至了靠近rd0，大大减小了两帧图像的曝光间隔。
[0139]
示例性的，以第一图像为彩色图像，第二图像为红外光线下的灰度图像，举例描述用于拍照的装置201的配置参数。假设用于拍照的装置201的业务要求的彩色视频帧率为25帧/秒，彩色帧和红外帧最大的曝光时间要求为4毫秒(即第一图像曝光间隔为4毫秒，第二图像曝光间隔中的第二时段为4毫秒)，滤光单元302的半径r为40毫米，选用的图像传感器303的长c为14.5毫米宽b为10.8毫米，在滤光单元302为图5所示的结构时，存在如下几何关系：
[0140]
ω＝50π/秒；
[0141]
α γ ρ θ＝2π；
[0142]
α＝ω*t1 β；
[0143]
γ＝π-α；
[0144]
θ＝ω*t0 β；
[0145]
ρ＝π-θ；
[0146]
r＝b/(2sin(β/2)) c，b为图像传感器303的宽，c为图像传感器303的长；
[0147]
t＝β/ω，t为过渡态时长。
[0148]
根据推导，β＝2*arcsin(b/(2*(r-c)))；已知r＝40，则t＝2.72毫秒。
[0149]
已知t0＝t1＝4毫秒，根据上述已知几何关系则可计算得到：
[0150]
β＝24.5
°
，α＝θ＝60.5
°
，γ＝ρ＝119.6
°
。
[0151]
进一步的，在某些特殊场景下(如场景中存在大量的红外光线)，上述的过渡态对图像亮度存在一定的影响。滤光单元302的第三滤光片和第二滤光片的交界线会沿顺时针方向由图像传感器303的右上角扫到左上角，这样图像传感器303上每个像素的有效曝光时间都不同，就会造成亮度差导致图像不均匀。可以对滤光单元302的过渡态造成的图像不均匀的现象进行补偿。
[0152]
在另一些实施例中，如图14所示，合成处理单元304可以包括处理单元3041和合成单元3042，处理单元3041可以用于根据在第二图像曝光间隔内图像传感器303中任一像素的有效曝光时间信息，对任一像素对应在第二图像中的像素值进行校正，从而得到校正后的第二图像。合成单元3042用于对第一图像和校正后的第二图像进行合成，从而生成第一目标图像。
[0153]
其中，有效曝光时间信息可以用于指示第二图像曝光间隔内图像传感器中任一像素的有效曝光时长。
[0154]
其中，在第二图像曝光间隔内，图像传感器303中任一像素的曝光时长为第二图像曝光间隔的时长。但是，由于滤光单元302中第三滤波片对于入射光的阻挡，在第二图像曝
光间隔内的第一时段，图像传感器303中任一像素可以接收到经过第二滤光片的入射光，在第二图像曝光间隔的第二时段，图像传感器303中的像素先接收到经过第二滤光片的入射光，当像素在滤光单元302中的相对位置(该像素接收到的入射光经过的滤光单元302的位置)进入第三滤光片后，像素接收不到入射光，因此，像素在第二图像曝光间隔的第二时段内部分时段可以接收到入射光，其他时段无法接收到入射光，对于像素而言，即使处于曝光间隔内，接收不到入射光时的曝光并不属于有效曝光。因此有效曝光时间为第二图像曝光内有效曝光的时间可以将像素在第二图像曝光间隔的第二时段中可以接收到入射光的曝光时长，定义为像素在第二时段内的有效曝光时长。应理解，像素在第二时段内的有效曝光时长取决于该像素在图像传感器303中的位置。
[0155]
可选的，图像传感器303中任一像素的有效曝光时间信息可以包括该任一像素在第二时段内的有效曝光时长。
[0156]
可选的，图像传感器303中任一像素的有效曝光时间信息可以包括第一时段的时长和该任一像素在第二时段内的有效曝光时长。
[0157]
具体的，图像传感器303中任一像素的有效曝光时间信息可以根据该任一像素在图像传感器303上的位置得到。
[0158]
一种可能的实现方式中，假设任一像素在图像传感器303上的位置包括该任一像素在图像传感器303的感光区域的中的坐标(x,y)，改任一像素的有效曝光时间信息可以包括其在第二时段内有效曝光时长t，该t可以满足以下表达式：
[0159][0160]
其中，tan为正切运算，arctan为反正切运算，b为图像传感器303的一个边的边长，ω为滤光单元302的旋转角速度，β为滤光单元302中完全覆盖图像传感器303的感光区域对应的最小圆心角。
[0161]
其中，任一像素在图像传感器上的位置可以包括任一像素在图像传感器的感光区域的中的坐标(x,y)，该坐标所在坐标系对应的原点坐标可以为图像传感器303的感光区域中最先正对第三滤光片的像素位置。图15示意了图像传感器303的感光区域中任一像素的坐标系，坐标系对应的原点坐标可以为图15中的o。
[0162]
结合图15示意的坐标系，可以从在以下已知的几何关系：
[0163]
t＝ψ/ω；ψ为像素的横坐标对应的圆心角；
[0164]
mb为图15中m点到b点的距离，b为图像传感器303的感光区域的宽度；
[0165]
进而推导可得：
[0166]
β＝2*arctan(b/(2*(r-c)))；c为图像传感器303的感光区域的宽度。
[0167]
进而推导可得：
[0168]
一种可能的实现方式中，图像传感器303中任一像素的有效曝光时间信息包括第一时段的时长t1和其在第二时段内有效曝光时长t，该任一像素对应在第二图像中的像素值pixel1和该任一像素对应在校正后的第二图像中的像素值pixel0满足如下关系：
[0169][0170]
其中，可以将1 t/t1称为像素的校正系数。
[0171]
进一步的，图像传感器303中每个像素的校正系数1 t/t1可以构成第二图像的较正矩阵，将第二图像除以校正矩阵则得到校正后的第二图像。
[0172]
进一步可选的，当用于拍照的装置201拍摄高速移动的人物(人或者物)时，会造成运动位移，合成处理单元304还可以用于：根据第一图像和第二图像之间的光流，对第一图像和第二图像进行配准，将第一图像和第二图像中的配准后的图像与第一图像和第二图像中另一图像进行合成，生成第一目标图像。
[0173]
其中，第一图像和第二图像之间的光流可以根据第一图像与第三图像之间的光流得到，第一图像和第二图像为当前采样周期内获取到的图像，第三图像为在当前采样周期的下一采样周期中获取到的彩色图像。
[0174]
例如，合成处理单元304可以采用光流算法，获取根据第一图像与第三图像之间的光流，进而得到第一图像和第二图像之间的光流，本技术实施例对于光流算法的具体类型不予限定。
[0175]
例如，如图16所示的拍摄场景，vis1(第一图像)和vis2(第三图像)代表相邻的2个采样周期中的2帧彩色图像，nir(第二图像)为vis1紧邻的红外帧。假设用于拍照的装置201的采样周期间隔tf＝40ms，彩色帧的曝光时间为1ms，过渡态时间为2.72ms，则
△
t＝3.72ms。由图像vis1、vis2，可计算出彩色图像的前向光流f0→1和后向光流f1→0。结合tf，可计算出在t时刻时的前向光流f0→
t
＝
△
t*f0→1/tf，后向光流f
t
→0＝
△
t*f1→0/tf。已知t时刻的前向光流，则可以把vis1的各像素按照该前向光流进行偏移，从而和nir进行配准。已知t时刻的后向光流，则可以把nir的各像素按照该后向光流进行偏移，从而和vis1进行配准。
[0176]
在另一些实施例中，如图14所示，用于拍照的装置201还可以包括红外补光单元305，红外补光单元305与控制单元301连接，控制单元301还用于在第二图像曝光间隔开始时控制红外补光单元305产生红外光。
[0177]
在一种可能的实现方式中，控制单元301还用于在第二图像曝光间隔结束时控制红外补光单元305停止产生红外光。
[0178]
在另一些实施例中，控制单元301还用于在第二图像曝光间隔开始时，向红外补光单元发送指示信号以产生红外光，该红外补光单元与用于拍照的装置201连接，用于向用于拍照的装置201提供红外补光。
[0179]
在另一些实施例中，如图14所示，合成处理单元304可以包括处理单元3041和合成单元3042。其中，处理单元3041可以用于确定第一图像中是否存在目标对象；合成单元3042用于在第一图像中存在目标对象的情况下，对第一图像和第二图像进行合成，从而生成第一目标图像；合成单元3042还用于在第一图像不存在目标对象的情况下，将第一图像作为第一目标图像进行输出。
[0180]
一种可能的实现方式中，合成单元3042还用于在第一图像不存在目标对象的情况下，丢弃第二图像。
[0181]
其中，目标对象可以为预先定义的人或者物或者车辆。
[0182]
在另一些实施例中，如图14所示，控制单元301还可以与合成处理单元304连接，用于控制合成处理单元304的合成操作。
[0183]
例如，控制单元301可以向合成处理单元304通知当前帧是可见光帧或者红外帧。
[0184]
在另一些实施例中，合成处理单元304可以通过图像融合算法来实现第一图像与第二图像的合成。
[0185]
例如，合成处理单元304可以将第一图像的色度信息作为第一目标图像的色度信息，将第二图像的亮度信息作为第一目标图像的亮度信息，得到第一目标图像。
[0186]
需要说明的是，上述图3或图14所示的用于拍照的装置201仅是一种示例，并未对用于拍照的装置201具体结构进行具体限制。
[0187]
需要说明的是，在实际应用中，可以根据实际需求设计用于拍照的装置201中的各个单元的实现方式，本技术实施例对此不进行具体限定。
[0188]
例如，控制单元301可以通过cpu驱动和fpga的方式实现，合成处理单元304可以中的处理单元3041可以通过专用集成电路(application specific integrated circuit，asic)实现，合成单元3042可以通过数字信号处理器(digital signal processor，dsp)实现。
[0189]
可以理解的是，本技术实施例示意的用于拍照的装置201的结构并不构成对该用于拍照的装置201的具体限定。在其他一些实施例中，用于拍照的装置201还可以包括其他部件。如，用于拍照的装置201还可以包括镜头、存储模块，通信接口等。其中，镜头用于汇聚入射光，存储模块可用于存储计算机可执行程序代码，该可执行程序代码包括指令。通信接口可用于连接其他设备，保证了系统的扩展性。
[0190]
在另一些实施例中，用于拍照的装置201可以为终端设备，该终端设备可以为手机、pad或者其他便携移动设备。
[0191]
图16a为本技术实施例提供的另一种终端设备的结构示意图。上述拍照的装置201所在的电子设备的结构可以如图16a所示。
[0192]
如图16a所示，电子设备可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，用户标识模块(subscriber identification module，sim)卡接口195等。其中，传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感
器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。
[0193]
可以理解的是，本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
[0194]
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，存储器，视频编解码器，dsp，基带处理器，神经网络处理器(neural-network processing unit，npu)等中的一个或多个。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
[0195]
控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。控制器可以为上述控制单元301，控制器的具体实现可以参照上述控制单元301的描述，此处不再赘述。
[0196]
处理器110还可以实现上述合成处理单元305的功能，具体实现方式可以参照前述合成处理单元305的具体描述，此处不再赘述。
[0197]
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
[0198]
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，i2c)接口，集成电路内置音频(inter-integrated circuit sound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general-purpose input/output，gpio)接口，sim接口，usb接口等中的一个或多个。
[0199]
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
[0200]
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142，充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
[0201]
电子设备的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
[0202]
天线1和天线2用于发射和接收电磁波信号。电子设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用
为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
[0203]
移动通信模块150可以提供应用在电子设备上的包括第二代手机通信技术(the second generation mobile communication technology，2g)/第三代手机通信技术(the 3rd generation mobile communication technology，3g)/第四代手机通信技术(the 4th generation mobile communication technology，4g)/第五代手机通信技术((the 5th generation mobile communication technology，5g)等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，lna)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
[0204]
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170a，受话器170b等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
[0205]
无线通信模块160可以提供应用在电子设备上的包括无线局域网(wireless local area networks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
[0206]
在一些实施例中，电子设备的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备可以通过无线通信技术与网络以及其他设备通信。例如，电子设备可以通过天线1和移动通信模块150与其他电子设备进行视频通话或视频会议。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，gsm)，通用分组无线服务(general packet radio service，gprs)，码分多址接入(code division multiple access，cdma)，宽带码分多址(wideband code division multiple access，wcdma)，时分码分多址(time-division code division multiple access，td-scdma)，长期演进(long term evolution，lte)，bt，gnss，wlan，nfc，fm，ir技术等中的一个或多个。所述gnss可以包括全球卫星定位系统(global positioning system，gps)，全球导航卫星系统(global navigation satellite system，glonass)，北斗卫星导航系统(beidou navigation satellite system，bds)，准天顶卫星系统(quasi-zenith satellite system，qzss)，星基增强系统(satellite based augmentation systems，
sbas)等中的一个或多个。
[0207]
电子设备通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
[0208]
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode，amoled)，柔性发光二极管(flex light-emitting diode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，电子设备可以包括1个或n个显示屏194，n为大于1的正整数。例如，在本技术实施例中，在用户利用电子设备进行拍摄时，显示屏194可以显示第一目标图像。
[0209]
电子设备可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
[0210]
isp用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头193中。
[0211]
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，电子设备可以包括1个或n个摄像头193，n为大于1的正整数。
[0212]
数字信号处理器用于处理数字信号。例如，对数字视频图像采用人体监测跟踪算法，确定出视频图像中的主体人物后对视频图像进行相应的裁剪、缩放，得到适应接收端设备显示规格的图像等。
[0213]
视频编解码器用于对数字视频压缩或解压缩。电子设备可以支持一种或多种视频编解码器。这样，电子设备可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。
[0214]
npu为神经网络(neural-network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现电子设备的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
[0215]
其中，摄像头193中的感光元件可以为上述图像传感器303，摄像头193还可以包括滤光单元，物体通过镜头的光线经过滤光单元生成光学图像投射到感光元件。摄像头193包括的滤光单元的具体实现，可以参照上述滤光单元302的具体实现，此处不再赘述。
[0216]
其中，摄像头193中的感光元件可以支持多类型光线曝光的图像传感器，至少支持可见光成像为彩色图像，以及红外光成像为灰度图像。
[0217]
一种可能的实现方式中，处理器110中的控制器可以控制摄像头193中的滤光单元
在第一图像曝光间隔通过入射光中的可见光且阻挡入射光中的红外光通过，且在第二图像曝光间隔中的第一时段通过入射光中的红外光，在第二图像曝光间隔的第二时段阻挡入射光通过。其中，该第一时段在第二时段之前。且处理器110中的控制器可以控制摄像头193中的感光元件对入射光中在第一图像曝光间隔通过滤光单元的光线进行光电成像，从而获取第一图像，且对入射光中在第二图像曝光间隔通过滤光单元的光线进行光电成像，从而获取第二图像。
[0218]
另一种可能的实现方式中，摄像头193还可以包括红外补光单元，用于向电子设备拍摄的场景提供红外线补光。摄像头193包括的红外补光单元的具体实现，可以参照上述红外补光单元305的具体实现，此处不再赘述。
[0219]
例如，处理器110中的控制器可以在第二图像曝光间隔开始时控制摄像头193中的红外补光单元产生红外光。
[0220]
外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
[0221]
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。
[0222]
电子设备可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，以及应用处理器等实现音频功能。例如通话，音乐播放，录音等。
[0223]
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
[0224]
扬声器170a，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备可以通过扬声器170a收听音乐，或收听免提通话。
[0225]
受话器170b，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备接听电话或语音信息时，可以通过将受话器170b靠近人耳接听语音。
[0226]
麦克风170c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息或需要通过语音助手触发电子设备执行某些功能时，用户可以通过人嘴靠近麦克风170c发声，将声音信号输入到麦克风170c。电子设备可以设置至少一个麦克风170c。在另一些实施例中，电子设备可以设置两个麦克风170c，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备还可以设置三个，四个或更多麦克风170c，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
[0227]
耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，omtp)标准接口，美国
蜂窝电信工业协会(cellular telecommunications industry association of the usa，ctia)标准接口。
[0228]
压力传感器180a用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a，电极之间的电容改变。电子设备根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备根据压力传感器180a检测所述触摸操作强度。电子设备也可以根据压力传感器180a的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
[0229]
陀螺仪传感器180b可以用于确定电子设备的运动姿态。在一些实施例中，可以通过陀螺仪传感器180b确定电子设备围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180b检测电子设备抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备的抖动，实现防抖。陀螺仪传感器180b还可以用于导航，体感游戏场景。
[0230]
气压传感器180c用于测量气压。在一些实施例中，电子设备通过气压传感器180c测得的气压值计算海拔高度，辅助定位和导航。
[0231]
磁传感器180d包括霍尔传感器。电子设备可以利用磁传感器180d检测翻盖皮套的开合。在一些实施例中，当电子设备是翻盖机时，电子设备可以根据磁传感器180d检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。
[0232]
加速度传感器180e可检测电子设备在各个方向上(一般为三轴)加速度的大小。当电子设备静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。
[0233]
距离传感器180f，用于测量距离。电子设备可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备可以利用距离传感器180f测距以实现快速对焦。
[0234]
接近光传感器180g可以包括例如发光二极管(led)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备通过发光二极管向外发射红外光。电子设备使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备附近有物体。当检测到不充分的反射光时，电子设备可以确定电子设备附近没有物体。电子设备可以利用接近光传感器180g检测用户手持电子设备贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式，口袋模式自动解锁与锁屏。
[0235]
环境光传感器180l用于感知环境光亮度。电子设备可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合，检测电子设备是否在口袋里，以防误触。
[0236]
指纹传感器180h用于采集指纹。电子设备可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
[0237]
温度传感器180j用于检测温度。在一些实施例中，电子设备利用温度传感器180j检测的温度，执行温度处理策略。例如，当温度传感器180j上报的温度超过阈值，电子设备执行降低位于温度传感器180j附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备对电池142加热，以避免低温导致电子设备异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备对电池142的输出电压执行升压，以避免低温导致的异常关机。
[0238]
触摸传感器180k，也称“触控面板”。触摸传感器180k可以设置于显示屏194，由触摸传感器180k与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180k也可以设置于电子设备的表面，与显示屏194所处的位置不同。
[0239]
骨传导传感器180m可以获取振动信号。在一些实施例中，骨传导传感器180m可以获取人体声部振动骨块的振动信号。骨传导传感器180m也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180m也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180m获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180m获取的血压跳动信号解析心率信息，实现心率检测功能。
[0240]
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备可以接收按键输入，产生与电子设备的用户设置以及功能控制有关的键信号输入。
[0241]
马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
[0242]
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
[0243]
sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195，或从sim卡接口195拔出，实现和电子设备的接触和分离。电子设备可以支持1个或n个sim卡接口，n为大于1的正整数。sim卡接口195可以支持nano sim卡，micro sim卡，sim卡等。同一个sim卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。电子设备通过sim卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备采用esim，即：嵌入式sim卡。esim卡可以嵌在电子设备中，不能和电子设备分离。
[0244]
图17和图18示意了拍摄效果，展示了本技术实施例提供的用于拍照的装置201拍摄的第一图像、第二图像以及融合后的第一目标图像。
[0245]
图19为本技术实施例提供的一种用于拍照的方法的流程示意图。其中，该方法可以应用于上述图3或图14所示的用于拍照的装置201，对于该用于拍照的装置201的结构已经在上述实施例中进行了详细说明，此处不再赘述。如图19所示，该方法可以包括：
[0246]
s1901、控制滤光单元在第一图像曝光间隔通过入射光中的可见光且阻挡入射光中的红外光通过，且在第二图像曝光间隔中的第一时段通过入射光中的红外光，在第二图像曝光间隔的第二时段阻挡入射光通过。
[0247]
其中，第一图像曝光间隔可以位于第二图像曝光间隔之前。第一时段可以位于第二时段之前。
[0248]
一种可能的实现方式中，第一图像曝光间隔与第二图像曝光间隔位于图像传感器的同一个采样周期内，每秒内的采样周期的个数为合成的第一目标图像对应的帧率。
[0249]
一种可能的实现方式中，滤光单元为片状结构，滤光单元包括第一滤光片，第二滤光片和第三滤光片，第一滤光片用于通过可见光且阻挡红外光通过，第二滤光片用于通过红外光，第三滤光片用于阻挡入射光，s1901具体可以实现为：控制滤光单元旋转，以使得在第一图像曝光间隔使用第一滤光片对入射光进行滤光，在第一时段使用第二滤光片对入射光进行滤光，且在第二时段使用第三滤光片进行滤光。
[0250]
需要说明的是，滤光单元的工作方式及原理可以参照前述实施例中对滤光单元302的描述，此处不再赘述。
[0251]
s1902、通过图像传感器对入射光中在第一图像曝光间隔通过滤光单元的光线进行光电成像，从而获取第一图像，且对入射光中在第二图像曝光间隔通过滤光单元的光线进行光电成像，从而获取第二图像。
[0252]
其中，第一图像可以为彩色图像，第二图像可以为灰度图像。
[0253]
s1903、对第一图像和第二图像进行合成，从而生成第一目标图像。
[0254]
其中，第一目标图像可以为彩色图像。
[0255]
具体的，在s1903中，用于拍照的装置可以将第一图像的色度信息作为第一目标图像的色度信息，将第二图像的亮度信息作为第一目标图像的亮度信息，得到第一目标图像。
[0256]
一种可能的实现方式中，s1903具体可以实现为：根据在第二图像曝光间隔内图像传感器中任一像素的有效曝光时间信息，对任一像素对应在第二图像中的像素值进行校正，从而得到校正后的第二图像。对第一图像和校正后的第二图像进行合成，生成第一目标图像。
[0257]
另一种可能的实现方式中，s1903具体还可以实现为：根据第一图像和第二图像之间的光流，对第一图像和第二图像进行配准。将第一图像和第二图像中的配准后的图像与第一图像和第二图像中另一图像进行合成，生成第一目标图像。
[0258]
其中，第一图像和第二图像之间的光流根据第一图像与第三图像之间的光流得到，第一图像和第二图像为当前采样周期内获取到的图像，第三图像为在当前采样周期的下一采样周期中获取到的彩色图像。
[0259]
需要说明的是，s1903的具体实现可以参照前述合成处理单元304的具体实现，此处不再赘述。
[0260]
还需要说明的是，在s1903中，可以既进行校正也进行配准，两者的先后顺序可以根据实际需求配置，本技术实施例不予限定。
[0261]
通过本技术提供的用于拍照的方法，用于拍照的装置控制滤光单元在第二图像曝光间隔的第二时段阻挡入射光通过，在图像传感器连续两次数据读取时间固定的情况下，减小第二图像与第一图像的时间间隔，可以在高速运动场景中降低第一图像与第二图像的
画面运动误差，以提高合成后的高质量图像的准确度。
[0262]
进一步可选的，本技术实施例提供的用于拍照的方法还可以包括：使用位置传感器获取位置信息，该位置信息用于指示滤光单元中的滤光片与图像传感器的相对位置，或者该位置信息用于指示滤光单元中预先设置的标记点与图像传感器的相对位置；根据位置信息控制图像传感器开始或者结束第一图像曝光间隔或者第二图像曝光间隔。
[0263]
进一步的，如图20所示，在s1901之前，本技术实施例提供的用于拍照的方法还可以包括s1904。
[0264]
s1904、确定图像传感器的增益是否大于预设值。
[0265]
一种可能的实现方式中，在s1904之后，在确定图像传感器的增益大于预设值的情况下，才执行s1901。
[0266]
相应的，s1901具体可以实现为：在确定图像传感器的增益大于预设值的情况下，才执行控制滤光单元在第一图像曝光间隔通过入射光中的可见光且阻挡入射光中的红外光通过，且在第二图像曝光间隔中的第一时段通过入射光中的红外光，在第二图像曝光间隔的第二时段阻挡入射光通过，第一时段位于第二时段之前；以及控制图像传感器对入射光中在第一图像曝光间隔通过滤光单元的光线进行光电成像，从而获取第一图像，且对入射光中在第二图像曝光间隔通过滤光单元的光线进行光电成像，从而获取第二图像。
[0267]
另一种可能的实现方式中，在s1904之后，在确定图像传感器的增益小于或等于预设值的情况下，可以执行s1905。
[0268]
s1905、控制滤光单元通过入射光中的具有预设振动方向的偏振光且阻挡振动方向不同于预设振动方向的光通过，并控制图像传感器对具有预设振动方向的偏振光进行光电呈现，从而获取第二目标图像。
[0269]
再一种可能的实现方式中，在s1904之后，若确定图像传感器的增益小于或等于预设值，可以控制滤光单元全部通过入射光，并控制图像传感器对入射光进行光电呈现，从而获取第三目标图像。
[0270]
需要说明的是，在s1904之后，若确定图像传感器的增益等于预设值，可以执行s1901或者s1905，可以根据实际需求选择，本技术实施例不予限定。
[0271]
进一步可选的，用于拍照的装置还可以包括红外补光单元，或者，用于拍照的装置配置了为其补光的红外补光单元，本技术实施例提供的用于拍照的方法还可以包括：在第二图像曝光间隔开始时控制红外补光单元产生红外光。
[0272]
进一步的，如图20所示，在s1903之前，本技术实施例提供的用于拍照的方法还可以包括s1906。
[0273]
s1906、确定第一图像中是否存在目标对象。
[0274]
在s1906之后，在第一图像中存在目标对象的情况下，才执行s1903；在第一图像不存在目标对象的情况下，执行s1907。
[0275]
s1907、将第一图像作为第一目标图像进行输出。
[0276]
需要说明的是，本实施例所提供方法中各步骤的具体描述可参考上述装置实施例中对应内容的具体描述，此处不再一一赘述。另本实施例提供的方法用于实现上述实施例中摄像机的补光，因此可以达到与上述实施例相同的效果。
[0277]
还需要说明的是，本实施例所提供方法中各步骤的执行顺序，可以根据实际需求
配置，图19及图20仅为示例，并不构成具体限定。
[0278]
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
[0279]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0280]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0281]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0282]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0283]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何在本技术揭露的技术范围内的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。