一种高动态范围图像合成方法和电子设备与流程

一种高动态范围图像合成方法和电子设备
【技术领域】
1.本发明涉及图像分析技术领域，具体地涉及一种高动态范围图像合成方法和电子设备。


背景技术：

2.随着手机拍照的普及，用户对拍照效果要求越来越高。随之出现各种多帧图像合成算法提升图像质量的技术，例如：高动态范围图像(high-dynamic range，简称hdr)、多帧降噪、多帧超分辨率等。而在自拍场景中，逆光是自拍经常遇到的情况，为了获得较好的拍照效果，业界普遍通过hdr算法，即采用不同的曝光获取不同亮度的图片，再对多张图片进行合成，以获得亮度适中的画面。然而在相关的hdr算法中，在自拍场景且人脸对焦清晰的情况下，具有光圈越大，景深越浅的问题，从而导致前景清晰而背景模糊，且动态范围不足，造成高动态范围图像过曝、欠曝问题。


技术实现要素：

3.有鉴于此，本发明提供一种高动态范围图像合成方法和电子设备，能够获取一张各个景深清晰，且高动态范围的图像，并且能够同时解决景深浅导致的背景模糊且动态范围不足，从而造成高动态范围图像过曝、欠曝问题。
4.第一方面，本发明实施例提供了一种高动态范围图像合成方法，所述方法包括：
5.根据用户输入的hdr拍照操作，获取当前拍照场景下具有不同景深的多帧图像，且每帧图像具备一个曝光度；
6.将曝光度相同的多帧图像进行合成，生成全景深图像；
7.通过hdr算法对多个曝光度的全景深图像进行合成，生成高动态范围图像。
8.在一种可能的实现方式中，所述获取当前拍照场景下具有不同景深的多帧图像，且获取当前拍照场景下具有不同景深的多帧图像，且每帧图像具备一个曝光度，包括：
9.从当前拍照场景的多帧图像中获取初始前景图像，并根据所述初始前景图像生成至少一个前景景深图像；
10.从当前拍照场景的多帧图像中获取初始背景图像，并根据所述初始背景图像生成至少一个背景景深图像，且每个前景景深图像和每个背景景深图像均具有一个曝光度。
11.在一种可能的实现方式中，所述将曝光度相同的多帧图像进行合成，生成全景深图像，包括：
12.根据曝光度相同的多个所述前景景深图像以及多个所述背景景深图像，生成全景深图像。
13.在一种可能的实现方式中，所述通过hdr算法对多个曝光度的全景深图像进行合成，生成高动态范围图像，包括：
14.根据所述前景景深图像中每个像素对应的像素值，计算出该曝光度的前景景深图像中每个像素的合成权重；
15.根据所述背景景深图像中每个像素对应的像素值，计算出该曝光度的背景景深图像中每个像素的合成权重；
16.通过获取的多个曝光度的前景景深图像中每个像素的合成权重和多个曝光度的前景景深图像中每个像素的合成权重，对多个曝光度的前景景深图像和背景景深图像进行合成，生成高动态范围图像。
17.在一种可能的实现方式中，所述根据所述初始前景图像生成至少一个前景景深图像，包括：
18.从所述初始前景图像中，识别出对象的个数；
19.当对象的个数大于1时，确定出多个所述对象对应的第一对象景深；
20.对不同第一对象景深的多个对象进行对焦，获取多个第一对象对焦区域；
21.根据所述初始前景图像、所述多个第一对象对焦区域、多个第一对象景深以及对应的曝光度，生成多个前景景深图像。
22.在一种可能的实现方式中，其特征在于，还包括：
23.当对象的个数等于1时，确定出所述对象对应的第二对象景深；
24.对所述第二对象景深的对象进行对焦，获取第二对象对焦区域；
25.根据所述初始前景图像、所述第二对象对焦区域、所述第二对象景深以及对应的曝光度，生成一个前景景深图像。
26.在一种可能的实现方式中，在所述根据所述初始前景图像、所述多个第一对象对焦区域以及多个第一对象景深，生成多个前景景深图像之前，还包括：
27.检测多个所述第一对象对焦区域之间的对比度是否大于预设对比值；
28.若检测出多个所述第一对象对焦区域之间的对比度大于预设对比值，继续执行所述对不同第一对象景深的多个对象进行对焦，获取多个第一对象对焦区域的步骤。
29.在一种可能的实现方式中，所述对象包括人脸或者物体。
30.在一种可能的实现方式中，所述根据所述初始背景图像生成至少一个背景景深图像，包括：
31.根据预设的景深范围，从所述初始背景图像中确定出至少一个背景景深，且所述背景景深大于所述第一对象景深或者所述第二对象景深；
32.对所述至少一个背景景深进行对焦，获取至少一个背景对焦区域；
33.根据所述初始背景图像、所述至少一个背景对焦区域、所述至少一个背景景深以及对应的曝光度，生成至少一个背景景深图像。
34.第二方面，本发明实施例提供了一种电子设备，包括：
35.处理单元，用于根据用户输入的hdr拍照操作，获取当前拍照场景下具有不同景深的多帧图像，且每帧图像具备一个曝光度；
36.所述处理单元还用于将曝光度相同的多帧图像进行合成，生成全景深图像；
37.所述处理单元还用于通过hdr算法对多个曝光度的全景深图像进行合成，生成高动态范围图像。
38.在一种可能的实现方式中，所述获取当前拍照场景下具有不同景深的多帧图像，且获取当前拍照场景下具有不同景深的多帧图像，且每帧图像具备一个曝光度，包括：
39.所述处理单元还用于从当前拍照场景的多帧图像中获取初始前景图像，并根据所
述初始前景图像生成至少一个前景景深图像；
40.所述处理单元还用于从当前拍照场景的多帧图像中获取初始背景图像，并根据所述初始背景图像生成至少一个背景景深图像，且每个前景景深图像和每个背景景深图像均具有一个曝光度。
41.在一种可能的实现方式中，所述将曝光度相同的多帧图像进行合成，生成全景深图像，包括：
42.所述处理单元还用于根据曝光度相同的多个所述前景景深图像以及多个所述背景景深图像，生成全景深图像。
43.在一种可能的实现方式中，所述通过hdr算法对多个曝光度的全景深图像进行合成，生成高动态范围图像，包括：
44.所述处理单元还用于根据所述前景景深图像中每个像素对应的像素值，计算出该曝光度的前景景深图像中每个像素的合成权重；
45.所述处理单元还用于根据所述背景景深图像中每个像素对应的像素值，计算出该曝光度的背景景深图像中每个像素的合成权重；
46.所述处理单元还用于通过获取的多个曝光度的前景景深图像中每个像素的合成权重和多个曝光度的前景景深图像中每个像素的合成权重，对多个曝光度的前景景深图像和背景景深图像进行合成，生成高动态范围图像。
47.在一种可能的实现方式中，所述根据所述初始前景图像生成至少一个前景景深图像，包括：
48.检测单元，用于从所述初始前景图像中，识别出对象的个数；
49.所述处理单元还用于当对象的个数大于1时，确定出多个所述对象对应的第一对象景深；
50.所述处理单元还用于对不同第一对象景深的多个对象进行对焦，获取多个第一对象对焦区域；
51.所述处理单元还用于根据所述初始前景图像、所述多个第一对象对焦区域、多个第一对象景深以及对应的曝光度，生成多个前景景深图像。
52.在一种可能的实现方式中，还包括：
53.所述处理单元还用于当对象的个数等于1时，确定出所述对象对应的第二对象景深；
54.所述处理单元还用于对所述第二对象景深的对象进行对焦，获取第二对象对焦区域；
55.所述处理单元还用于根据所述初始前景图像、所述第二对象对焦区域、所述第二对象景深以及对应的曝光度，生成一个前景景深图像。
56.在一种可能的实现方式中，在所述根据所述初始前景图像、所述多个第一对象对焦区域以及多个第一对象景深，生成多个前景景深图像之前，还包括：
57.所述检测单元还用于检测多个所述第一对象对焦区域之间的对比度是否大于预设对比值；若检测出多个所述第一对象对焦区域之间的对比度大于预设对比值，继续执行所述对不同第一对象景深的多个对象进行对焦，获取多个第一对象对焦区域的步骤。
58.在一种可能的实现方式中，所述对象包括人脸或者物体。
59.在一种可能的实现方式中，所述根据所述初始背景图像生成至少一个背景景深图像，包括：
60.所述处理单元还用于根据预设的景深范围，从所述初始背景图像中确定出至少一个背景景深，且所述背景景深大于所述第一对象景深或者所述第二对象景深；
61.所述处理单元还用于对所述至少一个背景景深进行对焦，获取至少一个背景对焦区域；
62.所述处理单元还用于根据所述初始背景图像、所述至少一个背景对焦区域、所述至少一个背景景深以及对应的曝光度，生成至少一个背景景深图像。
63.第三方面，本发明实施例提供了一种电子设备，包括：显示屏；摄像头；一个或多个处理器；存储器；多个应用程序；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得设备执行上述任一方面任一项可能的实现中的高动态范围图像合成方法。
64.第四方面，本发明实施例提供了一种高动态范围图像合成装置，所述装置执行第一方面中任一项所述的高动态范围图像合成方法。
65.第五方面，本发明实施例提供了一种计算机可读存储介质，所述计算机介质存储用于设备执行的程序代码，所述程序代码包括用于执行第一方面或者第一方面的任一可能的实现方式中的方法的指令。
66.本发明实施例提供的技术方案中，根据用户输入的hdr拍照操作，获取当前拍照场景下具有不同景深的多帧图像，且每帧图像具备一个曝光度，将曝光度相同的多帧图像进行合成，生成全景深图像，通过hdr算法对多个曝光度的全景深图像进行合成，生成高动态范围图像，从而能够获取一张各个景深清晰，且高动态范围的图像，并且能够同时解决景深浅导致的背景模糊且动态范围不足，造成高动态范围图像过曝、欠曝问题。
【附图说明】
67.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
68.图1是相关技术中基于hdr算法的图像合成示意图；
69.图2是相关技术中一种抠出人脸图像的示意图；
70.图3是相关技术中的一种拍照图像的示意图；
71.图4是本发明一实施例所提供的一种电子设备的系统结构图；
72.图5是本发明一实施例所提供的一种电子设备的结构示意图；
73.图6是本发明一实施例所提供的一种高动态范围图像合成方法的流程图；
74.图7a是本发明一实施例所提供的另一种高动态范围图像合成方法的流程图；
75.图7b是本发明一实施例所提供的另一种高动态范围图像合成方法的流程图；
76.图8是本发明一实施例提供的识别出人脸个数的效果示意图。
77.图9是本发明一实施例提供的一种获取人脸对焦区域的结构示意图；
78.图10是本发明一实施例所提供的一种逆光场景合成高动态范围图像的示意图；
79.图11是相关技术中一种在逆光场景下通过普通拍照方式获取的图像的示意图；
80.图12是相关技术中一种在逆光场景下hdr拍照获取的图像的示意图；
81.图13a是本发明一实施例所提供的另一种高动态范围图像合成方法的流程图；
82.图13b是本发明一实施例所提供的另一种高动态范围图像合成方法的流程图；
83.图14是本发明一实施例所提供的一种电子设备的结构示意图；
84.图15为本发明一实施例提供的另一种电子设备的结构示意图。
【具体实施方式】
85.为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
86.应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
87.在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
88.应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，甲和/或乙，可以表示：单独存在甲，同时存在甲和乙，单独存在乙这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
89.本发明实施例提供的高动态范围图像合成方法能够应用于通过电子设备进行拍照的拍照场景中，下面对通过电子设备进行拍照的拍照场景进行简单介绍。
90.通过电子设备进行拍照的拍照场景：
91.场景一：通过单摄像头的电子设备进行拍照的拍照场景。通过在具有单摄像头的电子设备中打开可用于拍照的应用程序，例如：相机。用户通过手持该电子设备点击拍照按钮，即可通过单摄像头进行拍照；或者用户通过拍照杆等外力支撑该电子设备的方式，通过点击拍照杆上的拍照按钮，即可通过单摄像头进行拍照。需要说明的是，单摄像头可包括前置摄像头或者后置摄像头，拍照场景可包括自拍场景或者他拍场景。
92.场景二：通过多摄像头的电子设备进行拍照的拍照场景。通过在具有多摄像头的电子设备中打开可用于拍照的应用程序，例如：相机。将摄像头工作模式调整至为多个摄像头工作模式，用户，通过点击拍照按钮，即可通过多个摄像头进行拍照，需要说明的是，多摄像头可包括前置摄像头或者后置摄像头。需要说明的是，对于通过具有多摄像头的电子设备进行拍照的拍照场景，每个摄像头能够同时获取当前拍照场景下具有不同景深、不同曝光帧的多帧图像，通过hdr算法对多个曝光度的全景深图像进行合成，生成高动态范围图像，相对于通过单摄像头的电子设备进行拍照的拍照场景而言，相对于采用单摄像头进行拍照而言，采用多摄像头进行拍照能够减轻单摄像头拍照的工作量，从而提高了高动态范围图像的合成效率。例如，需要拍摄9帧图像进行合成时，单摄像头的工作模式下，但单摄像头需要拍摄9帧图像，而多摄像头的工作模式下，多摄像头需要拍摄9帧图像，使得每个摄像头所要拍摄的图像数量减少，从而采用多摄像头进行拍照能够减轻单摄像头拍照的工作量，提高动态范围图像的合成效率。
93.在上述拍照场景中采用本发明实施例提供的高动态范围图像合成的技术方案，根据用户输入的hdr拍照操作，获取当前拍照场景下具有不同景深的多帧图像，且每帧图像具备一个曝光度，将曝光度相同的多帧图像进行合成，生成全景深图像，通过hdr算法对多个曝光度的全景深图像进行合成，生成高动态范围图像，从而与相关技术中hdr合成图像的方案相比，本发明实施例采用的高动态范围图像合成的技术方案，能够获取一张各个景深清晰，且高动态范围的图像的同时，能够解决景深浅导致的背景模糊且动态范围不足，造成高动态范围图像过曝、欠曝问题。
94.由于本发明实施例涉及hdr以及景深的应用，为了便于理解，下面先对本发明实施例可能涉及的相关术语及hdr、景深等相关概念进行介绍。
95.(1)hdr
96.高动态范围图像(high-dynamic range，简称hdr)是一种通过连续的多帧、不同曝光的图像合成的高动态范围的照片，即根据不同的曝光时间的低动态范围图像(low-dynamic range，简称ldr)，并利用每个曝光时间相对应最佳细节的ldr图像来合成最终的hdr图像，因此高动态范围图像相对于普通图像而言，能够提供更多的动态范围和图像细节，从而能够更好的反映出真实环境中的视觉效果。
97.(2)景深、前景深以及背景深
98.景深(depth of field，简称dof)是指在摄像头或其他成像器前沿能够取得清晰图像的成像所测定的被摄物体前后距离范围。也就是说，景深是焦点之前以及焦点之后所形成的清晰范围。其中，焦点包括光线通过镜头聚焦在感光元件上时，获取到的一个最清晰的点。前景景深包括在焦点之前的清晰范围，背景景深包括在焦点之后的清晰范围。
99.影响景深的重要因素可包括光圈、镜头以及拍摄物的距离。当光圈越大(光圈值f越小)时，景深越浅，当光圈越小(光圈值f越大)时，景深越深；当镜头焦距越长时，景深越浅，当镜头焦距越短时，景深越深。可通过以下公式对景深、前景深以及背景深的影响因素进行说明：
100.前景深＝(光圈*弥散圈系数*对焦距离的平方)/(镜头焦距的平方 光圈*弥散圈系数*对焦距离)，其中，弥散圈系数与采用的感光元件的大小有关。
101.背景深＝(光圈*弥散圈系数*对焦距离的平方)/(镜头焦距的平方-光圈*弥散圈系数*对焦距离)。
102.景深＝前景深 背景深。
103.(3)自动对焦
104.自动对焦(auto focus，简称af)是一种利用物体光反射的原理，使得物体反射的光被相机上的电荷耦合器件(charge coupled device，简称ccd)接受，通过计算机处理，带动电动对焦装置对物体进行对焦的方式。
105.(4)光圈
106.光圈是一种用于控制光线透过镜头，进入机身内感光面光量的装置，即，光圈能够控制镜头的进光亮。通常采用光圈值f表示表示光圈大小。即，光圈值f越小表示光圈越大；光圈值f越大表示光圈越小。
107.(5)曝光度
108.曝光度(exposure value，简称ev)是由快门速度值和光圈值组合表示摄影镜头通
光能力的一个数值。快门速度越低，光圈越大，通光时间和面积就越大，即曝光度大。例如光圈f/2.8,快门1/15秒的ev值比光圈f/8,快门1/60秒的ev值大。
109.(6)自动曝光
110.自动曝光(automatic exposure，简称ae)，自动曝光主要分为三类，全自动程式曝光，光圈先决曝光以及快门先决曝光。在程序自动曝光方式中，照相机能根据测光系统所测得的被摄画面的曝光度，按照厂家生产时所设定的快门及光圈曝光组合，自动地设定快门速度和光圈值。
111.自动曝光是指一种相机根据光线的强弱自动调整曝光量的曝光方式，通过采用自动曝光的方式，能够解决曝光过度或者曝光不足导致拍摄的照片质量低的问题。
112.(7)逆光
113.逆光是一种由于被摄主体恰好处于光源和照相机之间的状况。该状态下，容易造成被摄主体曝光不充分的问题，因此在一般情况下摄影者应尽量避免在逆光条件下拍摄物体。
114.(8)图像配准
115.图像配准(image registration)是一种将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程。
116.由于hdr算法是一种多帧图像合成的算法，摄像头按照连续的多帧、不同曝光的方式获取多个拍摄图像，由于每2帧的拍摄图像之间，存在几十毫秒的时间差，因此两个拍摄图像之间会存在差异，因此在hdr算法中，多帧图像合成时，需要对两个或多个拍摄图像进行图像配准，校准拍摄图像间的差异。
117.图1为相关技术中基于hdr算法的图像合成示意图，以自拍场景为例，如图1所示，图1中示出了“过曝照片”、“正常曝光照片”、“欠曝照片”以及根据这3张图像合成的“高动态范围图像”。其中，“过曝照片”、“正常曝光照片”以及“欠曝照片”这3张图像是摄像头按照连续多帧、不同曝光的拍摄方式获取的3个图像。图像处理单元根据获取的这3个图像中每个像素对应的像素值，计算出这3个图像中每个像素对应的合成权重。并根据这3个图像中每个像素对应的合成权重，对这3个图像进行合成，生成“高动态范围图像”。
118.例如，如图1所示，图像处理单元根据“过曝照片”、“正常曝光照片”以及“欠曝照片”中黑色线框对应的显示区域中每个像素对应的像素值，计算出这3个图像中黑色线框对应的显示区域中每个像素对应的合成权重，并通过这3个图像中黑色线框对应的显示区域中每个像素对应的合成权重对这3张图像中黑色线框对应的显示区域进行合成，生成“高动态范围图像”中黑色线框对应的显示区域。从“高动态范围图像”中黑色线框对应的显示区域可以看出，该显示区域相较于“过曝照片”、“正常曝光照片”以及“欠曝照片”中黑色线框的显示区域，亮度适中。
119.在相关技术中，通过电子设备进行拍照的拍照场景下的hdr算法如下表1所示：
120.表1
121.122.在上表1中，步骤11包括获取同一拍摄物体在摄像头按照连续多帧的拍摄方式拍摄的3张图像，其中，这3张图像中每个图像的曝光度不同，例如，第1张图像的曝光度为exp0，第2张图像的曝光度为exp1，第3张图像的曝光度为exp2。
123.步骤12包括将获取的3张图像进行匹配、叠加的过程。具体地，步骤12包括校准拍摄的3张图像之间的差异，若判断出3张图像之间的差异大于预设值，则无法进行后续步骤的合成，图像之间的差异可包括图像之间的位置偏差。
124.步骤13包括根据获取的每张图像中每个像素的像素值，计算出每张图像中每个像素对应的合成权重。
125.步骤14包括通过3张图像中每个像素对应的合成权重，对获取的3张图像进行合成，生成高动态范围图像。
126.此外，在相关技术合成高动态范围图像的过程中，由于所拍摄的图像可包括人脸图像和背景图像，需要分离人脸图像和背景图像。如图2所示，图像处理单元通过人像分割算法将人脸图像从所拍摄的图像中抠出，获取背景图像；按照步骤13计算出背景图像中每个像素的合成权重；根据抠出的人脸图像、背景图像以及背景图像中每个像素的合成权重，生成hdr图像。其中抠出的人脸图像的曝光度exp0。也就是说，针对抠出的人脸图像不需要计算人脸图像中每个像素对应的合成权重。这样的合成方式，是由于相关技术中的hdr算法设置了人脸保护策略，人脸保护策略包括以人脸亮度为核心确定整张图像的基础亮度。并且在通常情况下，曝光度为exp 0的人脸图像是亮度适中且清晰的。
127.然而相关技术合成高动态范围图像存在以下缺陷：
128.缺陷一：在自拍场景中，在人脸对焦清晰的情况下，存在背景模糊的问题，即相机景深浅的问题。例如，如图3所示，图3为f2.0光圈的摄像头所拍摄的自拍图像，在图3中，40cm景深处的人脸1清晰，而150cm景深处的人脸2模糊。
129.如图3所示，在该自拍图像中，前景包括人脸1，背景包括人脸2以及电脑等，并且该自拍图像存在前景清晰，而背景模糊的问题。造成该问题的原因，是由于用户所持的电子设备不同，以及拍照距离不同，从而形成的前景和背景的深度均不相同，例如，以自拍相机a为例，自拍相机a的景深表如下表2所示：
130.表2
[0131][0132]
例如，从上表2可以看出，当拍照距离为40cm时，在前景深和背景深之间的景深范围内的图像是清晰的，也就是说，在总景深31cm内拍摄的图像是清晰的，而在总景深31cm之
外的图像是模糊的。
[0133]
缺陷二：光圈越大，景深越浅。
[0134]
在相关技术中，为了获取更大的进光量，摄像头所采用的光圈通常越大越好。然而自拍场景下受到拍照距离的限制，例如，一般拍照距离在40cm左右，拍照距离短导致进光量少，从而造成背景清晰度无法达到很清晰的效果。例如：电子设备110采用f2.2小光圈，景深较好，但是由于进光亮少，在低照度下所拍摄的图像质量较差。
[0135]
针对上述相关技术中的缺陷，本发明实施例提供了一种电子设备，用以解决上述相关技术中的缺陷。
[0136]
图4为本发明一实施例提供的一种电子设备的系统结构图。如图4所示，电子设备110可包括摄像头111、图像处理单元112、检测单元113、传感器114、显示屏115以及处理中心116。
[0137]
摄像头111可包括单摄像头或者多摄像头，用于根据用户输入的hdr拍照操作，获取当前拍照场景下具有不同景深的多帧图像，且每帧图像具备一个曝光度。需要说明的是，图像之间的曝光度可相同或不同。
[0138]
图像处理单元112用于将曝光度相同的多帧图像进行合成，生成全景深图像，并通过hdr算法对多个曝光度的全景深图像进行合成，生成高动态范围图像。
[0139]
摄像头111具体用于根据用户输入的hdr拍照操作，从当前拍照场景的多帧图像中获取初始前景图像和初始背景图像，其中，初始前景图像用于指示以前景为拍摄对象的图像，初始背景图像用于指示以背景为拍摄对象的图像。
[0140]
图像处理单元112具体用于根据初始前景图像生成至少一个前景景深图像；根据初始背景图像生成至少一个背景景深图像，且每个前景景深图像和每个背景景深图像均具有一个曝光度。
[0141]
图像处理单元112具体用于根据曝光度相同的多个前景景深图像以及多个背景景深图像，生成全景深图像。
[0142]
图像处理单元112具体用于根据前景景深图像中每个像素对应的像素值，计算出该曝光度的前景景深图像中每个像素的合成权重；根据背景景深图像中每个像素对应的像素值，计算出该曝光度的背景景深图像中每个像素的合成权重；通过获取的多个曝光度的前景景深图像中每个像素的合成权重和多个曝光度的前景景深图像中每个像素的合成权重，对多个曝光度的前景景深图像和背景景深图像进行合成，生成高动态范围图像。
[0143]
检测单元113用于从初始前景图像中，识别出对象的个数。
[0144]
图像处理单元112还用于当对象的个数大于1时，确定出多个对象对应的第一对象景深。当对象的个数等于1时，确定出对象对应的第二对象景深。
[0145]
传感器114用于对不同第一对象景深的多个对象进行对焦，获取多个第一对象对焦区域。对第二对象景深的对象进行对焦，获取第二对象对焦区域。
[0146]
图像处理单元112还用于根据初始前景图像、多个第一对象对焦区域、多个第一对象景深以及对应的曝光度，生成多个前景景深图像。根据初始前景图像、第二对象对焦区域、第二对象景深以及对应的曝光度，生成一个前景景深图像。
[0147]
检测单元113还用于检测多个第一对象对焦区域之间的对比度是否大于预设对比值。
[0148]
图像处理单元112还用于根据预设的景深范围，从初始背景图像中确定出至少一个背景景深，且背景景深大于第一对象景深或者第二对象景深；对至少一个背景景深进行对焦，获取至少一个背景对焦区域；根据初始背景图像、至少一个背景对焦区域、至少一个背景景深以及对应的曝光度，生成至少一个背景景深图像。
[0149]
显示屏115用于显示显示生成的高动态范围图像。
[0150]
处理中心116用于接收摄像头111、图像处理单元112、检测单元113以及传感器114输出的信息。处理中心116还用于向显示屏115输出高动态范围图像信息，以使得显示屏115能够显示生成的高动态范围图像。
[0151]
图5为本发明一实施例提供的一种电子设备的结构示意图，如图5所示，该电子设备110包括摄像头111和显示屏115。其中，摄像头111可包括单摄像头或者多摄像头，用于拍摄多帧图像。显示屏115用于显示多种变化的数字、文字、图形图像等等。
[0152]
在本发明实施例中，摄像头111可包括单摄像头或者多摄像头，用于根据用户输入的hdr拍照操作，获取当前拍照场景下具有不同景深的多帧图像，且每帧图像具备一个曝光度。显示屏115用于显示显示生成的高动态范围图像。
[0153]
图6是本发明一实施例所提供的一种高动态范围图像合成方法的流程图，如图6所示，该方法包括：
[0154]
步骤102、根据用户输入的hdr拍照操作，获取当前拍照场景下具有不同景深的多帧图像，且每帧图像具备一个曝光度。
[0155]
在本发明实施例中，在执行步骤102之前，需要在电子设备110中安装具有拍照功能的应用程序。例如，相机。当打开相机的拍照功能后，显示屏115显示当前拍照场景的环境，此时，根据用户输入的hdr拍照操作，获取当前拍照场景下具有不同景深的多帧图像，且每帧图像具备一个曝光度，需要说明的是，图像之间的曝光度可相同或不同。
[0156]
本发明实施例中，例如，以3个不同景深，3个不同曝光度为例，对获取当前拍照场景下具有不同景深的多帧图像进行说明，例如，当3个景深包括dof0、dof1、dof2，3个曝光度包括exp0、exp1、exp2时，根据用户输入的hdr拍照操作，获取当前拍照场景下具有3个景深的9帧图像，其中，9帧图像分别包括景深为dof0、曝光度为exp0的图像、景深为dof0、曝光度为exp1的图像、景深为dof0、曝光度为exp2的图像、景深为dof1、曝光度为exp0的图像、景深为dof1、曝光度为exp1的图像、景深为dof1、曝光度为exp2的图像、景深为dof2、曝光度为exp0的图像、景深为dof2、曝光度为exp1的图像、景深为dof2、曝光度为exp2的图像。
[0157]
在实际应用中，相关技术由于在获取多帧图像时，只考虑获取不同曝光度的多帧图像，并根据不同曝光度的多帧图像进行合成，生成高动态范围图像，因此相关技术中的方案容易导致拍摄背景模糊的问题。而本发明实施例，通过执行步骤102，获取不同景深的多帧图像，以便后续步骤生成的高动态范围图像，从而能够获取一张各个景深清晰，且高动态范围的图像的同时，能够解决景深浅导致的背景模糊且动态范围不足，造成高动态范围图像过曝、欠曝问题。
[0158]
步骤104、将曝光度相同的多帧图像进行合成，生成全景深图像。
[0159]
本发明实施例中，以上述9帧图像为例，例如，将景深为dof0、曝光度为exp0的图像、景深为dof1、曝光度为exp0的图像、景深为dof2、曝光度为exp0的图像进行合成，从而能够生成一张具有全景深图像，且该全景深图像的曝光度为exp0，且该全景深图像具有3个景
深。通过步骤104，能够将上述9帧图像进行合成，生成3张全景深图像，且每个全景深图像的曝光度不同。也就是说，将曝光度相同的多帧图像进行合成后，所生成全景深图像具备多个景深。
[0160]
步骤106、通过hdr算法对多个曝光度的全景深图像进行合成，生成高动态范围图像。
[0161]
本发明实施例中，以上述生成的3张全景深图像为例，步骤106是通过hdr算法对3张全景深图像进行合成，生成高动态范围图像。
[0162]
本发明实施例中，步骤106可具体包括：
[0163]
步骤1061、根据全景深图像中每个像素对应的像素值，计算出该曝光度的全景深图像中每个像素的合成权重。
[0164]
本发明实施例中，通过获取全景深图像中每个像素对应的像素值之后，通过权重计算公式：
[0165][0166]
其中，w
uniform
(z)表示为像素z的合成权重，z
min
表示为最小有效像素值，z
max
表示为最大有效像素值，其中z
min
和z
max
的取值可根据需求设定。也就是说，若像素z处于有效像素值范围之间，则像素z的合成权重为1，即表明像素z在后续合成高动态范围图像时能够作为有效像素。若像素z未处于有效像素值范围之间，则像素z的合成权重为0，即表明像素z在后续合成高动态范围图像时不能作为有效像素。
[0167]
步骤1062、通过获取的多个曝光度的全景深图像中每个像素的合成权重，对多个曝光度的全景深图像进行合成，生成高动态范围图像。
[0168]
本发明实施例中，通过步骤1061计算全景深图像中每个像素的合成权重之后，通过步骤1062，能够将多个曝光度的全景深图像中的有效像素进行合成，从而能够生成一张各个景深清晰，且高动态范围的图像，解决了相关技术中背景模糊且动态范围不足，造成高动态范围图像过曝、欠曝问题。
[0169]
本发明实施例中，根据用户输入的hdr拍照操作，获取当前拍照场景下具有不同景深的多帧图像，且每帧图像具备一个曝光度，将曝光度相同的多帧图像进行合成，生成全景深图像，通过hdr算法对多个曝光度的全景深图像进行合成，生成高动态范围图像，从而能够获取一张各个景深清晰，且高动态范围的图像，并且能够同时解决景深浅导致的背景模糊且动态范围不足，造成高动态范围图像过曝、欠曝问题。
[0170]
图7a和图7b是本发明一实施例所提供的一种高动态范围图像合成方法的流程图，如图7a和图7b所示，该方法包括：
[0171]
步骤202、根据用户输入的hdr拍照操作，从当前拍照场景的多帧图像中获取初始前景图像，并根据初始前景图像生成至少一个前景景深图像。
[0172]
本发明实施例中，如图1所示，在拍照场景中，摄像头111响应于用户输入的hdr拍照操作，将hdr拍照指令发送至处理中心116，处理中心116根据hdr拍照指令控制电子设备110中的相机进行拍照，此时，摄像头111按照连续多帧的拍摄方式，从当前拍照场景的多帧图像，其中，多帧图像中包括初始前景图像。
[0173]
以当前拍照场景为多人拍照场景为例，可将包含多个对象的图像定义为初始前景图像，将剔除多个对象的图像定义为初始背景图像。当每个对象所处的景深不同时，需要根据初始前景图像生成至少一个前景景深图像，可理解为，根据每个对象所处的景深，生成该对象对应的一个前景景深图像。因此，从拍照图像中获取前景景深图像可分为两种情况，一种是前景景深图像中对象的个数大于1，即前景景深图像包括多个对象时获取多个前景景深图像的情况；另一种是前景景深图像中对象的个数等于1，即前景景深图像包括一个对象时获取一个前景景深图像的情况。
[0174]
本发明实施例中，步骤202中根据初始前景图像生成至少一个前景景深图像可具体包括：
[0175]
步骤2021、从初始前景图像中，识别出对象的个数，当对象的个数大于1时，执行步骤2022；当对象的个数等于1时，执行步骤2025。
[0176]
本发明实施例中，对象可包括人脸或者物体。以下步骤中，均以对象包括人脸为例进行说明。
[0177]
本发明实施例中，可通过机器学习算法，在学习人脸特征之后，能够从拍照图像中识别出人脸，从而确定出人脸的个数。当人脸的个数大于1时，表明当前的拍照图像为多人合照的图像；当人脸的个数等于1时，表明当前的拍照图像为单人拍照的图像。其中机器学习算法是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。通过研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。在本发明实施例中，在计算机学习人脸特征之后，能够具备识别人脸的功能，从而可根据机器学习算法，识别前景景深图像中的人脸个数。
[0178]
步骤2022、确定出多个对象对应的第一对象景深。
[0179]
本发明实施例中，可通过相位对焦、双摄深度算法或3d感光技术等方式获取人脸对应的第一人脸景深。其中，双摄深度算法用于指示一种通过采用双摄像头的深度相机获取拍照场景中物体距离摄像头物理距离的算法。
[0180]
本发明实施例中，在一种可选方案中，在执行步骤2022之前，还包括：判断对象的个数是否大于1且小于n，或者大于或等于n；若判断出对象的个数大于1且小于n，确定出每个对象对应的第一对象景深；若判断出对象的个数大于或等于n，确定出n个对象对应的第一对象景深。
[0181]
例如，n＝3的情况下，当识别出的对象个数为4个时，由于4＞n，因此，只需要确定出前3个对象对应的第一对象景深即可，从而能够减少图像处理单元的工作负荷，避免了对象数量过多的情况下，需要确定出每个对象对应的第一对象景深，从而造成图像处理效率低的问题。
[0182]
步骤2023、对不同第一对象景深的多个对象进行对焦，获取多个第一对象对焦区域。
[0183]
本发明实施例中，通过传感器113能够对每个第一人脸景深中的人脸进行对焦。在步骤2022中，由于通过该拍照图像识别出多个人脸，因此需要对多个人脸同时进行对焦。
[0184]
在本发明实施例中，例如，如图5所示，人脸1位于前景，人脸2位于背景，人脸1和人脸2所处的景深不同，因此，针对如图5的拍照图像，图像处理单元112需要分别对人脸1和人
脸2进行对焦，从而分别获取人脸1对应的第一人脸对焦区域和人脸2对应的第一人脸对焦区域。
[0185]
进一步地，该方法还包括：若判断出多个第一人脸景深为同一景深范围时，对相同景深范围的人脸景深中的人脸进行一次对焦，获取1个第一人脸对焦区域。
[0186]
步骤2024、根据初始前景图像、多个第一对象对焦区域、多个第一对象景深以及对应的曝光度，生成多个前景景深图像。
[0187]
在拍照场景中，相机能够根据测光系统测得拍照画面的曝光度，其中，测光系统可包括3d感光器件。本发明实施例中步骤2024具体可包括：通过拍照场景的高动态范围图像合成算法中的步骤21，根据初始前景图像、多个第一对象对焦区域、多个第一对象景深以及对应的曝光度，生成多个前景景深图像。其中，拍照场景的高动态范围图像合成算法如下表3所示：
[0188]
表3
[0189][0190]
在上表3中，步骤21包括获取同一拍摄物体在摄像头按照连续多帧的拍摄方式拍摄的3张图像，其中，这3张景深图像包括生成的1张前景景深图像和生成的2张背景景深图像，且每个景深图像的曝光度不同。生成的第1张前景景深图像包括景深为dof0，曝光度为exp0的图像；生成的第1张背景景深图像包括景深为dof1，曝光度为exp1的图像；生成的第2张背景景深图像包括景深为dof1，曝光度为exp2的图像。需要说明的是，步骤21的图像仅为一种举例说明，对拍摄图像的数量、生成的前景景深图像的数量、生成的背景景深图像的数量以及生成的前景景深图像和生成的背景景深图像对应的景深和曝光度均不做限定。
[0191]
步骤22包括将获取的3张景深图像进行匹配、叠加的过程。具体地，步骤22包括校准拍摄的3张景深图像之间的差异，若判断出3张景深图像之间的差异大于预设值，则无法进行后续步骤的合成，其中，图像之间的差异可包括图像之间的位置偏差。
[0192]
步骤23包括根据获取的每张景深图像中每个像素对应的像素值，计算出每张景深图像中每个像素对应的合成权重。
[0193]
步骤24包括通过这3张景深图像中每个像素对应的合成权重，对这3张景深图像进行合成，生成高动态范围图像。
[0194]
本发明实施例中，针对步骤2024的执行过程，由于获取的每个第一人脸景深的深度不同，因此获取的人脸图像可处于前景或者背景中。针对每一个前景景深图像，图像处理单元112需要通过上述拍照场景的高动态范围图像合成算法中步骤21，根据初始前景图像、多个第一对象对焦区域、多个第一对象景深以及对应的曝光度，生成多个前景景深图像。例如初始前景图像中包括2个人脸，假设每个人脸对应的第一人脸景深所对应的曝光度为exp1个的情况下，则根据初始前景图像、多个第一对象对焦区域、多个第一对象景深以及对
应的曝光度，生成2个前景景深图像。
[0195]
作为一种可选方案，以图3为例，从初始前景图像中，获取人脸1的对焦区域、人脸1对应的第一人脸景深dof0、获取人脸2的对焦区域以及人脸2对应的第一人脸景深dof1，根据初始前景图像、人脸1的对焦区域、人脸2的对焦区域、人脸1对应的第一人脸景深dof0、人脸2对应的第一人脸景深dof1以及对应的曝光度，生成2个前景景深图像，分别包括人脸1对应的前景景深图像和人脸2对应的前景景深图像。即，该前景景深图像包括景深为dof0的图像和景深为dof1的图像。也就是说，通过本发明实施例中通过生成多个前景景深图像的方案，获取人脸2的对焦区域以及人脸2对应的第一人脸景深dof1，根据初始前景图像、人脸2的对焦区域、人脸2对应的第一人脸景深dof1以及对应的曝光度，生成人脸2对应的前景景深图像，能够解决相关技术中，位于背景中的人脸图像2模糊的问题。
[0196]
本发明实施例采用上述的技术方案，相对于相关技术而言，本发明根据初始前景图像、多个第一对象对焦区域以及多个第一对象景深以及对应的曝光度，生成多个前景景深图像，能够获取每个景深清晰的图像，避免了位于背景中的人脸图像模糊的问题。
[0197]
本发明实施例中，在步骤2024之前，还包括：检测多个人脸对焦区域之间的对比度是否小于预设对比值。
[0198]
在本发明实施例中，例如预设对比度为20％。通过检测多个人脸对焦区域之间的对比度，判断出获取的图像能否合成高动态范围图像。例如，当不同的人脸对焦区域之间的对比度超过20％时，不能继续进行合成高动态范围图像的步骤，即不能继续执行步骤2024。
[0199]
例如，如图8所示，在该拍照场景中，识别到人脸个数为3个，从而确定出3个人脸对焦区域，分别为图11中的对焦区域5、对焦区域6、对焦区域7。通过执行步骤111，检测3个人脸对焦区域之间的对比度，若检测出这3个人脸对焦区域之间的对比度小于预设对比值，则不能继续执行步骤2042，生成前景景深图像，即相当于不能执行后续步骤生成高动态范围图像。
[0200]
本发明实施例中，若检测出多个人脸对焦区域之间的对比小于预设对比值，继续执行步骤2042。
[0201]
步骤2025、确定出对象对应的第二对象景深。
[0202]
本发明实施例中，可通过相位对焦、双摄深度算法或3d感光技术等方式获取人脸对应的第二人脸景深。其中，双摄深度算法用于指示一种通过采用双摄像头的深度相机获取拍照场景中物体距离摄像头物理距离的算法。
[0203]
步骤2026、对第二对象景深的对象进行对焦，获取第二对象对焦区域。
[0204]
本发明实施例中，由于获取的前景景深图像中，识别出对象的个数为1个，因此只需要该人脸进行对焦。其中，获取第二人脸对焦区域的方式，如图9所示，图像处理单元112从初始前景图像中确定出人脸图像区域3之后，将人脸图像区域3的面积向外扩展至预设面积，以生成人脸图像区域4；从初始前景图像中去除人脸图像4中身体区域，生成第二人脸对焦区域。其中，预设面积与人脸图像区域3的面积之间的差值与预设面积的比值包括20％。
[0205]
步骤2027、根据初始前景图像、第二对象对焦区域以及第二对象景深以及对应的曝光度，生成一个前景景深图像。
[0206]
本发明实施例中，步骤2027中生成一个前景景深图像的过程可参见上述步骤2024。步骤2027与步骤2024的区别仅在于：步骤2024是图像处理单元112根据不同人脸分别
生成该人脸对应的前景景深图像，从而生成多个前景景深图像，而步骤2027是图像处理单元112根据同一个人脸生成该人脸对应的一个前景景深图像。
[0207]
例如上表3的步骤21所示，例如，某一人脸处于前景中，根据初始前景图像、该人脸对应的第二人脸对焦区域、第二人脸景深dof 0以及第二人脸景深对应的曝光度exp0，生成该人脸对应的前景景深图像。
[0208]
步骤204、从当前拍照场景的多帧图像中获取初始背景图像，并根据初始背景图像生成至少一个背景景深图像，且每个前景景深图像和每个背景景深图像均具有一个曝光度。
[0209]
本发明实施例中，如图1所示，在拍照场景中，摄像头111响应于用户输入的hdr拍照操作，将hdr拍照指令发送至处理中心116，处理中心116根据hdr拍照指令控制电子设备110中的相机进行拍照，此时，摄像头111按照连续多帧的拍摄方式，从当前拍照场景的多帧图像，其中，多帧图像中包括初始背景图像。
[0210]
以当前拍照场景为多人拍照场景为例，可将包含多个对象的图像定义为初始前景图像，将剔除多个对象的图像定义为初始背景图像。根据初始背景图像，生成背景景深图像，其中，背景景深图像包括以背景为对焦区域的图像。例如，如图4所示，图像处理单元112通过人像分割的算法，将人脸图像从所拍摄的拍照图像中抠出后，得到初始背景图像，再根据初始背景图像生成至少一个背景景深图像。
[0211]
本发明实施例中，作为一种可选方案，步骤204中根据初始背景图像生成至少一个背景景深图像的执行过程可具体包括：
[0212]
步骤2041、根据预设的景深范围，从初始背景图像中确定出至少一个背景景深，且背景景深大于第一对象景深或者第二对象景深。
[0213]
本发明实施例中，例如，预设的景深范围大于40cm。在步骤2041中，从初始背景图像中确定出至少一个背景景深的确定方式可包括：将景深范围大于40cm且小于1m之间的景深确定为一个背景景深；将景深范围大于1m且小于2m之间的景深确定为另一个背景景深；将景深范围大于2m的景深确定为又一个背景景深。除此之外，还可以将景深范围大于40cm的景深确定为一个背景景深，即获取的背景景深无论是1m或者是2m，均作为同一背景景深。本发明对于背景景深的景深范围的具体划分方式不做限定。
[0214]
步骤2042、对至少一个背景景深进行对焦，获取至少一个背景对焦区域。
[0215]
本发明实施例中，图像处理单元112对初始背景图像中的不同的背景景深分别进行对焦，获取至少一个背景对焦区域。
[0216]
在一种可选方案中，按照上述步骤2041的划分方式，对景深范围大于40cm且小于1m之间的背景景深对应的背景图像进行对焦，获取一个背景对焦区域；对景深范围大于1m且小于2m之间的背景景深对应的背景图像进行对焦，获取另一个背景对焦区域；景深范围大于2m的背景景深对应的背景图像进行对焦，获取另一个背景对焦区域，从而根据步骤2041能够获取到3个背景对焦区域。
[0217]
在另一种可选方案中，按照上述步骤2041的划分方式，将景深范围大于40cm的景深确定为一个背景景深，对景深范围大于40cm的背景景深对应的背景图像进行对焦，获取一个背景对焦区域，从而根据步骤2041只能够获取到1个背景对焦区域。
[0218]
步骤2043、根据初始背景图像、至少一个背景对焦区域以及至少一个背景景深，生
成至少一个背景景深图像。
[0219]
本发明实施例中，作为一种可选方案，图像处理单元112可根据上表3中的拍照场景的高动态范围图像合成算法中步骤21，根据初始背景图像、至少一个背景对焦区域、每个背景景深以及每个背景景深对应的至少一个曝光度，生成至少一个背景景深图像。例如上表3所示，在上表3中是在初始背景图像中，将景深范围大于40cm的景深确定为一个背景景深为例，即将景深范围大于40cm的背景景深对应的背景图像确定为同一背景的情况。因此根据上表3中的拍照场景下的高动态范围图像合成算法，针对景深范围大于40cm的背景景深dof1，根据初始背景图像、背景对焦区域、背景景深以及对应的曝光度exp1、exp2，能够生成2个背景景深图像。
[0220]
作为另一种可选方案，例如，按照上述步骤2041的划分方式，在初始背景图像中，将景深范围划分为3种情况时，图像处理单元112可根据如下表4中的拍照场景的高动态范围图像合成算法中步骤31，根据初始背景图像、3个背景对焦区域、3个背景景深以及对应的曝光度，生成3个背景景深图像。具体地，对于景深范围大于40cm且小于1m之间的背景景深dof0，根据初始背景图像、该背景景深对应的背景对焦区域以及对应的曝光度exp0，生成该背景景深对应的背景景深图像；对于景深范围大于1m且小于2m之间的背景景深dof1，根据初始背景图像、该背景景深对应的背景对焦区域以及对应的曝光度exp1，生成该背景景深对应的背景景深图像；对景深范围2m的背景景深dof2，根据初始背景图像、该背景景深对应的背景对焦区域以及对应的曝光度exp2，生成该背景景深对应的背景景深图像，从而执行步骤1063能够生成3个背景景深图像。需要说明的是，步骤31中的背景景深图像的生成方式仅为一种举例说明，对背景景深的数量(背景的数量)以及不同的背景景深对应的曝光度不做限定。
[0221]
表4
[0222][0223]
本发明实施例采用上述的技术方案，相对于相关技术而言，本发明根据初始背景图像、至少一个背景对焦区域、每个背景景深以及每个背景景深对应的至少一个曝光度，生成至少一个背景景深图像，从而避免了拍照场景中背景模糊的问题。
[0224]
在步骤204之后，该方法还包括：对前景景深图像和后景景深图像进行图像配准，若判断出前景景深图像和后景景深图像之间的图像差异小于预设值，则继续执行步骤206。
[0225]
本发明实施例中，图像配置的过程对应于上表3高动态范围图像合成算法中的步骤22。本发明实施例中，通过对前景景深图像和后景景深图像进行图像配准，校准拍摄图像间的差异，从而避免了图像差异过大的图像进行合成之后，生成的高动态范围图像的质量低的问题。
[0226]
步骤206、根据曝光度相同的多个前景景深图像以及多个背景景深图像，生成全景
深图像。
[0227]
本发明实施例中，步骤206的执行过程可参见上述步骤104。
[0228]
步骤208、根据前景景深图像中每个像素对应的像素值，计算出该曝光度的前景景深图像中每个像素的合成权重。
[0229]
本发明实施例中，通过获取前景景深图像中每个像素对应的像素值之后，通过权重计算公式
[0230][0232]
其中，w
uniform
(z)表示为像素z的合成权重，z
min
表示为最小有效像素值，z
max
表示为最大有效像素值，其中z
min
和z
max
的取值可根据需求设定。也就是说，若像素z处于有效像素值范围之间，则像素z的合成权重为1，即表明像素z在后续合成高动态范围图像时能够作为有效像素。若像素z未处于有效像素值范围之间，则像素z的合成权重为0，即表明像素z在后续合成高动态范围图像时不能作为有效像素。步骤210、根据背景景深图像中每个像素对应的像素值，计算出该曝光度的背景景深图像中每个像素的合成权重。
[0233]
本发明实施例中，该步骤的执行过程可参见上述步骤208，区别仅在于，步骤210是根据背景景深图像中每个像素对应的像素值，计算出该曝光度的背景景深图像中每个像素的合成权重。
[0234]
步骤212、通过获取的多个曝光度的前景景深图像中每个像素的合成权重和多个曝光度的前景景深图像中每个像素的合成权重，对多个曝光度的前景景深图像和背景景深图像进行合成，生成高动态范围图像。
[0235]
本发明实施例中，通过步骤208-步骤210对应的景深图像中每个像素的合成权重之后，通过步骤212，能够将多个曝光度的前景景深图像和背景景深图像中的有效像素进行合成，从而能够生成一张各个景深清晰，且高动态范围的图像，解决了相关技术中背景模糊且动态范围不足，造成高动态范围图像过曝、欠曝问题。
[0236]
本发明实施例中，例如，图10为本发明实施例所提供的一种逆光场景下合成的高动态范围图像。图11为现有技术所提供的一种在逆光场景下通过普通拍照方式获取的图像。图12为现有技术所提供的一种在逆光场景下hdr拍照获取的图像。如图11所示，该图像具有背景过曝、背景模糊的特点。或者，如图12所示，该图像具有背景不过曝、背景不清晰的特点。如图10所示，相对于相关技术所提供图像而言，本发明生成的高动态范围图像，具有各个景深清晰、背景不过曝的特点。因此通过本发明实施例所采用的技术方案，相对于现有技术而言，通过确定出每个人脸景深从而分别合成出每个人脸对应的前景景深图像以及通过确定出每个背景景深从而分别合成出每个背景对应的背景景深图像，从而增强了景深，能够在拍照场景且人脸对焦清晰的情况下，具有前景清晰和背景清晰的特点，并且能够解决光圈越大，景深越浅的问题，从而有效解决了拍照背景模糊的问题。
[0237]
本发明实施例中，进一步地，该方法还包括：通过采用曝光度为exp0的前景景深图像作为基准图像，并根据该基准图像以及背景景深图像和计算出的背景像素的合成权重，生成高动态范围图像。也就是说，将曝光度为exp0的前景景深图像中像素作为有效像素，并根据曝光度为exp0的前景景深图像，获取像素的有效范围值z
min
和z
max
，根据该有效范围值，
计算背景景深图像中每个像素的合成权重，并根据前景景深图像、背景景深图像和计算出的背景像素的合成权重，生成高动态范围图像，从而能够获取一张各个景深清晰，且高动态范围的图像的同时，能够进一步提高高动态范围图像的合成效率。
[0238]
本发明实施例提供的技术方案中，根据用户输入的hdr拍照操作，获取当前拍照场景下具有不同景深的多帧图像，且每帧图像具备一个曝光度，将曝光度相同的多帧图像进行合成，生成全景深图像，通过hdr算法对多个曝光度的全景深图像进行合成，生成高动态范围图像，从而能够获取一张各个景深清晰，且高动态范围的图像，并且能够同时解决景深浅导致的背景模糊且动态范围不足，造成高动态范围图像过曝、欠曝问题。
[0239]
图13a和图13b是本发明一实施例所提供的一种高动态范围图像合成方法的流程图，如图13a和图13b所示，该方法包括：
[0240]
步骤302、根据用户输入的hdr拍照操作，从当前拍照场景的多帧图像中获取初始前景图像，并根据初始前景图像生成至少一个前景景深图像。
[0241]
在本发明实施例中，该步骤的执行过程可参加上述步骤202。
[0242]
本发明实施例中，步骤302中根据初始前景图像生成至少一个前景景深图像可具体包括：
[0243]
步骤3021、从初始前景图像中，识别出对象的个数，当对象的个数大于1时，执行步骤3022；当对象的个数等于1时，执行步骤3027。
[0244]
本发明实施例中，该步骤的执行过程可参见上述步骤2021。
[0245]
步骤3022、确定出每个对象对应的第一对象景深。
[0246]
本发明实施例中，该步骤的执行过程可参见上述步骤2022。
[0247]
步骤3023、判断每个对象对应的第一对象景深是否位于同一景深范围，若是，执行步骤3024；若否，执行步骤3025。
[0248]
本发明实施例中，以对象包括人脸为例，若判断出多个第一人脸景深位于同一景深范围时，表明多个人脸处于同一景深范围。例如，当前的拍照场景为多个人并排拍照的情况。若判断出多个第一人脸景深不位于同一景深范围时，表明多个人脸不处于同一景深范围。例如，当前的拍照场景为多个人处于前后排拍照的情况。
[0249]
步骤3024、对同一景深范围中的第一对象景深中的人脸进行对焦，获取一个第一对象对焦区域。
[0250]
本发明实施例中，对同一景深范围中的第一对象景深中的人脸进行一次对焦，获取1个第一对象对焦区域。
[0251]
步骤3025、对多个第一对象景深中的人脸进行对焦，获取多个第一对象对焦区域。
[0252]
本发明实施例中，该步骤的执行过程可参见上述步骤2023。
[0253]
步骤3026、根据初始前景图像、多个第一对象对焦区域、多个第一对象景深以及对应的曝光度，生成多个前景景深图像。
[0254]
在拍照场景中，相机能根据测光系统测得拍照画面的曝光度，其中，测光系统可包括3d感光器件。本发明实施例中步骤3026具体可包括：通过拍照场景的高动态范围图像合成算法中的步骤31，根据初始前景图像、多个第一对象对焦区域、多个第一对象景深以及对应的曝光度，生成多个前景景深图像。其中，拍照场景的高动态范围图像合成算法如下表5所示：
[0255]
表5
[0256][0257][0258]
在上表5中，步骤31包括获取同一拍摄物体在摄像头按照连续多帧的拍摄方式拍摄的3张图像，其中，这3张景深图像包括生成的n张景深图像，其中，这n张景深图像具有对应的曝光度。例如，某一图像的景深为dof0，该景深对应的曝光度有n个，具体包括曝光度exp0至曝光度expn。
[0259]
步骤32包括将获取的n张图像进行匹配、叠加的过程。具体地，步骤32包括校准拍摄的n张图像之间的差异，若判断出n张图像之间的差异大于预设值，则无法进行后续步骤的合成，其中，图像之间的差异可包括图像之间的位置偏差。
[0260]
步骤33包括根据获取的每张图像中每个像素对应的像素值，计算出每张图像中每个像素对应的合成权重。
[0261]
步骤34包括根据获取的这n个图像以及根据计算出的这n个图像中每个像素对应的合成权重，生成n个初始的高动态范围图像。
[0262]
步骤35包括将生成的n个初始的高动态范围图像进行二次图像配准。具体地，步骤35包括校准拍摄的n张图像之间的差异，若判断出n张图像之间的差异大于预设值，则无法进行后续步骤的合成。
[0263]
步骤36包括对生成的n个初始的高动态范围图像进行合成，生成高动态范围图像。
[0264]
针对步骤3026的执行过程，与上述步骤2024的执行过程，区别在于：步骤3026中每一个前景景深图像对应有n个曝光度。
[0265]
本发明实施例采用上述的技术方案，相对于相关技术而言，本发明根据初始前景图像、多个第一对象对焦区域、多个第一对象景深以及对应的曝光度，生成多个前景景深图像，从而避免了位于背景中的人脸图像模糊的问题。
[0266]
步骤3027、确定出人脸对应的第二对象景深。
[0267]
本发明实施例中，该步骤的执行过程可参见上述步骤2025。
[0268]
步骤3028、对第二对象景深中的人脸进行对焦，获取第二对象对焦区域。
[0269]
本发明实施例中，该步骤的执行过程可参见上述步骤2026。
[0270]
步骤3029、根据初始前景图像、第二对象对焦区域以及第二对象景深以及对应的
曝光度，生成一个前景景深图像。
[0271]
本发明实施例中，该步骤的执行过程可参见上述步骤2027。
[0272]
步骤304、从当前拍照场景的多帧图像中获取初始背景图像，并根据初始背景图像生成至少一个背景景深图像，且每个前景景深图像和每个背景景深图像均具有一个曝光度。
[0273]
本发明实施例中，该步骤的执行过程可参见上述步骤204。
[0274]
步骤304可包括以下具体步骤：
[0275]
步骤3041、根据预设的景深范围，从初始背景图像中确定出至少一个背景景深，且背景景深大于第一对象景深或者第二对象景深。
[0276]
本发明实施例中，该步骤的执行过程可参见上述步骤2041。
[0277]
步骤3042、判断至少一个背景景深的景深类型，景深类型包括连续景深、多景深、单景深，若判断出至少一个背景景深的景深类型为单景深，执行步骤3043；若判断出至少一个背景景深的景深类型为多景深，执行步骤3044；至少一个背景景深的景深类型为连续景深，执行步骤3045。
[0278]
本发明实施例中，连续景深用于指示同一物体连续延长的背景所对应的景深，例如墙壁所对应的景深为连续景深。多景深用于指示具有多个不同景深的背景所对应的景深，例如，50cm处的一个椅子以及2m处的一个桌子组合成的背景所对应的景深。单景深用于指示大于预设景深范围的背景所对应的景深。例如，在以10米外的某建筑物的背景所对应的景深。
[0279]
本发明实施例中，若判断出至少一个背景景深的景深类型为单景深时，表明至少一个背景景深只包括一个背景景深；若判断出至少一个背景景深的景深类型为多景深时，表明至少一个背景景深只包括多个背景景深；若判断出至少一个背景景深的景深类型为连续景深时，表明至少一个背景景深只包括多个背景景深，需要对连续景深进行景深分割，得到多景深。
[0280]
步骤3043、对单景深对应的背景图像进行对焦，获取一个背景对焦区域。
[0281]
本发明实施例中，该步骤的获取背景对焦区域的过程可参见上述步骤2042。
[0282]
步骤3044、对多个不同背景景深对应的背景图像进行对焦，获取多个背景对焦区域。
[0283]
本发明实施例中，该步骤的获取背景对焦区域的过程可参见上述步骤2042。
[0284]
步骤3045、对连续景深对应的背景图像进行分割，得到多景深，并继续执行步骤3044。
[0285]
本发明实施例中，由于背景景深的景深类型为连续景深时，表明至少一个背景景深只包括多个背景景深，需要对连续景深进行景深分割，得到多景深，并继续将多景深对应的背景图像进行对焦，获取多个背景对焦区域，其中，获取多个背景对焦区域的过程可参见上述步骤3044。
[0286]
步骤3046、根据初始背景图像、至少一个背景对焦区域以及至少一个背景景深，生成至少一个背景景深图像。
[0287]
本发明实施例中步骤3046具体可包括：通过拍照场景的高动态范围图像合成算法中的步骤31，根据初始背景图像、至少一个背景对焦区域以及至少一个背景景深，生成至少
一个背景景深图像。其中，拍照场景的高动态范围图像合成算法如上表5所示。
[0288]
针对步骤3046的执行过程，与上述步骤2043的执行过程，区别在于：步骤3046中每一个背景景深图像对应于n个曝光度。
[0289]
在步骤304之后，该方法还包括：对前景景深图像和后景景深图像进行图像配准，若判断出前景景深图像和后景景深图像之间的图像差异小于预设值，则继续执行步骤306。
[0290]
本发明实施例中，图像配置的过程对应于上表5高动态范围图像合成算法中的步骤36。本发明实施例中，通过对前景景深图像和后景景深图像进行图像配准，校准拍摄图像间的差异，从而避免了图像差异过大的图像进行合成之后，生成的高动态范围图像的质量低的问题。
[0291]
步骤306、根据曝光度相同的多个前景景深图像以及多个背景景深图像，生成全景深图像。
[0292]
本发明实施例中，步骤306的执行过程可参见上述步骤104。
[0293]
步骤308、根据前景景深图像中每个像素对应的像素值，计算出该曝光度的前景景深图像中像素的合成权重。
[0294]
本发明实施例中，该步骤的执行过程可参见上述步骤208。
[0295]
步骤310、根据背景景深图像中每个像素对应的像素值，计算出该曝光度的背景景深图像中像素的合成权重。
[0296]
本发明实施例中，该步骤的执行过程可参见上述步骤210。
[0297]
步骤312、通过获取的多个曝光度的前景景深图像中每个像素的合成权重和多个曝光度的前景景深图像中每个像素的合成权重，对多个曝光度的前景景深图像和背景景深图像进行合成，生成高动态范围图像。
[0298]
本发明实施例中，该步骤的执行过程可参见上述步骤212。
[0299]
本发明实施例中，通过本发明实施例所采用的技术方案，相对于现有技术而言，通过确定出每个人脸景深从而分别合成出每个人脸对应的前景景深图像以及通过确定出每个背景景深从而分别合成出每个背景对应的背景景深图像，从而增强了景深，能够在拍照场景且人脸对焦清晰的情况下，具有前景清晰和背景清晰的特点，并且能够解决光圈越大，景深越浅的问题，从而有效解决了拍照背景模糊的问题。
[0300]
本发明实施例提供的技术方案中，根据用户输入的hdr拍照操作，获取当前拍照场景下具有不同景深的多帧图像，且每帧图像具备一个曝光度，将曝光度相同的多帧图像进行合成，生成全景深图像，通过hdr算法对多个曝光度的全景深图像进行合成，生成高动态范围图像，从而能够获取一张各个景深清晰，且高动态范围的图像，并且能够同时解决景深浅导致的背景模糊且动态范围不足，造成高动态范围图像过曝、欠曝问题。
[0301]
图14是本发明一实施例所提供的一种电子设备的结构示意图，应理解，电子设备110能够执行上述高动态范围图像合成方法中的各个步骤，为了避免重复，此处不再详述。电子设备110包括：处理单元401和检测单元402。
[0302]
处理单元401用于根据用户输入的hdr拍照操作，获取当前拍照场景下具有不同景深的多帧图像，且每帧图像具备一个曝光度。
[0303]
所述处理单元401还用于将曝光度相同的多帧图像进行合成，生成全景深图像。
[0304]
所述处理单元401还用于通过hdr算法对多个曝光度的全景深图像进行合成，生成
高动态范围图像。
[0305]
在一种可能的实现方式中，所述处理单元401还用于从当前拍照场景的多帧图像中获取初始前景图像，并根据所述初始前景图像生成至少一个前景景深图像。
[0306]
所述处理单元401还用于从当前拍照场景的多帧图像中获取初始背景图像，并根据所述初始背景图像生成至少一个背景景深图像，且每个前景景深图像和每个背景景深图像均具有一个曝光度。
[0307]
在一种可能的实现方式中，所述处理单元401还用于根据曝光度相同的多个所述前景景深图像以及多个所述背景景深图像，生成全景深图像。
[0308]
在一种可能的实现方式中，所述处理单元401还用于根据所述前景景深图像中每个像素对应的像素值，计算出该曝光度的前景景深图像中每个像素的合成权重。
[0309]
所述处理单元401还用于根据所述背景景深图像中每个像素对应的像素值，计算出该曝光度的背景景深图像中每个像素的合成权重。
[0310]
所述处理单元401还用于通过获取的多个曝光度的前景景深图像中每个像素的合成权重和多个曝光度的前景景深图像中每个像素的合成权重，对多个曝光度的前景景深图像和背景景深图像进行合成，生成高动态范围图像。
[0311]
在一种可能的实现方式中，检测单元402用于从所述初始前景图像中，识别出对象的个数。
[0312]
所述处理单元401还用于当对象的个数大于1时，确定出多个所述对象对应的第一对象景深。
[0313]
所述处理单元401还用于对不同第一对象景深的多个对象进行对焦，获取多个第一对象对焦区域。
[0314]
所述处理单元401还用于根据所述初始前景图像、所述多个第一对象对焦区域、多个第一对象景深以及对应的曝光度，生成多个前景景深图像。
[0315]
在一种可能的实现方式中，还包括：
[0316]
所述处理单元401还用于当对象的个数等于1时，确定出所述对象对应的第二对象景深。
[0317]
所述处理单元401还用于对所述第二对象景深的对象进行对焦，获取第二对象对焦区域。
[0318]
所述处理单元401还用于根据所述初始前景图像、所述第二对象对焦区域、所述第二对象景深以及对应的曝光度，生成一个前景景深图像。
[0319]
在一种可能的实现方式中，所述检测单元402还用于检测多个所述第一对象对焦区域之间的对比度是否大于预设对比值；若检测出多个所述第一对象对焦区域之间的对比度大于预设对比值，继续执行所述对不同第一对象景深的多个对象进行对焦，获取多个第一对象对焦区域的步骤。
[0320]
在一种可能的实现方式中，所述对象包括人脸或者物体。
[0321]
在一种可能的实现方式中，所述处理单元401还用于根据预设的景深范围，从所述初始背景图像中确定出至少一个背景景深，且所述背景景深大于所述第一对象景深或者所述第二对象景深。
[0322]
所述处理单元401还用于对所述至少一个背景景深进行对焦，获取至少一个背景
对焦区域；
[0323]
所述处理单元401还用于根据所述初始背景图像、所述至少一个背景对焦区域、所述至少一个背景景深以及对应的曝光度，生成至少一个背景景深图像。应理解，这里的信息显示设备110以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现，对此不作具体限定。例如，“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，asic)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
[0324]
因此，在本发明的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0325]
本发明实施例还提供一种电子设备，该电子设备可以是终端设备也可以是内置于所述终端设备的电路设备。该设备可以用于执行上述方法实施例中的功能/步骤。
[0326]
图15为本发明一实施例提供的另一种电子设备的结构示意图，如图15所示，电子设备900包括处理器910和收发器920。可选地，该电子设备900还可以包括存储器930。其中，处理器910、收发器920和存储器930之间可以通过内部连接通路互相通信，传递控制和/或数据信号，该存储器930用于存储计算机程序，该处理器910用于从该存储器930中调用并运行该计算机程序。
[0327]
可选地，电子设备900还可以包括天线940，用于将收发器920输出的无线信号发送出去。
[0328]
上述处理器910可以和存储器930可以合成一个处理装置，更常见的是彼此独立的部件，处理器910用于执行存储器930中存储的程序代码来实现上述功能。具体实现时，该存储器930也可以集成在处理器910中，或者，独立于处理器910。该处理器910可以与图10中设备900中的处理单元802对应。
[0329]
除此之外，为了使得电子设备900的功能更加完善，该电子设备900还可以包括输入单元960、显示单元970、音频电路980、摄像头990和传感器901等中的一个或多个，所述音频电路还可以包括扬声器982、麦克风984等。其中，显示单元970可以包括显示屏。
[0330]
可选地，上述电子设备900还可以包括电源950，用于给终端设备中的各种器件或电路提供电源。
[0331]
应理解，图15所示的电子设备900能够实现图6、图7a、图7b、图13a以及图13b所示高动态范围图像合成方法实施例的各个过程。电子设备900中的各个模块的操作和/或功能，分别为了实现上述方法实施例中的相应流程。具体可参见上述方法实施例中的描述，为避免重复，此处适当省略详细描述。
[0332]
应理解，图15所示的电子设备900中的处理器910可以是片上系统(system on a chip，soc)，该处理器910中可以包括中央处理器(central processing unit，cpu)，还可以进一步包括其他类型的处理器，所述cpu可以叫主cpu。各部分处理器配合工作实现之前的方法流程，并且每部分处理器可以选择性执行一部分软件驱动程序。
[0333]
总之，处理器910内部的各部分处理器或处理单元可以共同配合实现之前的方法流程，且各部分处理器或处理单元相应的软件程序可存储在存储器930中。
[0334]
本发明还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得计算机执行如上述图6、图7a、图7b、图13a以及图13b所示的高动态范围图像合成方法中的各个步骤。
[0335]
以上各实施例中，涉及的处理器910可以例如包括中央处理器(central processing unit，cpu)、微处理器、微控制器或数字信号处理器，还可包括gpu、npu和isp，该处理器还可包括必要的硬件加速器或逻辑处理硬件电路，如特定应用集成电路(application-specific integrated circuit，asic)，或一个或多个用于控制本发明技术方案程序执行的集成电路等。此外，处理器可以具有操作一个或多个软件程序的功能，软件程序可以存储在存储器中。
[0336]
存储器可以是只读存储器(read-only memory，rom)、可存储静态信息和指令的其它类型的静态存储设备、随机存取存储器(random access memory，ram)或可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备，或者还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质等。
[0337]
本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示单独存在a、同时存在a和b、单独存在b的情况。其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
[0338]
本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0339]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0340]
在本发明所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0341]
以上所述，仅为本发明的具体实施方式，任何熟悉本技术领域的技术人员在本发
明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以所述权利要求的保护范围为准。