一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

曝光补偿方法、装置和电子设备与流程

2021-10-16 02:28:00 来源:中国专利 TAG:电子设备 补偿 装置 摄像 曝光


1.本技术属于摄像技术领域,具体涉及一种曝光补偿方法、装置和电子设备。


背景技术:

2.目前,自动曝光控制技术(auto exposure control,aec)是基于灰度世界假设,灰度世界假设一般认为灰卡的反射率(即18%)为中灰,aec技术具体原理为:根据不同的测光模式(例如点测光、局部测光、评价测光、中心测光等),计算测光区域的亮度值,逐步调整曝光参数(例如感光度、光圈大小、快门速度等),使得计算出的测光区域的亮度值接近中灰,并在达到此条件时aec算法收敛,此时用户下达拍照指令后可完成自动曝光拍照。
3.然而,采用aec技术进行曝光补偿时,对于色彩较为丰富的自然场景而言,一般符合灰度世界假设,对这类场景采用aec技术进行曝光时通常能得到视觉效果较好的图片;但是对于很多其他场景,例如雪景、商场等明亮场景,或者黑色汽车、阳光投射森林等深色场景,不符合灰度世界假设,对这类场景采用aec技术则会让现实世界中的明亮场景或深色场景呈现发灰发蒙的色调,细节失真,拍摄得到的照片视觉效果很差。


技术实现要素:

4.本技术实施例的目的是提供一种曝光补偿方法、装置和电子设备,能够解决现有技术中采用aec技术进行曝光补偿时成像效果不佳的问题。
5.第一方面,本技术实施例提供了一种曝光补偿方法,该方法包括:
6.获取拍摄预览界面中的预览图像的目标图像块;
7.根据所述目标图像块的场景类型概率对所述预览图像进行曝光补偿;
8.或,根据所述目标图像块的反射率对所述预览图像进行曝光补偿。
9.第二方面,本技术实施例提供了一种曝光补偿装置,该装置包括:
10.获取模块,用于获取拍摄预览界面中的预览图像的目标图像块;
11.补偿模块,用于根据所述目标图像块的场景类型概率对所述预览图像进行曝光补偿,或,用于根据所述目标图像块的反射率对所述预览图像进行曝光补偿。
12.第三方面,本技术实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
13.第四方面,本技术实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
14.第五方面,本技术实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
15.在本技术实施例中,通过根据预览图像中的目标图像块的场景类型概率或者反射率来进行曝光补偿,可以修正测光偏差,使拍摄得到的照片主体或整体色彩逼真、细节清
晰。
附图说明
16.图1为本技术实施例提供的一种曝光补偿方法的流程示意图;
17.图2为本技术实施例提供的第一神经网络的结构示意图;
18.图3为本技术实施例提供的第二神经网络的结构示意图;
19.图4为本技术实施例提供的一种曝光补偿装置的结构示意图;
20.图5为本技术实施例提供的一种电子设备的结构示意图;
21.图6为本技术实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
22.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本技术保护的范围。
23.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
24.下面结合附图,通过具体的实施例及其应用场景对本技术实施例提供的曝光补偿方法、装置和电子设备进行详细地说明。
25.请参考图1,为本技术实施例提供的一种曝光补偿方法的流程示意图。如图1所示,本技术实施例中的曝光补偿方法包括以下步骤:
26.步骤101:获取拍摄预览界面中的预览图像的目标图像块。
27.示例性的,用户打开相机应用时,相机的拍摄预览界面开启,系统获取拍摄预览界面中的预览图像的目标图像块所对应的图像数据,其中,所述目标图像块可以是所述预览图像的部分或者全部,所述图像数据可以是yuv图像数据。
28.步骤102:根据所述目标图像块的场景类型概率对所述预览图像进行曝光补偿;或,根据所述目标图像块的反射率对所述预览图像进行曝光补偿。
29.本技术实施例中,在拍摄图片时,先获取预览图像中的目标图像块,由于目标图像块的场景类型反应了当前的拍摄场景的类型,例如白场景通常为光线明亮的拍摄场景,黑场景则通常为光线较暗的拍摄场景,因此,在进行曝光补偿时,可以根据所述目标图像块的场景类型对所述预览图像进行曝光补偿,以获取视觉效果良好的图片;或者,由于相机在拍摄时会进行测光,测光的结果和主体的颜色、质感、纹理、反光或发光特性相关,也与光源的采光有关,因此目标图像块的反射率也可以作为曝光补偿时的依据,例如,在所述目标图像块中包含主体时,所述主体通常是用户最关注的部分,而所述主体的反射率也反映了所述主体受光照时的明暗程度,因此,在进行曝光补偿时,也可以根据所述主体/所述目标图像块的反射率对所述预览图像进行曝光补偿。
30.由此,本技术实施例通过根据预览图像中的目标图像块的场景类型概率或者反射率来进行曝光补偿,可以修正测光偏差,使拍摄得到的照片主体或整体色彩逼真、细节清晰。
31.在本技术的一些实施例中,所述获取拍摄预览界面中的预览图像的目标图像块包括:
32.检测所述预览图像是否包含主体;
33.在所述预览图像不包含主体的情况下,截取所述预览图像的中部区域图像块作为所述目标图像块;
34.在所述预览图像包含主体的情况下,截取所述预览图像的主体区域图像块作为所述目标图像块。
35.示例性的,在获取到拍摄预览界面中显示的预览图像后,可以采用显著性目标检测算法(salient object detection,sod)来处理所述预览图像,以检测出所述预览图像中是否包含主体,其中,所述主体可以是人、动物、植物、汽车、建筑等等,若包含主体,还可以通过显著性目标检测算法获取到主体在所述预览图像中的具体位置。可选的,在所述预览图像中不包含主体时,考虑到用户一般主要关注图像的中部区域,为了避免图像边缘区域对后续进行场景类型判断时的影响,减少数据处理量,可以截取所述预览图像的中部区域图像块作为所述目标图像块,也就是说,仅取所述预览图像的中部区域作为所述目标图像块,所述目标图像块的边长可以是所述预览图像相应边长的0.7~0.9倍,较优值为0.9倍,则所述目标图像块在所述预览图像中的面积占比为0.81。而在所述预览图像中包含主体时,考虑到用户一般主要关注图像中包含的主体,为了避免图像除主体外的其他区域对后续进行场景类型判断时的影响,或者对后续进行主体反射率预测时的影响,并减少数据处理量,可以截取所述预览图像的主体区域图像块作为所述目标图像块,也就是说,仅取所述预览图像中的包含所述主体的区域作为所述目标图像块。在截取包含主体的目标图像块时,可以以矩形框将所述主体刚好框住为准,并以所述矩形框的左上角坐标、矩形的长宽描述所述主体的位置信息。在获取到所述目标图像块之后,可以对其进行归一化处理,方便后续的进一步处理过程。
36.在本技术的一些实施例中,根据所述目标图像块的场景类型概率对所述预览图像进行曝光补偿,包括:
37.提取所述目标图像块在不同尺度下的特征,对所述特征进行多层级的非线性变换,输出各个特征的加权之和;
38.根据所述各个特征的加权之和,计算所述目标图像块的场景类型概率;
39.根据所述场景类型概率确定所述目标图像块的场景类型,所述场景类型包括第一场景、第二场景和第三场景;
40.根据所述目标图像块的场景类型对所述预览图像进行曝光补偿。;
41.也就是说,本技术实施例中,可以利用深度学习算法预测所述目标图像块所属的场景类型的概率。例如,可以利用第一神经网络判断所述目标图像块的场景类型,其中,所述第一神经网络可以预先训练好,使其可以用于预测图像的场景类型,并且其预测的准确率达到一定要求。具体的,在预测所述目标图像块的场景类型概率时,可以通过提取所述目标图像块在不同尺度下的图像特征,然后对提取到的图像特征进行多层级的非线性变换,
然后输出各个特征的加权之和,即logits特征,之后,根据各个特征的加权之和做softmax变换等处理,得到变换记过,也即相应目标图像块的场景类型概率,其中,可以取概率最大的场景类型作为该目标图像块的场景类型;目标图像块的场景类型可以包括第一场景、第二场景和第三场景,例如,第一场景可以定义为白场景、第二场景可以定义为黑场景、第三场景则可以定义为白场景和黑场景之外的场景,当然,第一场景、第二场景、第三场景也可以人为设定,即通过设置第一神经网络的参数,使得输入任意目标图像块之后,第一神经网络都会为其生成分别属于第一场景、第二场景以及第三场景的概率。
42.请参考图2,为本技术实施例提供的第一神经网络的结构示意图。如图2所示,可选的,所述第一神经网络为深度超分辨率与补全网络(depth surper

resolution and completion net,src

net),其主要包括两个部分:语义模糊化模块21和第一fcn模块22,所谓fcn,即fully convolution network,全卷积网络;其中,语义模糊化模块21的目的是为了缩小类间差距,防止网络学习图像的语义信息,导致分类不准,并且提供模糊后的特征给后续模块使用,而第一fcn模块22则是对图像进行深层次特征提取,分出正确的类别(白场景、黑场景和正常场景)。具体的,在训练所述第一神经网络时,首先,构建语义模糊化模块21,对所述目标图像块进行归一化处理后,利用所述语义模糊化模块21中的多个卷积对所述目标图像块进行特征提取,并在不同尺度的特征上进行梯度损失计算,特征的梯度损失可以分别在水平和垂直两个方向上进行计算,计算公式为:其中,i_grad表示某一个尺度的特征数据,λ为常数系数,x表示水平方向,y表示竖直方向,总的梯度损失可以对不同尺度特征的梯度损失进行求和得到;其次,构建第一fcn模块22,第一fcn模块22与语义模糊化模块21的输出连接,利用第一fcn模块22进行整体特征提取;最后,第一fcn模块22的输出接全连接层得到logits特征,对logits特征做softmax变换,softmax变换的结果再与真实结果计算交叉熵损失,将交叉熵损失与梯度损失一起进行第一神经网络的参数更新,最终得到权重参数满足要求的第一神经网络。其中,所述第一神经网络又可以称为第一神经网络模型。
43.本技术实施例中,所述根据所述目标图像块的场景类型对所述预览图像进行曝光补偿包括:
44.确定初始曝光值;
45.在所述目标图像块的场景类型为第一场景的情况下,在所述初始曝光值的基础上上调预设曝光值,在所述目标图像块的场景类型为第二场景的情况下,在所述初始曝光值的基础上下调预设曝光值,在所述目标图像块的场景类型为第三场景的情况下,采用所述初始曝光值进行曝光。
46.也即,在判断出所述目标图像块的场景类型之后,即可根据所述目标图像块的场景类型对所述预览图像进行曝光补偿,具体的,首先,可以采用自动曝光控制技术aec先按照其原有算法确定初始曝光值,例如确定曝光参数采用预先设定的曝光表中的哪一个,记为ev0;之后,在所述目标图像块的场景类型为第一场景的情况下,表明此时的场景不满足灰度世界假设,场景偏亮,因此需要在所述初始曝光值的基础上上调曝光值,即在ev0的基础上上调预设曝光值,例如上调一个曝光表序号,使用ev 进行曝光补偿;在所述目标图像块的场景类型为第二场景的情况下,表明此时的场景不满足灰度世界假设,场景偏暗,因此
需要在所述初始曝光值的基础上下调预设曝光值,例如在ev0的基础上下调一个曝光表序号,使用ev-进行曝光补偿;而在所述目标图像块的场景类型为第三场景的情况下,表明此时的场景基本满足灰度世界假设,因此可以采用所述初始曝光值进行曝光,即保持所采用的曝光表序号不变,使用ev0拍照。
47.上述实施例中根据所述目标图像块的场景类型进行曝光补偿的方法即可以应用于预览图像中包含主体的情况,也可以应用于预览图像中不包含主体的情况。
48.本技术实施例中,通过第一神经网络计算目标图像块的场景类型概率,继而判断目标图像块的场景类型,并根据场景类型进行曝光补偿,在不需要用户任何手动调整的情况下,电子设备能够自动进行曝光补偿,还原“白”、“黑”场景的真实状态,解决了基于中灰的自动曝光控制策略所导致的“白”场景、“黑”场景照片发灰发蒙的问题,使拍摄得到的图像的色彩逼真、细节清晰、视觉效果良好。
49.本技术的另一些实施例中,所述根据所述目标图像块的反射率对所述预览图像进行曝光补偿之前,还包括:
50.提取所述目标图像块在不同尺度下的特征,将提取到的特征与所述目标图像块的类别特征在通道上进行拼接,得到融合特征;
51.对所述融合特征进行多层级的非线性变换,输出各个融合特征的加权之和;
52.根据所述各个融合特征的加权之和,计算所述目标图像块中的主体的反射率,将所述主体的反射率确定为所述目标图像块的反射率。
53.也即,根据所述目标图像块的反射率对所述预览图像进行曝光补偿之前,需要先获取所述目标图像块的反射率,而由于在所述目标图像块中包含主体时,所述主体通常是用户最关注的部分,而所述主体的反射率也反映了所述主体受光照时的明暗程度,因此,可以将目标图像块中的主体的反射率作为所述目标图像块的反射率,继而对预览图像进行补偿。示例性的,可以利用深度学习算法预测所述目标图像块所属的场景类型的概率,例如,可以利用第二神经网络预测所述目标图像块中的主体的反射率,其中,所述第二神经网络可以预先训练好,使其可以用于预测图像中的主体的反射率,并且预测的准确率达到一定要求。具体的,在预测所述目标图像块(主体)的反射率时,可以先提取所述目标图像块在不同尺度下的图像特征;然后,将提取到的图像特征与所述目标图像块的类别特征在通道上进行拼接,以得到融合特征;之后,对得到的融合特征进行多层级的非线性变换,输出各个融合特征的加权之和,即logits特征;再对各个融合特征的加权之和进行sigmoid变换等处理,计算出所述目标图像块中包含的主体的反射率,即可以将所述主体的反射率作为所述目标图像块的反射率。
54.请参考图3,为本技术实施例提供的第二神经网络的结构示意图。如图3所示,可选的,所述第二神经网络为类别指导的反射率回归网络(class

guided reflectivity regression net,cgrr

net),其主要包括两个部分:场景类型判断子网络和第二fcn模块32,其中,所述场景类型判断子网络用于判断所述目标图像块的场景类型,因此,所述场景类型判断子网络可以和上述实施例中的第一神经网络相同,即可以包括语义模糊化模块和第一fcn模块,为避免重复,在此不再赘述。本技术实施例中,所述目标图像块和所述语义模糊化图像块提取到的特征(即特征图)在通道上进行连接,即concat操作,连接之后再与第二fcn模块32连接,利用第二fcn模块32输出所述目标图像块中的主体的反射率数值,再经
过sigmoid变换,得到一个0到1之间的浮点数,即为所述目标图像块中所包含主体的表面反射率。所述第二神经网络又可以称为第二神经网络模型。
55.本技术的一些实施例中,所述根据所述目标图像块的反射率对所述预览图像进行曝光补偿包括:
56.确定初始曝光值;
57.根据所述目标图像块的反射率,确定基于所述初始曝光值的目标调整量;
58.根据所述初始曝光值以及所述目标调整量对所述预览图像进行曝光补偿。
59.也就是说,在预测出所述目标图像块中的主体的反射率之后,即可根据所述主体的反射率对所述预览图像进行曝光补偿,具体的,首先,可以采用自动曝光控制技术aec先按照其原有算法确定初始曝光值,例如确定曝光参数采用预先设定的曝光表中的哪一个,记为ev0;之后,根据所述目标图像块的反射率,可以计算出基于所述初始曝光值的目标调整量,也即在ev0的基础上还需要调节的量,最后,即可根据所述初始曝光值以及所述目标调整量对所述预览图像进行曝光补偿。
60.本技术的一些实施例中,所述根据所述初始曝光值以及所述目标调整量对所述预览图像进行曝光补偿包括:
61.所述根据所述初始曝光值以及所述目标调整量对所述预览图像进行曝光补偿包括:
62.在所述目标图像块的反射率大于灰卡的反射率的情况下,在所述初始曝光值的基础上增加目标调整量;
63.在所述目标图像块的反射率小于灰卡的反射率的情况下,在所述初始曝光值的基础上减少目标调整量;
64.在所述目标图像块的反射率等于灰卡的反射率的情况下,采用所述初始曝光值进行曝光;
65.其中,所述目标调整量等于第一比例常数乘以所述主体的反射率与所述灰卡的反射率的比值。
66.也就是说,所述目标调整量为τ
×
ref/0.18,其中,τ即为所述第一比例常数,τ可以在进行aec调试阶段时进行确定,后续使用过程中保持不变,ref即为所述目标图像块的反射率,0.18即为灰卡的反射率(即18%)。在所述目标图像块的反射率大于灰卡的反射率的情况下,表明此时的场景不满足灰度世界假设,场景偏亮,因此需要在所述初始曝光值的基础上上调曝光值,具体是在初始曝光值的基础上上调所述目标调整量,即可以根据目标调整量确定出在ev0的基础上上调的曝光表的具体序号;在所述目标图像块的反射率小于灰卡的反射率的情况下,表明此时的场景不满足灰度世界假设,场景偏暗,因此需要在所述初始曝光值的基础上下调曝光值,具体是在初始曝光值的基础上下调所述目标调整量,即可以根据目标调整量确定出在ev0的基础上下调的曝光表的具体序号;而在所述目标图像块的反射率等于灰卡的反射率的情况下,表明此时的场景基本满足灰度世界假设,因此可以采用所述初始曝光值进行曝光,即保持所采用的曝光表序号不变,使用ev0拍照。
67.上述实施例中根据所述目标图像块中的目标图像块的反射率进行曝光补偿的方法应用于预览图像中包含主体的情况。
68.本技术实施例中,通过第二神经网络预测目标图像块中的主体的反射率,将所述
主体的反射率作为目标图像块的反射率,并根据所述目标图像块的反射率进行曝光补偿,在不需要用户任何手动调整的情况下,电子设备能够自动进行曝光补偿,并且还可以精确确定曝光补偿的程度,从而还原“白”、“黑”场景的真实状态,解决了基于中灰的自动曝光控制策略所导致的“白”场景、“黑”场景照片发灰发朦的问题,使拍摄得到的图像的色彩逼真、细节清晰、视觉效果良好。
69.本技术的一些实施例中,所述利用第二神经网络预测所述目标图像块中的主体的反射率之前,还包括:
70.训练第二神经网络,所述训练第二神经网络包括:
71.将训练图像块输入到语义模糊化模块中,输出特征图像;
72.将所述特征图像输入到第一fcn模块中,输出所述训练图像块的场景类型;
73.将所述特征图像与所述训练图像块在通道上连接后输入到第二fcn模块中,输出所述训练图像块中的主体的预测反射率;
74.根据所述训练图像块中的主体的预测反射率、所述训练图像块中的主体的反射率真值以及所述训练图像块的场景类型,计算第二神经网络的损失函数;
75.根据所述损失函数调整所述第二神经网络的参数。
76.具体的,在对所述第二神经网络进行训练时,首先,将训练图像块输入到语义模糊化模块中,利用语义模糊化模块提取训练图像块中的不同尺度的特征,以输出特征图像,然后将所述特征图像输入到第一fcn模块中,第一fcn模块再进行整体特征提取,可以输出所述训练图像块的场景类型,此部分与上述实施例中相同,在此不再赘述;之后,将所述特征图像与所述训练图像块的类别特征在通道上拼接后输入到第二fcn模块中,使得第二fcn模块输出所述训练图像块中的主体的预测反射率;接着,根据所述训练图像块中的主体的预测反射率、所述训练图像块中的主体的反射率真值(也即实际的反射率数值)以及所述训练图像块的场景类型,计算第二神经网络的损失函数,最后根据所述损失函数调整所述第二神经网络的参数,最终得到权重参数满足要求的第二神经网络。
77.本技术的一些实施例中,所述根据所述训练图像块中的主体的预测反射率、所述训练图像块中的主体的反射率真值以及所述训练图像块的场景类型,计算第二神经网络的损失函数包括:
78.在所述训练图像块的场景类型为第一场景的情况下,在损失函数中添加(ref

1)2项;
79.在所述训练图像块的场景类型为第二场景的情况下,在损失函数中添加(ref)2项;
80.在所述训练图像块的场景类型为第三场景的情况下,在损失函数中添加(ref

0.18)2项;
81.其中,所述ref表示所述训练图像块中的主体的预测反射率。
82.示例性的,本技术实施例中的第二神经网络为回归网络模型,则其损失函数为回归损失,回归损失包括均方误差(mse)(又称二次损失,l2损失)、平均绝对误差(mae)(又称l1损失)、huber损失(又称平滑平均绝对误差)、log

cosh损失、分位数损失函数等,在计算所述第二神经网络的损失函数时,可以取上述任一种形式的损失函数,例如均方误差损失函数,除此之外,本技术实施例中,还进一步结合所述训练图像块的场景类型来约束损失,
以提高第二神经网络对主体的反射率的预测精度,防止预测的反射率与真实值出现大的偏差,具体可以分为以下三种情况对损失进行约束:
83.在所述训练图像块的场景类型为第一场景的情况下,表明该训练图像块所包含的主体的反射率较大,因此,在损失函数中添加(ref

1)2项,以约束反射率取比较大的值;
84.在所述训练图像块的场景类型为第二场景的情况下,表明该训练图像块所包含的主体的反射率较小,因此,在损失函数中添加(ref)2项,以约束反射率取比较小的值;
85.在所述训练图像块的场景类型为第三场景的情况下,表明该训练图像块所包含的主体的反射率接近灰卡的反射率18%,因此,在损失函数中添加(ref

0.18)2项,以约束反射率取接近18%的值;
86.其中,所述ref表示所述训练图像块中的主体的预测反射率。
87.在进行上述精确的曝光补偿之后,即可最终完成图片的拍摄。
88.在本技术实施例中,通过根据预览图像中的目标图像块的场景类型概率或者反射率来进行曝光补偿,可以修正测光偏差,使拍摄得到的照片主体或整体色彩逼真、细节清晰。
89.需要说明的是,本技术实施例提供的曝光补偿方法,执行主体可以为曝光补偿装置,或者该曝光补偿装置中的用于执行曝光补偿方法的控制模块。本技术实施例中以曝光补偿装置执行曝光补偿方法为例,说明本技术实施例提供的曝光补偿装置。
90.请参考图4,为本技术实施例提供的一种曝光补偿装置的结构示意图。如图4所示,本技术另一方面实施例还提供了一种曝光补偿装置,所述装置30包括:
91.获取模块41,用于获取拍摄预览界面中的预览图像的目标图像块;
92.补偿模块42,用于根据所述目标图像块的场景类型概率对所述预览图像进行曝光补偿,或,用于根据所述目标图像块的反射率对所述预览图像进行曝光补偿。
93.可选的,所述补偿模块包括:
94.提取单元,用于提取所述目标图像块在不同尺度下的特征,对所述特征进行多层级的非线性变换,输出各个特征的加权之和;
95.概率计算单元,用于根据所述各个特征的加权之和,计算所述目标图像块的场景类型概率;
96.场景类型确定单元,用于根据所述场景类型概率确定所述目标图像块的场景类型,所述场景类型包括第一场景、第二场景和第三场景;
97.第一曝光补偿单元,用于根据所述目标图像块的场景类型对所述预览图像进行曝光补偿。
98.可选的,所述第一曝光补偿单元包括:
99.第一子单元,用于确定初始曝光值;
100.第二子单元,用于在所述目标图像块的场景类型为第一场景的情况下,在所述初始曝光值的基础上上调预设曝光值,在所述目标图像块的场景类型为第二场景的情况下,在所述初始曝光值的基础上下调预设曝光值,在所述目标图像块的场景类型为第三场景的情况下,采用所述初始曝光值进行曝光。
101.可选的,所述装置还包括:
102.提取模块,用于提取所述目标图像块在不同尺度下的特征,将提取到的特征与所
述目标图像块的类别特征在通道上进行拼接,得到融合特征;
103.输出模块,用于对所述融合特征进行多层级的非线性变换,输出各个融合特征的加权之和;
104.计算模块,用于根据所述各个融合特征的加权之和,计算所述目标图像块中的主体的反射率,将所述主体的反射率确定为所述目标图像块的反射率。
105.可选的,所述补偿模块包括:
106.初始曝光值确定单元,用于确定初始曝光值;
107.调整量确定单元,用于根据所述目标图像块的反射率,确定基于所述初始曝光值的目标调整量;
108.第二曝光补偿单元,用于根据所述初始曝光值以及所述目标调整量对所述预览图像进行曝光补偿。
109.可选的,所述第二曝光补偿单元包括:
110.第三子单元,用于在所述目标图像块的反射率大于灰卡的反射率的情况下,在所述初始曝光值的基础上增加目标调整量;
111.第四子单元,用于在所述目标图像块的反射率小于灰卡的反射率的情况下,在所述初始曝光值的基础上减少目标调整量;
112.第五子单元,用于在所述目标图像块的反射率等于灰卡的反射率的情况下,采用所述初始曝光值进行曝光;
113.其中,所述目标调整量等于第一比例常数乘以所述主体的反射率与所述灰卡的反射率的比值。
114.可选的,所述装置还包括:
115.训练模块,用于训练第二神经网络,所述训练模块包括:
116.第一训练单元,用于将训练图像块输入到语义模糊化模块中,输出特征图像;
117.第二训练单元,用于将所述特征图像输入到第一fcn模块中,输出所述训练图像块的场景类型;
118.第三训练单元,用于将所述特征图像与所述训练图像块在通道上连接后输入到第二fcn模块中,输出所述训练图像块中的主体的预测反射率;
119.第四训练单元,用于根据所述训练图像块中的主体的预测反射率、所述训练图像块中的主体的反射率真值以及所述训练图像块的场景类型,计算第二神经网络的损失函数;
120.第五训练单元,用于根据所述损失函数调整所述第二神经网络的参数。
121.可选的,所述第四训练单元包括:
122.第一训练子单元,用于在所述训练图像块的场景类型为白场景的情况下,在损失函数中添加(ref

1)2项;
123.第二训练子单元,用于在所述训练图像块的场景类型为黑场景的情况下,在损失函数中添加(ref)2项;
124.第三训练子单元,用于在所述训练图像块的场景类型为正常场景的情况下,在损失函数中添加(ref

0.18)2项;
125.其中,所述ref表示所述训练图像块中的主体的预测反射率。
126.在本技术实施例中,通过根据预览图像中的目标图像块的场景类型概率或者反射率来进行曝光补偿,可以修正测光偏差,使拍摄得到的照片主体或整体色彩逼真、细节清晰。
127.本技术实施例中的曝光补偿装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra

mobile personal computer,umpc)、上网本或者个人数字助理(personal digital assistant,pda)等,非移动电子设备可以为个人计算机(personal computer,pc)、电视机(television,tv)、柜员机或者自助机等,本技术实施例不作具体限定。
128.本技术实施例中的曝光补偿装置可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本技术实施例不作具体限定。
129.本技术实施例提供的曝光补偿装置能够实现图1至图3的方法实施例实现的各个过程,为避免重复,这里不再赘述。
130.可选的,如图5所示,本技术实施例还提供一种电子设备500,包括处理器501,存储器502,存储在存储器502上并可在所述处理器501上运行的程序或指令,该程序或指令被处理器501执行时实现上述曝光补偿方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
131.需要说明的是,本技术实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
132.图6为实现本技术实施例的一种电子设备的硬件结构示意图。
133.该电子设备600包括但不限于:射频单元601、网络模块602、音频输出单元603、输入单元604、传感器605、显示单元606、用户输入单元607、接口单元608、存储器609、以及处理器6010等部件。
134.本领域技术人员可以理解,电子设备600还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器6010逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图6中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
135.其中,处理器6010,用于获取拍摄预览界面中的预览图像的目标图像块;处理器6010,还用于根据所述目标图像块的场景类型概率对所述预览图像进行曝光补偿;或,根据所述目标图像块的反射率对所述预览图像进行曝光补偿。
136.可选的,根据所述目标图像块的场景类型概率对所述预览图像进行曝光补偿,包括:
137.提取所述目标图像块在不同尺度下的特征,对所述特征进行多层级的非线性变换,输出各个特征的加权之和;
138.根据所述各个特征的加权之和,计算所述目标图像块的场景类型概率;
139.根据所述场景类型概率确定所述目标图像块的场景类型,所述场景类型包括第一场景、第二场景和第三场景;
140.根据所述目标图像块的场景类型对所述预览图像进行曝光补偿。
141.可选的,所述根据所述目标图像块的场景类型对所述预览图像进行曝光补偿包括:
142.确定初始曝光值;
143.在所述目标图像块的场景类型为第一场景的情况下,在所述初始曝光值的基础上上调预设曝光值,在所述目标图像块的场景类型为第二场景的情况下,在所述初始曝光值的基础上下调预设曝光值,在所述目标图像块的场景类型为第三场景的情况下,采用所述初始曝光值进行曝光。
144.可选的,处理器6010,还用于提取所述目标图像块在不同尺度下的特征,将提取到的特征与所述目标图像块的类别特征在通道上进行拼接,得到融合特征;
145.对所述融合特征进行多层级的非线性变换,输出各个融合特征的加权之和;
146.根据所述各个融合特征的加权之和,计算所述目标图像块中的主体的反射率,将所述主体的反射率确定为所述目标图像块的反射率。
147.可选的,所述根据所述目标图像块的反射率对所述预览图像进行曝光补偿包括:
148.确定初始曝光值;
149.根据所述目标图像块的反射率,确定基于所述初始曝光值的目标调整量;
150.根据所述初始曝光值以及所述目标调整量对所述预览图像进行曝光补偿。
151.可选的,所述根据所述初始曝光值以及所述目标调整量对所述预览图像进行曝光补偿包括:
152.在所述目标图像块的反射率大于灰卡的反射率的情况下,在所述初始曝光值的基础上增加目标调整量;
153.在所述目标图像块的反射率小于灰卡的反射率的情况下,在所述初始曝光值的基础上减少目标调整量;
154.在所述目标图像块的反射率等于灰卡的反射率的情况下,采用所述初始曝光值进行曝光;
155.其中,所述目标调整量等于第一比例常数乘以所述主体的反射率与所述灰卡的反射率的比值。
156.可选的,处理器6010,还用于训练第二神经网络,所述训练第二神经网络包括:
157.将训练图像块输入到语义模糊化模块中,输出特征图像;
158.将所述特征图像输入到第一fcn模块中,输出所述训练图像块的场景类型;
159.将所述特征图像与所述训练图像块在通道上连接后输入到第二fcn模块中,输出所述训练图像块中的主体的预测反射率;
160.根据所述训练图像块中的主体的预测反射率、所述训练图像块中的主体的反射率真值以及所述训练图像块的场景类型,计算第二神经网络的损失函数;
161.根据所述损失函数调整所述第二神经网络的参数。
162.可选的,所述根据所述训练图像块中的主体的预测反射率、所述训练图像块中的主体的反射率真值以及所述训练图像块的场景类型,计算第二神经网络的损失函数包括:
163.在所述训练图像块的场景类型为白场景的情况下,在损失函数中添加(ref

1)2项;
164.在所述训练图像块的场景类型为黑场景的情况下,在损失函数中添加(ref)2项;
165.在所述训练图像块的场景类型为正常场景的情况下,在损失函数中添加(ref

0.18)2项;
166.其中,所述ref表示所述训练图像块中的主体的预测反射率。
167.在本技术实施例中,通过根据预览图像中的目标图像块的场景类型概率或者反射率来进行曝光补偿,可以修正测光偏差,使拍摄得到的照片主体或整体色彩逼真、细节清晰。
168.应理解的是,本技术实施例中,输入单元604可以包括图形处理器(graphics processing unit,gpu)6041和麦克风6042,图形处理器6041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元606可包括显示面板6061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板6061。用户输入单元607包括触控面板6071以及其他输入设备6072。触控面板6071,也称为触摸屏。触控面板6071可包括触摸检测装置和触摸控制器两个部分。其他输入设备6072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器609可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器6010可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器6010中。
169.本技术实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述曝光补偿方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
170.其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(read

only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等。
171.本技术实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述曝光补偿方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
172.应理解,本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
173.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
174.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方
法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本技术各个实施例所述的方法。
175.上面结合附图对本技术的实施例进行了描述,但是本技术并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本技术的启示下,在不脱离本技术宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本技术的保护之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献

  • 日榜
  • 周榜
  • 月榜