一种图像自动曝光方法、存储介质和电子设备与流程

1.本发明涉及数字图像处理领域，尤其涉及一种图像自动曝光方法、存储介质和电子设备。


背景技术：

2.图像自动曝光算法主要用于调节可见光相机的曝光时间来使得图像亮度适中，适合不同亮暗光线下对图像的观测。在很多无人监测、跟踪、捕获等场景中由于无法进行人为调节光圈，因而需要可见光相机根据不同场景亮暗进行实时快速自动调节曝光时间以获得质量较好的图像，从而达到跟踪和监测目标的目的。然而，现有的图像自动曝光算法存在着反应速度慢、无法快速实现图像曝光时间调节，导致曝光得到的图像质量差的问题。


技术实现要素：

3.本发明为了克服上述现有技术中的缺陷，提出了一种图像自动曝光方法、存储介质和电子设备，该方法能够在无人监测、跟踪、捕获等场景中实现可见光相机根据光线强度实时快速调节自动曝光时间，获得清晰质量较好的图像，以此较好识别目标。
4.为实现上述目的，本发明采用以下具体技术方案：
5.在第一方面，本发明提供了一种图像自动曝光方法，所述方法包括以下步骤：
6.s1：根据当前帧图像曝光时间与预设时间阈值的大小关系、以及当前增益系数与预设系数阈值的大小关系，确定当前帧图像曝光时间的调整系数，采用所述调整系数对当前帧图像曝光时间进行调整；
7.s2：采用调整后的图像曝光时间进行曝光，得到下一帧曝光图像。
8.作为一种可选的实施例，所述预设时间阈值的数值为第一预设比例乘以帧周期大小，所述帧周期大小等于当前帧图像曝光时间与图像读出时间之和。
9.作为一种可选的实施例，所述第一预设比例的大小为90％。
10.作为一种可选的实施例，所述预设系数阈值包括第一预设系数阈值和第二预设系数阈值，所述第一预设系数阈值大于所述第二预设系数阈值；
11.步骤s1中“根据当前帧图像曝光时间与预设时间阈值的大小关系、以及当前增益系数与预设系数阈值的大小关系，确定当前帧图像曝光时间的调整系数”包括：
12.若判定当前帧图像曝光时大于等于所述预设时间阈值、且当前增益系数小于等于所述第一预设系数阈值，则通过增大当前增益系数来确定所述调整系数；
13.若判定当前帧图像曝光时大于等于所述预设时间阈值、且当前增益系数大于所述第一预设系数阈值，则通过自动曝光时间算法直接根据当前帧图像曝光时间确定所述调整系数；
14.若判定当前帧图像曝光时小于所述预设时间阈值、且当前增益系数大于等于所述第二预设系数阈值，则通过减小当前增益系数来确定所述调整系数；
15.若判定当前帧图像曝光时小于所述预设时间阈值、且当前增益系数小于所述第二
预设系数阈值，则通过自动曝光时间算法直接根据当前帧图像曝光时间确定所述调整系数。
16.作为一种可选的实施例，根据以下公式实现通过增大当前增益系数来确定所述调整系数，采用所述调整系数对当前帧图像曝光时间进行调整：
[0017][0018]et
＝k1·
e'
·
ν1[0019]
其中，gain为当前增益系数，k1为调整系数，e'为当前帧图像曝光时间，ν1为当前帧图像曝光时间减小调整速率，e
t
为调整后的图像曝光时间；
[0020]
根据以下公式实现通过减小当前增益系数来确定所述调整系数，采用所述调整系数对当前帧图像曝光时间进行调整：
[0021][0022]et
＝k2·
e'
·
ν2[0023]
其中，gain为当前增益系数，k2为调整系数，e'为当前帧图像曝光时间，ν2为当前帧图像曝光时间增大调整速率，e
t
为调整后的图像曝光时间。
[0024]
作为一种可选的实施例，所述方法还包括：
[0025]
根据当前曝光时间和当前增益系数进行曝光，得到图像的灰度统计直方图；
[0026]
根据所述图像的灰度统计直方图确定图像上的第一像素点对应的灰度值，根据所述第一像素点对应的灰度值与预设灰度值的大小关系，确定当前帧图像曝光时间的调整系数，采用所述调整系数对当前帧图像曝光时间进行调整；
[0027]
所述第一像素点对应的灰度值根据以下方式确定：
[0028]
将图像上所有像素点的灰度值按从小到大或从大到小的顺序排列后，根据灰度值从大到小的顺序统计像素点的个数，当统计的像素点个数占图像上所有像素点个数的比例达到预设第二比例时，记录当前像素点的灰度值为第一像素点对应的灰度值。
[0029]
作为一种可选的实施例，所述预设灰度值的大小为3700；
[0030]
根据确定的灰度值与预设灰度值的大小关系，确定当前帧图像曝光时间的调整系数，采用所述调整系数对当前帧图像曝光时间进行调整包括：
[0031]
当判定第一像素点对应的灰度值小于等于所述预设灰度值时，根据以下公式对当前帧图像曝光时间进行调整：
[0032]
k3＝(3700/dn
1-1)
·
ν
上
1
[0033]et
＝k3·
e'
[0034]
其中，k3为当前曝光时间上调的调整系数，dn1为第一像素点对应的灰度值，v
上
为当前曝光时间的上调速率，e
t
为调节后的曝光时间；
[0035]
当判定第一像素点对应的灰度值大于所述预设灰度值时，根据以下公式对当前帧图像曝光时间进行调整：
[0036][0037]et
＝k4·
e'
[0038]
其中，k4为当前曝光时间下调的调整系数，dn1为第一像素点对应的灰度值，v
上
为当前曝光时间的下调速率，e
t
为调节后的曝光时间；表示灰度值从3700至dn1的像素点个数与灰度值从0变化至dn1的像素点个数的比值。
[0039]
作为一种可选的实施例，根据确定的灰度值与预设灰度值的大小关系，确定当前帧图像曝光时间的调整系数，采用所述调整系数对当前帧图像曝光时间进行调整还包括：
[0040]
当判定第一像素点对应的灰度值与所述预设灰度值的差值在预设误差范围时，将调整系数恒定设置为1。
[0041]
在第二方面，本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被执行时实现如本发明第一方面所述的方法。
[0042]
在第三方面，本发明还提供了一种电子设备，包括：
[0043]
存储介质，为如本发明第二方面所述的存储介质；
[0044]
处理器，用于执行所述存储介质中的计算机程序以实现如本发明第一方面所述的方法。
[0045]
本发明能够取得以下技术效果：
[0046]
本发明提出了一种图像自动曝光方法和存储介质、电子设备，该方法包括以下步骤：s1：根据当前帧图像曝光时间与预设时间阈值的大小关系、以及当前增益系数与预设系数阈值的大小关系，确定当前帧图像曝光时间的调整系数，采用所述调整系数对当前帧图像曝光时间进行调整；s2：采用调整后的图像曝光时间进行曝光，得到下一帧曝光图像。本发明通过增益系数和曝光时间双重调节分配不同的加权值，并能够快速稳定地实现自动曝光调节，从而获得较好的图像质量。
附图说明
[0047]
图1是本发明一实施例涉及的图像自动曝光方法的流程图；
[0048]
图2是本发明另一实施例涉及的图像自动曝光方法的流程图；
[0049]
图3是本发明一实施例涉及的图像的灰度统计直方图的示意图；
[0050]
图4是本发明一实施例涉及的曝光图像的示意图；
[0051]
图5是本发明另一实施例涉及的曝光图像的示意图。
具体实施方式
[0052]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
[0053]
在第一方面，本发明提供了一种图像自动曝光方法，所述方法包括以下步骤：
[0054]
s1：根据当前帧图像曝光时间与预设时间阈值的大小关系、以及当前增益系数与预设系数阈值的大小关系，确定当前帧图像曝光时间的调整系数，采用所述调整系数对当前帧图像曝光时间进行调整；
[0055]
s2：采用调整后的图像曝光时间进行曝光，得到下一帧曝光图像。
[0056]
优选的，在步骤s1之前还包括：根据场景亮度情况设置初始曝光时间和初始增益
系数，并根据初始曝光时间使得图像曝光成像，得到初始帧曝光图像。初始曝光时间即为当前帧图像曝光时间的初始值，可以设置为1000us，初始增益系数可以设置为2。在曝光得到图像后，还可以根据图像上的信息熵识别感兴趣目标区域(如物体或人体区域)，并采用当前增益系数对感兴趣目标区域进行增益处理，以提升图像细节。
[0057]
本发明通过增益系数和曝光时间双重调节分配不同的加权值，并能够快速稳定地实现自动曝光调节，从而获得较好的图像质量。
[0058]
在某些实施例中，所述预设时间阈值的数值为第一预设比例乘以帧周期大小，所述帧周期大小等于当前帧图像曝光时间与图像读出时间之和。优选的，所述第一预设比例的大小为90％。
[0059]
通过本发明的方法计算当前帧图像对应的调整系数，并根据调整系数来调整当前帧曝光时间，并将调整后的曝光时间作为下一帧图像的曝光时间，以此实时调节曝光时间进行曝光得到下一帧图像。整个曝光时间的调节过程中，从一个光照场景切换到另一个光照场景曝光时间调节在3s内可以快速稳定完成，如图4和图5所示为经过本发明方法调节曝光时间后获得的相应图像，从图4和图5中可以看出，图像中亮暗区分明显，细节更加清晰。
[0060]
在某些实施例中，所述预设系数阈值包括第一预设系数阈值和第二预设系数阈值，所述第一预设系数阈值大于所述第二预设系数阈值；
[0061]
步骤s1中“根据当前帧图像曝光时间与预设时间阈值的大小关系、以及当前增益系数与预设系数阈值的大小关系，确定当前帧图像曝光时间的调整系数”包括：
[0062]
若判定当前帧图像曝光时大于等于所述预设时间阈值、且当前增益系数小于等于所述第一预设系数阈值，则通过增大当前增益系数来确定所述调整系数；
[0063]
若判定当前帧图像曝光时大于等于所述预设时间阈值、且当前增益系数大于所述第一预设系数阈值，则通过自动曝光时间算法直接根据当前帧图像曝光时间确定所述调整系数；
[0064]
若判定当前帧图像曝光时小于所述预设时间阈值、且当前增益系数大于等于所述第二预设系数阈值，则通过减小当前增益系数来确定所述调整系数；
[0065]
若判定当前帧图像曝光时小于所述预设时间阈值、且当前增益系数小于所述第二预设系数阈值，则通过自动曝光时间算法直接根据当前帧图像曝光时间确定所述调整系数。
[0066]
优选的，预设时间阈值的大小为帧周期大小的90％，第一预设系数阈值为2.5,第二预设系数阈值为1。
[0067]
优选的，根据以下公式实现通过增大当前增益系数来确定所述调整系数，采用所述调整系数对当前帧图像曝光时间进行调整：
[0068][0069]et
＝k1·
e'
·
ν1[0070]
其中，gain为当前增益系数，k1为调整系数，e'为当前帧图像曝光时间，ν1为当前帧图像曝光时间减小调整速率，e
t
为调整后的图像曝光时间。
[0071]
简言之，如果当前帧曝光时间大于等于帧周期值的90％且增益系数小于等于2.5，则可以通过增大增益系数来减小曝光时间，而后采用调小后的曝光时间作为实时曝光时
间，以曝光得到下一帧图像。
[0072]
如果当前帧曝光时间大于等于帧周期值的90％且增益系数大于2.5，则无法通过增大增益系数来减小曝光时间，则通过自动曝光时间算法调节曝光时间，自动曝光时间算法会根据当前场景的亮度值自适应调整当前曝光时间和当前增益系数。
[0073]
优选的，根据以下公式实现通过减小当前增益系数来确定所述调整系数，采用所述调整系数对当前帧图像曝光时间进行调整：
[0074][0075]et
＝k2·
e'
·
ν2[0076]
其中，gain为当前增益系数，k2为调整系数，e'为当前帧图像曝光时间，ν2为当前帧图像曝光时间增大调整速率，e
t
为调整后的图像曝光时间。
[0077]
简言之，如果当前帧曝光时间小于帧周期值的90％且增益系数大于1.5，则可以通过减小增益系数来增加曝光时间，而后采用增大后的曝光时间作为实时曝光时间，以曝光得到下一帧图像。
[0078]
如果当前帧曝光时间小于帧周期值的90％且增益系数小于1.5，则无法通过减小增益系数来增加曝光时间，则通过自动曝光时间算法调节曝光时间，自动曝光时间算法会根据当前场景的亮度值自适应调整当前曝光时间和当前增益系数。
[0079]
在某些实施例中，所述方法还包括：
[0080]
根据当前曝光时间和当前增益系数进行曝光，得到图像的灰度统计直方图；
[0081]
根据所述图像的灰度统计直方图确定图像上的第一像素点对应的灰度值，根据所述第一像素点对应的灰度值与预设灰度值的大小关系，确定当前帧图像曝光时间的调整系数，采用所述调整系数对当前帧图像曝光时间进行调整；
[0082]
所述第一像素点对应的灰度值根据以下方式确定：
[0083]
将图像上所有像素点的灰度值按从小到大或从大到小的顺序排列后，根据灰度值从大到小的顺序统计像素点的个数，当统计的像素点个数占图像上所有像素点个数的比例达到预设第二比例时，记录当前像素点的灰度值为第一像素点对应的灰度值。
[0084]
一般对于图像sensor采集的原始图像，其分辨率一般能够达到1024x1024或4096x4096。而对于一幅图像而言，图像上像素点的亮度值被定义为0到255共256个数值，数值越大，代表像素点的亮度越高。其中0代表纯黑色的最暗区域，255表示最亮的纯白色，而中间的数字就是不同亮度的灰色。亮度一般被分为了5个区域，从暗到亮依次为：黑色，阴影(又称暗部)，中间调，高光和白色。
[0085]
如图3所示，横轴代表0-255的亮度数值，竖轴代表图像中对应亮度的像素数量，这个函数图像就被称为直方图。直方图中柱子的高度，代表了图像中有相应数量的像素点的亮度值为柱子所在的横坐标对应的亮度数值，因而通过直方图就可以看出来图像中各个像素点的亮度的分布和比例。当直方图的波峰是在中间偏左的位置(阴影区域)，说明图像画面中有很多深灰或者深色部分，图像整体偏暗；反之，当直方图的波峰是在中间偏右的位置(高亮区域)，说明图像画面中有很多白色或者高亮部分，图像整体偏亮。
[0086]
优选的，所述预设灰度值的大小为3700；
[0087]
根据确定的灰度值与预设灰度值的大小关系，确定当前帧图像曝光时间的调整系
数，采用所述调整系数对当前帧图像曝光时间进行调整包括：
[0088]
当判定第一像素点对应的灰度值小于等于所述预设灰度值时，根据以下公式对当前帧图像曝光时间进行调整：
[0089]
k3＝(3700/dn
1-1)
·
ν
上
1
[0090]et
＝k3·
e'
[0091]
其中，k3为当前曝光时间上调的调整系数，dn1为第一像素点对应的灰度值，v
上
为当前曝光时间的上调速率，e
t
为调节后的曝光时间；
[0092]
当判定第一像素点对应的灰度值大于所述预设灰度值时，根据以下公式对当前帧图像曝光时间进行调整：
[0093][0094]et
＝k4·
e'
[0095]
其中，k4为当前曝光时间下调的调整系数，dn1为第一像素点对应的灰度值，v
上
为当前曝光时间的下调速率，e
t
为调节后的曝光时间；表示灰度值从3700至dn1的像素点个数与灰度值从0变化至dn1的像素点个数的比值。
[0096]
优选的，根据确定的灰度值与预设灰度值的大小关系，确定当前帧图像曝光时间的调整系数，采用所述调整系数对当前帧图像曝光时间进行调整还包括：当判定第一像素点对应的灰度值与所述预设灰度值的差值在预设误差范围时，将调整系数恒定设置为1。预设误差范围可以定为50，即第一像素点对应的灰度值与所述预设灰度值的差值在
±
50阈值范围内时，则不对当前帧的曝光时间进行调整，防止图像曝光时间实时调节的过程中在预设灰度阈值附近变化出现图像闪烁的现象。在本发明中，当需要采用调节系数对当前帧曝光时间进行调整时，在调节过程中乘以相应的调节速率，以此保证曝光时间上下调整平衡。
[0097]
在实际调节过程中经过可见光相机的光电性能测试，噪声随着灰度值的增大呈线性增加，最大线性满阱值为3700，过后则会将噪声卡掉，因此只保留线性区域，例如图像为12位，则图像上像素点的灰度值的范围为0～4095，而灰度值3700对应于整个灰度直方图的10％，依据此在算法上将灰度直方图中的后10％图像信息舍去，得到后10％处所对应的灰度值dn1，将dn1与对比灰度值3700阈值对比。
[0098]
在第二方面，本发明还提供了一种存储介质，存储介质存储有计算机程序，计算机程序被处理器执行时实现如本发明第一方面的方法步骤。
[0099]
在第三方面，本发明还提供了一种电子设备，该电子设备包括处理器和存储介质，该存储介质为如第二方面的存储介质；处理器用于执行存储介质中存储的计算机程序以实现如第一方面的方法步骤。
[0100]
在本实施例中，电子设备为计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等。存储介质包括但不限于：ram、rom、磁碟、磁带、光盘、闪存、u盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。处理器包括但不限于cpu(中央处理器)、gpu(图像处理器)、mcu(微处理器)等。
[0101]
如图2所示，本发明提供了一种可见光相机的全色图像自动曝光算法，能够先根据信息熵获得感兴趣目标区域，而后通过调节增益计算调节加权系数和根据曝光时间计算调节加权系数双重调节获得期望质量的图像，该算法实现步骤如下：
[0102]
(1)设置初始曝光时间和增益，使得图像曝光成像；
[0103]
(2)获得初始图像的灰度统计直方图；
[0104]
(31)如果当前曝光时间大于等于帧周期的90％，并且增益小于等于2.5，则通过增大增益计算曝光时间调节的加权系数，从而调节曝光时间；
[0105]
(32)如果当前曝光时间大于等于帧周期的90％，并且增益大于2.5，则无法通过调节增益来调节曝光时间，需要通过直接通过曝光时间计算加权系数来调节曝光时间；
[0106]
(33)如果当前曝光时间小于帧周期的90％，并且增益大于等于1.5，则通过减小增益计算曝光时间调节的加权系数，从而调节曝光时间；
[0107]
(34)如果当前曝光时间小于帧周期的90％，并且增益小于1.5，则无法通过调节增益来调节曝光时间，需要通过直接通过曝光时间计算加权系数来调节曝光时间。
[0108]
在本实施例中，步骤(31)-(34)可以并行执行。图像的增益系数被设置为1，1.5，2，2.5四组。
[0109]
当增益系数大于等于1.5时，说明当前增益系数为1.5、2或2.5，可以通过减小增益系数，实现对曝光时间的快速调节。例如可以将增益系数由1.5调整为1、或由2调整为1.5、或由2.5调整为2，实现对曝光时间的快速调节。
[0110]
同理，当增益系数小于等于2.5时，说明当前增益系数为1，1.5，或2，可以通过增大增益系数，实现对曝光时间的快速调节。例如可以将增益系数由1调整为1.5、或由1.5调整为2、或者由2调整为2.5，实现对曝光时间的快速调节。
[0111]
当增益系数大于2.5或者增益系数小于1.5时，则无法通过增益系数进行快速调节曝光时间时，本技术的方法将通过统计灰度直方图进一步调节曝光时间，具体是通过统计灰度直方图后10％处所对应的灰度值dn1，将dn1与对比灰度值3700阈值对比，根据比对结果确定调整系数，进而对当前曝光时间进行调整，从而满足不同场景曝光时间需求。
[0112]
本发明基于可见光相机的全色图像自动曝光算法具有以下优势：
[0113]
(1)实现了12位图像的自动曝光算法，通过增益和曝光时间双重调节分配不同的加权值，实现图像的自动曝光，可以获得较好图像质量；
[0114]
(2)本发明自动曝光实现速度相对较快，能够在3s内完成自动曝光调节，可以更好实时稳定地实现自动曝光；
[0115]
(3)本发明通过灰度直方图计算加权系数，复杂度相对比较低，易于硬件的实现；
[0116]
(4)本发明方法中的对比灰度值、对比灰度值上下阈值、曝光时间上下调整速率、直方图的百分比均为可调参数，提高算法灵活性。
[0117]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结
合和组合。
[0118]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
[0119]
以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。