森林草原巡视无人机的相机自适应曝光处理系统及方法与流程

本发明涉及人工智能图像采集技术领域，具体涉及一种森林草原巡视无人机的相机自适应曝光处理系统及方法。

背景技术

森林草原火灾不仅严重破坏森林草原资源和生态环境，而且会对人民生命财产和公共安全产生极大的危害，对国民经济可持续发展和生态安全造成巨大威胁。具体危害表现在如下几个方面：烧毁森林草原植被资源、危害野生动物、引起水土流失、使下游河流水质下降、引起空气污染、威胁人民生命财产安全。

目前，为实现森林草原火灾防控，已经提出了各种各样的防控手段，其中一种就是通过图像识别，提前识别火灾隐患、或在火灾起始时期及时准确识别，从而避免或最大程度减少火灾造成的损害。具体的，可以利用无人机巡视森林草原拍摄用于进行火灾识别的图像。为了提高火灾识别的准确性，需要提高拍摄图像的质量。曝光是影响图像质量的一个方面，不合适的曝光会导致图像画面过暗或过亮，从而丢失图像细节，导致图像识别精度低。无人机在巡视森林草原的过程中，由于角度、时间等不同，导致光照条件不断发生变化，因此无人机的相机需要适应性地调整曝光方案才能拍摄得到细节清晰的图像，以用来提高火灾图像识别的准确性。

技术实现要素：

因此，本发明实施例要解决的技术问题在于克服现有技术中在利用森林草原巡视无人机拍摄图像进行火灾预警时由于曝光方案不合适导致影响所拍摄图像的清晰度进而导致火灾预警准确度低的缺陷，从而提供一种森林草原巡视无人机的相机自适应曝光处理系统及方法。

为此，本发明提供一种森林草原巡视无人机相机的自适应曝光处理方法，包括以下步骤：

获取所述森林草原巡视无人机相机使用第一初始曝光参数采集得到的第一图像和使用第二初始曝光参数采集得到的第二图像；其中，所述第一初始曝光参数和所述第二初始曝光参数不同，所述森林草原巡视无人机相机采集得到所述第一图像和所述第二图像时位置和角度不变；

根据所述第一图像得到作为曝光参数调整依据的第一数据，根据所述第二图像得到作为曝光参数调整依据的第二数据；

将所述第一初始曝光参数及其对应的所述第一数据、所述第二初始曝光参数及其对应的所述第二数据输入至用于进行理想曝光参数计算的人工智能模型，利用所述人工智能模型进行理想曝光数据的估计；

根据所述人工智能模型输出的所述理想曝光参数，调整图像采集时曝光参数。

可选的，所述第一数据和所述第二数据均包括整体灰度平均值、整体灰度直方图、前景区域的灰度统计平均值、前景区域的灰度直方图、背景区域的灰度统计平均值、背景区域的灰度直方图和信息熵。

可选的，所述根据所述第一图像得到作为曝光参数调整依据的第一数据，包括：

对所述第一图像进行预处理；

将预处理后的所述第一图像输入至前景识别模型；

利用所述前景识别模型从预处理后的所述第一图像提取图像特征信息，输出所述第一图像的深度卷积高维空间特征信息图；

所述前景识别模型根据所述第一图像的深度卷积高维空间特征信息图输出多个待定前景区域；

所述前景识别模型对所述待定前景区域进行分类和边框的回归微调，输出所述待定前景区域为前景区域的概率和位置；

所述前景识别模型根据所述待定前景区域为前景区域的概率，确定所述待定前景区域是否为前景区域，并根据确定为前景区域的所述待定前景区域的位置进行前景区域的拼接，得到完整的前景区域。

可选的，所述前景识别模型根据所述第一图像的深度卷积高维空间特征信息图输出多个待定前景区域，包括：

使用卷积核在所述深度卷积高维空间特征信息图上，进行逐点滑动卷积；

以所述卷积核每次滑动的中心位置为中心划分四个尺寸相等的待定框；

利用全连接层和分类层对使用卷积核卷积得到的特征信息进行处理，得到所述待定框是否是前景区域的概率；

在所述待定框是前景区域的概率大于预设阈值的情况下，将所述待定框作为所述待定前景区域输出。

可选的，所述前景识别模型对所述待定前景区域进行分类和边框的回归微调，输出所述待定前景区域为前景区域的概率和位置，包括：

利用卷积层对所述待定前景区域进行特征提取；利用池化层对所述卷积层提取的所述待定前景区域的特征进行均值池化得到固定大小的特征图；

重复N次上一步骤后，利用多层全连接层和分类层对最后一层所述池化层输出的所述待定前景区域的特征图进行分类，得到所述待定前景区域为前景区域的概率；N为正整数；

利用多层全连接层输出所述前景区域的边框相对于所述待定前景区域的偏移量。

可选的，所述前景识别模型的损失函数Loss为：

其中，ai是所述前景识别模型输出的所述第一图像的第i个像素点为前景区域的概率值，第i个像素点为前景区域的概率值与所述第i个像素点所在的所述待定前景区域为前景区域的概率值相同，bi是第i个像素点对应的真实值，当第i个像素点被标记为前景区域时对应的真实值为1，当被标记为背景区域时对应的真实值为0，W、H是所述第一图像的像素宽度和像素高度。

可选的，所述将所述第一初始曝光参数及其对应的所述第一数据、所述第二初始曝光参数及其对应的所述第二数据输入至用于进行理想曝光参数计算的人工智能模型，利用所述人工智能模型进行理想曝光数据的估计，包括：

利用所述人工智能模型中的特征融合层对所述第一初始曝光参数及其对应的所述第一数据、所述第二初始曝光参数及其对应的所述第二数据进行特征融合，得到第三数据；

利用所述人工智能模型中的卷积层对所述第三数据进行卷积计算；

利用所述人工智能模型中的抽样层对所述卷积层的输出进行计算；

利用所述人工智能模型中的全连接层对所述抽样层的输出进行计算，得到所述理想曝光参数。

可选的，所述获取所述森林草原巡视无人机相机使用第一初始曝光参数采集得到的第一图像和使用第二初始曝光参数采集得到的第二图像之前，还包括：

获取设置在所述相机镜头附近的光传感器采集到的传感器数据；

查找环境光数据与初始曝光参数对应表，得到与所述传感器数据对应的所述第一初始曝光参数和所述第二初始曝光参数。

本发明还提供一种森林草原巡视无人机相机的自适应曝光处理系统，包括：预览图像缓存装置、数据传输接口、处理器和曝光控制装置；

所述处理器用于通过所述数据传输接口读取所述预览图像缓存装置中存储的第一图像和第二图像，所述第一图像、所述第二图像分别是所述森林草原巡视无人机相机在同一位置和同一角度使用不同的第一初始曝光参数、第二初始曝光参数时采集得到的图像；

所述处理器还用于根据所述第一图像得到作为曝光参数调整依据的第一数据，根据所述第二图像得到作为曝光参数调整依据的第二数据；

所述处理器还用于将所述第一初始曝光参数及其对应的所述第一数据、所述第二初始曝光参数及其对应的所述第二数据输入至用于进行理想曝光参数计算的人工智能模型，利用所述人工智能模型进行理想曝光数据的估计；

所述处理器还用于根据所述人工智能模型输出的所述理想曝光参数，控制所述曝光控制装置，调整图像采集时的曝光参数。

可选的，所述处理器还用于对所述第一图像进行预处理；将预处理后的所述第一图像输入至前景识别模型；利用所述前景识别模型从预处理后的所述第一图像提取图像特征信息，输出所述第一图像的深度卷积高维空间特征信息图；利用所述前景识别模型根据所述第一图像的深度卷积高维空间特征信息图输出多个待定前景区域；利用所述前景识别模型对所述待定前景区域进行分类和边框的回归微调，输出所述待定前景区域为前景区域的概率和位置；利用所述前景识别模型根据所述待定前景区域为前景区域的概率，确定所述待定前景区域是否为前景区域，并根据确定为前景区域的所述待定前景区域的位置进行前景区域的拼接，得到完整的前景区域。

本发明实施例的技术方案，具有如下优点：

本发明实施例提供的森林草原巡视无人机的相机自适应曝光处理系统及方法，在对森林草原巡视无人机相机的曝光参数进行自适应调整时，先使用两个不同的初始曝光参数进行拍摄得到两张图像，然后根据该两张图像获取曝光相关的信息(即第一数据和第二数据)，然后利用人工智能模型对这些信息和初始曝光参数进行分析，得到理想的曝光参数，然后调整图像采集时的曝光参数，以使得采集到的图像曝光合理，从而使得采集到的图像细节清晰，进而提高基于该图像进行火灾预警分析时的准确度。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1中森林草原巡视无人机相机的自适应曝光处理方法的一个具体示例的流程图；

图2为本发明实施例1中前景识别方法的一个具体示例的流程图；

图3为本发明实施例1中森林草原巡视无人机相机的自适应曝光处理系统的一个具体示例的原理框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，本文所用的术语仅用于描述特定实施例的目的，而并非旨在限制本发明。除非上下文明确指出，否则如本文中所使用的单数形式“一”、“一个”和“该”等意图也包括复数形式。使用“包括”和/或“包含”等术语时，是意图说明存在该特征、整数、步骤、操作、元素和/或组件，而不排除一个或多个其他特征、整数、步骤、操作、元素、组件、和/或其他组合的存在或增加。术语“和/或”包括一个或多个相关列出项目的任何和所有组合。术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通；可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

本实施例提供一种森林草原巡视无人机相机的自适应曝光处理方法，如图1所示，包括以下步骤：

S1：获取所述森林草原巡视无人机相机使用第一初始曝光参数采集得到的第一图像和使用第二初始曝光参数采集得到的第二图像；其中，所述第一初始曝光参数和所述第二初始曝光参数不同，所述森林草原巡视无人机相机采集得到所述第一图像和所述第二图像时位置和角度不变；

也即，所述第一图像和所述第二图像中的内容基本相同。

S2：根据所述第一图像得到作为曝光参数调整依据的第一数据，根据所述第二图像得到作为曝光参数调整依据的第二数据；

S3：将所述第一初始曝光参数及其对应的所述第一数据、所述第二初始曝光参数及其对应的所述第二数据输入至用于进行理想曝光参数计算的人工智能模型，利用所述人工智能模型进行理想曝光数据的估计；

S4：根据所述人工智能模型输出的所述理想曝光参数，调整图像采集时曝光参数。

具体的，可以控制无人机相机的曝光系统在图像采集时按照所述理想曝光参数进行曝光。

其中，所述理想曝光参数包括理想曝光时间和理想曝光增益等。具体可以通过调整光圈系数和快门时间等进行调整。

本发明实施例中，在对森林草原巡视无人机相机的曝光参数进行自适应调整时，先使用两个不同的初始曝光参数进行拍摄得到两张图像，然后根据该两张图像获取曝光相关的信息(即第一数据和第二数据)，然后利用人工智能模型对这些信息和初始曝光参数进行分析，得到理想的曝光参数，然后调整图像采集时的曝光参数，以使得采集到的图像曝光合理，从而使得采集到的图像细节清晰，进而提高基于该图像进行火灾预警分析时的准确度。

可选的，所述第一数据和所述第二数据均包括整体灰度平均值、整体灰度直方图、前景区域的灰度统计平均值、前景区域的灰度直方图、背景区域的灰度统计平均值、背景区域的灰度直方图和信息熵。

当然，还可以包括其他与曝光相关的信息，这里不再详举。

可选的，如图2所示，步骤S2，即所述根据所述第一图像得到作为曝光参数调整依据的第一数据，包括：

S21：对所述第一图像进行预处理；

S22：将预处理后的所述第一图像输入至前景识别模型；

S23：利用所述前景识别模型从预处理后的所述第一图像提取图像特征信息，输出所述第一图像的深度卷积高维空间特征信息图；

S24：所述前景识别模型根据所述第一图像的深度卷积高维空间特征信息图输出多个待定前景区域；

S25：所述前景识别模型对所述待定前景区域进行分类和边框的回归微调，输出所述待定前景区域为前景区域的概率和位置；

S26：所述前景识别模型根据所述待定前景区域为前景区域的概率，确定所述待定前景区域是否为前景区域，并根据确定为前景区域的所述待定前景区域的位置进行前景区域的拼接，得到完整的前景区域。

本发明实施例中，前景识别模型先根据深度卷积高维空间特征信息图从第一图像中提取出多个待定前景区域，然后进一步对待定前景区域进行前景分类识别和边框的调整，可以提高前景识别的准确度。

可选的，所述前景识别模型根据所述第一图像的深度卷积高维空间特征信息图输出多个待定前景区域，包括：

使用卷积核在所述深度卷积高维空间特征信息图上，进行逐点滑动卷积；

以所述卷积核每次滑动的中心位置为中心划分四个尺寸相等的待定框；

利用全连接层和分类层对使用卷积核卷积得到的特征信息进行处理，得到所述待定框是否是前景区域的概率；

在所述待定框是前景区域的概率大于预设阈值的情况下，将所述待定框作为所述待定前景区域输出。

具体的，可以输出所述待定框的中心位置、长和宽。

可选的，所述前景识别模型对所述待定前景区域进行分类和边框的回归微调，输出所述待定前景区域为前景区域的概率和位置，包括：

利用卷积层对所述待定前景区域进行特征提取；利用池化层对所述卷积层提取的所述待定前景区域的特征进行均值池化得到固定大小的特征图；

重复N次上一步骤后，利用多层全连接层和分类层对最后一层所述池化层输出的所述待定前景区域的特征图进行分类，得到所述待定前景区域为前景区域的概率；N为正整数；

利用多层全连接层输出所述前景区域的边框相对于所述待定前景区域的偏移量。

本发明实施例中，通过卷积神经网络中的自学习特性，可以学习到图像的边缘特征、线性特征、中心环绕特征、纹理特征、空间关系特征和角点特征，克服了现有技术中仅仅提取图像的边缘特征、线性特征、中心环绕特征，而无法抑制图像中噪音的问题，使得本发明具有抑制图像中噪声的优点。

另外，上述步骤S2中根据所述第二图像得到作为曝光参数调整依据的第二数据，具体可以采用与上述获取第一数据同样的方式获取所述第二数据，此处不在赘述。

可选的，所述前景识别模型的损失函数Loss为：

其中，bi是所述前景识别模型输出的所述第一图像的第i个像素点为前景区域的概率值，第i个像素点为前景区域的概率值与所述第i个像素点所在的所述待定前景区域为前景区域的概率值相同，ai是第i个像素点对应的真实值，当第i个像素点被标记为前景区域时对应的真实值为1，当被标记为背景区域时对应的真实值为0，W、H是所述第一图像的像素宽度和像素高度。

可选的，所述将所述第一初始曝光参数及其对应的所述第一数据、所述第二初始曝光参数及其对应的所述第二数据输入至用于进行理想曝光参数计算的人工智能模型，利用所述人工智能模型进行理想曝光数据的估计，包括：

利用所述人工智能模型中的特征融合层对所述第一初始曝光参数及其对应的所述第一数据、所述第二初始曝光参数及其对应的所述第二数据进行特征融合，得到第三数据；

利用所述人工智能模型中的卷积层对所述第三数据进行卷积计算；

利用所述人工智能模型中的抽样层对所述卷积层的输出进行计算；

利用所述人工智能模型中的全连接层对所述抽样层的输出进行计算，得到所述理想曝光参数。

可选的，所述获取所述森林草原巡视无人机相机使用第一初始曝光参数采集得到的第一图像和使用第二初始曝光参数采集得到的第二图像之前，还包括：

获取设置在所述相机镜头附近的光传感器采集到的传感器数据；该传感器数据具体可以包括光照度；

查找环境光数据与初始曝光参数对应表，得到与所述传感器数据对应的所述第一初始曝光参数和所述第二初始曝光参数。

进一步可选的，环境光数据与初始曝光参数对应表可以所述相机历史拍摄的图像确定，具体的，一个环境光数据对应的初始曝光参数为所述相机在对应的环境光条件下拍摄得到理想曝光的森林草原图像时，最低曝光量对应的曝光参数为所述第一初始曝光参数，最高曝光量对应的曝光参数为所述第二初始曝光参数。

另外，所述第一初始曝光参数和所述第二初始曝光参数还可以分别是森林草原巡视无人机相机最小曝光量对应的曝光参数、最大曝光量对应的曝光参数。使用所述第一初始曝光参数采集得到的所述第一图像很可能欠曝，采用所述第二曝光参数采集得到的所述第二图像很可能过曝。

进一步可选的，所述将所述第一初始曝光参数及其对应的所述第一数据、所述第二初始曝光参数及其对应的所述第二数据输入至用于进行理想曝光参数计算的人工智能模型，利用所述人工智能模型进行理想曝光数据的估计之前，还包括：

获取所述人工智能模型的训练样本集，所述训练样本集中包括根据所述相机使用第一初始曝光参数采集到的第三图像确定的第一数据和根据所述相机使用第二初始曝光参数采集到的第四图像得到的第二数据，和所述相机采集得到理想曝光的第五图像时的曝光参数，所述相机采集得到所述第三图像、所述第四图像和所述第五图像时位置和角度不变；

从训练样本集中，每次迭代随机抽取多个训练样本构成一个批次输入至所述人工智能模型；

对于输出层，设定输出层有N个节点，则对输出层的第n个节点的误差项为：δn＝(en-yn)yn(1-yn)，其中，en为第n个节点的目标输出，yn为节点n的预测输出；

对于全连接层，设定当前层有L个节点，第l个节点的误差项为：

其中，gj为节点l的输出，Wjc为当前层第l个节点到下一层的节点c的权值，M为滤波器大小，δc为节点c的误差项；

对卷积层的误差项进行计算，具体参阅所述全连接层的误差项计算；

再从后层向前层逐层依次计算出各权值的调整量，即第k轮迭代的节点p的第q个权向量的改变量Δwpq(n)，涉及的具体算法如下：

其中，N为输入变量个数，k为迭代层数，δp为节点p的误差项，hp为节点p的输出，wpq(n-1)为上一次迭代时节点p的第q个权向量。

本发明实施例中，在获取训练样本时，可以利用所述森林草原巡视无人机相机在森林草原中的多个不同位置，分别使用不同的曝光参数采集多张图像，该曝光参数包括所述第一初始曝光参数和所述第二初始曝光参数，以及按照一定的曝光参数调整步长对所述第一初始曝光参数或所述第二初始曝光参数进行调整得到的一个或多个曝光参数，并人工从在森林草原中的一个位置采集得到的多张图像中挑选曝光参数理想的图像并获取对应的理想曝光参数。

实施例2

本实施例提供一种森林草原巡视无人机相机的自适应曝光处理系统，如图3所示，包括：预览图像缓存装置101、数据传输接口102、处理器103和曝光控制装置104；

所述处理器103用于通过所述数据传输接口102读取所述预览图像缓存装置101中存储的第一图像和第二图像，所述第一图像、所述第二图像分别是所述森林草原巡视无人机相机在同一位置和同一角度使用不同的第一初始曝光参数、第二初始曝光参数时采集得到的图像；

所述处理器103还用于根据所述第一图像得到作为曝光参数调整依据的第一数据，根据所述第二图像得到作为曝光参数调整依据的第二数据；

所述处理器103还用于将所述第一初始曝光参数及其对应的所述第一数据、所述第二初始曝光参数及其对应的所述第二数据输入至用于进行理想曝光参数计算的人工智能模型，利用所述人工智能模型进行理想曝光数据的估计；

所述处理器103还用于根据所述人工智能模型输出的所述理想曝光参数，控制所述曝光控制装置104，调整图像采集时的曝光参数。

本实施例中，所述第一图像和所述第二图像可以不作为拍照图像进行处理后存储照片存储空间，而是作为预览图像进行处理后缓存，这样可以节省时间，使得曝光调整更加符合当前的拍摄环境。

本发明实施例中，在对森林草原巡视无人机相机的曝光参数进行自适应调整时，先使用两个不同的初始曝光参数进行拍摄得到两张图像，然后根据该两张图像获取曝光相关的信息(即第一数据和第二数据)，然后利用人工智能模型对这些信息和初始曝光参数进行分析，得到理想的曝光参数，然后调整图像采集时的曝光参数，以使得采集到的图像曝光合理，从而使得采集到的图像细节清晰，进而提高基于该图像进行火灾预警分析时的准确度。

可选的，所述处理器103还用于对所述第一图像进行预处理；将预处理后的所述第一图像输入至前景识别模型；利用所述前景识别模型从预处理后的所述第一图像提取图像特征信息，输出所述第一图像的深度卷积高维空间特征信息图；利用所述前景识别模型根据所述第一图像的深度卷积高维空间特征信息图输出多个待定前景区域；利用所述前景识别模型对所述待定前景区域进行分类和边框的回归微调，输出所述待定前景区域为前景区域的概率和位置；利用所述前景识别模型根据所述待定前景区域为前景区域的概率，确定所述待定前景区域是否为前景区域，并根据确定为前景区域的所述待定前景区域的位置进行前景区域的拼接，得到完整的前景区域。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。