一种猕猴桃图像不均匀光照的智能矫正方法与流程

一种猕猴桃图像不均匀光照的智能矫正方法
一、技术领域
1.本发明属于智慧农业领域，特别涉及一种基于深度学习的猕猴桃图像不均匀光照的智能矫正方法。
二、

背景技术：

2.2021年强调将以更有力的举措，汇聚更强大的力量，加快农业农村现代化。智慧农业是我国农业现代化发展的必然趋势。猕猴桃营养丰富，被誉为“水果之王”。猕猴桃果实的商品附加价值高，增加农民收益效果显著。猕猴桃收获是一项劳动密集型作业，我国现行的猕猴桃果实收获的机械化水平较为低下，导致果实的生产成本提高。随着我国城乡一体化的推进，农业劳动力存在“老龄化”等问题。猕猴桃隶属藤蔓植物，在我国一直采用棚架栽培模式，需立柱支撑、钢丝组网，且果实大都成簇生长。在田间，猕猴桃受全天候光照强度变化、树叶遮光以及相机动态范围限制等影响，采集的图像往往呈现一些不适定特征，如低照度、低对比度和细节模糊等光照不均匀的现象，以致在智能识别阶段出现了较严重的漏检和误检，给后续的机器人自动化采摘工作带来很大困难，甚至无法开展机械化、智能化采摘。猕猴桃图像不均匀光照矫正是确保推进与实现智能化采摘的关键环节。
3.目前，图像的不均匀光照矫正方法可以分为两类：基于物理模型的传统矫正方法和基于数据驱动的深度学习方法。前者，一方面是对图像中像素个数多的灰度值进行展宽，对像素个数少的灰度值进行归并，从而增大对比度，达到图像增强的目的；一方面通过提取输入图像的光照分量对曝光不足的图像进行增强。后者通常使用许多成对的训练数据集和复杂的网络结构来调整图像亮度和增强对比度，如基于bimef，retinexnet，enlightengan或zero-dce的网络结构矫正方法。与传统方法相比，深度学习方法具有更好的普适性，但通常使用大量配对的训练数据集进行复杂网络结构的训练与寻优，模型性能往往取决于数据集的质量与数量。此外，这两类方法在处理低质量图像时存在颜色失真、细节模糊、产生伪影以及锐化图像的问题，在田间自然环境中难以进行有效应用。
三、

技术实现要素：

4.针对上述问题，本发明提出一种猕猴桃图像不均匀光照的智能矫正方法，包括以下步骤：
5.步骤1：构建多重曝光图像数据集；
6.步骤1.1：从田间采集猕猴桃不均匀光照图像，并从sice数据集挑选360 个具有不同曝光值的图像序列，构建多重曝光图像数据集；
7.步骤1.2：按照一定比例将360个具有不同曝光值的图像序列划分为训练集和验证集，将猕猴桃不均匀光照图像划分为测试集；
8.步骤1.3：将图像尺度统一调整为512pixel
×
512pixel。
9.步骤2：构建cbam-dce-net网络结构，利用步骤1构建的多重曝光数据集训练与寻优cbam-dce-net网络模型；
10.步骤2.1：构建cbam-dce-net网络结构，在dce-net网络结构的前六个卷积模块之后分别添加cbam，之后将前六个卷积模块之后的relu激活函数替换为leakyrelu激活函数，最终形成cbam-dce-net网络结构。其中，cbam 为轻量级的通用注意力模块，用以提升网络的特征表达能力；leakyrelu激活函数是relu激活函数的变体，能减少静默神经元的出现，允许基于梯度的学习。
11.步骤2.2：基于步骤2.1构建的cbam-dce-net网络结构，采用步骤1构建的多重曝光图像数据集进行模型训练与参数寻优。
12.步骤3：通过步骤2构建的网络生成一组与输入图像对应的逐像素曲线参数，记作x
n{r,g,b}
，n为迭代次数，其中，x为与输入图像大小相同的参数映射，{r,g,b} 为图像rgb通道对应的像素值；
13.步骤4：利用步骤3生成的曲线参数来估计输入图像的最佳拟合亮度增强曲线用以生成矫正图像，记作len＝le
n-1
xnl e
n-1
(1-l e
n-1
)，n为迭代次数；
14.步骤5：循环步骤4，当n为8时停止迭代，即完成不均匀光照矫正。
15.本发明的有益效果与上述技术相比在于：
16.(1)将无参考图像引入不均匀光照矫正工作，避免了以往配对训练图像对成像设备的隐式依赖，可以使用不同场景的不同种类图像进行训练，更适合实际场景应用。
17.(2)构造的cbam-dce-net既保留了dce-net轻量化的优点，又显著提升了网络的特征表达能力以及模型性能。
18.(3)与现有方法进行对比，本发明可以灵活处理田间复杂环境下的猕猴桃不均匀光照智能矫正问题。
19.本发明的附加方面和和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
四、附图说明
20.图1猕猴桃不均匀光照的智能矫正方法流程图。
21.图2猕猴桃果园采集数据的现场图像。
22.图3部分猕猴桃不均匀光照测试集。
23.图4构造的cbam-dce-net网络结构。
24.图5矫正后的猕猴桃图像。
五、具体实施方式
25.下面结合说明书附图，对本发明做进一步的详细说明。结合附图1所示，一种猕猴桃不均匀光照的智能矫正方法，包括以下步骤：
26.步骤1：采集猕猴桃不均匀光照图像
27.基于猕猴桃的栽种模式和生长特性，结合相机属性特征以及考虑到田间复杂环境下的光照条件，设置相机拍摄方向、物距、步进等采集参数；
28.本实施例中，选择real sense 435d相机，见表1；猕猴桃果园采集数据的现场图像，见附图2所示。
29.表1多曝光图像采集参数一览表
[0030][0031]
步骤2：构建多重曝光图像数据集
[0032]
上述步骤2的具体实现方法为：
[0033]
步骤2.1：从sice数据集挑选360个具有不同曝光值的图像序列，构建多重曝光图像数据集；
[0034]
步骤2.2：按照一定比例将构建的多重曝光数据集划分为训练集与验证集。
[0035]
本实施例中，选用2422张具有不同曝光水平的图像用于训练，600张用于验证。其中，训练图像的尺度统一调整为512pixel
×
512pixel。
[0036]
步骤3：构建cbam-dce-net网络模型，并训练寻优
[0037]
上述步骤3的具体实现方法为：
[0038]
步骤3.1：在dce-net网络模型中的前六个卷积层后添加cbam模块，并将relu激活函数替换为leakyrelu激活函数；
[0039]
步骤3.2：在nvidiatesla t4塔式深度学习推理服务器上，采用步骤2构建的多重曝光图像数据集，配置训练选项和参数，进行cbam-dce-net网络的训练与验证。
[0040]
本实施例中，配置的训练选项和参数，见表2所示。
[0041]
表2配置的训练选项和参数一览表
[0042]
epochbatchsizelearning_ratewell-exposednesslevele优化器20080.00010.6adam
[0043]
步骤4：采用步骤3中训练完成的cbam-dce-net网络模型对猕猴桃不均匀光照图像进行不均匀光照矫正
[0044]
本实施例中，选取了一张猕猴桃不均匀光照图像，矫正结果见附图5所示。