一种结合图像增强和CNN的小麦不完善粒识别方法与流程

一种结合图像增强和cnn的小麦不完善粒识别方法
技术领域
1.本发明涉及计算机视觉领域，具体涉及传统图像处理方法和深度神经网络的应用。


背景技术：

2.小麦不完善粒识别任务旨在依据图像识别麦粒的不完善粒，除完善粒外，一般不完善粒类型可以分为破损粒、虫蚀粒、病斑粒、生芽粒和霉变粒。目前的研究主要使用深度神经网络对小麦图像进行分类。而实际应用场景下，小麦图像具有图像背景单一或是无背景、各类麦粒(包括不完善粒与完善粒以及不同的不完善粒种类)之间绝大部分像素非常相似而更多的是靠图像的一些细小的局部来完成分类。目前的研究绝大部分没有利用好这种特点。


技术实现要素：

3.本发基于小麦图像的特点提出了一种结合图像增强和cnn的小麦不完善粒识别方法。基于图像处理技术增强图像细节，来增强各类数据的可分性。以增强后的图像作为神经网络的输入，然后使用bn(batch normalization)技术增强分类网络的性能。本发明通过以下技术方案来实现上述目的：
4.一种结合图像增强和cnn的小麦不完善粒识别方法，包括以下步骤：
5.步骤一：建立数据集。
6.步骤二：搭建细节增强(detail enhancement)层。
7.步骤三：在深度神经网络分类器中加入de层。
8.步骤四：使用加入了de层的分类神经网络网络来训练分类器，得出图像对应的类别。
9.作为步骤一中图像预处理和建立数据集说明如下：
10.(1)实际背景下采集到的麦粒图像是黑色背景，然而麦粒本身占整幅图像的比例不大，先查找出麦粒轮廓后，以最大轮廓的外接矩形为界裁剪图像。
11.(2)为方便神经网络输入，将图像调整为固定大小(227*227)，并使得前景居中。
12.(3)小麦专业质检人员看图，对所有图片标注其类别，建立数据集。
13.(4)数据集共包含各类图像6000张，取其中5000张作为训练集训练神经网络，余下1000张图作为测试集验证神经网络的泛化性能。
14.作为步骤二的图像细节增强，其说明如下：
15.(1)先使用交替最小化算法约束图像在水平和竖直方向的l0梯度求解图像的基础图层。约定i为原图像，s为待求解的平滑图像，和表示求解出的s沿着水平和竖直方向的偏导数(此偏导采用前向差分求解)，于是图像中任一点p处的导数可以记为对二维图像s而言，需要约束水平方向和竖直方向的l0范数，具体的约束项为：
[0016][0017]
其中，“#{}”表示对大括号内满足条件的像素p计数。假设i为原图像，s为满足约束条件下的基础层，则求解目标函数为：
[0018][0019]
引入一个非负参数λ，控制i被平滑的权重。则其转化为非约束形式：
[0020][0021]
由于c(s)非凸非可导，求解此式困难。为此引入辅助变量h
p
和v
p
，采用交替最小化算法求解。求解目标变换为：
[0022][0023]
(4)式中，β是一个超参数，约束h
p
和v
p
与对应原图像梯度和的相似性。求解此式即可得到图像的基础层s，调整参数λ,β可以获得不同的平滑程度。使用交替最小化算法可以得到(4)式的解：
[0024][0025][0026]
按照(5)(6)式交替迭代即可得到平滑后的基础层。
[0027]
(2)求解出基础层s后，对图像i做如下变换：d＝s γ(i-s)，式中γ是一个大于1的常数，控制突出细节的程度。
[0028]
(3)整个细节增强层接受输入特征x，可学习的参数λ、β、γ
[0029][0030]
作为步骤三中的在深度神经网络分类器中加入de层，其说明如下：
[0031]
(1)de操作使得各个数据特征更为特殊化，可以有效增强对正确类别的贡献，de层可以作为输入层直接对输入图像增强细节，也可以在隐藏层中加入对feature map进行增强，当feature map非二维矩阵时，只需将参数λ、β、γ设置为相应的向量即可。
[0032]
(2)de层需在非线性激活之前进行操作，为了避免梯度爆炸，使用de层的同时也在网络中添加bn(batch normalization)层，bn操作是深度学习领域一个很重要的研究成果，也是领域内广为人知的操作，此处不做额外介绍。
附图说明
[0033]
图1是本发明数据集六类麦粒图像。
[0034]
图2是本发明提出的细节增强层作为输入层时的图例。
[0035]
图3是本发明所提细节增强层对六类麦粒图像输入处理前后的样例。
[0036]
图4是本发明提出加入de的神经网络相邻两层的结构。
具体实施方式
[0037]
下面结合附图对本发明作进一步说明：
[0038]
图3是本发明所提细节增强算法增强前后的六类麦粒图像样例，而图4是本发明所提的使用bn的深度神经网络相邻某两层。为验证此方法有效性，取经典分类网络lenet-5、resnet-34和vgg-16分别对比使用增强前后的图像作为网络输入以及网络是否加入bn层，即每个经典分类网络各四组对比试验共计12组实验。由于resnet-34网络本身加入了bn层，故对resnet-34实验时对比resnet-34去除bn层(resnet34-bn)、resnet-34去除bn使用增强图像(resnet34-bn de)、resnet、resnet使用增强图像(resnet34 de)四组。其实验数据如表1。
[0039]
表1 lenet-5、vgg-16、resnet-34对比实验
[0040][0041]
由表1容易得出以下结论：
[0042]
(1)实验的三个分类网络均在本发明所提方法(结合了bn和de)上获得最高测试集准确率和更低的训练集准确率。(2)使用增强的图像作为输入时，在三个不同网络上均获得》1％的测试集准确率提升。在网络中添加bn层时，三个网络均获得》5％的测试集准确率提升。(3)三个网络均在本发明所提方法上获得最大测试集准确率，相较baseline提高超过7％测试集准确率。验证了本发明所提方法的有效性。


技术特征：
1.一种结合图像增强和cnn的小麦不完善粒识别方法，其特征在于包括以下步骤：步骤一：基于l0范数约束对矩阵(包括但不限于输入图像)进行平滑，提取其中变化缓慢的低频部分作为基础层；步骤二：可学习的自适应高频分量增强方法，将原矩阵与平滑之后的结果作差得到变化剧烈的高频部分，增强这部分图层后与低频部分叠加，其中控制增强程度的参数由深度神经网络进行自适应学习；步骤三：将步骤二中封装的细节增强层(detail enhancement,de)放入神经网络中，训练神经网络的同时优化控制参数，使得不通输入依据类别自适应增强高频或是低频部分，取得更高的类外差异。2.根据权利要求1所述的一种结合图像增强和cnn的小麦不完善粒识别方法，其特征在于：步骤一中基于l0范数约束对矩阵(包括但不限于输入图像)进行平滑，约束图像中相邻像素不相等的个数，提取其中变化缓慢的低频部分作为基础层，通过构造原图像横向和纵向的l0梯度交替最小化来求解出满足约束条件的图像低频分量。3.根据权利要求1所述的一种结合图像增强和cnn的小麦不完善粒识别方法，其特征在于：步骤二中自适应高频分量增强方法，将原矩阵与平滑之后的结果作差得到变化剧烈的高频部分，增强这部分图层后与低频部分叠加，其中控制增强程度的参数由深度神经网络进行自适应学习，给定可学习的超参数λ、β控制二维矩阵的平滑程度，参数γ控制高频分量的增强程度，作为深度神经网络的一个特征提取层，自适应增强局部特征，对于隐藏层的高维矩阵，只需将参数λ、β和γ扩展为相应的向量即可。4.根据权利要求1所述的一种结合图像增强和cnn的小麦不完善粒识别方法，其特征在于：步骤三中将步骤二中封装的细节增强层(detail enhancement,de)放入神经网络中，训练神经网络的同时优化控制参数，使得不通输入依据类别自适应增强高频或是低频部分，在训练阶段由网络反向传播自适应选择高频部分或者低频部分增强的幅度，来获得更高的类外差异。

技术总结
针对小麦不完善粒识别任务，本发明设计了一种基于卷积神经网络和图像处理的方法。分类网络的性能提升和数据的可分性是分类准确率的关键。本发明针对实际应用场景下，小麦图像与传统图像分类任务的图像的不同点，提出了一种针对小麦图像的图像细节增强方法，以加强数据的可分性；并将其扩展到特征层中，可以通过训练学习相应的细节增强程度以及对神经网络隐藏层的输出特征图进行细节增强。本发明对小麦不完善粒识别任务提出了一种新颖、实用的解决方案，具有广泛的应用的前景。具有广泛的应用的前景。


技术研发人员：何小海 贺杰安 吴晓红 吴小强 卿粼波 滕奇志
受保护的技术使用者：四川大学
技术研发日：2020.09.03
技术公布日：2022/3/21