基于图像和深度学习的农作物病虫害检测防治装置及方法与流程

1.本发明涉及人工智能和集成控制技术领域，尤其涉及基于图像和深度学习的农作物病虫害检测防治装置及方法。


背景技术：

2.目前，得益于机器视觉和深度学习两大技术的高度契合，在很多工程领域已展开了实际应用，尤其是在工业分拣、安保识别等领域中有了实质性的进展。
3.然而在农业装备领域，机械自动化水平较高，但智能化水平远远不够，如果实采摘、病虫害识别等工序，仍以人力为主，劳作效率较低，亦或是无差别全面喷灌防治，这样也会造成农药过量且浪费的问题。即使机器视觉技术已经初步应用于农业装备领域，但存在着识别准确率不高、抗环境干扰能力差等问题，所以如何在实际应用环境中提高机器视觉识别准确率成为了一个不可避免的工程难题。
4.近些年随着深度学习的广泛应用，在各行各业开始发力，如yolo系列模型、faster r-cnn模型，已经开始被应用于农业装备领域，但已有的训练模型结构较为冗余，且实时性欠佳。以yolo-v4模型为例，共53层卷积网络，更适用于多达数十种的目标分类检测，且因为模型复杂度高，所以训练时间成本高，除此以外，现有技术中利用深度学习技术去检测病虫害类别，多停留在检测识别环节，对于如何防治问题，暂时没有一体化解决方案。


技术实现要素：

5.本发明提供一种茶行自走式机器人及基于图像和深度学习的茶叶病虫害检测及防治方法，能够在硬件成本适中的场景下，集茶叶病虫害检测识别和喷药防治两大环节于一体，达到了减少人力消耗、提高病虫害防治效率的目的。深度学习网络teanet与现有技术中常见的区域检测网络对比，本专利提出的针对茶叶病虫害识别的深度学习网络teanet模型结构更为精简，减少了无关信息的干扰，节约了训练时间，同时提高了对茶叶病虫害的识别准确率。
6.本发明所采用的技术方案是：
7.一种基于图像和深度学习的农作物病虫害检测防治装置，包括：检测防治装置和运动装置，检测防治装置设置在运动装置上；
8.检测防治装置包括第一检测防治单元和第二检测防治单元；
9.第一检测防治单元包括支架、相机、主控装置和中部喷头，相机包括第一相机、第二相机和第三相机，所述支架固定设置在运动装置上；中部喷头设置在支架的中部，所述第一相机设置在支架的中部并高出中部喷头，第二相机和第三相机分别设置在运动装置的左侧和右侧；
10.第二检测防治单元包括第一步进电机、第二步进电机、第一侧边喷头、第二侧边喷头、第一竖直喷头丝杆和第二竖直喷头丝杆
11.第一竖直喷头丝杆和第二竖直喷头丝杆分别设置在运动装置的左后侧和右后侧，
第一步进电机固定设置在第一竖直喷头丝杆上，第二步进电机固定设置在第二竖直喷头丝杆上，第一步进电机控制第一侧边喷头沿第一竖直喷头丝杆上下竖直移动；第二步进电机控制第二侧边喷头沿第二竖直喷头丝杆上下竖直移动；
12.运动装置包括履带，履带为基于图像和深度学习的农作物病虫害检测防治装置的运动部件，通过履带传动驱使装置前进；
13.第一相机、第二相机和第三相机都安装在铝型材结构上，分别位于农作物的正上方和左右两侧，负责采集农作物的病虫害图像信息；
14.中部喷头安装在水平铝型材结构上，负责农作物上方的农药喷洒工作；
15.通过第一步进电机、第二步进电机使第一侧边喷头和第二侧边喷头分别沿第一竖直喷头丝杆和第二竖直喷头丝杆竖直上下移动，负责农作物左右两侧的农药喷洒工作；
16.主控装置安装在支架的顶端横梁上，通过usb线材与第一相机、第二相机、第三相机、第一步进电机和第二步进电机、相连接。
17.第一相机、第二相机、第三相机负责采集农作物的深度图像信息；
18.中部喷头负责农作物上方的农药喷洒；
19.第一侧边喷头和第二侧边喷头负责农作物左右两侧的农药喷洒；
20.主控装置用于对第一相机、第二相机、第三相机传输来的图像信息进行识别检测，并对运动装置、中部喷头、第一侧边喷头和第二侧边喷头进行控制。
21.基于一种基于图像和深度学习的农作物病虫害检测防治装置进行基于图像和深度学习的农作物病虫害检测防治，具体包括以下步骤：
22.步骤一、主控装置控制运动装置运行，并控制相机对农作物的上方和两侧进行图像采集；
23.步骤二、主控装置对采集的图像进行预处理，包括灰度处理、平滑处理、轮廓提取等，获得消除噪声干扰信息的二值化图像，消除对识别不利的噪声信息，为下一步病虫害识别做准备；
24.步骤三、主控装置训练深度学习模型，获取农作物病虫害的图像特征；将消除噪声干扰信息的二值化图像(输入图像茶叶叶片纹理和病斑特征信息)与农作物病虫害的图像特征进步比对，输出病虫害分类结果和病虫害茶叶的二维位置坐标(x，y)；
25.步骤四、主控装置基于相机标定获取的图像中目标物体的深度信息z和区域最小外接矩形的中心二维坐标(x，y)，获得农作物病虫害的三维坐标信息(x，y，z)，根据农作物病虫害的三维位置坐标(x，y，z)，控制第一侧边喷头沿第一竖直喷头丝杆上下竖直移动；控制第二侧边喷头沿第二竖直喷头丝杆上下竖直移动，控制中部喷头喷头、第一侧边喷头和第二侧边喷头在农作物病虫害的三维位置坐标(x，y，z)处喷洒农药。
26.步骤三具体包括以下步骤：
27.s31、基于农作物病虫害历史数据图像，建立农作物病虫害数据集；
28.s32,搭建农作物病虫害检测的深度学习网络teanet，深度学习网络teanet包括第一分类子网络a1和第二分类子网络a2，第一分类子网络a1和第二分类子网络a2的输出端连接softmax层，第一分类子网络a1包括第一卷积层、第一池化层b1、第一空间金字塔池化层c1、第一全连接层e1；第二分类子网络a2包括第二卷积层、第二池化层b2、第二空间金字塔池化层c2、第二全连接层e2；第一分类子网络a1和第二分类子网络a2之间通过空间变化层d连
接；
29.s33,当农作物病虫害数据集中的数据输入到深度学习网络teanet后，经过第一卷积层进行卷积，提取特征图像；将特征图像输入到第一池化层b1，进行防止过拟合后，输出防过拟合后的特征图像；将防过拟合后的特征图像输入到第一空间金字塔池化层c1进行特征压缩，简化网络复杂度；将特征压缩后的数据输入到第一全连接层，获取农作物病虫害的第一病斑特征；
30.s34、将防过拟合后的特征图像输入到第一空间金字塔池化层c1的同时，将防过拟合后的特征图像输入到空间变化层d进行病虫害区域检测，输出病虫害注意力区域，将病虫害注意力区域的图像输入到第二分类子网络a2，经过第二卷积层进行卷积，提取病虫害注意力区域的图像特征；将所述病虫害注意力区域的图像特征输入到第二池化层b2，进行防止过拟合后，输出防过拟合后的注意力区域的图像特征；将所述防过拟合后注意力区域的图像特征输入到第二空间金字塔池化层c2进行特征压缩，简化网络复杂度；将特征压缩后的数据输入到第二全连接层获取农作物病虫害的第二病斑特征；
31.s35，将第一病斑特征和第二病斑特征进行特征融合，输出农作物病虫害图像特征；第一全连接层e1和第二全连接层e2的输出进行特征融合,特征融合是卷积神经网络中的必须环节，卷积过程是一层一层进行，每一层都会提取特征，所以需要将每一层的特征进行融合；
32.s36，将融合后的图像特征输入到softmax层，得到可能性最大的病虫害最终预测值(最终预测值就是待检测图像中可能性最大的病虫害类别的可能性)，输出最有可能的病虫害类别和病虫害识别区域最小外接矩形的中心二维坐标(x，y)。
33.空间变化层d包括区位转换网络、坐标映射器和图像生成器；其中区位转换网络的作用为计算空间变换的参数，坐标映射器的作用为获取输入特征图和输出特征图的映射对应关系，图像生成器的作用为根据对应映射关系生成输出映射；
34.区位转换网络以第一级分类子网络a1输出的特征图u为输入，输出变换矩阵θ，则区位网络的输出表达式为θ＝f(u)，其中θ＝f()为卷积神经网络(局部网络)；
35.坐标映射器采用逆变换的方法获得输出特征图生成网格上每个像素点的对应值，根据区位网络计算的空间变化参数，坐标映射器构建逆变换后的图像与输入图像上采样网格gi的坐标映射关系，得到输入特征图u∈rh×w×c到输出特征图v∈rh×w×c的各映射位置对应关系τ
θ
，其中r表示实数集，w,h是输入特征图u和输出特征图v的宽和高，c是输入输出通道数，结合输入特征图u的像素坐标和输出特征图v的像素坐标则输入特征图u和输出特征图v对应关系为式(1)：
[0036][0037]
θ为区位转换网络计算的空间变化参数，θ
ij
是由卷积次数网络层数决定的具体空间变化参数，τ
θ
(gi)为坐标映射变换函数，gi表示第i次卷积的变量，其θ
ij
表示第i次卷积在第j层网络层的空间参数
[0038]
由区位转换网络和坐标映射器获坐标映射关系τ
θ
后，将输入特征图u和坐标映射
关系τ
θ
作为输出特征图v的坐标生成器的输入，原图像像素坐标仿射变换为目标图像的像素点坐标，表达式为(2)：
[0039][0040]
其中v
ic
为目标图像的第i个像素点坐标；为颜色通道c中坐标为(n，m)的像素值；k为核函数，表示实现重采样功能的线性插值；为原图像像素坐标；φ
x
,φy为采样内核k的输入插值参数；
[0041]
空间变化层d进行区域检测，得到农作物叶片病虫害的注意力区域。由于采用了空间变化层d进行区域检测，可以在第一级分类子网络a1提取的特征基础上，进一步找出叶片病虫害的注意力区域，使得第二分类子网络a2在该注意力区域下进行卷积学习，而不是从原始数据集图片中进行卷积学习，这样既提高了训练效率，还可以提取到更精细的病虫害特征。
[0042]
本技术通过第一池化层b1后，将注意力区域生成的特征图尺寸统一规范，经过空间变化层d送入第二分类子网络a2，通过网络内分类损失和尺度间排序交叉熵损失联合优化，以相互强化的方式对图像注意力区域检测进行递归学习，可根据需要决定尺度和迭代次数。
[0043]
一种基于图像和深度学习的农作物病虫害检测防治方法，具体包括以下步骤：
[0044]
步骤一、移动机器人运行，控制相机对农作物的上方和两侧进行图像采集；
[0045]
步骤二、对采集的图像进行预处理，包括灰度处理、平滑处理、轮廓提取等，获得消除噪声干扰信息的二值化图像图像，消除对识别不利的噪声信息，为下一步病虫害识别做准备；
[0046]
步骤三、训练深度学习模型，获取农作物病虫害的图像特征；将消除噪声干扰信息的二值化图像图像与农作物病虫害的图像特征进步比对，输出病虫害分类结果和病虫害农作物的二维位置坐标(x，y)；
[0047]
步骤四、基于相机标定获取的图像中目标物体的深度信息z和区域最小外接矩形的中心二维坐标(x，y)，获得农作物病虫害的三维坐标信息(x，y，z)，根据农作物病虫害的三维位置坐标(x，y，z)，控制不同位置的喷头喷洒农药。
[0048]
步骤二具体包括以下步骤：
[0049]
s21、读取相机采集的图像的像素，对所得到的像素值进行二值化处理；
[0050]
s22、基于高斯滤波去除二值化图像的干扰噪声信息；
[0051]
s23、对滤波后的二值化图像进行形态学闭操作，去除背景中的黑斑干扰信息，获得消除噪声干扰信息的二值化图像图像，便于作为输入深度学习模型进行比对检测。
[0052]
步骤三具体包括以下步骤：
[0053]
s31、基于农作物病虫害历史数据图像，建立农作物病虫害数据集；
[0054]
s32,搭建农作物(本实施例是茶叶)病虫害检测的深度学习网络teanet，深度学习网络teanet包括第一分类子网络a1和第二分类子网络a2，第一分类子网络a1和第二分类子网络a2的输出端连接softmax层，第一分类子网络a1包括第一卷积层、第一池化层b1、第一空间金字塔池化层c1、第一全连接层e1；第二分类子网络a2包括第二卷积层、第二池化层b2、第二空间金字塔池化层c2、第二全连接层e2；第一分类子网络a1和第二分类子网络a2之间通过
空间变化层d连接；
[0055]
s33,当农作物病虫害数据集中的数据输入到深度学习网络teanet后，经过第一卷积层进行卷积，提取特征图像；将特征图像输入到第一池化层b1，进行防止过拟合后，输出防过拟合后的特征图像；将防过拟合后的特征图像输入到第一空间金字塔池化层c1进行特征压缩，简化网络复杂度；将特征压缩后的数据输入到第一全连接层，获取农作物病虫害的第一病斑特征；
[0056]
s34、将防过拟合后的特征图像输入到第一空间金字塔池化层c1的同时，将防过拟合后的特征图像输入到空间变化层d进行病虫害区域检测，输出病虫害注意力区域，将病虫害注意力区域的图像输入到第二分类子网络a2，经过第二卷积层进行卷积，提取病虫害注意力区域的图像特征；将所述病虫害注意力区域的图像特征输入到第二池化层b2，进行防止过拟合后，输出防过拟合后的注意力区域的图像特征；将所述防过拟合后注意力区域的图像特征输入到第二空间金字塔池化层c2进行特征压缩，简化网络复杂度；将特征压缩后的数据输入到第二全连接层获取农作物病虫害的第二病斑特征；
[0057]
s35，将第一病斑特征和第二病斑特征进行特征融合，输出农作物病虫害图像特征；第一全连接层e1和第二全连接层e2的输出进行特征融合,特征融合是卷积神经网络中的必须环节，卷积过程是一层一层进行，每一层都会提取特征，所以需要将每一层的特征进行融合。
[0058]
s36，将融合后的特征并入到softmax层得到可能性最大的病虫害最终预测值(最终预测值就是待检测图像中可能性最大的病虫害类别的可能性)，输出最有可能的病虫害类别和病虫害识别区域最小外接矩形的中心二维坐标(x，y)。
[0059]
病虫害区域检测在空间变化层d完成，并作为第二分类子网络a2的输入，空间变化层d包括区位转换网络、坐标映射器和图像生成器；其中区位转换网络的作用为计算空间变换的参数，坐标映射器的作用为获取输入特征图和输出特征图的映射对应关系，图像生成器的作用为根据对应映射关系生成输出映射；
[0060]
区位转换网络以第一级分类子网络a1输出的特征图u为输入，输出变换矩阵θ，则区位网络的输出表达式为θ＝f(u)，其中θ＝f()为卷积神经网络(局部网络)；
[0061]
坐标映射器采用逆变换的方法获得输出特征图生成网格上每个像素点的对应值，根据区位网络计算的空间变化参数，坐标映射器构建逆变换后的图像与输入图像上采样网格gi的坐标映射关系，得到输入特征图u∈rh×w×c到输出特征图v∈rh×w×c的各映射位置对应关系τ
θ
，其中r表示实数集，w,h是输入特征图u和输出特征图v的宽和高，c是输入输出通道数，结合输入特征图u的像素坐标和输出特征图v的像素坐标则输入特征图u和输出特征图v对应关系为式(1)：
[0062][0063]
θ为区位转换网络计算的空间变化参数，θ
ij
是由卷积次数网络层数决定的具体空间变化参数，τ
θ
(gi)为坐标映射变换函数，gi表示第i次卷积的变量，其θ
ij
表示第i次卷积在第j层网络层的空间参数
[0064]
由区位转换网络和坐标映射器获坐标映射关系τ
θ
后，将输入特征图u和坐标映射关系τ
θ
作为输出特征图v的坐标生成器的输入，原图像像素坐标仿射变换为目标图像的像素点坐标，表达式为(2)：
[0065][0066]
其中v
ic
为目标图像的第i个像素点坐标；为颜色通道c中坐标为(n，m)的像素值；k为核函数，表示实现重采样功能的线性插值；为原图像像素坐标；φ
x
,φy为采样内核k的输入插值参数。
[0067]
空间变化层d进行区域检测，得到农作物叶片病虫害的注意力区域。由于采用了空间变化层d进行区域检测，可以在第一级分类子网络a1提取的特征基础上，进一步找出叶片病虫害的注意力区域，使得第二分类子网络a2在该注意力区域下进行卷积学习，而不是从原始数据集图片中进行卷积学习，这样既提高了训练效率，还可以提取到更精细的病虫害特征。
[0068]
本技术通过第一池化层b1将注意力区域生成的特征图尺寸统一规范，经过空间变化层d送入第二分类子网络a2，通过网络内分类损失和尺度间排序交叉熵损失联合优化，以相互强化的方式对图像注意力区域检测进行递归学习，可根据需要决定尺度和迭代次数。
[0069]
步骤四具体包括以下步骤：
[0070]
相机采用脉冲调制，根据脉冲发射和接收的时间差来测算目标物体距离相机的距离d；,
[0071][0072]
c为光速，t
p
为光脉冲的持续时间，s0表示较早的快门收集的电荷，s1表示延迟的快门收集的电荷(深度相机获取深度信息是通过电荷数的变化来测算的，引入电荷)。通过公式(3)，相机获取目标物体距离相机的距离d，目标物体距离相机的距离d为深度信息z，基于相机标定获取的图像中目标物体的深度信息z和区域最小外接矩形的中心二维坐标(x，y)，获得农作物病虫害的三维坐标信息(x，y，z)，进行农药喷洒，且喷洒有一定的覆盖范围，故对于实际操作中的位置偏差，有较大的容错能力。
[0073]
本发明的实施例提供一种茶行自走式机器人及基于图像和深度学习的茶叶病虫害检测及防治方法，使用多个深度相机从三个方向采集茶叶图像，经过图像预处理后，通过事先训练好的深度学习模型比对，从而实现识别和检测的目的。若检测为健康茶叶叶片，则自走式机器人正常行进，深度相机持续拍摄，若检测为某类病虫害(主要分为茶叶炭疽病、小绿叶蝉、茶尺蠖)，则根据病虫害类别和位置坐标传，向对应喷头阀门发送控制指令，从而喷洒对应种类农药，达到病虫害防治的目的。
[0074]
而本专利提出的网络模型，是针对主流茶叶病虫害设计搭建的，因此网络结构精简，训练成本低，检测准确率高，，本发明方法在茶叶病虫害识别及防治领域，提出了应用图像技术和深度学习相结合的方法，构建一种针对茶叶病虫害检测的轻量化、实时性高的训练模型，可以提高识别准确率，增强抗环境干扰能力，并配套针对病虫害防治的控制方法。
附图说明
[0075]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0076]
图1为一种基于图像和深度学习的农作物病虫害检测防治方法流程图。
[0077]
图2为本技术深度学习检测算法图。
[0078]
图3为本技术神经网络模型框架结构图。
[0079]
图4为本实施例一种基于图像和深度学习的农作物病虫害检测防治装置结构示意图。
具体实施方式
[0080]
下面结合附图对本发明作更进一步的说明。
[0081]
如图4所示，一种基于图像和深度学习的农作物病虫害检测防治装置，包括：检测防治装置和运动装置，检测防治装置设置在运动装置上；
[0082]
检测防治装置包括第一检测防治单元和第二检测防治单元；
[0083]
第一检测防治单元包括支架、相机、主控装置11和中部喷头4、5、6，相机包括第一相机1、第二相机2和第三相机3，所述支架固定设置在运动装置上；中部喷头4、5、6设置在支架的中部，所述第一相机1设置在支架的中部并高出中部喷头4、5、6，第二相机2和第三相机3分别设置在运动装置的左侧和右侧；
[0084]
第二检测防治单元包括第一步进电机7、第二步进电机10、第一侧边喷头8、第二侧边喷头9、第一竖直喷头丝杆和第二竖直喷头丝杆
[0085]
第一竖直喷头丝杆和第二竖直喷头丝杆分别设置在运动装置的左后侧和右后侧，第一步进电机7固定设置在第一竖直喷头丝杆上，第二步进电机10固定设置在第二竖直喷头丝杆上，第一步进电机7控制第一侧边喷头8沿第一竖直喷头丝杆上下竖直移动；第二步进电机10控制第二侧边喷头9沿第二竖直喷头丝杆上下竖直移动；
[0086]
运动装置包括履带12，履带12为茶行机器人的运动部件，通过履带12传动驱使装置前进；
[0087]
第一相机1、第二相机2和第三相机3都安装在铝型材结构上，分别位于茶行的正上方和左右两侧，负责采集茶行的病虫害图像信息；
[0088]
中部喷头4、5、6安装在水平铝型材结构上，负责茶行上方的农药喷洒工作；
[0089]
通过第一步进电机7、第二步进电机10使第一侧边喷头8和第二侧边喷头9分别沿第一竖直喷头丝杆和第二竖直喷头丝杆竖直上下移动，负责茶行左右两侧的农药喷洒工作；装置是架在茶行上方运作的，两侧的喷头上下移动，便可以覆盖到茶行的两侧区域，且两侧喷头无法左右移动。
[0090]
主控装置11安装在支架的顶端横梁上，通过usb线材与第一相机1、第二相机2、第三相机3、第一步进电机7和第二步进电机10、相连接。
[0091]
主控装置11采用nvidia的嵌入式开发板jetson nano，cpu四核arm a571.43ghz，gpu128核maxwell，运行内存4gb；
[0092]
第一相机1、第二相机2、第三相机3为英特尔的realsense d455，视野范围覆盖茶行的上方和两侧，所述深度相机深度范围0.4m-10m，fov角度为86
°×
57
°
；
[0093]
第一步进电机7和第二步进电机10为驱控一体型57步进电机，步距角1.8
°
，扭矩0.4nm-2.2n
·
m。
[0094]
第一相机1、第二相机2、第三相机3负责采集农作物的深度图像信息；
[0095]
中部喷头4、5、6负责农作物上方的农药喷洒；
[0096]
第一侧边喷头8和第二侧边喷头9负责农作物左右两侧的农药喷洒；
[0097]
主控装置11用于对第一相机1、第二相机2、第三相机3传输来的图像信息进行识别检测，并对运动装置、中部喷头4、5、6、第一侧边喷头8和第二侧边喷头9进行控制。
[0098]
基于一种基于图像和深度学习的农作物病虫害检测防治装置进行基于图像和深度学习的农作物病虫害检测防治，具体包括以下步骤：
[0099]
步骤一、主控装置控制运动装置运行，并控制相机对茶行的上方和两侧进行图像采集；
[0100]
步骤二、主控装置对采集的图像进行预处理，包括灰度处理、平滑处理、轮廓提取等，获得消除噪声干扰信息的二值化图像图像，消除对识别不利的噪声信息，为下一步病虫害识别做准备；
[0101]
步骤三、主控装置训练深度学习模型，获取农作物病虫害的图像特征；将消除噪声干扰信息的二值化图像输入图像茶叶叶片纹理和病斑特征信息，与农作物病虫害的图像特征进步比对，输出病虫害分类结果和病虫害茶叶的二维位置坐标(x，y)；
[0102]
步骤四、主控装置基于相机标定获取的图像中目标物体的深度信息z和区域最小外接矩形的中心二维坐标(x，y)，获得农作物病虫害的三维坐标信息(x，y，z)，根据农作物病虫害的三维位置坐标(x，y，z)，控制第一侧边喷头8沿第一竖直喷头丝杆上下竖直移动；控制第二侧边喷头9沿第二竖直喷头丝杆上下竖直移动，控制中部喷头4、5、6喷头、第一侧边喷头8和第二侧边喷头9在农作物病虫害的三维位置坐标(x，y，z)处喷洒农药。
[0103]
如图1所示，一种基于图像和深度学习的农作物病虫害检测防治方法，包括以下步骤：
[0104]
步骤一、移动机器人运行，控制相机对茶行的上方和两侧进行图像采集；
[0105]
步骤二、对采集的图像进行预处理，包括灰度处理、平滑处理、轮廓提取等，获得消除噪声干扰信息的二值化图像图像，消除对识别不利的噪声信息，为下一步病虫害识别做准备；
[0106]
步骤三、训练深度学习模型，获取农作物病虫害的图像特征；将消除噪声干扰信息的二值化图像图像输入图像茶叶叶片纹理和病斑特征信息)与农作物病虫害的图像特征进步比对，输出病虫害分类结果和病虫害茶叶的二维位置坐标x，y)；
[0107]
步骤四、基于相机标定获取的图像中目标物体的深度信息z和区域最小外接矩形的中心二维坐标(x，y)，获得农作物病虫害的三维坐标信息(x，y，z)，根据农作物病虫害的三维位置坐标(x，y，z)，控制不同位置的喷头喷洒农药。
[0108]
步骤二具体包括以下步骤：
[0109]
s21、读取相机采集的图像的像素，对所得到的像素值进行二值化处理。健康茶树叶为深绿色，该颜色rgb值典型值为34，139，34)以此为阈值，划分感兴趣区域，消除健康茶
树叶的影响，初步提取炭疽病、茶尺蠖和小绿叶蝉病虫害图像信息，获得感兴趣区域的二值化图像，便于下一步的图像处理；
[0110]
s22、基于高斯滤波去除二值化图像的干扰噪声信息；
[0111]
s23、对滤波后的二值化图像进行形态学闭操作，去除背景中的黑斑干扰信息，获得消除噪声干扰信息的二值化图像图像，便于作为输入深度学习模型进行比对检测。
[0112]
如图2所示，步骤三具体包括以下步骤：
[0113]
s31、基于农作物病虫害历史数据图像，建立农作物病虫害数据集，农作物病虫害数据集中的图片是提前拍摄的农作物病虫害的图片，(包括网络中开源数据集图片)，农作物病虫害数据集中包括炭疽病图片、茶尺蠖图片和小绿叶蝉图片三类常见病虫害图片和健康茶叶样本图片，茶叶病虫害数据集为经过mosaic、旋转、裁切方式数据增强后的茶叶病虫害数据集，本实施例中共11230张图片及对应的标注文件，按照训练集和测试集的比例为8：2划分为分为训练集和测试集；
[0114]
该数据集是用于让神经网络学习的数据集，并不是“标准”的，深度学习的优势就是在于无需人为提取显著特征，而是交给机器自己去“学习”特征，所以s32步骤中所述数据集中的图像样本具备一般性，通过神经网络的不断训练，模型中会保存重要特征，用以后续匹配对比；
[0115]
s32,搭建农作物(本实施例是茶叶)病虫害检测的深度学习网络teanet，如图3所示，深度学习网络teanet包括第一分类子网络a1和第二分类子网络a2，第一分类子网络a1和第二分类子网络a2的输出端连接softmax层，第一分类子网络a1包括第一卷积层、第一池化层b1、第一空间金字塔池化层c1、第一全连接层e1；第二分类子网络a2包括第二卷积层、第二池化层b2、第二空间金字塔池化层c2、第二全连接层e2；第一分类子网络a1和第二分类子网络a2之间通过空间变化层d连接；
[0116]
s33,当农作物病虫害数据集中的数据输入到深度学习网络teanet后，经过第一卷积层进行卷积，提取特征图像；将特征图像输入到第一池化层b1，进行防止过拟合后，输出防过拟合后的特征图像；将防过拟合后的特征图像输入到第一空间金字塔池化层c1进行特征压缩，简化网络复杂度；将特征压缩后的数据输入到第一全连接层，获取农作物病虫害的第一病斑特征；
[0117]
s34、将防过拟合后的特征图像输入到第一空间金字塔池化层c1的同时，将防过拟合后的特征图像输入到空间变化层d进行病虫害区域检测，输出病虫害注意力区域，将病虫害注意力区域的图像输入到第二分类子网络a2，经过第二卷积层进行卷积，提取病虫害注意力区域的图像特征；将所述病虫害注意力区域的图像特征输入到第二池化层b2，进行防止过拟合后，输出防过拟合后的注意力区域的图像特征；将所述防过拟合后注意力区域的图像特征输入到第二空间金字塔池化层c2进行特征压缩，简化网络复杂度；将特征压缩后的数据输入到第二全连接层获取农作物病虫害的第二病斑特征；
[0118]
s35，将第一病斑特征和第二病斑特征进行特征融合，输出农作物病虫害图像特征。第一全连接层e1和第二全连接层e2的输出进行特征融合,特征融合是卷积神经网络中的必须环节，卷积过程是一层一层进行，每一层都会提取特征，所以需要将每一层的特征进行融合。
[0119]
s36，将融合后的图像特征输入到softmax层得到可能性最大的病虫害最终预测值
(最终预测值就是待检测图像中可能性最大的病虫害类别的可能性，比如识别出这最可能是“炭疽病89％”)，输出最有可能的病虫害类别和病虫害识别区域最小外接矩形的中心二维坐标(x，y)。
[0120]
病虫害区域检测在空间变化层d完成，并作为第二分类子网络a2的输入，空间变化层d包括区位转换网络、坐标映射器和图像生成器；其中区位转换网络的作用为计算空间变换的参数，坐标映射器的作用为获取输入特征图和输出特征图的映射对应关系，图像生成器的作用为根据对应映射关系生成输出映射；
[0121]
区位转换网络以第一级分类子网络a1输出的特征图u为输入，输出变换矩阵θ，则区位网络的输出表达式为θ＝f(u)，其中θ＝f()为卷积神经网络局部网络)。
[0122]
坐标映射器采用逆变换的方法获得输出特征图生成网格上每个像素点的对应值，根据区位网络计算的空间变化参数，坐标映射器构建逆变换后的图像与输入图像上采样网格gi的坐标映射关系，得到输入特征图u∈rh×w×c到输出特征图v∈rh×w×c的各映射位置对应关系τ
θ
，其中r表示实数集，w,h是输入特征图u和输出特征图v的宽和高，c是输入输出通道数，结合输入特征图u的像素坐标和输出特征图v的像素坐标则输入特征图u和输出特征图v对应关系为式(1)：
[0123][0124]
θ为区位转换网络计算的空间变化参数，θ
ij
是由卷积次数网络层数决定的具体空间变化参数，τ
θ
(gi)为坐标映射变换函数，gi表示第i次卷积的变量，其θ
ij
表示第i次卷积在第j层网络层的空间参数
[0125]
由区位转换网络和坐标映射器获坐标映射关系τ
θ
后，将输入特征图u和坐标映射关系τ
θ
作为输出特征图v的坐标生成器的输入，原图像像素坐标仿射变换为目标图像的像素点坐标，表达式为(2)：
[0126][0127]
其中v
ic
为目标图像的第i个像素点坐标；为颜色通道c中坐标为n，m)的像素值；k为核函数，表示实现重采样功能的线性插值；为原图像像素坐标；φ
x
,φy为采样内核k的输入插值参数。
[0128]
空间变化层d进行区域检测，得到茶树叶片病虫害的注意力区域，由于采用了空间变化层d进行区域检测，在第一级分类子网络a1提取的特征基础上，进一步找出叶片病虫害的注意力区域，使得第二分类子网络a2在该注意力区域下进行卷积学习，而不是从原始数据集图片中进行卷积学习，这样既提高了训练效率，还可以提取到更精细的病虫害特征。
[0129]
本技术通过第一池化层b1将注意力区域生成的特征图尺寸统一规范，经过空间变化层d送入第二分类子网络a2，通过网络内分类损失和尺度间排序交叉熵损失联合优化，以相互强化的方式对图像注意力区域检测进行递归学习，可根据需要决定尺度和迭代次数。
[0130]
步骤四具体包括以下步骤：
[0131]
第一相机1、第二相机2、第二相机3均为深度相机，通过标定获取图像中目标物体
的深度信息z，基于相机标定获取的图像中目标物体的深度信息z和区域最小外接矩形的中心二维坐标(x，y)，获得农作物病虫害的三维坐标信息(x，y，z)，进行农药喷洒，且喷洒有一定的覆盖范围，故对于实际操作中的位置偏差，有较大的容错能力。
[0132]
第一相机1、第二相机2、第二相机3选型为tof深度相机，采用脉冲调制，根据脉冲发射和接收的时间差来测算目标物体距离相机的距离d；,
[0133][0134]
c为光速，t
p
为光脉冲的持续时间，s0表示较早的快门收集的电荷，s1表示延迟的快门收集的电荷深度相机获取深度信息是通过电荷数的变化来测算的，引入电荷)。通过公式(3)，相机获取目标物体距离相机的距离d，目标物体距离相机的距离d为深度信息z，再融合二维图像信息的坐标(x，y)，综合得到目标物体的三维坐标(x，y，z)。
[0135]
通过上述步骤，得到病虫害的类别和对应三维坐标坐标(x，y，z)后，主控装置根据坐标位置向对应的喷头控制阀门发送指令，控制对应喷头的启动和关闭，从而喷洒通用型防治农药不区分药液类别，响应国家农业化学防治提倡“一药多治”，如检测到茶行左侧的图像上方像素中存在病虫害特征，则由主控发送指令，使装置左侧喷头在电机的旋转带动下，移动到上方进行农药喷洒。
[0136]
所述自走式机器人的后方两侧的喷头通过步进电机的转动上下移动，由于所述步进电机为驱控一体型，故省去了传统电机驱动板的占位空间，其具体的转动速度由主控装置发送对应指令控制。
[0137]
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0138]
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
[0139]
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组间可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
[0140]
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组间组合成一个模块或单元或组间，以及此外可以把它们分成多个子模块或子单元或子组间。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任
何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0141]
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0142]
此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。
[0143]
这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、cd-rom、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。
[0144]
在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明方法。
[0145]
以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
[0146]
如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
[0147]
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。
[0148]
以上仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。