一种基于改进YOLOv3的果园产量测定系统的制作方法

技术特征：
1.一种基于改进yolov3的果园产量测定系统，其特征在于，包括：摄像头、开发板、无人机和pc机；所述摄像头和开发板均搭载安装在无人机上；所述摄像头与开发板连接，所述开发板与pc机远程连接；所述摄像头用于：拍摄果树视频，并对果树视频进行分帧处理，提取果树视频中的每一帧图像，得到果树图像序列集，并传送给开发板；所述开发板用于：部署基于改进yolov3的果树测产模型，并利用所述果树测产模型得到单帧图像果树产量和果园整体产量，且将单帧图像果树产量和果园整体产量发送至pc机；所述无人机用于：沿“弓”字型在果园的树行间飞行，直至采集到果园中果树的所有图像；所述pc机用于：实时显示单帧图像果树产量和果园整体产量。2.如权利要求1所述的基于改进yolov3的果园产量测定系统，其特征在于：搭建所述基于改进yolov3的果树测产模型，具体包括以下步骤：s1、采集果树图像，制作初始样本数据集；s2、对初始样本数据集进行数据增强，获得目标检测样本数据集的真实框的标注文件；s3、划分训练集与测试集：将目标检测样本数据集划分为训练集和测试集；s4、优化改进yolov3的网络结构，得到改进后的shufflenetv2_yolov3模型；s5、训练shufflenetv2_yolov3模型，得到训练后的模型权重文件一；s6、压缩模型权重文件一；s7、测试改进yolov3的果树测产模型的网络性能。3.如权利要求2所述的基于改进yolov3的果园产量测定系统，其特征在于：所述步骤s1的具体步骤如下：s1.1、将一块白色幕布用竹杆支撑，置于果树后方；s1.2、开启摄像头，拍摄果树视频，并对果树视频进行分帧处理，提取果树视频中的每一帧图像，得到果树图像序列集；s1.3、对果树图像序列集进行人工筛选处理，删除重复图像和无果实图像，获得果树图像，并利用labelimg标注工具对所述果树图像进行标注果实，得到初始样本数据集；所述步骤s2的具体步骤如下：对初始样本数据集进行裁剪、旋转、缩放、平移、添加噪声、调整对比度、调整亮度、调整饱和度或混合叠加操作，将经过上述操作的初始样本以及未经过上述操作的样本合并，得到目标检测样本数据集，形成真实框标注文件。4.如权利要求3所述的基于改进yolov3的果园产量测定系统，其特征在于：所述步骤s4的具体步骤如下：s3.1、将yolov3的骨干网络darknet
‑
53更换为shufflenetv2模块，同时将自注意力机制模块嵌入shufflenetv2模块；s3.2、将yolov3网络中包括上采样部分的卷积模块全部更换为深度可分离卷积模块，得到改进后的shufflenetv2_yolov3模型。5.如权利要求4所述的基于改进yolov3的果园产量测定系统，其特征在于：所述改进后
的shufflenetv2_yolov3网络模型的网络结构为：将输入层与3*3标准卷积层连接，3*3标准卷积层与第一个shufflenetv2模块连接，第一个shufflenetv2模块与第一个自注意力机制模块连接，第一个自注意力机制模块与第二个shufflenetv2模块连接，第二个shufflenetv2模块与第二个自注意力机制模块连接，第二个自注意力机制模块与第一个3组深度可分离卷积模块连接；第一个3组深度可分离卷积模块的输出经过上采样层处理后，与第一个自注意力机制模块的输出经过联结层处理；联结层的处理结果输入第二个3组深度可分离卷积模块；将第一个3组深度可分离卷积模块的输出与第二个3组深度可分离卷积模块的输出为所述改进后的shufflenetv2_yolov3模型的输出；每组深度可分离卷积模块包括：1
×
1逐点卷积层和3
×
3深度卷积层；所述自注意力机制模块的网络结构为：将自注意力机制模块的输入与3*3深度卷积层连接；3*3深度卷积层的输出经过正则化处理后，再与1*1逐点卷积层连接；1*1逐点卷积层的输出经过第一个sigmoid激活函数处理；第一个sigmoid激活函数处理结果输入全局平均池化层，全局平均池化层的输出再经过第二个sigmoid激活函数处理；第二个sigmoid激活函数处理结果经扩展维度后，与自注意力机制模块的输入逐元素相乘，获得输出结果一；第一个sigmoid激活函数处理结果同时输入全局最大池化层，全局最大池化层的输出再经过第三个sigmoid激活函数处理；第三个sigmoid激活函数处理结果经扩展维度后，与自注意力机制模块的输入逐元素相乘，获得输出结果二；将所述输出结果一和输出结果二进行联结，将联结结果作为自注意力机制模块的输出。6.如权利要求5所述的基于改进yolov3的果园产量测定系统，其特征在于：所述步骤s5的具体步骤如下：s5.1、加载目标检测样本数据集的真实框的标注文件，计算真实框与先验框的交并比值，通过对交并比值进行k
‑
means聚类，得到先验框的尺寸；s5.2、将先验框的尺寸输入到shufflenetv2_yolov3模型中；s5.3、利用训练集对shufflenetv2_yolov3模型进行训练，直至收敛，得到训练后的模型权重文件一。7.如权利要求6所述的基于改进yolov3的果园产量测定系统，其特征在于：所述步骤s6的具体步骤如下：s6.1、对shufflenetv2_yolov3模型进行模型剪枝，统计各网络层的敏感度信息；s6.2、根据当前统计的敏感度信息，对每个卷积层剪掉30％的卷积核；s6.3、加载模型权重文件一，统计每秒浮点运算次数，如果每秒浮点运算次数不满足预设的阈值，重复步骤s6.1
‑
s6.2；如果每秒浮点运算次数已满足预设的阈值，训练shufflenetv2_yolov3模型，直至收敛，得到剪枝后的模型权重文件二；s6.4、统计网络权重取值范围，找出模型权重文件二的最大值和最小值，将所有的浮点型权重数值映射成整型数值，训练shufflenetv2_yolov3模型，直至收敛，得到量化后的模型权重文件三；s6.5、对shufflenetv2_yolov3模型进行知识蒸馏，加载模型权重文件三，使用resnet网络训练shufflenetv2_pbam_yolov3模型的网络，得到知识蒸馏后的模型权重文件四。8.如权利要求7所述的基于改进yolov3的果园产量测定系统，其特征在于：所述步骤s7
的具体步骤如下：载入压缩后的模型权重文件四，利用测试集测试shufflenetv2_yolov3模型的性能。9.如权利要求8所述的基于改进yolov3的果园产量测定系统，其特征在于：所述部署基于改进yolov3的果树测产模型，得到单帧图像果树产量和果园整体产量的具体步骤如下：s8、将shufflenetv2_yolov3模型和压缩后的模型权重文件四部署到开发板上；s9、确定果树测产系数k；s10、启动无人机，利用开发板实时读取当前帧果树图像，并进行检测，获得当前帧果树图像的总果实数；s11、将单个果实重量乘以总果实数，再乘以果树测产系数k，得到单帧图像果树产量，并发送到pc机上实时显示；s12、设定摄像头的拍照间隔，设定果园的某个位置为拍摄起点，操纵无人机沿“弓”字型在果园的树行间飞行，直至采集到果园中果树的所有图像；利用开发板对单帧图像果树产量进行累加，得到果园整体产量，并发送到pc机上显示。10.如权利要求9所述的基于改进yolov3的果园产量测定系统，其特征在于：步骤s9的具体步骤如下：s9.1、利用摄像头拍摄若干张果树图像；对应每张果树图像采摘相应果树拍摄图像中的果实，并分别称重，获得若干单张图像的果树实际产量；s9.2、利用shufflenetv2_yolov3模型和压缩后的模型权重文件四对步骤s9.1获得的若干张果树图像进行检测，分别统计每张果树图像检测出的果实个数；s9.3、将每张果树图像检测出的果实个数乘以单个果实重量，获得每张果树图像的预测产量；s9.4、计算每张果树图像的预测产量与对应单张图像的果树实际产量的比值；s9.5、将若干比值进行累加，再除以果树图像的总数，得到果树测产系数k，以降低遮挡果实对产量测定的影响。

技术总结
本发明属于深度学习计算机视觉和农产品测产技术领域，涉及一种基于改进YOLOv3的果园产量测定系统，包括：摄像头拍摄果树视频，并进行分帧，提取每一帧图像；开发板部署基于改进YOLOv3的果树测产模型，得到单帧图像果树产量和果园整体产量；无人机在果园飞行，直至采集到果园中果树的所有图像；PC机实时显示单帧图像果树产量和果园整体产量。本申请通过优化改进YOLOv3模型，从大量训练样本提取特征，经迭代，学习样本数据规律，具有较高识别精度。将模型部署在开发板，通过摄像头采集果树图像，在PC机上实时显示果实重量，鲁棒性较好，能应对传统测产方法精度低和劳动强度大等问题，满足田间原位测产需求。田间原位测产需求。田间原位测产需求。


技术研发人员：郑永军 李志军 杨圣慧 孔维府
受保护的技术使用者：中国农业大学烟台研究院
技术研发日：2021.08.23
技术公布日：2021/12/6