基于深度神经网络的成熟期水果的检测与跟踪计数的方法

技术特征：
1.一种基于深度神经网络的各成熟期水果的检测与跟踪计数的方法，其特征在于，包括以下步骤：步骤一：水果视频数据采集；步骤二：构建目标检测数据集；步骤三：构建yolov5的网络结构，训练基于yolov5的水果目标检测模型；步骤四：对水果数据进行目标检测；步骤五：将目标检测的结果结合多分类的bytetrack目标跟踪算法进行多目标跟踪；步骤六：设定roi区域，对分配了身份id的水果进行分类计数。2.根据权利要求1所述的方法，其特征在于，所述步骤一具体为：通过相机拍摄处于不同生长时期的水果视频；拍摄的时间包括中午12点，下午3点以及晚上8点；光照环境包括前光、背光、散射光以及灯光照明；采集的视频为mp4格式，分辨率为水平1920
×
垂直1080，视频的帧率为30f/s。3.根据权利要求2所述的方法，其特征在于，所述通过相机拍摄处于不同生长时期的水果视频，包括：在视频拍摄的过程中，拍摄方向正向平行于太阳光照射的方向以模拟前光，拍摄方向反向平行于太阳光照射的方向以模拟背光，在阴天多云的环境下采集视频以模拟散射光，在晚上只有果园中灯光照明的条件下同样采集视频。4.根据权利要求1所述的方法，其特征在于，所述步骤二具体为：提取拍摄视频的图像，然后筛选出用于构建目标检测数据集的图片；对图像编号后，使用labelimg软件人工对样本图片进行标注，绘制边框，手工分类；将标注的数据集按照9:1的比例划分为训练集以及测试集。5.根据权利要求1所述的方法，其特征在于，所述步骤三中所述yolov5的网络结构包括输入端、主干网络模块、颈部网络模块以及输出端四个部分；所述输入端用于对水果图像输入网络之前做预处理，包括自适应缩放图片、mosaic数据增强；所述自适应缩放图片为，首先设定待进行训练的图片大小为512x512，以w,h来表示原图像的宽和高；那么经过缩放后的宽高分别为：w1＝w
×
min{w/512,h/512}，h1＝h
×
min{w/512,h/512}；如果w1<512，则对应的w边上下添加[(512w1)％64]/2高度的黑边，最终凑成512
×
512大小的图片；对h也同理操作；其中min表示取最小值操作；所述mosaic数据增强，随机选取4张图片，对4张图片进行数据增广操作，操作包括对原始图像进行左右的翻转，大小的缩放以及明亮度，饱和度，色调的调整；然后将4张图片进行拼接，形成一张新的图片；所述主干网络模块用于对输入图像进行特征提取使用c3和sppf结构，c3将基础的特征层分为两个部分，一部分用来做卷积运算，另一部分通过跨层组合的方式与卷积运算后的部分进行融合，通过融合之后输出特征f,sppf结构的作用是将在c3中提取的多个尺度的特征融合到一起；所述颈部网络模块采用fpn pan结合的形式将不同层的特征进行融合；所述输出端用于输出输入图像的1/8、1/16、1/32的3个特征图，使用ciou_loss作为预
测框的损失函数，ciou_loss函数公式如下式所示：其中，b为预测框，b
gt
为真实框；ρ2(b,b
gt
)表示预测框和真实框他们中心点的距离；b∩b
gt
为预测框与真实框之间的并集，b∪b
gt
为预测框与真实框之间的交集；w表示为预测框的宽度，h表示预测框的高度，w
gt
为真实框的宽度，h
gt
表示为真实框的高度；c2表示预测框与真实框形成的外接矩形对角线的长度。6.根据权利要求1所述的方法，其特征在于，所述步骤三所述训练yolov5水果目标检测模型各条件为：网络模型的深度depth_multiple设为0.33，宽度width_multiple设为0.5，图片的尺寸设为512x512，batch-size设为64，训练200轮，每一轮训练，训练集中所有的图片都经过yolov5模型训练一次，得到效果最优的yolov5检测模型用于后续检测。7.根据权利要求1所述的方法，其特征在于，所述步骤四的具体步骤为：逐帧读取水果检测视频；将每一帧图像帧使用yolov5网络训练的水果检测模型进行推理检测，检测每一帧图像中所有的水果目标的位置、类别以及置信度，使用检测框的形式存储检测的结果；检测框bbox的表达式为：bbox＝[x,y,w,h,cls,conf]其中x、y、w、h依次分别为检测框的中心点坐标以及检测框的宽高；cls为目标的类别，conf为目标的置信度。8.根据权利要求1所述的方法，其特征在于，所述步骤五的具体步骤包括：ⅰ、构建多分类bytetrack跟踪算法的目标检测器，将步骤四中对水果视频数据进行目标检测得到的检测框以置信度得分进行划分，得分高于0.5的划为高分框，得分低于0.5的划为低分框，并对所有目标框创建轨迹对象。ⅱ、构建多分类bytetrack跟踪算法的轨迹预测，使用改进的多分类卡尔曼滤波，对检测的各类水果目标轨迹进行运动建模，预测目标轨迹的下一帧目标框的位置和大小，用一个9维空间表示轨迹某时刻的状态，运动模型表达式如下：
其中x
k
、y
k
表示检测框的中心点，r
k
为宽高比，高h
k
；表示检测框中心点坐标的变化率。为检测框宽高比变化率，为检测框高度变化率，cls
k
为检测框的类别信息。ⅲ、构建多分类bytetrack跟踪算法的匹配器，使用检测框和跟踪轨迹进行匹配时先使用高分框和当前所有的跟踪轨迹进行匹配，再使用低分框和没有匹配上高分框的跟踪轨迹进行匹配；对于没有匹配上跟踪轨迹的高分框，对其新建一个跟踪轨迹；对于没有匹配上检测框的跟踪轨迹，保留30帧，在其再次出现时再进行匹配；ⅳ、为每一个水果检测目标分配身份id，当一帧图像中的目标能够与之前帧中出现的目标成功匹配则保持其身份id不变，若当前帧中的目标不能与之前帧中的目标匹配则为其分配新的身份id。9.根据权利要求1所述的方法，其特征在于，所述步骤六中的设定roi区域为，在图像中设定进行计数的区域，通过设定坐标点的形式，形成计数区域，当跟踪目标出现在计数区域时，对跟踪目标进行计数。10.根据权利要求1所述的方法，其特征在于，所述分类计数方法包括：步骤a逐帧判断每一帧识别的水果目标框的中心位置坐标是否位于roi计数区域之内，若不在roi计数区域之内，重复执行这一步骤；若坐标位置位于roi计数区域之内，执行下一步骤；步骤b提取识别的水果目标框的类别信息，然后判断roi区域相应类别的跟踪列表是否包含该水果目标的身份id；若该类别的跟踪列表不包含此身份id，则将此身份id加入该类别的跟踪列表，并将对应类别的计数器加一；若该类别的跟踪列表已经包含此身份id，则不对其计数；步骤c检测完所有视频帧之后，对roi区域的所有类别的跟踪列表清空。

技术总结
本发明提供一种基于深度神经网络的各成熟期水果的检测与跟踪计数的方法，该方法使用了深度学习YOLOv5算法检测不同成熟期的水果，利用YOLOv5的检测结果作为输入，结合ByteTrack目标跟踪算法对各成熟期的水果进行跟踪并且分配唯一的ID，实现端到端的检测与跟踪，最后使用ROI区域对不同成熟期的水果进行计数统计。本发明适用于果园中复杂的环境，实现了对果园中不同成熟期的水果检测与计数，加快了农业巡检机器人的智能化进程。快了农业巡检机器人的智能化进程。快了农业巡检机器人的智能化进程。


技术研发人员：李修华 王翔
受保护的技术使用者：广西大学
技术研发日：2022.11.07
技术公布日：2023/2/3