一种水果缺陷检测方法

本发明属于水果缺陷，尤其涉及一种水果缺陷检测方法。

背景技术：

1、果蔬品质的好坏直接关系到食品安全，而食品安全又与人们的生命健康息息相关。通过缺陷检测，可以有效避免劣质水果流入市场，保护消费者健康。如苹果缺陷检测是指对水果表面的质量、颜色、形状、大小等进行检测，以识别出有瑕疵或缺陷的水果。常见的苹果缺陷包括：疤痕、破损、腐烂、变形、病虫害等。

2、近年来基于深度学习的目标检测方法在许多领域已经成功实现了应用，有良好的检测效果。然而，在水果缺陷检测领域，在实际情况中，苹果之间可能会出现遮挡或重叠的情况，这会使得目标检测变得更加困难，小目标检测、密集泄漏点、定位精度以及复杂背景和环境下的适应性检测仍然是可能会面临的问题。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的一种水果缺陷检测方法，解决了目标检测领域中不能快速且准确检测出水果缺陷检测的问题。

2、为了达到以上目的，本发明采用的技术方案为：一种水果缺陷检测方法，包括以下步骤：

3、s1、收集不同情况下包含水果缺陷检测的图像数据，对其进行清洗，生成初始数据集并标注；

4、s2、对经标注的图像数据进行预处理，并划分为训练集、验证集以及测试集；

5、s3、构建改进的yolov5网络模型；

6、s4、利用训练集和验证集对改进的yolov5网络模型进行训练和验证；

7、s5、根据测试集，利用经训练和验证后的yolov5网络模型对水果缺陷图像进行检测，得到检测结果。

8、进一步地，所述s2包括以下步骤：

9、s201、随机选取图像，并拼接基准点坐标；

10、s202、在经标注的图像数据中随机选取四张图像，并根据基准点，经尺寸和位置调整，将四张图像放置于指定尺寸的图层中的四个位置处，以及将映射关系对应至图像标签上；

11、s203、通过将图层中的图进行拼接，裁剪越界检测框坐标；

12、s204、在经标的图像中随机裁剪出一块固定大小的正方形区域，并在该区域填充零值，完成对图像数据的预处理；

13、s205、将经预处理后的图像数据划分为训练集、验证集以及测试集。

14、再进一步地，所述s3具体为：

15、利用上下文引导块模块对卷积模块进行改进，将特征金字塔网络结构改进为高分辨率特征金字塔网络特征融合结构，并设置yolov5网络模型的损失函数，得到改进后的yolov5网络模型。

16、再进一步地，所述上下文引导块模块，用于根据提取图像的局部特征，结合接收野周围的上下文信息生成联合特征，并通过加权处理对生成的联合特征进行强化处理；

17、所述高分辨率特征金字塔网络特征融合结构，用于融合经强化处理的不同尺度的联合特征，得到最终的注意力特征。

18、再进一步地，所述上下文引导块模块包括：

19、局部特征提取器，用于利用标准卷积层学习图像的局部特征；

20、周围上下文提取器，用于利用空洞/膨胀卷积层学习接收野的周围上下文；

21、联合特征提取器，用于通过连接层、批量归一化以及参数化处理，融合局部特征和周围上下文的输出，获取联合特征；

22、全局上下文提取器，用于利用全局平均池化层聚合全局上下文，并通过多层感知机提取全局上下文，并对全局上下文以及联合特征进行加权处理。

23、再进一步地，所述融合经强化处理的不同尺度的联合特征，得到最终的注意力特征，其具体为：

24、根据经强化处理结果，分别给定一高级特征和低尺度特征；

25、利用转置卷积对高级特征进行扩展处理；

26、统一经扩展处理后的高级特征和低尺度特征的维度，并利用双线性插值对经扩展处理后的高级特征进行采样处理；

27、根据采样结果，将高级特征转换为相应的注意力权重，以过滤低尺度特征；

28、将过滤后的低尺度特征和经扩展处理后的高级特征进行融合，得到最终的注意力特征。

29、再进一步地，所述最终的注意力特征的表达式如下：

30、fatt＝bl(t-conν(fkigh))

31、fa'tt＝flow*ca(fart)+fatt

32、其中，fa'tt表示最终的注意力特征，fatt表示初始得到的注意力特征，bl表示blocklayer块层，t表示转置操作，conν()表示卷积操作，fkigh表示高尺度特征，flow表示低尺度特征，ca表示注意力模块，fart表示经过注意力机制处理后的最终注意力特征。

33、再进一步地，所述改进后的yolov5网络模型的损失函数的表达式如下：

34、

35、其中，shape-iou表示改进后的yolov5网络模型的损失函数，iou表示预测边界框和真实边界框之间的交并比，ρ(b,bg)表示预测边界框中心和真实边界框中心之间的欧氏距离，ρ表示预测边界框和真实边界框之间的形状相似度，b表示预测边界框的宽度和高度，bg表示真实边界框的宽度和高度，c表示是包含预测边界框和真实边界框的最小闭包的对角线长度，α表示权重系数，v表示形状成本项。

36、本发明的有益效果：

37、本发明提供了一种基于改进yolov5模型的水果缺陷检测方法，通过mosiac(马赛克)和cutout(裁剪)算法对数据进行增强，将卷积改进为cg block(上下文引导块)模块，增强特征提取过程；将neck fpn(特征金字塔网络)改进为hs-fpn(高分辨率特征金字塔网络)结构，提高特征融合程度；优化损失函数shape lou，加快模型收敛速度与效果；通过输入数据集对改进的yolo模型进行训练，获得改进后的模型，最后使用该模型对待测区域图像、视频进行检测得到检测结果。通过检验，本发明实时性能优化使得模型能够响应，根据实际需求调整模型参数，适用于多种安全检测场景，能更准确地检测出水果缺陷检测的问题。

1.一种水果缺陷检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的水果缺陷检测方法，其特征在于，所述s2包括以下步骤：

3.根据权利要求1所述的水果缺陷检测方法，其特征在于，所述s3具体为：

4.根据权利要求3所述的水果缺陷检测方法，其特征在于，所述上下文引导块模块，用于根据提取图像的局部特征，结合接收野周围的上下文信息生成联合特征，并通过加权处理对生成的联合特征进行强化处理；

5.根据权利要求4所述的水果缺陷检测方法，其特征在于，所述上下文引导块模块包括：

6.根据权利要求4所述的水果缺陷检测方法，其特征在于，所述融合经强化处理的不同尺度的联合特征，得到最终的注意力特征，其具体为：

7.根据权利要求6所述的水果缺陷检测方法，其特征在于，所述最终的注意力特征的表达式如下：

8.根据权利要求3所述的水果缺陷检测方法，其特征在于，所述改进后的yolov5网络模型的损失函数的表达式如下：