蔬菜抽薹检测方法及系统、电子设备和存储介质

1.本发明涉及农业工程技术领域，尤其涉及一种蔬菜抽薹检测方法及系统、电子设备和存储介质。


背景技术：

2.蔬菜生产已经成为种植业中仅次于粮食的第二大农作物，市场需求极为可观。然而一方面白菜、甘蓝和芥菜等十字花科芸薹属的蔬菜在冬春低温季节易感受低温通过春化，导致未熟抽薹，影响蔬菜产量。另一方面，广东菜心和红菜薹等以菜薹为食的蔬菜，当菜薹开花后会导致粗纤维含量增加，影响菜薹的鲜嫩度与口感。
3.蔬菜抽薹的及时检测能够在蔬菜发生未熟抽薹发出拔除警告，便于种植户调整水肥策略，也能在可食用菜薹成熟时发出采收信号，有利于蔬菜种植自动化智能作业。蔬菜抽薹检测是一项十分有意义的工作，但目前使用的传统人工判断抽薹的方法，需要耗费大量人力，不利于农业自动化的推广，而基于深度学习的检测方法，对蔬菜俯拍图进行目标识别，存在误检、漏检，检测效果不佳的问题。
4.因此，如何提供一种蔬菜抽薹检测方法及系统、电子设备和存储介质，有效提高蔬菜抽薹的自动检测的准确性，能够根据抽薹检测结果判断蔬菜是否需要及时采摘，减少蔬菜生产人力成本，提高生产效率。


技术实现要素：

5.针对现有技术中的缺陷，本发明实施例提供一种蔬菜抽薹检测方法及系统、电子设备和存储介质。
6.本发明提供一种蔬菜抽薹检测方法，包括：
7.将待测蔬菜图像输入蔬菜抽薹检测模型中；其中，蔬菜图像为待测蔬菜的俯拍图；蔬菜抽薹检测模型包括：切片层、检测层和输出层；
8.基于切片层，根据预设分块规则，将待测蔬菜图像分割成若干子分块；其中，子分块之间存在重叠区域；
9.基于检测层，对子分块进行抽薹检测，确定子分块抽薹检测结果；
10.基于输出层，根据所有子分块抽薹检测结果，在待测蔬菜图中确定目标抽薹蔬菜。
11.根据本发明提供的蔬菜抽薹检测方法，基于切片层，根据预设分块规则，将待测蔬菜图像分割成若干子分块，具体包括：
12.基于切片层，根据预设分块规则，确定目标子分块边长和目标重叠长度；其中，目标子分块边长包括：目标子分块长和目标子分块高；目标重叠长度包括：目标垂直方向重叠长度和目标水平方向重叠长度；
13.基于目标子分块边长和目标重叠长度，将待测蔬菜图像分割成若干子分块。
14.根据本发明提供的蔬菜抽薹检测方法，基于检测层，对子分块进行抽薹检测，确定子分块抽薹检测结果，具体包括：
15.基于检测层，对子分块进行抽薹检测，确定子分块中是否存在抽薹蔬菜；
16.若确定存在抽薹蔬菜，则标注抽薹蔬菜，获得子分块抽薹标签；
17.基于所有子分块抽薹标签，确定子分块抽薹检测结果。
18.根据本发明提供的蔬菜抽薹检测方法，基于输出层，根据所有子分块抽薹检测结果，在待测蔬菜图中确定目标抽薹蔬菜，具体包括：
19.基于输出层，根据所有子分块抽薹检测结果，在待测蔬菜图中确定初始抽薹蔬菜；
20.根据非极大值抑制算法，去除初始抽薹蔬菜中的冗余，在待测蔬菜图中确定目标抽薹蔬菜。
21.根据本发明提供的蔬菜抽薹检测方法，在将待测蔬菜图像输入蔬菜抽薹检测模型中的步骤之前，还包括：
22.获取若干样本蔬菜图像，根据预设分块规则，确定若干样本蔬菜子分块图像；
23.基于样本蔬菜子分块图像，制作蔬菜抽薹标签，确定样本蔬菜子分块图像集；
24.基于样本蔬菜子分块图像集，基于数据增强，确定样本蔬菜图像集；
25.基于样本蔬菜图像集，训练蔬菜抽薹检测模型直至模型收敛。
26.根据本发明提供的蔬菜抽薹检测方法，基于样本蔬菜子分块图像集，基于数据增强，确定样本蔬菜图像集，具体包括：
27.基于样本蔬菜子分块图像集，基于离线数据增强和在线数据增强，确定样本蔬菜图像集。
28.根据本发明提供的蔬菜抽薹检测方法，在将待测蔬菜图像输入蔬菜抽薹检测模型中的步骤之前，还包括：确定蔬菜抽薹检测模型的网络结构；
29.确定蔬菜抽薹检测模型的网络结构，具体包括：
30.在yolov5模型网络结构的基础上，在主干特征提取网络c3模块后嵌入基于归一化的注意力模块，并将融合方式修改为加权特征融合。
31.本发明还提供一种蔬菜抽薹检测系统，包括：图像输入单元、图像切片单元、抽薹检测单元和结果输出单元；
32.图像输入单元，用于将待测蔬菜图像输入蔬菜抽薹检测模型中；其中，蔬菜图像为待测蔬菜的俯拍图；蔬菜抽薹检测模型包括：切片层、检测层和输出层；
33.图像切片单元，用于基于切片层，根据预设分块规则，将待测蔬菜图像分割成若干子分块；其中，子分块之间存在重叠区域；
34.抽薹检测单元，用于基于检测层，对子分块进行抽薹检测，确定子分块抽薹检测结果；
35.结果输出单元，用于基于输出层，根据所有子分块抽薹检测结果，在待测蔬菜图中确定目标抽薹蔬菜。
36.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如上述任一种蔬菜抽薹检测方法的步骤。
37.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种蔬菜抽薹检测方法的步骤。
38.本发明提供的蔬菜抽薹检测方法及系统、电子设备和存储介质，通过蔬菜抽薹检测模型，将待测蔬菜图像分成若干子分块，根据有重叠的子分块的目标检测结果，进一步确
定整体图像检测结果的方法，相比于直接对完整图像进行目标识别的方法，能够有效提高蔬菜抽薹的自动检测的准确性，根据抽薹检测结果判断蔬菜是否需要及时采摘，减少蔬菜生产人力成本，提高生产效率。
附图说明
39.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1为本发明提供的蔬菜抽薹检测方法流程图；
41.图2为本发明提供的图像分块示意图；
42.图3为本发明提供的子分块抽薹检测结果示意图；
43.图4为本发明提供的块图标签分析可视化结果图；
44.图5为本发明提供的改进的yolov5s模型框架示意图；
45.图6为本发明提供的数据集标签分析可视化结果图；
46.图7为本发明提供的蔬菜抽薹检测系统结构示意图；
47.图8为本发明提供的电子设备的实体结构示意图。
具体实施方式
48.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.计算机视觉方法具有强大的特征学习和表示能力，在智慧农业中具有良好的应用前景。物联网、云计算等技术的发展也为智慧农业的发展提供了坚实的技术支撑。
50.未熟抽薹，又称“先期抽薹”。一些二年生蔬菜在未形成肥大的食用部分前即已抽薹开花的现象。如经低温影响，通过阶段发育而孕蕾、抽薹、开花，称为未熟先期抽薹。如甘蓝未熟，先期抽薹使春甘蓝失去商品价值，严重影响产量和收益。
51.图1为本发明提供的蔬菜抽薹检测方法流程图，如图1所示，本发明实施例提供一种蔬菜抽薹检测方法，包括：
52.步骤s1，将待测蔬菜图像输入蔬菜抽薹检测模型中；其中，蔬菜图像为待测蔬菜的俯拍图；蔬菜抽薹检测模型包括：切片层、检测层和输出层；
53.步骤s2，基于切片层，根据预设分块规则，将待测蔬菜图像分割成若干子分块；其中，子分块之间存在重叠区域；
54.步骤s3，基于检测层，对子分块进行抽薹检测，确定子分块抽薹检测结果；
55.步骤s4，基于输出层，根据所有子分块抽薹检测结果，在待测蔬菜图中确定目标抽薹蔬菜。
56.具体的，拍摄待测蔬菜的俯拍图作为蔬菜图像，在步骤s1中，将待测蔬菜图像输入蔬菜抽薹检测模型中。
57.可以理解的是，俯拍图的拍摄装置类型、离地高度以及分辨率均可根据实际需求进行调整，本发明对此不作限定。
58.需要说明的是，蔬菜抽薹检测模型包括：切片层、检测层和输出层。蔬菜抽薹检测模型的具体结构、模型采用的识别算法以及模型的训练方法均可根据实际需求调整，本发明对此不作限定。
59.鉴于单个菜薹的标注框长宽乘积在整幅图像中的像素面积的算术平方根占在1％与4％之间，属于小目标，经测试，径直对整幅图像的菜薹进行标注从而进行目标检测的效果不佳。因此，本发明采用对图像进行有重叠分块的方法，解决小目标检测难度大的问题。
60.图2为本发明提供的图像分块示意图，如图2所示，在步骤s2中，基于蔬菜抽薹检测模型的切片层，根据预设分块规则，将待测蔬菜图像分割成若干子分块。
61.需要说明的是，本发明根据预设分块规则，在图像分块时设置了重叠率，将蔬菜图像分为边缘存在一定重叠区域的子块。分块时，预设分块规则可根据实际需求进行设置，例如，根据田间蔬菜特点，蔬菜种植间隔，仅进行纵向分块，或横向分块不重叠，纵向分块重叠，以及横纵方向重叠率设置不同等，本发明对此不作限定。
62.可以理解的是，本发明对图像进行有重叠分块，相邻子分块之间存在重叠区域，能够有效防止图像分块时破坏菜薹的整体性，影响数据集的质量。
63.在步骤s3中，基于检测层进行目标识别，对每一个子分块进行抽薹检测，确定子分块抽薹检测结果。
64.图3为本发明提供的子分块抽薹检测结果示意图，如图3所示，若确定子分块中存在抽薹蔬菜，可利用标注框的形式将其标注出。除此之外，还可以采用其他标注形式，本发明对此不作限定。
65.由于完整的待测蔬菜图像被划分为若干子分块，在确定所有子分块的识别结果后，在步骤s4中，基于输出层，根据所有子分块抽薹检测结果，将所有检测结果综合，在待测蔬菜图中确定目标抽薹蔬菜。
66.需要说明的是，在待测蔬菜图中确定目标抽薹蔬菜的方法，可以是在完整的待测蔬菜图像中，将目标抽薹蔬菜用标注框标出。另外，还可采用其他标注形式，如输出目标抽薹蔬菜的坐标等，本发明对此不作限定。
67.本发明提供的蔬菜抽薹检测方法，通过蔬菜抽薹检测模型，将待测蔬菜图像分成若干子分块，根据有重叠的子分块的目标检测结果，进一步确定整体图像检测结果的方法，相比于直接对完整图像进行目标识别的方法，能够解决小目标检测困难、准确率低的问题，有效提高蔬菜抽薹的自动检测的准确性，进一步根据抽薹检测结果判断蔬菜是否需要及时采摘，减少蔬菜生产人力成本，提高生产效率。
68.可选的，根据本发明提供的蔬菜抽薹检测方法，基于切片层，根据预设分块规则，将待测蔬菜图像分割成若干子分块，具体包括：
69.基于切片层，根据预设分块规则，确定目标子分块边长和目标重叠长度；其中，目标子分块边长包括：目标子分块长和目标子分块高；目标重叠长度包括：目标垂直方向重叠长度和目标水平方向重叠长度；
70.基于目标子分块边长和目标重叠长度，将待测蔬菜图像分割成若干子分块。
71.具体的，为了提高对单个菜薹的识别精确度，本发明通过蔬菜抽薹模型中的切片
层，根据预设分块规则，将原始待测蔬菜图像分割为若干子分块分别目标识别。
72.基于切片层，根据预设分块规则，确定目标子分块边长和目标重叠长度。其中，目标子分块边长包括：目标子分块长和目标子分块高；目标重叠长度包括：目标垂直方向重叠长度和目标水平方向重叠长度。
73.图2为本发明提供的图像分块示意图，如图2所示，结合实际应用时将待测蔬菜图像分割成若干子分块的具体步骤，对本发明方法进行详细说明。
74.通过原待测蔬菜图像的高和宽，确定分割时目标子分块长和目标子分块高，以及目标垂直方向重叠长度和目标水平方向重叠长度。
75.blockheight
×
n-(n-1)
×
δy＝height(1.1)
76.blockwidth1
×
m-(m-1)
×
δx＝width(1.2)
[0077][0078][0079]
overlap＝δy/blockheight(1.5)
[0080]
上式中，height、width分别代表原图像的高和宽；blockheight、blockwidth分别为分块图像的高与宽；δx和δy指重叠区域的长度；overlap是重叠率，通常取值0.2；《》表示向上取整；n、m分别是图像在水平、垂直方向上理想情况下可分得的块数；m为水平方向上的实际分块数量。
[0081]
在确定目标子分块边长和目标重叠长度后，将待测蔬菜图像分割成若干子分块。
[0082]
需要说明的是，子分块重叠区域的大小需要考虑原图像中菜薹的大小。以蔬菜抽薹检测模型为yolov5为例，为当输入图像长宽比为1时，yolov5的训练效果比较好，因此令δx与δy相等、blockwidth1与blockheight一致，以垂直方向为基准进行图像分块。但此时水平方向一般会剩余一部分无法形成一个完整的子块。为了防止分割出长宽比过大的图像，本发明将按照公式(1.4)来确定水平方向上剩余部分图像的宽度。
[0083]
可以理解的是，上述将待测蔬菜图像分割成若干子分块的具体预设分块规则，仅作为一个实例对本发明方法进行辅助说明，除此之外，还可以采用其他的分块规则(例如，确定目标子分块的大小，基于该目标大小直接分块，或确定目标子分块的边长比和重叠率，根据边长比确定可分块数目和目标边长等)，在本发明实际应用时分块规则可根据实际需求进行调整，本发明对此不作限定。
[0084]
本发明提供的蔬菜抽薹检测方法，通过蔬菜抽薹检测模型，根据预设分块规则，将待测蔬菜图像分成若干子分块，根据有重叠的子分块的目标检测结果，进一步确定整体图像检测结果的方法，相比于直接对完整图像进行目标识别的方法，能够在分辨率较高的大图像中检测菜薹这一小目标，有效提高蔬菜抽薹的自动检测的准确性，根据抽薹检测结果判断蔬菜是否需要及时采摘，减少蔬菜生产人力成本，提高生产效率。
[0085]
可选的，根据本发明提供的蔬菜抽薹检测方法，基于检测层，对子分块进行抽薹检测，确定子分块抽薹检测结果，具体包括：
[0086]
基于检测层，对子分块进行抽薹检测，确定子分块中是否存在抽薹蔬菜；
[0087]
若确定存在抽薹蔬菜，则标注抽薹蔬菜，获得子分块抽薹标签；
[0088]
基于所有子分块抽薹标签，确定子分块抽薹检测结果。
[0089]
具体的，在将原蔬菜图像分割成若干子分块后，需要对每一个子分块进行目标识别，本法中基于检测层，对子分块进行抽薹检测，确定子分块抽薹检测结果，具体包括：
[0090]
基于检测层，对子分块进行抽薹检测，确定子分块中是否存在抽薹蔬菜。图3为本发明提供的子分块抽薹检测结果示意图，如图3所示，若确定存在抽薹蔬菜，则标注抽薹蔬菜，获得子分块抽薹标签。反之，若确定不存在抽薹蔬菜，则无需标注。综合获得的所有子分块的抽薹标签，确定子分块抽薹检测结果。
[0091]
可以理解的是，图3所示的标注方法仅作为本发明在实际应用时具体实例，辅助对本发明方案进行说明，除此之外，还可以使用其他的标注形式，如标注抽薹蔬菜坐标，或使用其他形式的标注框等，在本发明实际应用时，标注形式可根据实际需求进行调整，本发明对此不作限定。
[0092]
本发明提供的蔬菜抽薹检测方法，通过蔬菜抽薹检测模型，根据预设分块规则，将待测蔬菜图像分成若干子分块，根据有重叠的子分块的目标检测结果，进一步确定整体图像检测结果的方法，相比于直接对完整图像进行目标识别的方法，能够在分辨率较高的大图像中检测菜薹这一小目标，有效提高蔬菜抽薹的自动检测的准确性，根据抽薹检测结果判断蔬菜是否需要及时采摘，减少蔬菜生产人力成本，提高生产效率。
[0093]
可选的，根据本发明提供的蔬菜抽薹检测方法，基于输出层，根据所有子分块抽薹检测结果，在待测蔬菜图中确定目标抽薹蔬菜，具体包括：
[0094]
基于输出层，根据所有子分块抽薹检测结果，在待测蔬菜图中确定初始抽薹蔬菜；
[0095]
根据非极大值抑制算法，去除初始抽薹蔬菜中的冗余，在待测蔬菜图中确定目标抽薹蔬菜。
[0096]
具体的，由图2所示，经过有重叠分块后，菜薹可能在块图中的任一区域，故菜薹中心点的位置分布较为离散，有重叠分块提高了目标菜薹面积在图像中的占比，降低了目标检测的难度。但由于菜薹可能被子分块边缘切割，或出现在重叠区域，因此需要将各子分块的抽薹检测结果推理合并到原始图像上。
[0097]
基于输出层，根据所有子分块抽薹检测结果，在待测蔬菜图中确定初始抽薹蔬菜。例如，以方形检测框为例，根据所有子分块抽薹检测结果，获得各个图块中有菜薹的位置信息，将检测框整合在原待测蔬菜图像中，标注出预测到的抽薹蔬菜检测框。
[0098]
由于子分块重叠区域可能会导致抽薹蔬菜检测框冗余，根据非极大值抑制算(non-maximum-suppression)，去除冗余的检测框，获得最佳检测框，将最佳检测框获得的结果作为目标抽薹蔬菜。
[0099]
图4为本发明提供的数据集标签分析可视化结果图，如图4所示，x、y是目标检测物的中心点的位置，width和height是目标检测物的尺寸大小。从原图的标签分析中可以看出蔬菜抽薹的目标长、宽在原图中的占比集中在0～3％，属于小目标。在一幅完整的图像中蔬菜的数量较多。从大图像中检测小目标的任务艰巨。
[0100]
图5为本发明提供的块图标签分析可视化结果图，又图6可知，经过有重叠分块后，菜薹可能在块图中的任一区域，故菜薹中心点的位置分布较为离散，有重叠分块提高了目标菜薹面积在图像中的占比，降低了目标检测的难度。
[0101]
本发明采用切片推理的方式，先根据预设的长、宽与重叠率将大图像进行切片，再对切片后的图像进行推理，并把各个切片的推理结果合并到原始图像上，然后使用非极大值抑制的方法找到最佳的目标检测边界框，得出最终推理结果，其检测结果明显优于直接采用原图进行检测的方法。
[0102]
本发明提供的蔬菜抽薹检测方法，通过蔬菜抽薹检测模型，将待测蔬菜图像分成若干子分块，根据有重叠的子分块的目标检测结果，进一步确定整体图像检测结果的方法。采用切片推理的方式，解决了在大图像中检测小目标的难题，并通过非极大值抑制算保证检测的准确定，避免重复检测、错检的情况发生，相比于直接对完整图像进行目标识别的方法，能够有效提高蔬菜抽薹的自动检测的准确性，根据抽薹检测结果判断蔬菜是否需要及时采摘，减少蔬菜生产人力成本，提高生产效率。
[0103]
可选的，根据本发明提供的蔬菜抽薹检测方法，在将待测蔬菜图像输入蔬菜抽薹检测模型中的步骤之前，还包括：
[0104]
获取若干样本蔬菜图像，根据预设分块规则，确定若干样本蔬菜子分块图像；
[0105]
基于样本蔬菜子分块图像，制作蔬菜抽薹标签，确定样本蔬菜子分块图像集；
[0106]
基于样本蔬菜子分块图像集，基于数据增强，确定样本蔬菜图像集；
[0107]
基于样本蔬菜图像集，训练蔬菜抽薹检测模型直至模型收敛。
[0108]
具体的，在应用训练好的蔬菜抽薹检测模型之前，还需要对模型进行训练。首先，需要创建用于模型训练的样本蔬菜图像集。
[0109]
可采用分辨率为1920
×
1080的手机摄像头在不同光照条件下(阴天、晴天)以俯拍的方式采集25段视频，然后对视频进行抽帧处理，每隔25帧从视频中截取一幅图像，获取若干样本蔬菜图像。并根据预设分块规则，将蔬菜样本图像分割为若干子分块，获得样本蔬菜子分块图像。
[0110]
可以理解的是，抽帧方式还可选取随机抽帧等其他方式，或是直接拍摄多幅图像，本发明对样本蔬菜图像的获取方式不做限定。另外，预设分块规则可根据实际需求进行设置，与模型应用时的规则一致，本发明对此不作限定。
[0111]
以模型采用yolov5s模型为例，考虑到yolov5的图像输入尺寸最好是32的倍数，结合单颗蔬菜图像的大小以及最大化扩充蔬菜抽薹数据集的想法，本发明分别以50、200个像素为重叠区域长度，进行有重叠图像分块，将整幅图像分为若干幅256
×
256、640
×
640的子块，并从中挑选出含有菜薹的基础图像共计2000张。
[0112]
基于样本蔬菜子分块图像，制作蔬菜抽薹标签，确定样本蔬菜子分块图像集。为尽量提高蔬菜图像中每个目标都被检测到的概率，本发明在手工标注的过程中完整标注了植株主茎或分枝上出现的所有能够辨认的花蕾。在实行手工制作蔬菜抽薹标签时，考虑到若植株分枝与主茎的花蕾可能团簇在一起的情形，故将每个分枝的花蕾单独标注，以避免目标大小差距过大。
[0113]
使用开源软件labelimg对数据集进行标注为例。标签为“bolting”，labelimg软件生成的标注文件以xml格式存储，主要包含4个方面的信息：(1)图像名称；(2)图像尺寸；(3)标签名称；(4)标注框信息。yolov5s模型默认的目标检测数据集格式为txt格式，因此需要将xml文件转换成txt文件。每个xml文件各自对应一个txt文件，生成的txt文件中包含图像类别和目标框左上角的位置信息、目标框宽度与长度。蔬菜抽薹数据标注框可视化示意图
如图3所示。
[0114]
目前的目标检测算法主要是针对通用数据集进行识别，蔬菜抽薹样本量不足难以为蔬菜抽薹检测提供数据训练支撑，很难完成对蔬菜抽薹的检测。
[0115]
为了进一步提高样本数据集数据量，避免由于蔬菜抽薹图像不足导致模型检测效果不佳的问题，基于样本蔬菜子分块图像集，基于数据增强，确定样本蔬菜图像集。
[0116]
基于样本蔬菜图像集，训练蔬菜抽薹检测模型直至模型收敛。可以理解的是，模型训练时所使用的训练方法，以及停止模型训练的条件，可以根据实际需求进行调整，本发明对此不作限定。
[0117]
另外需要说明的是，上述构建样本蔬菜图像集的具体方法仅作为一个实例对本发明进行说明，不作为对本发明的限定。
[0118]
本发明提供的蔬菜抽薹检测方法，通过视频抽帧、图像有重叠分块和数据增强三个步骤，提高模型训练集的数据量，解决了蔬菜抽薹图像数据量不足的问题，能够避免由于蔬菜抽薹图像不足导致模型检测效果不佳的问题，有效提高蔬菜抽薹的自动检测的准确性，根据抽薹检测结果判断蔬菜是否需要及时采摘，减少蔬菜生产人力成本，提高生产效率。
[0119]
可选的，根据本发明提供的蔬菜抽薹检测方法，基于样本蔬菜子分块图像集，基于数据增强，确定样本蔬菜图像集，具体包括：
[0120]
基于样本蔬菜子分块图像集，基于离线数据增强和在线数据增强，确定样本蔬菜图像集。
[0121]
具体的，现有技术针对蔬菜检测的方案中，通常由于缺乏蔬菜检测数据集，即使有少量样本也可能存在样本不均衡的问题，导致模型训练效果不佳，影响后续模型应用时检测的准确性。
[0122]
本发明中，采用数据增强的方式提高模型样本集的数据量，确定样本蔬菜图像集。基于样本蔬菜子分块图像集，基于离线数据增强和在线数据增强，确定样本蔬菜图像集。
[0123]
深度卷积神经网络(deep convolutional neural network，dcnn)依靠数据驱动来进行特征学习，而菜地采集的蔬菜图像数据不足以支撑dcnn充分学习蔬菜抽薹特征。为降低训练阶段发生过拟合现象，提高蔬菜抽薹检测时的性能，本发明对基础图像采用离线数据增强与在线数据增强两种方法来丰富蔬菜抽薹图像数据集。
[0124]
离线数据增强是指在数据集进入模型训练之前直接对数据集进行增强并生成更多图像的数据增强方法。此法可以根据图像生成的效果来控制数据增强的方向，但生成的数据会占用较多存储空间，灵活性不足。本发明通过图像旋转与图像融合对图像数据进行离线增强。
[0125]
a.图像旋转，旋转可能会改变图像的尺寸，为了控制图像尺寸的变化幅度，本发明将所有图像顺时针分别旋转3
°
和5
°
，并对其标注文件进行相对应的修改，生成新的数据与标注文件。
[0126]
b.图像融合，为了对数据集增加一些扰动，本发明在图像有重叠分块时，采集200张不含菜薹的背景图像，然后将所有菜薹图像与这些随机背景图像分别按照0.8、0.2的权重进行加权像素级图像融合。
[0127]
经过离线数据增强，得到的蔬菜抽薹图像8710幅，随机选择1470幅未经图像融合
的图像作为验证集，其余的7240幅图像作为训练集。
[0128]
在线数据增强是在每次训练的过程中对原图以一定概率进行数据增强，但不将增强的数据合成出来，节省了数据的存储空间。
[0129]
常见的在线数据增强方法有几何变换、颜色抖动等。本发明采用马赛克(mosaic)数据增强方法，随机选择4幅图像，对其分别随机做平移、水平翻转、图像缩放、调色域变换，然后将4幅图像随机裁剪后再拼接成1幅图。
[0130]
需要说明的是，上述离线数据增强和在线数据增强方法的具体细节作为实例辅助说明本发明数据增强方法，在本发明实际应用过程中，可以根据实际需求对上述方法进行调整，本发明对此不作限定。
[0131]
本发明提供的蔬菜抽薹检测方法，通过视频抽帧、图像有重叠分块和数据增强三个步骤，提高模型训练集的数据量，解决了蔬菜抽薹图像数据量不足的问题，能够避免由于蔬菜抽薹图像不足导致模型检测效果不佳的问题，有效提高蔬菜抽薹的自动检测的准确性，根据抽薹检测结果判断蔬菜是否需要及时采摘，减少蔬菜生产人力成本，提高生产效率。
[0132]
可选的，根据本发明提供的蔬菜抽薹检测方法，在将待测蔬菜图像输入蔬菜抽薹检测模型中的步骤之前，还包括：确定蔬菜抽薹检测模型的网络结构；
[0133]
确定蔬菜抽薹检测模型的网络结构，具体包括：
[0134]
在yolov5模型网络结构的基础上，在主干特征提取网络c3模块后嵌入基于归一化的注意力模块，并将融合方式修改为加权特征融合。
[0135]
具体的，为了提高目标检测算法的性能以适应蔬菜抽薹的检测，本发明在yolov5s算法的基础上从注意力模块、网络颈部结构和分块检测这三个方面做出改进。
[0136]
图6为本发明提供的改进的yolov5s模型框架示意图，改进yolov5模型网络结构如图6所示，在yolov5的主干特征提取网络中的3个c3模块后嵌入上述nam注意力机制模块(基于归一化的注意力模块(nam))，组成新的主干特征提取网络，并修改了特征融合方式，使用加权特征融合而不是特征简单拼接，从而确定本发明中蔬菜抽薹检测模型的网络结构。
[0137]
本发明提供的蔬菜抽薹检测方法，在yolov5s算法的基础上从注意力模块、网络颈部结构和分块检测这三个方面做出改进，能够提高目标检测算法的性能以适应蔬菜抽薹的检测，从而提高蔬菜抽薹的自动检测的准确性，根据抽薹检测结果判断蔬菜是否需要及时采摘，减少蔬菜生产人力成本，提高生产效率。
[0138]
结合应用实例对本发明提供的蔬菜抽薹检测方法进行说明，具体如下：
[0139]
相机以俯拍的方式，获取视频段，并传入电脑；在电脑中每隔25秒抽取一次视频帧；分别以分辨率为256
×
256、重叠率为0.2和分辨率为640
×
640、重叠率为0.3，对视频帧进行有重叠分块，获取到2000幅图像为原始图像；对原始图像分别进行旋转3度、旋转5度和图像融合，将原始图像扩充到8710幅图像，作为数据集。
[0140]
将数据集按照5:1的比例划分为训练集与验证集，并喂入改进的yolov5s网络模型中进行训练。此过程中启用马赛克数据增强方法，采用在线数据增强的方式进一步扩大数据集。保留训练结果最好的模型，作为蔬菜抽薹检测模型。
[0141]
抽薹检测时，将实时抓拍的图像输入训练好的蔬菜抽薹检测网络模型，结合切片推理方式，将输入的分辨率为1920
×
1080的图像划分为8个有重叠的小幅图像，分别对小幅
图像进行推理，然后采用非极大值抑制的方法保留最佳检测框，将小图推理结果还原到大图上，输出抽薹检测结果，根据抽薹检测结果判断蔬菜是否需要及时采摘。实现自动对蔬菜抽薹进行检测，摆脱了人工观察费时费力的麻烦。
[0142]
图7为本发明提供的蔬菜抽薹检测系统结构示意图，如图7所示，本发明还提供一种蔬菜抽薹检测系统，包括：图像输入单元701、图像切片单元702、抽薹检测单元703和结果输出单元704；
[0143]
图像输入单元701，用于将待测蔬菜图像输入蔬菜抽薹检测模型中；其中，蔬菜图像为待测蔬菜的俯拍图；蔬菜抽薹检测模型包括：切片层、检测层和输出层；
[0144]
图像切片单元702，用于基于切片层，根据预设分块规则，将待测蔬菜图像分割成若干子分块；其中，子分块之间存在重叠区域；
[0145]
抽薹检测单元703，用于基于检测层，对子分块进行抽薹检测，确定子分块抽薹检测结果；
[0146]
结果输出单元704，用于基于输出层，根据所有子分块抽薹检测结果，在待测蔬菜图中确定目标抽薹蔬菜。
[0147]
具体的，拍摄待测蔬菜的俯拍图作为蔬菜图像，图像输入单元701，用于将待测蔬菜图像输入蔬菜抽薹检测模型中。
[0148]
可以理解的是，俯拍图的拍摄装置类型、离地高度以及分辨率均可根据实际需求进行调整，本发明对此不作限定。
[0149]
需要说明的是，蔬菜抽薹检测模型包括：切片层、检测层和输出层。蔬菜抽薹检测模型的具体结构、模型采用的识别算法以及模型的训练方法均可根据实际需求调整，本发明对此不作限定。
[0150]
鉴于单个菜薹的标注框长宽乘积在整幅图像中的像素面积的算术平方根占在1％与4％之间，属于小目标，经测试，径直对整幅图像的菜薹进行标注从而进行目标检测的效果不佳。因此，本发明采用对图像进行有重叠分块的方法，解决小目标检测难度大的问题。
[0151]
图2为本发明提供的图像分块示意图，如图2所示，图像切片单元702，用于基于蔬菜抽薹检测模型的切片层，根据预设分块规则，将待测蔬菜图像分割成若干子分块。
[0152]
需要说明的是，本发明根据预设分块规则，在图像分块时设置了重叠率，将蔬菜图像分为边缘存在一定重叠区域的子块。分块时，预设分块规则可根据实际需求进行设置，例如，根据田间蔬菜特点，蔬菜种植间隔，仅进行纵向分块，或横向分块不重叠，纵向分块重叠等，本发明对此不作限定。
[0153]
可以理解的是，本发明对图像进行有重叠分块，相邻子分块之间存在重叠区域，能够有效防止图像分块时破坏菜薹的整体性，影响数据集的质量。
[0154]
抽薹检测单元703，用于基于检测层进行目标识别，对每一个子分块进行抽薹检测，确定子分块抽薹检测结果。
[0155]
图3为本发明提供的子分块抽薹检测结果示意图，如图3所示，若确定子分块中存在抽薹蔬菜，可利用标注框的形式将其标注出。除此之外，还可以采用其他标注形式，本发明对此不作限定。
[0156]
由于完整的待测蔬菜图像被划分为若干子分块，在确定所有子分块的识别结果后，结果输出单元704，用于基于输出层，根据所有子分块抽薹检测结果，将所有检测结果综
合，在待测蔬菜图中确定目标抽薹蔬菜。
[0157]
需要说明的是，在待测蔬菜图中确定目标抽薹蔬菜的方法，可以是在完整的待测蔬菜图像中，将目标抽薹蔬菜用标注框标出。另外，还可采用其他标注形式，如输出目标抽薹蔬菜的坐标等，本发明对此不作限定。
[0158]
本发明提供的蔬菜抽薹检测系统，通过蔬菜抽薹检测模型，将待测蔬菜图像分成若干子分块，根据有重叠的子分块的目标检测结果，进一步确定整体图像检测结果的方法，相比于直接对完整图像进行目标识别的方法，能够解决小目标检测困难、准确率低的问题，有效提高蔬菜抽薹的自动检测的准确性，进一步根据抽薹检测结果判断蔬菜是否需要及时采摘，减少蔬菜生产人力成本，提高生产效率。
[0159]
需要说明的是，本发明提供的蔬菜抽薹检测系统用于执行上述蔬菜抽薹检测方法，其具体的实施方式与方法实施方式一致，在此不再赘述。
[0160]
图8为本发明提供的电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)801、通信接口(communicationsinterface)802、存储器(memory)803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信。处理器801可以调用存储器803中的逻辑指令，以执行蔬菜抽薹检测方法，该方法包括：将待测蔬菜图像输入蔬菜抽薹检测模型中；其中，蔬菜图像为待测蔬菜的俯拍图；蔬菜抽薹检测模型包括：切片层、检测层和输出层；基于切片层，根据预设分块规则，将待测蔬菜图像分割成若干子分块；其中，子分块之间存在重叠区域；基于检测层，对子分块进行抽薹检测，确定子分块抽薹检测结果；基于输出层，根据所有子分块抽薹检测结果，在待测蔬菜图中确定目标抽薹蔬菜。
[0161]
此外，上述的存储器803中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0162]
另一方面，本发明还提供一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法所提供的蔬菜抽薹检测方法，该方法包括：将待测蔬菜图像输入蔬菜抽薹检测模型中；其中，蔬菜图像为待测蔬菜的俯拍图；蔬菜抽薹检测模型包括：切片层、检测层和输出层；基于切片层，根据预设分块规则，将待测蔬菜图像分割成若干子分块；其中，子分块之间存在重叠区域；基于检测层，对子分块进行抽薹检测，确定子分块抽薹检测结果；基于输出层，根据所有子分块抽薹检测结果，在待测蔬菜图中确定目标抽薹蔬菜。
[0163]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的蔬菜抽薹检测方法，该方法包括：将待测蔬菜图像输入蔬菜抽薹检测模型中；其中，蔬菜图像为待测蔬菜的俯拍图；蔬菜
抽薹检测模型包括：切片层、检测层和输出层；基于切片层，根据预设分块规则，将待测蔬菜图像分割成若干子分块；其中，子分块之间存在重叠区域；基于检测层，对子分块进行抽薹检测，确定子分块抽薹检测结果；基于输出层，根据所有子分块抽薹检测结果，在待测蔬菜图中确定目标抽薹蔬菜。
[0164]
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0165]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
[0166]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。