一种遮挡环境下的果实检测方法及系统

1.本公开属于农业机械技术领域，具体涉及一种遮挡环境下的果实检测方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
3.随着深度学习技术的逐渐成熟，将这场新的革命移植到各个行业以获得更好的效果已经成为一种普遍现象，这也刺激了农业领域自动机器人的发展。视觉系统作为农业机器人最基本而重要的部分，用于从复杂多样的场景中解析指定的目标，已被广泛用于许多实际应用中，如水果产量估计、作物生长监测、疾病检测等。而视觉识别系统作为果蔬采摘机器人的重要组成部分，其果实检测的准确率、效率以及在复杂背景条件下的鲁棒性都将极大程度影响到采摘机器人的采摘质量。
4.但是，在复杂的果园环境下，视觉系统易受光照强度和角度、树叶遮挡、果实颜色等多种因素的干扰，给目标果实的有效检测带来巨大挑战。
5.据发明人了解，果实检测一般采用机器学习与深度学习两个方向：其中，在基于机器学习的方法往往伴随图像预处理、特征的选择与提取等一系列复杂操作，且模型的识别效果也极易受到这些操作的影响；除此之外，这种方法均基于目标果实的颜色、纹理、形状等其它表征的组合进行目标果实的检测，当果实表面出现由于光照强度、角度或自然环境等因素造成的纹理特征不明显；枝干、树叶遮挡或果实间相互重叠等因素造成的形状缺失；目标果实与同色系枝叶背景造成的颜色干扰等问题都会使得该类方法对目标果实的识别精度明显下降。基于深度学习的检测模型中，其精度及适用性相较于传统视觉方法均有大幅提升，但该类方法需要大量的计算及存储资源，速度上尚不能满足采摘机器人对实时性的需求，此外，在实际的果园采摘时还需要综合考虑采摘机器人的功耗及稳定问题。


技术实现要素：

6.为了解决上述问题，本公开提出了一种遮挡环境下的果实检测方法及系统，在保证检测精度的前提下提升检测速度，解决了以往水果检测和分割方法中精度与速度之间相互矛盾的难题，满足了实际果园生产中的实际作业需求。
7.根据一些实施例，本公开的第一方案提供了一种遮挡环境下的果实检测方法，采用如下技术方案：
8.一种遮挡环境下的果实检测方法，包括以下步骤：
9.获取待检测果实的图像；
10.对所获取的图像进行图像特征的提取与融合，得到融合后的图像特征；
11.根据所得到的融合后的图像特征和遮挡检测模型进行果实检测；
12.其中，所述遮挡检测模型以图像损失函数最小为目标函数，采用双层图卷积网络
实现果实检测。
13.作为进一步的技术限定，所述获取待检测果实的图像为各种环境下的果实图像，其中各种环境包括不同时间段、不同天气、不同光照角度和不同遮挡情况。
14.作为进一步的技术限定，图像特征提取的过程中，基于优化的resnet进行图像特征的提取。
15.作为进一步的技术限定，图像特征融合的过程中，采用特征金字塔，通过横向连接和每个特征图之间自上而下的融合进行特征整合，得到融合后的图像特征。
16.进一步的，在得到融合后的图像特征之后，在所述特征金字塔的基础上嵌入非局部模块，进行图像特征的精细化处理。
17.作为进一步的技术限定，所述遮挡检测模型处理融合后的图像特征，将遮挡部分和被遮挡部分进行区分，将区分后的图像特征进行分布处理；其中，第一层图卷积网络用于检测轮廓和处理被遮挡部分，实现对被遮挡部分的轮廓预测和掩膜回归；第二层图卷积网络用于处理遮挡部分，实现对遮挡部分的轮廓预测和掩膜回归。
18.作为进一步的技术限定，所述图像损失函数包括检测阶段损失子函数、被遮挡分支损失子函数和遮挡分支损失子函数。
19.根据一些实施例，本公开的第二方案提供了一种遮挡环境下的果实检测系统，采用如下技术方案：
20.一种遮挡环境下的果实检测系统，包括：
21.获取模块，被配置为获取待检测果实的图像；
22.融合模块，被配置为对所获取的图像进行图像特征的提取与融合，得到融合后的图像特征；
23.检测模块，被配置为根据所得到的融合后的图像特征和遮挡检测模型进行果实检测；
24.其中，所述遮挡检测模型以图像损失函数最小为目标函数，采用双层图卷积网络实现果实检测。
25.根据一些实施例，本公开的第三方案提供了一种计算机可读存储介质，采用如下技术方案：
26.一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的遮挡环境下的果实检测方法中的步骤。
27.根据一些实施例，本公开的第四方案提供了一种电子设备，采用如下技术方案：
28.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的遮挡环境下的果实检测方法中的步骤。
29.与现有技术相比，本公开的有益效果为：
30.本公开压缩模型容量，缩减计算及存储资源，加速模型的训练及检测速度，解决了以往果实在检测方法上精度和速度的矛盾；提升模型在树叶、果实遮挡等干扰下的检测精度，满足各智能化技术在实际应用中对速度、精度及鲁棒性的多重要求。
附图说明
31.构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
32.图1是本公开实施例一中的遮挡环境下的果实检测方法的流程图；
33.图2是本公开实施例一中的遮挡环境下的果实检测方法的整体工作流程图；
34.图3(a)是本公开实施例一中的不同光照角度下所采集的真实果实图像；
35.图3(b)是本公开实施例一中的不同遮挡类型下所采集的真实果实图像；
36.图3(c)是本公开实施例一中的不同拍摄距离下所采集的真实果实图像；
37.图4是本公开实施例一中的整体的检测流程图；
38.图5是本公开实施例一中的精细化特征金字塔嵌入的非局部模块示意图；
39.图6是本公开实施例一中的双层gcn的实现细节图；
40.图7是本公开实施例一中的检测效果图；
41.图8是本公开实施例二中的遮挡环境下的果实检测系统的结构框图。
具体实施方式
42.下面结合附图与实施例对本公开作进一步说明。
43.应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
44.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
45.在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
46.实施例一
47.本公开实施例一介绍了一种遮挡环境下的果实检测方法。
48.如图1所示的一种遮挡环境下的果实检测方法，包括以下步骤：
49.获取待检测果实的图像；
50.对所获取的图像进行图像特征的提取与融合，得到融合后的图像特征；
51.根据所得到的融合后的图像特征和遮挡检测模型进行果实检测；
52.其中，所述遮挡检测模型以图像损失函数最小为目标函数，采用双层图卷积网络实现果实检测。
53.本实施例针对遮挡环境下的果实检测方法进行了详细介绍，如图2和图4所示，具体的工作流程为：
54.步骤s01：待检测出果实的图像采集与数据集制作；
55.步骤s02：图像特征提取与融合；
56.步骤s03：特征精化处理；
57.步骤s04：遮挡区域处理；
58.步骤s05：损失计算与模型训练。
59.在步骤s01中，为评估果实的检测效果，本实施例以苹果为例进行相关研究，采集并制作苹果数据集，数据集采用sony alpha 7ii相机拍摄，所采集到的数据集均包含有在不同时间段、不同天气、不同光照角度、不同遮挡情况等各种环境下拍摄到的果实图像。
60.图3(a)、图3(b)和图3(c)分别列举了不同光照角度、不同遮挡类型以及不同拍摄距离下所采集的真实果实图像；使用labelme软件人工标注图像中的目标果实，标注之前统一将图像分辨率缩小至600
×
400像素，标注图像中每个果实的最小外接矩阵作为真实框并生成对应的json文件并统一转化成ms coco数据集格式。
61.在步骤s02中，选取残差网络resnet50作为基础网络提取图像特征，通过卷积和池化操作逐渐丰富深层特征图所包含的特征表达能力，考虑到机器人与物体之间的距离，以及被遮挡物体的小区域，因此采摘机器人的视觉系统设计也需要准确识别图像中较小的区域果实，因此在模型架构中引入了特征金字塔(feature pyramid networks,简称fpn)，通过横向连接和每个特征图之间自上而下的融合进行特征整合，以提高最终的检测性能，同时也实现了对于每个小面积果实的特征的提取。
62.将resnet50的最后的残差块conv2,conv3,conv4,conv5，其输出的特征图为{a2,a3,a4,a5}，其特征图按照自顶向下与横向连接的方式进行融合，从而使得深层特征图与浅层特征图具有相同水平的语义容量，得到fpn{f2,f3,f4,f5}。通过将fpn应用的果实识别中，能有效提升模型对于不同尺度，尤其是小尺度目标果实的检测效果，从而能够更好的指导苹果采摘机器人的识别采摘与路径规划。
63.在步骤s03中，在resnet fpn结构中会使得综合特征更多的关注相邻像素的语义信息，而对其他的分辨率关注较少，在信息流动过程中，非相邻层次所包含的语义信息在每次融合时会被稀释。因此，在fpn基础上嵌入非局部模块融合为精细化特征金字塔，以获取并提炼更多的语义特征信息，其实现细节如图5所示。
64.每个位置的结果特征是所有位置的特征和原始特征的加权和。因此，它有一个全局的语义特征信息，并根据相关强度矩阵选择性地进行聚合语义特征。相似的语义特征实现了相互增益，从而提高了语义提取的特征信息，也同时抑制了噪音。
65.在步骤s04中，遮挡部分检测模型的设计简单而有效，由一个conv，然后是一个gcn层和一个fcn层组成，之后将输出输入到上采样层和卷积层，以获得一个通道特征映射，用于联合边界和掩膜预测。gcn的实现通过danet模块进行实现，共分为位置注意力模块和通道注意力模块两部分，其实现细节图如图6所示。其中顶层gcn层检测被遮挡的对象，底层gcn层推断部分被遮挡的实例。
66.在双层gcn结构进行分割过程中，即将检测网络中得到的特征信息进行处理，尤其是针对遮挡果实的判别，将遮挡部分进行分步处理。首先，将遮挡部分和被遮挡部分进行区分，然后分别送往各自处理的gcn层，最后将信息进行整合处理输出最终的预测图像。其中，第一层gcn层用于检测轮廓和处理被遮挡物，实现对被遮挡物的轮廓预测和掩膜回归；第二层gcn层用于处理遮挡物，实现对遮挡物的轮廓预测和掩膜回归。基于gcn中的注意力机制，其可以更多的关注有用信息，并降低噪音干扰。在经过这样双层的gcn处理后，将被遮挡物和遮挡物进行分别处理之后再整合，实现了对于遮挡物的准确检测。
67.在步骤s05中，为实现检测果实能力的方式，通过迭代训练预估经过模型训练得到的预测边框与真实框之间的损失，并按照损失值反向传播梯度来更新模型参数，直至损失
减少并收敛至一个取值区间，得到一个最优的模型训练的损失函数。
68.具体的，根据模型的结构分析，该模型的损失函数l应由三部分构成：检测阶段产生的损失l
detect
、被遮挡分支的损失l
occluder
及遮挡分支的损失l
occludee
。损失函数l公式如下所示：
69.l＝l
detect
l
occluder
l
occludee
ꢀꢀ
(1)
70.关于模型在检测阶段产生的损失l
detect
，又由classification、regression、centerness三个分支产生的损失构成。由于一张图片中，目标果实与背景相比，面积占比较小，且又经过σ因子收缩，因此，在训练阶段，正负样本之间存在不平衡问题。为兼顾以上弊端及简便计算，故classification、regression、centerness分支分别选择采用focal loss、iou(intersection of union)loss和bce loss计算，模型检测部分的整体损失函数如下式所示：
[0071][0072]
上式中，p
x,y
,d
x,y
,center
x,y
分别为分类分支，回归分支，中心度分支在空间位置(x,y)处的预测值，对应空间位置(x,y)处的训练目标，三个损失项中，l
reg
,l
center
只针对正样本而言，n
pos
表示正样本数量，λ,β为各损失项的平衡系数。
[0073]
模型在分割网络遮挡分支和被遮挡分支产生的损失函数为l
occludee
、l
occluder
，其函数公式如下式所示：
[0074]
l
occludee
＝λ1l
occ-b
λ2l
occ-s
ꢀꢀ
(3)
[0075]
l
occluder
＝λ3l'
occ-b
λ4l'
occ-s
ꢀꢀ
(4)
[0076]
其中，l
occ-b
和l
occ-s
分别表示被遮挡在第二层gcn层的边界检测和掩膜分割损失。
[0077]
关于上式中对检测遮挡器的边界检测的分类损失l'
occ-b
，如下式所示：
[0078]
l'
occ-b
＝l
bce
(wbf
occ
(x
roi
),gtb)
ꢀꢀ
(5)
[0079]
其中，l
bce
表示二进制交叉熵损失，表示如下：
[0080][0081]focc
表示遮挡建模模块的非线性变换函数；wb为边界预测器的权重；x
roi
为目标区域的roialign操作给出的剪切fpn特征图；gtb是现成的封闭器边界，可以很容易地从掩膜注释中计算。
[0082]
关于上式中对检测遮挡器的遮挡器建模的分类损失l'
occ-s
，如下式所示：
[0083]
l'
occ-s
＝l
bce
(w
sfocc
(x
roi
),gts)
ꢀꢀ
(7)
[0084]
其中，f
occ
(x
roi
)是对于遮挡器掩膜预测中利用边界预测联合优化的共享特征；ws表示的是1
×
1卷积层分割掩码预测值的可训练权值；gts表示遮挡器的掩码标注。
[0085]
本实施例以无锚框、全卷积的方式，在不输基于锚框的检测分割精度的基础上压缩模型容量，缩减计算及存储资源，加速模型的训练及检测速度，解决了以往果实在检测方法上精度和速度的矛盾；提升模型在树叶、果实遮挡等干扰下的检测精度，满足各智能化技术在实际应用中对速度、精度及鲁棒性的多重要求。
[0086]
实施例二
[0087]
本公开实施例二介绍了一种遮挡环境下的果实检测系统。
[0088]
如图8所示的一种遮挡环境下的果实检测系统，包括：
[0089]
获取模块，被配置为获取待检测果实的图像；
[0090]
融合模块，被配置为对所获取的图像进行图像特征的提取与融合，得到融合后的图像特征；
[0091]
检测模块，被配置为根据所得到的融合后的图像特征和遮挡检测模型进行果实检测；
[0092]
其中，所述遮挡检测模型以图像损失函数最小为目标函数，采用双层图卷积网络实现果实检测。
[0093]
详细步骤与实施例一提供的遮挡环境下的果实检测方法相同，在此不再赘述。
[0094]
实施例三
[0095]
本公开实施例三提供了一种计算机可读存储介质。
[0096]
一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例一所述的遮挡环境下的果实检测方法中的步骤。
[0097]
详细步骤与实施例一提供的遮挡环境下的果实检测方法相同，在此不再赘述。
[0098]
实施例四
[0099]
本公开实施例四提供了一种电子设备。
[0100]
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例一所述的遮挡环境下的果实检测方法中的步骤。
[0101]
详细步骤与实施例一提供的遮挡环境下的果实检测方法相同，在此不再赘述。
[0102]
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。