基于机器视觉的果实检测定位与果园地图构建方法

1.本发明涉及目标检测、视觉slam、智慧农业、采摘机器人技术领域，特别涉及一种基于机器视觉的果实检测定位与果园地图构建方法。


背景技术：

2.我国水果种植产业在岭南地区农业生产中占有巨大的比重。但如今使用传统水果种植方法进行水果种植已经面临着很大的问题。首先，水果果实采摘作业在整个果实种植及生产关系中，属于耗时长、人工消耗大，但效率低的环节，同时水果采摘本身具有很强的季节性要求，因此需要在集中的时间内投入高强度的劳动，这为农业生产者带来了极高的种植成本。其次，在如今我国人口老龄化和农业劳动力减少的背景下，传统的人工作业形式严重制约着农业生产的发展进程。然而随着我国经济以及贸易水平的快速发展，市场对农产品的需求却在不断增加，这也与目前落后的传统水果种植方法产生了不可调节的生产矛盾。因此对于智能化水果采摘方法代替人工采摘过程的研究工作必将成为果实采摘的发展趋势并具有巨大的经济效益以及应用前景。作为智能化采摘中不可缺少的一环，针对水果果实的识别检测以及对果园环境的感知算法的研究同样越来越具有实践意义。
3.公开号为cn111401442a的中国发明专利申请公开了一种基于深度学习的水果识别方法，该方法基于包含水果的rgb图像进行深度学习模型训练，建立了一套完善的水果果实识别系统，并针对系统的识别速度进行了相应的优化。但是该系统只是针对较为单一的含有水果的rgb图像进行识别，没有考虑到在自然生长环境中所存在的小目标果实检测、重叠果实检测以及复杂光照条件下的果实检测等一系列问题，不能较好地应用于水果生长的自然场景。
4.公开号为cn113344968a的中国发明专利申请公开了一种水果识别与统计系统，该系统使用基于视频序列的计数方法以及深度学习技术，利用多视角视频帧来进行水果果实个体检测定位以及计数功能，在野外视频数据中的复杂果实环境下能够较精准地实现果实的检测过程。但该系统未针对算法的可移植性进行说明，其对于野外实地果实检测的需求不能较好满足。
5.公开号为cn113310488a的中国发明专利申请公开了一种基于slam的果园机器人导航方法，该专利采用树干方位测量模块、里程计测量模块感知果园环境，实现在自然果园环境中的高精度全局定位效果以及精准的路径规划过程，较好地解决了复杂场景下的定位及导航功能。但是该系统针对果树树干进行检测以及建模，并将其作为定位标志物，没有使用对执行采摘作业更为有效的果实个体语义信息，在实际果园采摘的场景中其应用性能还可以进一步提升。


技术实现要素：

6.本发明的目的是提供一种基于机器视觉的果实检测定位与果园地图构建方法，用以在复杂图像环境中基于深度学习技术对果实个体进行准确识别与定位，并且将果实目标
卷积单元输出的特征图作为下一层的输入，以此类推；
21.所述图像金字塔结构包括第一组图像金字塔模块g
1-1-g
1-5
,第二组图像金字塔模块g
2-1-g
2-5
,第三组图像金字塔模块g
3-1-g
3-5
和第四组图像金字塔模块g
4-1
‑ꢀg4-5
，每一组特征金字塔包含五层图像金字塔卷积层，其中，第一组图像金字塔模块中g
1-1
卷积层的输入为特征提取模块c1卷积单元的输出特征图，g
1-2-g
1-4
的输入为卷积单元c
2-c4的输出与上一卷积层图像金字塔卷积层的输出相加的结果，g
1-5
卷积层的输入为前一卷积层图像金字塔卷积层c
1-4
的输出；后续三组图像金字塔模块中，每个图像金字塔卷积层的输入为上一层的输出以及前一组金字塔模块中对应层的输出进行融合后的结果。
22.进一步地，对于每个卷积单元c
1-c4，其输入的彩色果实图像/特征图经过1x1 的卷积核之后提取出特征图并被平均分为5组，记为特征图xi,i∈1,2,...,5；将 5组特征图xi分为以下三类不同的处理方法：
23.将第一组特征图x1对应的数据传输线路k1不进行任何处理，直接传递为第一组特征图x1至传输线路的输出y1；
24.第二组特征图x2所属数据传输线路k2使用膨胀卷积的方法来增大网络的感受野；在该线路中采用大小为3x3，层数为三层的卷积核，设置膨胀比例d为2 组成膨胀卷积模块；第二组特征图x2经过该膨胀卷积模块计算后的结果被传递到输出y2；
25.在最后三组特征图x
3-x5的数据传输线路k
3-k5中，引入分组卷积模块进行特征图的计算，得到对应的输出y
3-y5。
26.进一步地，所述在最后三组特征图x
3-x5的数据传输线路k
3-k5中，引入分组卷积模块进行特征图的计算，得到对应的输出y
3-y5，包括：
27.对于数据传输线路k3，特征图x3进入到分组卷积模块后分别经过三个并行的通道，在每个通道中依次经过1x1、3x3、1x1的卷积层进行特征提取后，三个通道输出进行融合，融合后的结果与x3再次加和后，作为该分组卷积模块gc模块的输出y3，该输出y3与特征图x4的加和作为数据传输线路k4中分组卷积模块gc的输入，该分组卷积模块gc的输出y4与特征图x5的加和作为数据传输线路k5中分组卷积模块gc的输入，并通过该模块输出y5。
28.进一步地，各数据传输线路的输出y1-y5最终融合后经过1x1卷积层，之后再使用cbam注意力模块，并通过跨层连接的方式将每个卷积单元c
1-c4输入的彩色果实图像/特征图与cbam模块的输出特征信息相加融合作为该卷积单元的输出。
29.进一步地，在四组图像金字塔模块之间设计了四种特征连接通路：
30.横向连接通路：对图像金字塔模块中相邻的同尺度特征进行连接，并且在每一条横向连接通路中使用1x1的卷积来将输入特征进行投影并与目标层的特征进行融合，具体为g
m-n
与g
(m 1)
–n,m∈1,2,3；n∈1,2,3,4,5之间的15条数据传输通路；
31.跨尺度的自上而下路径：对图像金字塔模块中跨层级、不同尺度的相邻的特征自上而下进行连接；在连接前，首先使用最近邻插值法，设置插值比例系数进行特征采样操作，然后将获取到的高层信息经过3x3卷积后提取到与相连接的底层特征相同维度的特征信息并进行融合，具体为g
1-5
与g
2-4
、g
2-5
与g
3-4
、g
3-5
与g
4-4
、g
2-4
与g
3-3
、g
3-4
与g
4-3
、g
2-3
与g
3-2
、g
3-3
与g
4-2
、g
3-2
与g
4-1
共8条数据传输通路；
32.同尺度、跨组别的多图像金字塔模块跳跃连接通路：通路首选使用1x1的卷积核来进行特征映射，然后采用跳跃连接的方式将不相邻的金字塔中相同尺度的特征进行融合，
具体为g
1-n
与g
i-j
,n∈1,2,3,4,5；i∈3,4；j∈1,2,3,4,5之间的10条数据传输通路；
33.同组图像金字塔模块中从下至上的数据传输通路：具体为g
m-n
与g
m-(n 1)
， m∈1,2,3,4,5；n∈1,2,3,4之间的16条数据传输通路。
34.进一步地，第四组图像金字塔模块的各卷积层的输出特征图分别经过4x4的卷积核计算后，输入到class box subnets模块中进行检测框的回归计算，最终输出目标的检测框归回结果、位置以及目标类别概率；
35.将所述目标类别概率与目标检测框回归结果经过focal loss的计算，输出最终果实目标的检测结果，包括检测框以及对应的语义信息。
36.进一步地，所述系统slam运动模型表示为：
[0037][0038]
其中，xk为k时刻的相机位姿，uk为运动过程中深度相机的传感器采集的数据，z
k,j
是在位姿xk处对目标点yj进行观测后在图像中的像素位置，wk，v
k,j
为运动过程中对应的过程噪声和测量噪声，f与h函数表示针对运动过程的抽象非线性函数。
[0039]
进一步地，所述建立最小二乘法损失函数，表示为：
[0040][0041]
其中，z
k,j
是在位姿xk处对目标点yj进行观测后在图像中的像素位置，h函数表示针对运动过程的抽象非线性函数，xk为k时刻的相机位姿，z
k,j
是在位姿 xk处对目标点yj进行观测后在图像中的像素位置，q
k,j
为噪声v
k,j
的协方差矩阵。
[0042]
进一步地，建立基于激光雷达的3d点云和rgb果实图像之间的对应关系，从而获得对应图像位置上的雷达距离尺度信息，对各像素点的深度信息进行权重融合从而降低深度信息误差，以解决系统在复杂果园场景中建图精度差以及应用性能不稳定的问题：
[0043]
dis
i,j
＝λdis_l
i,j
(1-λ)dis_c
i,j
ꢀꢀꢀꢀꢀꢀ
(1)
[0044]
其中λ为置信度权重，dis
i,j
表示图像中像素点(i,j)处相对于机器人的融合深度信息，dis_l
i,j
表示雷达数据输出的像素点(i,j)处z轴坐标，dis_c
i,j
表示深度相机输出的像素点(i,j)处的深度信息。
[0045]
进一步地，移动机器人在果园往返运动时循环执行s1-s9步骤，由用户决定是否停止建图；停止建图，则在建图结束时对步骤s8中各个时刻的局部地图进行关键帧匹配，将去冗余的关键帧图像信息进行图像拼接，输出具有果实检测语义信息的果园环境全局地图。
[0046]
与现有技术相比，本发明具有以下技术特点：
[0047]
1.本发明在目标检测特征提取时采用基于分组卷积的算法增强检测网络感受野大小从而提升了对低分辨率图像特征提取能力；本发明建立跨越多尺度空间的混合金字塔通路并进行组合，来增强网络对不同尺度目标特征的学习能力同时提高目标检测网络模块的特征提取能力；本发明自定义果实目标检测框的回归过程和设计计算方法，有效提升小目标以及重叠果实的检测能力，并基于多线程并行编程方法将果实目标检测方法与果园建图方法进行融合。
[0048]
4.本发明创新性地将果实目标检测定位与果园建图两个方法利用线程并发机制进行融合，融合后的方法能够从多种传感器数据中提取到机器人与果实的相对位姿信息，利用非线性优化技术以及slam算法融合多传感器信息，建立高精度的果园地图。同时本发
明根据果实目标检测结果将果实语义信息实时更新在建立的果园地图中，最终创建出具有丰富语义信息的果园地图。依靠该方法能够实现智能化果园巡航、智能化果园产量预估以及采摘机器人果园环境感知等应用领域，能够较好地助力传统果园种植产业向自动化、智能化方向转型升级。
附图说明
[0049]
图1为本发明方法的流程示意图，其中s1-s3是果实目标检测与定位线程流程图，s4-s7是果园环境建图与定位线程流程图；
[0050]
图2是本发明实施例所述装置的结构示意图，其中1是激光雷达，2是图像采集装置，3是移动机器人平台主机部分，4是移动机器人平台，5是接收移动机器人传输信息的主机平台；
[0051]
图3是本发明所提出的改进网络结构示意图；
[0052]
图4是基于分组卷积算法重构retinanet网络模型的特征提取模块结构示意图；
[0053]
图5是检测网络自定义果实目标检测框的回归过程示意图；
[0054]
图6是深度相机与雷达传感器配准示意图。
具体实施方式
[0055]
下面结合附本发明实施例中的附图，对本发明实施例中的技术方案进行完整、具体的描述，显然，所描述的实施仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0056]
参见附图1，本发明提出的一种基于机器视觉的果实检测定位与果园地图构建方法，该方法利用采用搭载有rgbd相机的移动机器人实现水果果实目标检测、计数以及采摘定位方法，同时将视觉里程计信息以及激光雷达的点云信息数据进行融合，采用非线性优化方法实现用于果园环境中的slam建图与定位方法。之后基于多线程编程方法将两类方法进行融合，从而实现应用于实际果园环境中的移动机器人实时果实检测定位与全局建图与自定位功能，并基于构建完成的果园语义地图实现移动机器人在果园中的全局路径规划功能。本发明方法具体包括以下步骤：
[0057]
s1，在移动机器人平台上搭建基于深度相机的图像采集装置，如图2中的部件2所示。在搭建过程中需要保证深度相机本体上含有的各类传感器(包括光学传感器、红外传感器以及激光传感器)前无遮挡，利用该装置进行动态复杂果园环境中的果实图像采集，其中深度相机中的光学传感器获取到24位rgb彩色果实图像，激光传感器获取到该果实图像中各位置的深度信息。
[0058]
s2，读入所述光学传感器所获取的rgb彩色果实图像，送入目标检测网络进行果实目标的个体检测。
[0059]
针对复杂场景下低分辨率图像特征信息提取困难的问题，本发明基于分组卷积算法构建目标检测网络的特征提取模块，从而获得更加丰富的语义信息以及更准确的原始图像特征，以提高模型在复杂自然果园环境(如光照不均匀、小目标提取困难等)下对果实检测与定位的准确性与稳定性。
[0060]
在该步骤中，首先介绍本发明所提出的目标检测网络，网络结构示意图如图 3所示，具体的网络模型工作流程及本发明对网络结构的改进如下：
[0061]
s21，首先建立特征提取模块(命名为res2net-gf)，如图3第一个虚线框所示；在该模块中建立4层卷积单元c
1-c4来提取不同尺度的图像特征，经过图像采集装置所获取的彩色果实图像作为c1卷积单元的输入信息，c1卷积单元的输入特征图作为c2卷积单元的输入，c2卷积单元输出的特征图作为下一层的输入，以此类推；res2net-gf中每一个卷积单元c
1-c4的结构相同，如图4所示：
[0062]
对于每个卷积单元c
1-c4，其输入的彩色果实图像/特征图经过1x1的卷积核之后提取出特征图并被平均分为5组，记为特征图xi,i∈1,2,...,5。每一组特征图xi中的通道数为原始图像的1/5，为增加网络的感受野，将5组特征图xi分为以下三类不同的处理方法：
[0063]
s211，为保留最原始的特征数据，将第一组特征图x1对应的数据传输线路 k1不进行任何处理，直接传递为第一组特征图x1至传输线路的输出y1。
[0064]
s212，第二组特征图x2所属数据传输线路k2使用膨胀卷积的方法来增大网络的感受野。在该线路中采用大小为3x3，层数为三层的卷积核，设置膨胀比例 d为2组成膨胀卷积模块。下述公式(1)表示膨胀卷积的等效卷积核大小计算方法，其中k表示膨胀卷积核大小，d表示膨胀比例，k’表示其等效的卷积核大小。针对一个具有多层卷积过程的一般卷积核来说公式(2)表示感受野的计算方法， rf
i 1
表示在主干网络中当前卷积层的感受野，rfi表示其中上一卷积层的感受野， k’表示等效卷积核的大小，第i层卷积的步长si的计算如公式(3)所示，表示膨胀卷积模块中本层之前所有卷积层步长stridei,i∈1,2,3的乘积。通过计算可知，引入膨胀卷积的方式后，能够在保持3x3卷积核参数计算量的基础上达到5x5卷积核的感受野大小，即x2线路中在保证计算量与3x3卷积核相同的情况下，扩增了网络的感受野。
[0065]
k'＝k (k-1)
×
(d-1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0066]
rf
i 1
＝rfi (k'-1)
×
siꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0067][0068]
第二组特征图x2经过该膨胀卷积模块计算后的结果被传递到输出y2，作为第二组数据传输线路的特征输出。
[0069]
s213，在最后三组特征图x
3-x5的数据传输线路k
3-k5中，引入分组卷积的方式进行特征图的计算，分组卷积模块的详细设置如图4右侧所示。且每条数据传输线路中选用相同的分组卷积模块(group conv,gc)以简化分组卷积的网络架构设计，增加了主干网络的宽度，组内每一个卷积核生成一个特征图，使网络使用同等参数量生成多个特征图。
[0070]
在数据传输线路k
3-k5中各设置一个分组卷积模块gc；其中对于数据传输线路k3，特征图x3进入到分组卷积模块后分别经过三个并行的通道，在每个通道中依次经过1x1、3x3、1x1的卷积层进行特征提取后，三个通道输出进行融合，融合后的结果与x3再次加和后，作为该分组卷积模块gc模块的输出y3，该输出y3与特征图x4的加和作为数据传输线路k4中分组卷积模块gc的输入，该分组卷积模块gc的输出y4与特征图x5的加和作为数据传输线路k5中分组卷积模块gc的输入，并通过该模块输出y5。
[0071]
在本步骤中，综合整体主干网络构造方法，本文将主干网络设计为拆分混合的连接方式来进行图像特征的提取，每条数据传输线路的特征计算方式如公式 (4)所示，其中
dci表示膨胀卷积过程，ki表示gc卷积过程。
[0072][0073]
s214，上述各数据传输线路的输出y1-y5最终融合后经过1x1卷积层，之后再使用cbam注意力模块，进一步提取图像细节特征信息；并通过跨层连接的方式将每个卷积单元c
1-c4输入的彩色果实图像/特征图与cbam模块的输出特征信息相加融合作为该卷积单元的输出。
[0074]
下列公式(5)展示了普通3x3卷积核与分组3x3卷积核的参数数量计算过程，其中p
3x3conv
表示普通3x3卷积核的参数量，p
gc(3-3x3)
表示组数为3，使用3x3 卷积核的分组卷积参数数量，h和w表示输入特征图的高和宽，c
in
和c
out
分别表示输入特征图和输出特征图的通道数。根据公式(6)可知，使用分组卷积后的网络参数量是简单使用3x3卷积核参数量1/6，以这种显着的方式减少网络中参数的数量时，能够避免产生网络过拟合的情况，从而使优化器可以学习到更准确，更有效的深度网络特征。
[0075]
p3×
3conv
＝h
×w×cin
×cout
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0076]
p
gc(3-3
×
3)
＝(h
×w×cin
/3
×cout
/3)
×3ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0077]
s22，针对果园复杂背景对果实主体检测产生干扰的问题，通过建立跨越多尺度空间的混合金字塔通路并进行组合构成msfg模块，来增强网络对不同尺度目标特征的学习能力同时提高目标检测网络模块的特征提取能力。
[0078]
如图3所示，msfg模块是由四组完全相同的图像金字塔结构组成，分别为第一组图像金字塔模块g
1-1-g
1-5
,第二组图像金字塔模块g
2-1-g
2-5
,第三组图像金字塔模块g
3-1-g
3-5
和第四组图像金字塔模块g
4-1-g
4-5
，每一组图像金字塔模块包含五层图像金字塔卷积层，其中：
[0079]
第一组金字塔模块中g
1-1
卷积层的输入为特征提取模块c1卷积单元的输出特征图，g
1-2-g
1-4
的输入为卷积单元c
2-c4的输出与上一卷积层图像金字塔卷积层的输出相加的结果，g
1-5
卷积层的输入为前一卷积层图像金字塔卷积层c
1-4
的输出。后续三组金字塔模块中各卷积层的输入数据与第一组金字塔模块类似，每个图像金字塔卷积层的输入为上一层的输出以及前一组金字塔模块中对应层的输出进行融合后的结果。如图3所示，以g
3-4
卷积层为例，g
3-4
卷积层的输入为 g
2-4
卷积层、g
3-3
卷积层的输出特征进行融合后的结果，g
3-4
卷积层的特征输出最终又参与到g
4-4
与g
3-5
的输入特征计算过程；其余卷积层的数据传输方式以此类推。
[0080]
具体来说，在四组图像金字塔模块之间设计了四种特征连接通路：
[0081]
(1)横向连接通路：对图像金字塔模块中相邻的同尺度特征进行连接，并且在每一条横向连接通路中使用1x1的卷积来将输入特征进行投影并与目标层的特征进行融合，具体为g
m-n
与g
(m 1)
–n,m∈1,2,3；n∈1,2,3,4,5之间的15条数据传输通路。
[0082]
(2)跨尺度的自上而下路径(如g
1-5-》g
2-4
)：对图像金字塔模块中跨层级、不同尺度的相邻的特征自上而下进行连接。在连接前，为控制网络计算量同时保留较好的特征融合效果，首先使用最近邻插值法，设置插值比例系数为1.5进行特征采样操作，然后将获取到
的高层信息经过3x3卷积后提取到与相连接的底层特征相同维度的特征信息并进行融合，具体为g
1-5
与g
2-4
、g
2-5
与g
3-4
、g
3-5
与g
4-4
、g
2-4
与g
3-3
、g
3-4
与g
4-3
、g
2-3
与g
3-2
、g
3-3
与g
4-2
、g
3-2
与g
4-1
共8条数据传输通路。
[0083]
(3)同尺度、跨组别的多图像金字塔模块跳跃连接通路(如g
1-5-》g
3-5
)：通路首选使用1x1的卷积核来进行特征映射，然后与横向连接相似，采用跳跃连接的方式将不相邻的金字塔中相同尺度的特征进行融合，具体为g
1-n
与g
i-j
,n∈1,2,3,4,5；i∈3,4；j∈1,2,3,4,5之间的10条数据传输通路；
[0084]
(4)同组图像金字塔模块中从下至上的数据传输通路，具体为g
m-n
与g
m-(n 1)
， m∈1,2,3,4,5；n∈1,2,3,4之间的16条数据传输通路。
[0085]
msfg模块的最后输出为第四组图像金字塔模块g
4-m
,m∈1,2,3,4,5的各卷积层的输出特征图；每一层的输出特征图分别经过4x4的卷积核计算后，输入到 class box subnets模块中进行检测框的回归计算。
[0086]
s23，在本步骤中，针对果园环境下小目标果实以及重叠果实的检测问题，检测网络自定义果实目标检测框的回归过程和计算方法，有效增强网络框架对野外小目标果实以及重叠果实的检测能力。
[0087]
class box subnets模块在整体网络模型中的位置如图3所示，精准定位过程如图5所示。首先，该模块包括两大单元，用于检测框回归的box subnets单元和用于目标分类的class subnets单元。其中msfg模块的最后输出为第四组金字塔层g
4-m
,m∈1,2,3,4,5的各层输出特征，经过4x4的卷积核计算后，分别输入到两个单元作为输入数据。
[0088]
在box subnets单元中，首先根据g
4-m
输入的特征检测出目标所在的图像空间，并将图像空间划分出16个bucket，分别用作横向与纵向的边界回归过程。网络先根据初步挑选的anchor在横向与纵向上粗略定位bucket，根据四个边界的所在位置，分别计算预测偏移量f
left
，f
right
,f
top
,f
down
，然后对每一个边界进行精准回归定位，该单元最终输出目标检测框关于图像中心点的偏移量f
left
，f
right
, f
top
,f
down
从而拟合出目标的精准检测框。
[0089]
在class subnets单元中，首先将g
4-m
的特征依据通道特征进行类别分数计算，然后与目标检测框的置信度一起输入到nms算法中进行最终的目标框图像的分类过程。
[0090]
整个class box subnets模块最终输出目标的检测框归回结果、位置以及目标类别概率。
[0091]
s24，class box subnets模块的输出的目标类别概率与目标检测框回归结果经过focal loss的计算，输出最终果实目标的检测结果，包括检测框以及对应的语义信息。
[0092]
s3，根据所述果实目标的检测结果中的果实中心点距离移动机器人平台自身坐标系的相对角度，利用深度相机的深度信息获取相机视野内各个果实的相对距离，从而在移动过程中实时更新相机视野内检测出的各个果实相对于移动机器人平台的方位信息，即得到视野内果实与移动机器人之间的相对位姿。
[0093]
s4，在s1-s3执行的同时，并行开始建图线程，并建立系统slam运动模型如公式(7)所示，其中xk为k时刻的相机位姿，uk为运动过程中深度相机的传感器采集的数据，z
k,j
是在位姿xk处对目标点yj进行观测后在图像中的像素位置， wk，v
k,j
为运动过程中对应的过程噪声和测量噪声，由于真实场景下的机器人运动一般为连续的不规则曲线运动，因此，f与h函数表示针对运动过程的抽象非线性函数。
[0094][0095]
s5，在该步骤中建立最小二乘法损失函数，首先在s4中建立的系统slam 运动模型中，系统运行过程中的噪声项满足高斯分布vk～nq(0,q
k,j
)，其中q
k,j
为噪声v
k,j
的协方差矩阵，所以观测数据z
k,j
的条件概率为：
[0096]
p(z
k,j
|xk,yj)＝n
p
(h(xk,yj),q
k,j
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0097]zk,j
的条件概率依然满足高斯分布，针对相机任意位姿x的高维高斯分布x～ n
x
(μ,∑)，公式(9)为该概率密度函数展开形式，其中μ和∑分别表示均值和协方差，n
p
表示公式(8)中观测数据z
k,j
的条件概率：
[0098][0099]
由公式(9)分析可知，对原分布求最大化相当于对公式(10)求最小化，就得到了对状态的最大似然估计；代入系统slam运动模型可得最小二乘法的损失函数：
[0100][0101]
即系统针对所建立的最小二乘优化目标为求取当x
*
取得最小值时机器人位姿状态的最大似然估计。
[0102]
s6，基于s3检测出的各个果实相对于移动机器人平台的方位信息来确定激光雷达扫描区域，使用激光雷达扫描获得果实位置的点云信息并与s1中的深度信息进行配准从而获得复杂野外环境下更加精准的融合深度信息，配准示意图如图6所示，具体的配准方式如下：
[0103]
基于s1的相机捕获的rgb果实图像表示为(u,v)，激光雷达捕获的三维点云坐标表示为(x,y,z)，利用下式计算转换矩阵m：
[0104][0105]
其中，矩阵(fu，fv，u0，v0)是相机参数，fu以及fv是xy轴方向尺度因子(水平方向和垂直方向的有效焦距)，u0，v0是图像平面的中心点，又称主点坐标。r 为旋转矩阵，t为平移矢量。
[0106]
根据如上转换矩阵m，即可建立基于激光雷达的3d点云和s1步骤中获取的rgb果实图像之间的对应关系，从而获得对应图像位置上的雷达距离尺度信息，对各像素点的深度信息进行权重融合从而降低深度信息误差，以解决系统在复杂果园场景中建图精度差以及应用性能不稳定的问题：
[0107]
dis
i,j
＝λdis_l
i,j
(1-λ)dis_c
i,j
ꢀꢀꢀꢀꢀꢀ
(12)
[0108]
其中λ为用来控制系统对光学传感器和激光传感器的置信度权重，根据不同的果园环境可以进行传感器置信度调整，dis
i,j
表示图像中像素点(i,j)处相对于机器人的距离信息(融合雷达和相机深度信息得到的融合深度信息)，dis_l
i,j
表示雷达数据输出的像素点(i,j)处z轴坐标，dis_c
i,j
表示深度相机输出的像素点(i,j)处的深度信息。
[0109]
s7，利用s3得到的视野内果实与移动机器人之间的相对位姿，来遍历并定位距离
移动机器人最近的果实目标，根据步骤s6的融合深度信息获得该果实目标与机器人之间的相对位姿，以该目标与机器人之间的相对旋转角度来确定下一时刻移动机器人运动与建图方向，同时更新机器人视觉里程计(相机模型集合)数据，获取机器人在k时刻基于视觉里程计的相机位姿xk与对应的果实图像的观测目标点yj，利用s5步骤中建立的最小二乘优化模型，在数据更新的过程中同步更新最小二乘法损失函数；
[0110]
s8，系统在s3步骤获取相对位姿的同时，利用视觉里程计选择图像质量高、特征点数量充足且分布均匀以及含有冗余特征点较少的rgb彩色果实图像作为关键帧，使用orb(oriented fast and rotated brief)特征点并行提取每一个关键帧中的orb特征描述子，orb特征描述子将用于算法后续所有的特征匹配，其中包括执行运动过程中不同果实目标的匹配，若果实目标在之前的系统循环执行过程中从未被观测过，则在局部地图中加入该果实，并对果实进行标记。系统后续将更多的地图点投影到关键帧中以寻找更多的匹配点，根据orb特征点的匹配关系映射出机器人在不同时刻处于不同位姿下的局部地图，并输出构成该局部地图的一组关键帧，在输出关键帧图像信息的同时，并行启动s2的果实检测线程，利用线程锁机制在不影响建图线程以及系统整体运行效率的前提下，根据 s2步骤中的方法，为每一个关键帧输出对应的果实语义信息以及检测框图像，将含有果实语义信息的关键帧图像进行输出并融合成为具语义信息的局部地图；
[0111]
s9，利用高斯牛顿算法建立迭代模型求解使s5中建立的最小二乘法损失函数最小化的位姿信息x’t
，将x’t
作为当前时刻的位姿输出，并返回步骤s7，从而获得机器人在运动过程中的位姿变化数据，并利用位姿变化数据与各时刻所选取的关键帧的变化过程生成移动机器人的局部运动轨迹，实现移动机器人自定位与果园建图功能。
[0112]
移动机器人在果园往返运动时循环执行s1-s9步骤，由用户决定是否停止建图。若继续建图，则重复s1-s9步骤。若停止建图，则在建图结束时对步骤s8 中各个时刻的局部语义地图进行关键帧匹配，将含有相似orb特征描述子较多的关键帧进行剔除。将去冗余的关键帧图像信息进行地图拼接，输出具有果实检测语义信息的果园环境全局地图，从而实现在传统基于slam的果园建图方法中建立果实目标检测线程，并在对果园建图的同时能够丰富地图所含有的语义信息的功能，该地图可继续作用于后续的机器人路径规划过程。
[0113]
该步骤在传统基于slam的果园建图方法中加入果实目标检测线程，在对果园建图的同时能够丰富地图所含有的语义信息，可以使移动机器人在果园工作过程中实时监测机器人一定范围内的果实生长状况，同时将激光雷达扫描获取的点云信息投影到深度相机获取到的图像中，进行视觉里程计与激光雷达传感器的信息融合，进一步提高机器人定位与建图精度。
[0114]
综上所述，本发明设计并实现一种适用于复杂果园环境中的果实检测与语义地图构建方法，该方法基于机器视觉与深度学习技术，面对果园环境中存在的复杂光照条件、枝叶遮挡重叠、小目标及重叠果实检测等影响因素依然能够表现出稳定的检测与建图效果与计数功能。
[0115]
实施例：
[0116]
本发明实例公开了一种基于机器视觉的果实检测定位与果园地图构方法，该方法可以通过软件部署的方式应用在类似于图2中的硬件装置上进行使用。图2 所示实例装置中包括移动机器人平台4，激光雷达装置1，图像采集装置2，其中本实例中使用的图像采集
装置为rgbd深度相机，具有数据存储与网络连接与传输功能的移动机器人主机3，以及用于接收移动机器人平台传输数据的电脑主机5。
[0117]
进一步来说，在本发明的一个实例中，移动机器人平台4接受工作指令后在果园环境中进行移动，在移动过程中通过激光雷达和图像采集装置收集周围环境中的点云与图像信息送入检测网络算法进行果实检测与定位以及果园建图过程，检测与建图结果通过网络传输的方式向主机5传输检测结果并实时更新语义地图的构建结果，最终执行完成后会在主机5中得到移动机器人工作区域范围内完整的果园语义地图。
[0118]
进一步的，本发明实施例公开了一种如图1所示的基于机器视觉的果实检测定位与果园地图构建方法，包括如下步骤：
[0119]
s1，搭建基于microsoft kinectv2深度相机的图像采集装置，装置搭建过程中需要保证相机各类传感器(包括光学传感器、红外传感器以及激光传感器)前无遮挡，获取到24位rgb彩色果实原始图像以及图像各位置深度信息；
[0120]
s2，通过传感器读入原始rgb彩色果实图像获取图像矩阵信息g
t
，利用果实目标检测模型框架进行果实目标的个体检测，输出图像中的各个果实个体的检测框信息p(xi,yi,h,w)；
[0121]
s3，利用经过s2步骤处理得到的果实检测框计算果实中心点距离移动机器人平台的相对角度与相对距离，获取视野内各个果实的方位信息并在移动过程中实时更新；
[0122]
s4，在s1-s3执行的同时，并行开始建图线程，并建立slam运动模型；
[0123]
s5，根据s4中的运动模型建立最小二乘法损失函数，作为后续非线性优化问题的求解空间；
[0124]
s6，基于s3步骤获得的果实检测信息确定激光雷达扫描区域，使用激光雷达扫描获得果实位置的点云信息并与视觉里程计的深度信息进行配准，输出融合后的图像深度信息；
[0125]
s7，根据s6中融合的深度信息，将距离机器人最近的果实目标作为下一时刻运动方向，更新机器人视觉里程计数据，获取机器人在k时刻基于视觉里程计的观测位姿xk与对应的图像信息yj，利用s5步骤中建立的最小二乘优化模型，在数据更新的过程中同步更新最小二乘法损失函数；
[0126]
s8，使用orb特征点并行提取每一个关键帧中的orb特征描述子，根据 orb特征点的匹配关系映射出机器人在不同时刻处于不同位姿下的局部地图，并输出构成该局部地图的一组关键帧信息，在输出关键帧图像信息的同时，并行启动s2的果实检测线程为每一个关键帧输出对应的果实语义信息以及检测框图像，将含有果实语义信息的关键帧图像进行输出并融合成为具语义信息的局部地图；
[0127]
s9，利用高斯牛顿算法建立迭代模型求解使s5中建立的最小二乘法损失函数最小化的位姿信息x’t
作为当前时刻的位姿输出，返回s7获得机器人在运动过程中的位姿变化数据，利用位姿变化数据与各时刻所选取的关键帧的变化过程生成移动机器人的局部运动轨迹；
[0128]
s10，移动机器人在果园往返运动时循环执行s1-s9步骤，由用户决定是否停止建图。若继续建图，则重复s1-s9步骤。若停止建图，则在建图结束时对步骤s8中各个时刻的局部语义地图进行关键帧匹配，将含有相似orb特征描述子较多的关键帧进行剔除。将去冗余
的关键帧图像信息进行图像拼接，输出具有果实检测语义信息的果园环境全局地图，从而实现在传统基于slam的果园建图方法中建立果实目标检测线程，在对果园建图的同时能够丰富地图所含有的语义信息。
[0129]
本发明通过对果园环境以及果实图像进行图像数据以及点云数据采集，并对其中集成的图像特征提取算法，图像目标检测算法、图像三维定位方法、基于传感器数据融合的slam建图算法等进行了算法试验和相关优化。在实际应用中，利用本发明提出的方法能够使移动机器人根据实时更新的果园地图与果实目标的相对位置动态调整运动轨迹，可以依据本发明所提供的高精度、强语义的果园地图信息实现对果园环境的精准感知。
[0130]
在上述技术方案的基础上，上述实施例方案可以通过软件产品的形式进行存储与使用，该产品可以存储在任何非易失性的存储装置中(如u盘，磁盘等)，并且可以通过若干操作指令将本发明所集成的各类方法执行在计算机设备中。
[0131]
对比实验：
[0132]
本发明在设计实验时使用筛选并标注好的1914张图像按照上述图像数据增强方法以及训练参数设置送入各类经典的目标检测网络模型进行训练并整理出了表1所示结果。
[0133]
map指标表示模型对所有类别的平均检测精度，不同的map指标表示不同的目标尺寸，本发明提出的retinanet_g2s方法在所有经典网络模型中表现出了最佳的map性能，尤其在小目标检测的性能(maps)上较其他网络模型具有较大程度的提升。具体来说，本发明提出的retinanet_g2s方法与其他经典目标检测网络模型相比，map，map
50
,，map
75
，maps，mapm，map
l
指标平均提升了9.11％，5.75％，12.70％，9.05％，6.70％和10.80％。
[0134]
表1不同网络模型间的检测性能对比
[0135][0136][0137]
以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。