基于机器视觉的果实检测定位与果园地图构建方法

技术特征：
1.一种基于机器视觉的果实检测定位与果园地图构建方法，其特征在于，包括以下步骤：s1，在移动机器人平台上搭建基于深度相机的图像采集装置，利用该装置进行动态果园环境中的rgb彩色果实图像，以及所述果实图像中各位置的深度信息；s2，将所述rgb彩色果实图像送入目标检测网络进行果实目标的个体检测，输出果实目标的检测结果；s3，根据所述果实目标的检测结果中的果实中心点距离移动机器人平台自身坐标系的相对角度，利用深度信息获取相机视野内各个果实的相对距离，从而在移动过程中实时更新相机视野内检测出的各个果实相对于移动机器人平台的方位信息，得到视野内果实与移动机器人之间的相对位姿；s4，在s1-s3执行的同时，并行开始建图线程，并建立系统slam运动模型；s5，建立最小二乘法损失函数，最小二乘优化目标为求取当损失函数取得最小值时机器人位姿状态的最大似然估计；s6，基于所述各个果实相对于移动机器人平台的方位信息来确定激光雷达扫描区域，使用激光雷达扫描获得果实位置的点云信息并与深度信息进行配准从而获得复杂野外环境下更加精准的融合深度信息；s7，利用视野内果实与移动机器人之间的相对位姿，来遍历并定位距离移动机器人最近的果实目标，根据所述融合深度信息获得该果实目标与机器人之间的相对位姿，以该目标与机器人之间的相对旋转角度来确定下一时刻移动机器人运动与建图方向，同时更新机器人视觉里程计数据，获取机器人在k时刻基于视觉里程计的相机位姿与对应的果实图像观测的目标点，在更新的过程中同步更新最小二乘法损失函数；s8，在机器人运动过程中确定果实图像的关键帧并计算orb特征描述子进行不同果实目标的匹配，若果实目标在之前从未被观测过，则在局部地图中加入该果实，并对果实进行标记；机器人运动过程中将更多的地图点投影到关键帧中以寻找更多的匹配点，映射出机器人在不同时刻处于不同位姿下的局部地图，并输出构成该局部地图的一组关键帧；在输出关键帧的同时，并行启动所述的果实目标的个体检测过程，利用线程锁机制在不影响建图线程以及系统整体运行效率的前提下，为每一个关键帧输出对应的果实语义信息以及检测框，将含有果实语义信息的关键帧进行输出并融合成为具语义信息的局部地图；s9，建立迭代模型求解使所述最小二乘法损失函数最小化的位姿信息，将该位姿信息作为当前时刻的位姿输出，并返回步骤s7，从而获得机器人在运动过程中的位姿变化数据，并利用位姿变化数据与各时刻所选取的关键帧的变化过程生成移动机器人的局部运动轨迹，实现移动机器人自定位与果园建图功能。2.根据权利要求1所述的基于机器视觉的果实检测定位与果园地图构建方法，其特征在于，所述目标检测网络包括特征提取模块以及多组相同的图像金字塔结构；所述特征提取模块包括4层卷积单元c
1-c4来提取不同尺度的图像特征；所述彩色果实图像作为c1卷积单元的输入信息，c1卷积单元的输入特征图作为c2卷积单元的输入，c2卷积单元输出的特征图作为下一层的输入，以此类推；所述图像金字塔结构包括第一组图像金字塔模块g
1-1-g
1-5
,第二组图像金字塔模块
g
2-1-g
2-5
,第三组图像金字塔模块g
3-1-g
3-5
和第四组图像金字塔模块g
4-1-g
4-5
，每一组特征金字塔包含五层图像金字塔卷积层，其中，第一组图像金字塔模块中g
1-1
卷积层的输入为特征提取模块c1卷积单元的输出特征图，g
1-2-g
1-4
的输入为卷积单元c
2-c4的输出与上一卷积层图像金字塔卷积层的输出相加的结果，g
1-5
卷积层的输入为前一卷积层图像金字塔卷积层c
1-4
的输出；后续三组图像金字塔模块中，每个图像金字塔卷积层的输入为上一层的输出以及前一组金字塔模块中对应层的输出进行融合后的结果。3.根据权利要求2所述的基于机器视觉的果实检测定位与果园地图构建方法，其特征在于，对于每个卷积单元c
1-c4，其输入的彩色果实图像/特征图经过1x1的卷积核之后提取出特征图并被平均分为5组，记为特征图x
i
,i∈1,2,...,5；将5组特征图x
i
分为以下三类不同的处理方法：将第一组特征图x1对应的数据传输线路k1不进行任何处理，直接传递为第一组特征图x1至传输线路的输出y1；第二组特征图x2所属数据传输线路k2使用膨胀卷积的方法来增大网络的感受野；在该线路中采用大小为3x3，层数为三层的卷积核，设置膨胀比例d为2组成膨胀卷积模块；第二组特征图x2经过该膨胀卷积模块计算后的结果被传递到输出y2；在最后三组特征图x
3-x5的数据传输线路k
3-k5中，引入分组卷积模块进行特征图的计算，得到对应的输出y
3-y5。4.根据权利要求3所述的基于机器视觉的果实检测定位与果园地图构建方法，其特征在于，所述在最后三组特征图x
3-x5的数据传输线路k
3-k5中，引入分组卷积模块进行特征图的计算，得到对应的输出y
3-y5，包括：对于数据传输线路k3，特征图x3进入到分组卷积模块后分别经过三个并行的通道，在每个通道中依次经过1x1、3x3、1x1的卷积层进行特征提取后，三个通道输出进行融合，融合后的结果与x3再次加和后，作为该分组卷积模块gc模块的输出y3，该输出y3与特征图x4的加和作为数据传输线路k4中分组卷积模块gc的输入，该分组卷积模块gc的输出y4与特征图x5的加和作为数据传输线路k5中分组卷积模块gc的输入，并通过该模块输出y5。5.根据权利要求3所述的基于机器视觉的果实检测定位与果园地图构建方法，其特征在于，各数据传输线路的输出y1-y5最终融合后经过1x1卷积层，之后再使用cbam注意力模块，并通过跨层连接的方式将每个卷积单元c
1-c4输入的彩色果实图像/特征图与cbam模块的输出特征信息相加融合作为该卷积单元的输出。6.根据权利要求2所述的基于机器视觉的果实检测定位与果园地图构建方法，其特征在于，在四组图像金字塔模块之间设计了四种特征连接通路：横向连接通路：对图像金字塔模块中相邻的同尺度特征进行连接，并且在每一条横向连接通路中使用1x1的卷积来将输入特征进行投影并与目标层的特征进行融合，具体为g
m-n
与g
(m 1)
–
n
,m∈1,2,3；n∈1,2,3,4,5之间的15条数据传输通路；跨尺度的自上而下路径：对图像金字塔模块中跨层级、不同尺度的相邻的特征自上而下进行连接；在连接前，首先使用最近邻插值法，设置插值比例系数进行特征采样操作，然后将获取到的高层信息经过3x3卷积后提取到与相连接的底层特征相同维度的特征信息并进行融合，具体为g
1-5
与g
2-4
、g
2-5
与g
3-4
、g
3-5
与g
4-4
、g
2-4
与g
3-3
、g
3-4
与g
4-3
、g
2-3
与g
3-2
、g
3-3
与g
4-2
、g
3-2
与g
4-1
共8条数据传输通路；
同尺度、跨组别的多图像金字塔模块跳跃连接通路：通路首选使用1x1的卷积核来进行特征映射，然后采用跳跃连接的方式将不相邻的金字塔中相同尺度的特征进行融合，具体为g
1-n
与g
i-j
,n∈1,2,3,4,5；i∈3,4；j∈1,2,3,4,5之间的10条数据传输通路；同组图像金字塔模块中从下至上的数据传输通路：具体为g
m-n
与g
m-(n 1)
，m∈1,2,3,4,5；n∈1,2,3,4之间的16条数据传输通路。7.根据权利要求1所述的基于机器视觉的果实检测定位与果园地图构建方法，其特征在于，第四组图像金字塔模块的各卷积层的输出特征图分别经过4x4的卷积核计算后，输入到class box subnets模块中进行检测框的回归计算，最终输出目标的检测框归回结果、位置以及目标类别概率；将所述目标类别概率与目标检测框回归结果经过focalloss的计算，输出最终果实目标的检测结果，包括检测框以及对应的语义信息。8.根据权利要求1所述的基于机器视觉的果实检测定位与果园地图构建方法，其特征在于，所述系统slam运动模型表示为：其中，x
k
为k时刻的相机位姿，u
k
为运动过程中深度相机的传感器采集的数据，z
k,j
是在位姿x
k
处对目标点y
j
进行观测后在图像中的像素位置，w
k
，v
k,j
为运动过程中对应的过程噪声和测量噪声，f与h函数表示针对运动过程的抽象非线性函数。9.根据权利要求1所述的基于机器视觉的果实检测定位与果园地图构建方法，其特征在于，所述建立最小二乘法损失函数，表示为：其中，z
k,j
是在位姿x
k
处对目标点y
j
进行观测后在图像中的像素位置，h函数表示针对运动过程的抽象非线性函数，x
k
为k时刻的相机位姿，z
k,j
是在位姿x
k
处对目标点y
j
进行观测后在图像中的像素位置，q
k,j
为噪声v
k,j
的协方差矩阵。10.根据权利要求1所述的基于机器视觉的果实检测定位与果园地图构建方法，其特征在于，建立基于激光雷达的3d点云和rgb果实图像之间的对应关系，从而获得对应图像位置上的雷达距离尺度信息，对各像素点的深度信息进行权重融合从而降低深度信息误差，以解决系统在复杂果园场景中建图精度差以及应用性能不稳定的问题：dis
i,j
＝λdis_l
i,j
(1-λ)dis_c
i,j
ꢀꢀꢀꢀꢀꢀ
(1)其中λ为置信度权重，dis
i,j
表示图像中像素点(i,j)处相对于机器人的融合深度信息，dis_l
i,j
表示雷达数据输出的像素点(i,j)处z轴坐标，dis_c
i,j
表示深度相机输出的像素点(i,j)处的深度信息。

技术总结
本发明公开了一种基于机器视觉的果实检测定位与果园地图构建方法，该方法利用采用搭载有RGBD相机的移动机器人实现水果果实目标检测、计数以及采摘定位，同时将视觉里程计信息以及激光雷达的点云信息数据进行融合，采用非线性优化方法实现用于果园环境中的SLAM建图与定位；之后基于多线程编程方法将两个线程融合，从而实现应用于实际果园环境中的移动机器人实时果实检测定位与全局建图与自定位，并基于构建完成的果园语义地图实现移动机器人在果园中的全局路径规划功能。依靠该方法能够实现智能化果园巡航、智能化果园产量预估以及采摘机器人果园环境感知等应用领域，能够较好地助力传统果园种植产业向自动化、智能化方向转型升级。转型升级。转型升级。


技术研发人员：彭红星 陈虎
受保护的技术使用者：华南农业大学
技术研发日：2022.04.12
技术公布日：2022/7/1