基于双目视觉系统的果实定位方法和装置

1.本发明涉及农业自动化技术领域，尤其是涉及一种基于双目视觉系统的果实定位方法和装置。


背景技术：

2.自动化采摘果实是现代农业自动化设备的必备功能，在果园作业中，农业采摘机器人的视觉系统对果实的准确识别是成功实施自动化采摘的关键。在现实的复杂果园环境下，现有技术对果实的识别、定位均不够准确，这将导致设备无法准确采摘果实。


技术实现要素：

3.基于此，本发明的目的在于提供一种基于双目视觉系统的果实定位方法和装置，以提高对果实的识别及定位的准确性。
4.第一方面，本发明提供一种基于双目视觉系统的果实定位方法，该方法包括：以预先获取的初始可见光图像为基准，基于局部峰值预选策略以及脉冲耦合神经网络，对预先获取的初始tof图像和初始可见光图像进行配准，得到配准tof图像；根据预设的yolo v3卷积神经网络模型对初始可见光图像中的果实进行果实识别，得到果实识别结果；若果实识别结果表征初始可见光图像中存在果实，则根据配准tof图像，确定果实的位置信息。
5.在可选的实施方式中，初始可见光图像与初始tof图像均称为初始图像；以预先获取的初始可见光图像为基准，基于局部峰值预选策略以及脉冲耦合神经网络，对预先获取的初始tof图像和初始可见光图像进行配准，得到配准tof图像的步骤，包括：根据局部峰值预选策略，确定初始图像中目标的目标显著区域，其中，目标包括果实和背景，背景包括简单背景和复杂背景；根据最大期望算法和脉冲耦合神经网络，确定目标显著区域的目标轮廓；根据初始可见光图像中的目标显著区域和初始tof图像中的目标显著区域，确定第一信息；根据初始可见光图像中的目标轮廓和初始tof图像中的目标轮廓，确定第二信息；根据第一信息和第二信息，确定配准tof图像。
6.在可选的实施方式中，根据局部峰值预选策略，确定初始图像中目标的目标显著区域的步骤，包括：将初始图像分割为预设数量的图像小块；提取图像小块的每一个像素点的灰度值；根据灰度值以及局部峰值预选策略，区分并确定果实显著区域与背景显著区域，其中，目标显著区域包括果实显著区域和背景显著区域。
7.在可选的实施方式中，根据灰度值以及局部峰值预选策略，初步区分并确定果实显著区域与背景显著区域的步骤，包括：基于二维正态分布，确定果实的二维分布概率；根据预设的固定差量阈值，对果实的二维分布概率进行峰值特性判别计算，区分并确定果实显著区域以及背景显著区域。
8.在可选的实施方式中，根据最大期望算法和脉冲耦合神经网络，确定目标显著区域的目标轮廓的步骤，包括：基于最大期望算法和脉冲耦合神经网络，确定目标显著区域的动态阈值以及连接强度；基于动态阈值和连接强度收敛果实显著区域，得到果实轮廓；基于
动态阈值和连接强度收敛背景显著区域，得到背景轮廓，其中，目标轮廓包括果实轮廓和背景轮廓。
9.在可选的实施方式中，确定目标显著区域的动态阈值的步骤，包括：采用预设的最大期望算法，预测目标显著区域的极大似然值，并且确定横坐标方向与纵坐标方向的均值和协方差矩阵；在目标显著区域的灰度值一致的前提下，迭代计算目标显著区域的动态阈值；通过预设的迭代终止条件，停止迭代计算目标显著区域的动态阈值的步骤，得到最终的目标显著区域的动态阈值。
10.在可选的实施方式中，根据初始可见光图像中的目标显著区域和初始tof图像中的目标显著区域，确定第一信息；根据初始可见光图像中的目标轮廓和初始tof图像中的目标轮廓，确定第二信息；根据第一信息和第二信息，确定配准tof图像的步骤，包括：基于hu不变矩的目标区域轮廓匹配处理法和随机抽样一致算法，将初始可见光图像的果实显著区域与初始tof图像的果实显著区域进行配准，得到第一配准结果；将初始可见光图像的背景显著区域与初始tof图像的背景显著区域进行配准，得到第二配准结果；将初始可见光图像的果实轮廓与初始tof图像的果实轮廓进行配准，得到第三配准结果；将初始可见光图像的背景轮廓与初始tof图像的背景轮廓进行配准，得到第四配准结果；基于第一配准结果、第二配准结果、第三配准结和第四配准结果，改变初始tof图像的角度和位置，得到配准tof图像。
11.在可选的实施方式中，根据预设的yolo v3卷积神经网络模型对初始可见光图像中的果实进行果实识别，得到果实识别结果的步骤，包括：根据预先获取的图片标签化后的数据集合，对预设的卷积神经网络模型进行训练，得到果实识别权重模型；基于预设的果实先验框和果实识别权重模型，确定初始可见光图像中是否存在果实。
12.在可选的实施方式中，初始tof图像包括初始深度图像、初始置信图像、初始点云图像和初始强度图像；配准tof图像包括配准深度图像、配准置信图像、配准点云图像和配准强度图像；根据配准tof图像，确定果实的位置信息的步骤，包括：通过配准深度图像，确定果实的横坐标、纵坐标、垂直坐标以及配准tof图像相对于初始tof图像的旋转角度。
13.第二方面，本发明提供一种基于双目视觉系统的果实定位装置，该装置包括：配准模块，用于以预先获取的初始可见光图像为基准，基于局部峰值预选策略以及脉冲耦合神经网络，对预先获取的初始tof图像和初始可见光图像进行配准，得到配准tof图像；识别模块，用于根据预设的yolo v3卷积神经网络模型对初始可见光图像中的果实进行果实识别，得到果实识别结果；定位模块，用于若果实识别结果表征初始可见光图像中存在果实，则根据配准tof图像，确定果实的位置信息。
14.本发明实施例的有益效果如下：
15.本发明提供了一种基于双目视觉系统的果实定位方法和装置，该方法包括：以预先获取的初始可见光图像为基准，基于局部峰值预选策略以及脉冲耦合神经网络，对预先获取的初始tof图像和初始可见光图像进行配准，得到配准tof图像；根据预设的yolo v3卷积神经网络模型对所述初始可见光图像中的果实进行果实识别，得到果实识别结果；若所述果实识别结果表征所述初始可见光图像中存在所述果实，则根据所述配准tof图像，确定所述果实的位置信息。本方案能够提高对果实的识别及定位的准确性。
16.本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以
从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。
17.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。
附图说明
18.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为本发明实施例提供的一种基于双目视觉系统的果实定位方法的流程图；
20.图2为本发明实施例提供的另一种基于双目视觉系统的果实定位方法的流程图；
21.图3为本发明实施例提供的tof图像局部峰值预选图；
22.图4为本发明实施例提供的可见光图像局部峰值预选图；
23.图5为本发明实施例提供的一种配准流程图；
24.图6为本发明实施例提供的一种基于双目视觉系统的果实定位装置的示意图。
具体实施方式
25.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
26.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.在果园作业中，农业采摘机器人的视觉系统对果实的准确识别是成功实施自动化采摘的关键。采摘机器人的视觉研究中最具潜力的是飞行时间(time of flight，tof)图像与彩色图像(即可见光图像)进行异源图像信息融合的技术，tof图像具备多种不同属性，如光照不变性、空间层次性、近红外感知性、辨析数据的可靠性。在异源图像中，图像配准是图像分析中一项重要的预处理技术。
28.目前图像配准方法分为基于点特征的配准方法和基于区域特征的配准方法两类。其中，尺度不变特征变换(scale-invariant feature transform，sift)算法和加速鲁棒特征(speeded up robust features,surf)算法是目前两种典型的基于点特征的配准算法，这两种方法对旋转、缩放、亮度变化具有一定的稳定性。paul提出了一种各向异性尺度空间改进的sift算法，解决了运算中细节丢失的情况。冯娟等使用surf算法提取待配准tof图像的尺度不变特征，欧式距离作为判断特征相似性的测度完成匹配。周薇使用harris提取tof和可见光图像中角点作为特征点，利用互相关信息和邻域的支持强度实现特征点匹配。zeng利用形态学梯度法提取图像的粗糙边缘，将其视觉特征对齐为单一相似类型；其次，利用c_sift特征检测算子对提取的边缘进行特征点检测和提取，完成可见光和红外图像的配
准，且配准精度较好。
29.现有技术对sift算子的适用性进行了分析，结果表明sift算子对同源图像间的配准表现稳定，而在异源中表现不太理想。且目前大多数的技术都是针对红外与可见光图像，对于tof图像并不能适用。
30.关于pcnn(pulse coupled neural network，脉冲耦合神经网络)的技术以及现有技术是：
31.pcnn以相似性集群和捕获特性为原理将相似的模式特征归为一类，不相似的特征归入其它类别，这与聚类分析的基本思想完全一致，可以很好的把它应用于数据聚类中。所有神经元的输出形态组成二维点火矩阵，输出二值图像作为本次的分割结果；点火图在下一次迭代开始时将作为链接输入反馈直接影响各神经元的内部行为。当达到终止条件的时候，迭代运行终止，保留分割结果并输出结果图像。
32.传统pcnn都只使用了灰度相似性集群来进行分割，这就使得不能完全分离灰度相近的目标与背景。因为大部分情况下，数据集中的对象不能划分成为明显分离的簇，指派一个对象到一个特定的簇有些生硬，也可能会出错。pcnn以灰度相似捕获过于单调，当目标与背景灰度相差不大，对分割会造成影响。
33.而且，在果园作业的复杂环境中，可见光图像与tof图像间成像机理完全不同，成像角度有一定偏移，图像上同名点灰度值一般不具备线性变换关系，使得依赖于图像点特征信息的配准方法失效。
34.基于此，本发明提供了一种基于双目视觉系统的果实定位方法和装置，以对异源图像(指的是可见光图像和tof图像)进行配准，进而对果实进行识别和定位。该技术可以应用于果园的自动化采摘的应用场景中。
35.实施例一
36.本发明实施例提供了一种基于双目视觉系统的果实定位方法，如图1所示，该方法包括：
37.步骤s102，以预先获取的初始可见光图像为基准，基于局部峰值预选策略以及脉冲耦合神经网络，对预先获取的初始tof图像和初始可见光图像进行配准，得到配准tof图像。
38.具体地，上述初始可见光图像和上述tof图像称为一组异源图像。在此，tof图像分为强度图、深度图、置信图和3d点云图。一开始，在同一时刻、同一位置，用tof相机拍摄tof图像，用可见光相机拍摄一张可见光图像，然后以可见光图像为基准，对置信图进行旋转和平移，以使置信图和可见光图配准，这样，强度图、深度图和3d点云图也就可以自动与可见光图像配准了。
39.具体地，本技术使用tof相机与可见光相机，建立果园环境双目采集系统。采用德国basler公司tof相机，自带光源发射波长为850nm、
±
30nm，视场(h
×
v)为57
°×
43
°
。本文使用置信图作为实验图像。可见光相机采用佳能公司彩色数码相机，传感器类型为ccd，有效像素141万。将tof相机与可见光相机平行固定于相机支架上构成双目采集系统(即双目视觉系统)。
40.步骤s104，根据预设的yolo v3卷积神经网络模型对初始可见光图像中的果实进行果实识别，得到果实识别结果。
41.具体地，上述可见光图像又称为rgb图像，在此，使用yolo模型对rgb图像进行果实识别，就可以判断图像中是否存在果实。上述果实包括苹果、桃等农业中需要进行识别的物体。
42.步骤s106，若果实识别结果表征初始可见光图像中存在果实，则根据配准tof图像，确定果实的位置信息。
43.具体地，在此是利用配准后的深度图像，计算得到的果实的空间坐标x、y、z以及旋转角度r，从而完成对果实的空间定位。
44.本技术是通过配准将两种图像数据变换至同一坐标系下，结合空间信息和语义信息以充分发挥tof图像和可见光图像的优势，弥补单一数据源的局限性。针对的图像均包含苹果、枝干、树叶和复杂果园环境。且tof图像和可见光图像之间犹豫存在明显的空间旋转与偏移，所以本技术的配准过程就解决了这种旋转与偏移的差值。
45.本发明提供了一种基于双目视觉系统的果实定位方法，该方法包括：以预先获取的初始可见光图像为基准，基于局部峰值预选策略以及脉冲耦合神经网络，对预先获取的初始tof图像和初始可见光图像进行配准，得到配准tof图像；根据预设的yolo v3卷积神经网络模型对所述初始可见光图像中的果实进行果实识别，得到果实识别结果；若所述果实识别结果表征所述初始可见光图像中存在所述果实，则根据所述配准tof图像，确定所述果实的位置信息。本方案能够提高对果实的识别及定位的准确性。
46.本技术通过第一步：首先，采用可见光图像和tof置信图像进行局部峰值预选策略、改进pcnn分割方法对双目视觉系统的两幅图像进行精准配准操作。第二步：其次，利用深度学习中yolov3卷积神经网络模型对可见光图像进行识别，分别对识别出的果实进行标注。第三步：最后通过配准后的深度图像对标注的果实一一运算确定果实的空间坐标xyz以及旋转角度r，完成对果实的空间定位。本技术通过以上三大步骤，实现的对果实的识别及定位。
47.实施例二
48.本发明实施例提供了另一种基于双目视觉系统的果实定位方法，如图2所示，该方法包括：
49.步骤s202，根据局部峰值预选策略，确定初始图像中目标的目标显著区域。
50.在具体实施时，初始可见光图像与初始tof图像均称为初始图像。初始tof图像包括初始深度图像、初始置信图像、初始点云图像和初始强度图像。
51.在具体实施时，目标包括果实和背景，背景包括简单背景和复杂背景。
52.在具体实施时，针对步骤s202，首先，将初始图像分割为预设数量的图像小块；提取图像小块的每一个像素点的灰度值；根据灰度值以及局部峰值预选策略，区分并确定果实显著区域与背景显著区域，其中，目标显著区域包括果实显著区域和背景显著区域。然后，基于二维正态分布，确定果实的二维分布概率；根据预设的固定差量阈值，对果实的二维分布概率进行峰值特性判别计算，区分并确定果实显著区域以及背景显著区域。
53.具体地，果实显著区域和背景显著区域均为目标显著区域。
54.再具体地，确定目标显著区域的步骤是：
55.1.在同一时刻、同一位置，采集初始可见光图像和初始置信图像。
56.具体地，置信图像的优势是：具有光照不变性、空间层次性、近红外感知性、辨析数
据的可靠性。以下操作是同时对初始可见光图像和初始置信图像分别进行计算，分别得到初始可见光图像的目标显著区域和初始置信图像的目标显著区域。
57.2.将初始图像分割为预设数量的图像小块。
58.3.提取图像小块的每一个像素点的灰度值。
59.4.假设目标小块(即图像小块)按照灰度值可以分为3部分，果实、普通背景和复杂背景，具体表示如下：
60.f(x，y)＝f
t
(x，y) bc(x，y) b(x，y)
ꢀꢀ
(1)；
61.其中，f(x，y)为目标小块图像在(x，y)处灰度值，f
t
(x，y)为果实分量，b(x，y)为普通背景分量(比如天空)，bc(x，y)为复杂背景分量(比如树叶、树枝等杂物)。公式(1)只是体现将图像分为3部分的思想，并没有具体的运算过程。
62.5.果实分量的局部的灰度值呈峰状特性，近似为二维正态分布，即果实分量f
t
(x，y)可以近似描述为：
[0063][0064][0065]
其中，i(x，y)为第i个目标在(x，y)处的灰度值的强度，exp为e的若干次方，x
oi
为图像中心点的横坐标，y
oi
为图像中心点的纵坐标，为第i个计算区域，n为计算区域总数量，δ
1i
和δ
2i
均为预设的二维正态分布参数，为果实目标区域。
[0066]
对于目标(果实)，其任意δx2 δy2＝ω2，满足其中，ω为果实的直径，是预设的数值。
[0067]
基于上式，能够计算得到果实的二维分布概率ft(x，y)。
[0068]
把(2)代入(1)，得到了带有果实的二维分布概率的f(x，y)。
[0069]
6.基于局部峰值的目标显著区域提取策略(又称为target salient region extraction strategy based on local peak，tse-lp)，对f
t
(x，y)进行峰值特性判别计算，得到目标显著区域。
[0070][0071]
其中，max(|δx|，|δy|)＝ω。
[0072]
其中，otsu为自动阈值分割算法，u为预设的固定差量阈值，f(x
oi
，y
oi
)为目标小块图像在(x，y)处灰度值。
[0073]
通过上式(3)的计算，可以将目标小块图中的背景或者目标区分开来。区分方法是，若≤u，则该位置为目标；若＞u，则该位置是复杂背景或者普通背景，即得到了目标显著区域。如图3和图4所示，目标显著区域为方框框住的区域，图3为tof图像局部峰值预选图，图4为可见光图像局部峰值预选图。
[0074]
具体地，显著性区域提取出来后，能将整体图像分割为局部问题，简化了下一步的分割问题。并且初步筛选了果实目标，加快了运行速度。
[0075]
具体地，到此，只是初步得到了果实或者背景所在的大概区域，结果不准确，也无法确分某位置是背景还是果实。
[0076]
步骤s204，根据最大期望算法和脉冲耦合神经网络，确定目标显著区域的目标轮廓。
[0077]
在具体实施时，上述步骤s204的过程为：基于最大期望算法和脉冲耦合神经网络，确定目标显著区域的动态阈值以及连接强度；基于动态阈值和连接强度收敛果实显著区域，得到果实轮廓；基于动态阈值和连接强度收敛背景显著区域，得到背景轮廓，其中，目标轮廓包括果实轮廓和背景轮廓。
[0078]
在具体实施时，确定目标显著区域的动态阈值的步骤，包括：采用预设的最大期望算法，预测目标显著区域的极大似然值，并且确定横坐标方向与纵坐标方向的均值和协方差矩阵；在目标显著区域的灰度值一致的前提下，迭代计算目标显著区域的动态阈值；通过预设的迭代终止条件，停止迭代计算目标显著区域的动态阈值的步骤，得到最终的目标显著区域的动态阈值。
[0079]
由于上一步骤只是提取到了目标所在的大概区域，没有提取到轮廓，所以接下来需要提取轮廓。现有技术也有轮廓提取的步骤，现有技术是根据预设的特定的动态阈值去进行轮廓提取的，这样提取的方法不准确，所以，本技术将根据目标显著区域中的灰度值，去动态确定动态阈值和连接强度，然后提取轮廓，这样提取到的轮廓会更加准确。
[0080]
再具体地，确定目标显著区域的目标轮廓的步骤为：
[0081]
1.果实或者背景的边缘都是光滑的，所以满足二维高斯正态分布，所以可以对目标显著区域(即方框区域)进行二维高斯正态处理。目标区域存在光滑弧度，即数据满足二维高斯正态分布：
[0082][0083]
其中，μ1为x方向坐标轴的期望，μ2为y方向的期望，为x方向的均方差，为y方向的均方差，ρ为x和y方向的相关系数。
[0084]
2.取似然函数为样本联合概率密度，记为：
[0085]
l(μ，∑)＝f(x1，x2，x3，
…
，xn)
ꢀꢀꢀꢀ
(5)；
[0086]
其中，l(μ，∑)为样本联合概率密度，n表示总共的取样数量。
[0087]
3.采用预设的最大期望算法(expectation-maximization algorithm，em算法)，预测目标显著区域的极大似然值，并且确定横坐标方向与纵坐标方向的均值和协方差矩阵。
[0088]
具体地，用最大期望算法(即em算法)预测极大似然值，(可以预测很多个，这里只预测2个)，根据预测的2个极大似然值确定横坐标方向与纵坐标方向的均值和协方差矩阵，具体为：
[0089][0090]
其中，为各位变量(即μ1，和μ2)的均值。为协方差矩阵。xi为第i点像素灰度值。为灰度均值。极大似然值就是求一组数据最有可能出现的结果，公式(6)的目的是求的二维正态分布的均值和协方差。
[0091]
具体地，最大期望算法(expectation maximization algorithm，em)利用最大似然值来判断元素的分类，这与pcnn十分契合。根据当前点火图重新计算最大似然估计值，同时点火过程完成灰度相似性集群，提供了更加灵活的聚类结果。基于此，提出一种最大期望算法的脉冲耦合神经网络改进模型。
[0092]
4.在目标显著区域的灰度值一致的前提下，迭代计算目标显著区域的动态阈值。
[0093]
具体地，计算上述动态阈值的步骤为：
[0094][0095]
其中，i、j为当前图像坐标；f(μ1，μ2)为二维高斯分布中心值，是由公式(6)计算得到的；为样本联合概率密度；v
θ
(i，j)为第i，j点的动态阈值。
[0096]
5.通过预设的迭代终止条件，停止迭代计算目标显著区域的动态阈值的步骤，得到最终的目标显著区域的动态阈值。
[0097]
本技术通过下式计算模型迭代终止条件的：
[0098][0099]
其中，i指的目标显著区域(即方框中的灰度值)，ui为区域方差一致性，rk为目标显著区域像素的集合，对于一个分割结果图像，ui越大，区域内一致性越好。其中，f
max
、f
min
分别为图像的灰度最大最小值；为目标显著区域的平均灰度值；fi为i点的灰度值；m、n分别目标显著区域长和宽的数值。
[0100]
当不断迭代直到时终止迭代，这表明输出区域与目标区域已大部分吻合，不再进行更新，此时即可停止迭代，输出结果。
[0101]
在此，ε1为第一停止迭代参数，是预设的值；ε2为第二停止迭代参数，也是预设的值；n为迭代次数。迭代停止后，得到多个动态阈值。
[0102]
6.计算连接强度。
[0103]
连接强度调节这周围神经元对中心点神经元的影响程度。所以，使用图像梯度对链接强度进行调整。当图像梯度的幅值越大，中心像素点的灰度变化越快，离散程度越大。所以一个较大的捕捉能力才能使得相似神经元同步点火。同样，图像梯度的幅值越小，就一个较小的捕捉能力就能同步点火。
[0104]
基于以上分析，链接强度与图像梯度的幅值正相关。连接强度的计算方法为：
[0105][0106]
其中，β为连接强度。m与n分别目标显著区域的为长和宽。对x，y求导。ω表示图像区域(即目标显著区域)。
[0107]
7.基于动态阈值和连接强度收敛背景显著区域，得到背景轮廓，其中，目标轮廓包括果实轮廓和背景轮廓。
[0108]
上述1-7为改进后em-pcnn方法，即本技术的重要发明点，该方法对于分割能更加精准，对于树枝树叶背景目标，分割鲁棒性更好。将动态阈值改为自适应方式，链接强度(即连接强度)基于区域梯度改进，在不断收敛的过程中，对边缘的响应更为敏感，分割效果更好。本技术提出自适应终止条件，简化了需要通过人工经验获取循环次数的步骤，且适用性更强。
[0109]
具体地，pcnn实现的图像分割是一个迭代输出的过程，动态阈值是控制这个迭代输出过程的关键参数。在tof图像和可见光图像中果实常常表现为灰度值相对值较高的区域且灰度分布满足二维正态分布。
[0110]
步骤s206，根据初始可见光图像中的目标显著区域和初始tof图像中的目标显著区域，确定第一信息；根据初始可见光图像中的目标轮廓和初始tof图像中的目标轮廓，确定第二信息；根据第一信息和第二信息，确定配准tof图像。
[0111]
在具体实施时，配准tof图像包括配准深度图像、配准置信图像、配准点云图像和配准强度图像。目标显著区域分为果实显著区域和背景显著区域。目标轮廓分为果实轮廓和背景轮廓。
[0112]
在具体实施时，步骤s206具体拆分为：基于hu不变矩的目标区域轮廓匹配处理法和随机抽样一致算法，将初始可见光图像的果实显著区域与初始tof图像的果实显著区域进行配准，得到第一配准结果；将初始可见光图像的背景显著区域与初始tof图像的背景显著区域进行配准，得到第二配准结果；将初始可见光图像的果实轮廓与初始tof图像的果实轮廓进行配准，得到第三配准结果；将初始可见光图像的背景轮廓与初始tof图像的背景轮廓进行配准，得到第四配准结果；基于第一配准结果、第二配准结果、第三配准结和第四配准结果，改变初始tof图像的角度和位置，得到配准tof图像。
[0113]
在具体地，通俗来说，确定配准tof图像的步骤为：
[0114]
基于hu不变矩的目标区域轮廓匹配处理和随机抽样一致算法(random sample consensus，ransac)提纯处理，对可见光目标显著区域和置信目标显著区域进行配准，得到配准目标显著区域；对可见光轮廓和置信轮廓进行配准，得到配准轮廓。这样能将两个照片中都有的，且位置一致的轮廓和位置作为配准目标显著区域和配准轮廓。利用归一化中心
矩，进而推算出7个具有旋转、缩放或平移性的矩不变量：k表示为目标区域i的第k阶不变矩。文中采用下式对分割后tof图像(包括置信图)和可见光图像的闭合目标区域进行匹配：
[0115][0116]
其中表示可见光图像中第i个闭合目标区域的第k阶不变矩，表示可见光图像中第j个闭合目标区域的第k阶不变矩。d
ij
的值越小两个区域的特征越相似。7表示进行了7次计算。以上都是hu不变矩的目标区域轮廓匹配处理的过程。
[0117]
对于tof图和可见光图像，检索出来(即通过hu不变矩的目标区域轮廓匹配处理得到的轮廓)的轮廓数量和同名点都不尽相同，分别提取两图像的同名点后再对其进行随机抽样一致算法(random sample consensus，ransac)提纯，从而完成配准。具体地，配准流程图如图5所示。
[0118]
具体地，配准的结果是得到了配准置信图像，基于配准置信图像，基于同样的变换方法，即可很快得到配准深度图像、配准点云图像和配准强度图像。
[0119]
步骤s208，根据预先获取的图片标签化后的数据集合，对预设的卷积神经网络模型进行训练，得到果实识别权重模型；基于预设的果实先验框和果实识别权重模型，确定初始可见光图像中是否存在果实。
[0120]
具体地，此步骤又称为果实识别，以苹果为例，yolo识别的过程为：
[0121]
利用深度学习中yolov3卷积神经网络模型对可见光图像进行识别，yolo识别模块使用的yolo网络为yolo v3版本(第三个版本)，使用yolo v3原有的预训练模型，同时界定了其中的先验框(即anchor box)为方形框，使得模型能够对苹果有更好的敏感度，yolo v3的模型构建使用pytorch，部署在高性能服务器上，使用硬件加速训练的cuda(compute unified device architecture，统一计算架构)技术，对模型进行训练，训练和测试使用的数据是通过图像软件进行图片标签化后的数据集合，通过对预训练模型的训练，能够获得对苹果识别精准的权重模型，至此，训练部分完成，权重模型将放入前端边缘控制芯片中，进行识别功能的操作。
[0122]
使用前端边缘控制芯片的算力，对苹果进行精准识别，硬件上启动多cpu并行加速的方式，提升前端边缘控制芯片的识别速度，前端边缘控制芯片同样使用pytorch构建好神经网络后，将事先训练好的模型权重文件载入，完成一个专用于识别苹果的神经网络，然后前端边缘控制芯片获取来自rgb摄像头的彩色图片，将图片载入网络中，通过yolo v3对图片中的苹果进行检测，由于事先预定好了先验框，能够对苹果更具有敏感性，使得苹果的位置和图片中的大小能够被精准捕捉。
[0123]
通过前端边缘控制芯片的中的yolo v3神经网络，将会返回一个识别结果的列表，列表由五列属性构成，对于其中的单行数据，第一列是识别的类别，yolo v3经过训练后，对苹果能够识别更加精准，但也能够识别其他的一些目标物体，剩余四列则分别描述了目标的左上角，右上角，左下角，右下角位置，这四个位置将组成一个方框，方框的边缘尽量贴合
目标的边缘，通过计算，可以大致获取物体的中心位置，因此，yolo v3识别功能模块能够返回图中所有能够识别的物体的位置信息，以及物体的具体类别。
[0124]
使用yolo识别的有益效果如下：
[0125]
在当前时代，能够进行目标检测的神经网络模型有很多，例如使用resnet和其他网络进行配合的多网络实现的检测的模型等，但是，能使用单个网络就可以同时实现物体检测和分类，只有yolo这一系列的网络模型，yolo系列的网络模型，是相对轻量化的网络模型，能够应用于一些小型的轻量化的计算机中，适合移动设备，而yolo v3(即其中的三个版本)，在相对于之后更加庞大的网络版本，能够部署在一些轻量化计算机中，同时，相对于之前的版本，能够更好的进行小物体的检测，因此，于本项目的情况下，考虑到需要与pcnn配准分享计算机资源的情况下，使用yolo v3进行目标检测，是极具性价比的决策。
[0126]
步骤s210，通过配准深度图像，确定果实的横坐标、纵坐标、垂直坐标以及配准tof图像相对于初始tof图像的旋转角度。
[0127]
本技术通过可见光和tof图像的结合，可以快速定位果实位置，相较双目彩色等方法，不受物体表面灰度和特征的影响，且可以测量较远距离，且精度与距离无关、测量精度高，鲁棒性更高。
[0128]
本技术通过局部峰值预选策略和改进pcnn分割方法，能够提高对果实的识别和定位的准确度。
[0129]
本技术针对果园环境下双目采集系统采集的tof与可见光异源图像间匹配精度差的问题，提出一种基于局部峰值的目标显著区域提取策略及最大期望算法的脉冲耦合神经网络分割的tof与可见光果园苹果图像配准方法。首先，利用高斯差函数计算可见光图像中显著性区域，对可见光图像的红绿分量进行预处理；然后，以图像局部灰度值的二维正态分布作为目标分量，使用最大类间方差otsu提取具有固定阈值的前景作为局部峰值提取策略，对tof与可见光图像初步筛选特征区域，利用最大期望算法改进pcnn动态阈值，使用局部图像梯度计算链接强度计算链接强度，利用图像区域方差改进终止条件，提出一种em-pcnn算法对预选区域进行精细化分割；接着计算连通区域不变矩，利用不变原理寻找目标中心同名点，进一步筛选特征区域；最后，同名点进行ransac提纯，将提纯后的同名点坐标代入变换模型计算模型参数，完成配准。实验结果表明该方法对双目采集系统采集的tof与可见光异源果园苹果图像可实现较好配准效果，且对图像平移、旋转、缩放均具有可抗性。
[0130]
实施例三
[0131]
本发明实施例提供一种基于双目视觉系统的果实定位装置，如图6所示，该装置包括：
[0132]
配准模块51，用于以预先获取的初始可见光图像为基准，基于局部峰值预选策略以及脉冲耦合神经网络，对预先获取的初始tof图像和初始可见光图像进行配准，得到配准tof图像。
[0133]
识别模块52，用于根据预设的yolov3卷积神经网络模型对初始可见光图像中的果实进行果实识别，得到果实识别结果。
[0134]
定位模块53，用于若果实识别结果表征初始可见光图像中存在果实，则根据配准tof图像，确定果实的位置信息。
[0135]
本发明实施例所提供的基于双目视觉系统的果实定位装置，其实现原理及产生的
技术效果和前述的基于双目视觉系统的果实定位方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
[0136]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。