一种基于FasterRCNN的RGB-D图像果实检测方法与流程

一种基于faster rcnn的rgb
‑
d图像果实检测方法
技术领域
1.本发明涉及目标识别技术领域，更具体地说是涉及一种基于faster rcnn的rgb
‑
d图像果实检测方法。


背景技术：

2.耗费大量人工的果实采摘问题成为近年来的研究热点，研制自动采摘机器人能较好的解决采摘成本过高的问题。
3.为实现果实的自动采摘，视觉系统是其关键技术，准确快速的实现果实的识别是评价视觉系统优劣的关键指标之一。在自然环境中rgb相机采集的颜色图像经常受到不同因素的影响，如果实颜色与自然环境颜色相近，采用深度学习方法训练的模型在特殊条件下识别精度不佳，识别时间较长。


技术实现要素：

4.本发明的目地在于解决在颜色图像受到外界因素干扰时，复杂条件下果实与背景颜色相近时果实难以识别的问题。提出了一种基于rgb
‑
d图像，多尺度特征融合，gt框的聚类的基于改进的faster rcnn的果实检测方法，能够对复杂环境下的果实进行快速准确的识别定位。
5.本发明采用的技术方案为：
6.一种基于faster rcnn的rgb
‑
d图像果实识别方法，包括以下步骤：
7.步骤1：采集数据，数据集的建立，数据集的增强；
8.步骤2：对gt(groundtruth)框进行k
‑
means分析获取rpn网络生成anchorboxes的最佳尺寸和比例；
9.步骤3：改进特征提取网络，实现4通道(rgb
‑
d)数据的输入，利用特征金字塔结构，对于特征提取网络中生成的高尺度，中间尺度，最低尺度特征图进行多尺度特征融合；
10.步骤4：把步骤2得到聚类数据设置为rpn网络的anchorboxes生成比例和尺寸，把步骤4得到的多尺度特征融合图像输入rpn中进行候选框的预测；
11.步骤5：训练模型并预测。
12.进一步，所述步骤一的数据集构建具体包括：
13.步骤1.1，采用kinect v2相机同时采集果实的颜色和深度图像，采集的颜色图像分辨率为1920
×
1080，采集的深度图像的分辨率为512
×
424；
14.步骤1.2，对颜色和深度图像进行对齐，使果实在颜色图像和深度图像的像素坐标一致，两种图片的分辨率大小一致；
15.步骤1.3，使用labelimg工具对图像进行标注，对于标注的物体生成的框为gt框， gt框的数据为(c，x
min
，y
min
，x
max
，y
max
)，其中c为物体的类别信息，(x
min
，y
min
) 为以图像左下角为坐标原点gt框左下角在图像上的像素坐标，(x
max
，y
max
)为gt框框右上角在图像上的像素坐标，并对标注的结果生成符合pascalvoc格式的xml文件；
16.步骤1.4，数据集的增强，对图像进行反转等操作进行数据集的增强，提高训练结果的鲁棒性；
17.步骤1.5，将所得到的数据集按照6:2:2的比例分成训练集，验证集，测试集；
18.进一步，所述步骤2包括：
19.步骤2.1，对gt框的宽高及其比例进行分析，为方便聚类分析，对gt框数据处理得到gt框的(w
j
，h
j
)数据，j∈(1,2,3,
…
,n)，(w
j
，h
j
)为第j个gt框的像素宽和高， w
j
＝x
max
‑
x
min
，h
j
＝y
max
‑
y
min
；
20.步骤2.2，宽高比例聚类，令宽高比获取gt框宽高比例m个聚类结果；
21.步骤2.3，初始化尺寸聚类中心为c
i
(w
i
,h
i
)，i∈(1,2,3,
…
,k)，k为要生成的聚类框的个数，w
i
，h
i
分别为聚类中心点的像素宽和高；
22.步骤2.4，计算gt框与每个聚类中心的距离，把gt归为与聚类中心最小的聚类，直到遍历完所有的gt与聚类中心的距离，把所有的gt框分为k个簇；
23.距离d的计算方式采用iou(交并比)的计算方式：
24.d
ji
＝1
‑
iou(box
j
,c
i
)
25.其中d
ji
为第j个gt框与第i个聚类中心的距离，box
j
为第j个gt框，c
i
为i个聚类中心，更具体的iou计算方式为：
[0026][0027]
sbox
j
为第j个gt框的面积，sc
i
为第i个聚类中心面积；
[0028]
步骤2.5，对于每个簇重新计算聚类中心，ni为第i个簇的 gt框的个数，更新聚类中心的值c
i
(w
i
,h
i
)；
[0029]
步骤2.6，重复2.3
‑
2.5，直到聚类中心改变量收敛，得到k个聚类中心，即k个 anchorboxes的宽和高尺寸；
[0030]
进一步，所述步骤3包括
[0031]
步骤3.1，更改特征提取网络resnet50网络的第一个过滤器的深度，从原始的3增加到4，实现4通道(rgb
‑
d)数据的输入；
[0032]
步骤3.2，采用resnet50进行特征的提取过程中，利用特征金字塔结构，对resnet50 中的conv2，conv3，conv4输出层进行多尺度特征叠加融合。
[0033]
进一步，所述步骤4包括：
[0034]
步骤4.1，把步骤4中得到的多尺度特征图输入rpn网络中实现region proposal的提取；
[0035]
步骤4.2，采用步骤2对gt框聚类得到的宽高及比例，设置为rpn中生成anchorboxes 的宽高及比例；
[0036]
步骤4.3，对于生成的anchor boxes利用rpn网络生成的调整参数生成候选框，基于候选框的cls得分滤除得分较低的候选框，采用nms算法，设置iou阈值为0.7，进一步精简
候选框的数量；
[0037]
步骤4.4.，建立rpn网络损失函数，损失函数由分类损失函数和回归损失函数组成：
[0038]
分类损失函数为:
[0039][0040]
其中，i是anchorboxes的索引，pi是第i个anchorboxes预测为真实标签的概率， pi*是第i个anchorboxes的真实。lcls是分类损失，ncls是一个batch的样本数量为256；
[0041]
回归损失函数为：
[0042][0043]
其中ti是预测候选框与anchorbox的偏移量，ti*是gt框与anchorboxes的偏移量，n
reg
是anchorboxes的总数，约2400个，l
reg
是回归损失，l
reg
(ti,ti
*
)＝r(ti
‑
ti
*
)，r 为smooth损失函数。由于λ为比例系数，通常取10，则上式能近似等于:
[0044][0045]
则总损失函数可定义为：
[0046][0047]
进一步，所述步骤5包括：
[0048]
步骤5.1，利用训练集作为网络训练数据，训练改进的faster rcnn网络；验证集用于在训练过程中优化果实识别网络结构参数，得到最优模型；用测试集作为训练出的网络的性能测试数据，评价模型性能；
[0049]
步骤5.2，采用ap(平均准确率)值越高则证明模型检测物体的准确率越高，即模型越好；
[0050]
步骤5.3，设置网络初始参数：总epoch次数，初始学习率，学习率变化系数。每个 epoch结束后保留训练结果，每次迭代保留学习率的变化，和ap值。
[0051]
本发明的有益效果为：在图像采集中同时采集颜色和深度图像，并用图像对齐技术把两种图像进行对齐，且在resnet50特征提取中，采用特征金字塔结构实现多尺度的特征图像融合，在输入rpn网络中使用通过对gt聚类得到的更符合果实先验框比例尺寸，实现了在复杂环境下的果实识别，增强了对果实专门化识别的效果，提高了检测精度。
附图说明
[0052]
图1为本发明搭建的网络框架示意图
[0053]
图2为本发明的rgb
‑
d数据集构建流程图
[0054]
图3为本发明的anchorboxes聚类分析结果图
[0055]
图4为本发明的基于rbg
‑
d图像的果实识别方法的流程图
[0056]
图5为本发明的果实识别网络流程图；
具体实施方式
[0057]
下面结合附图对本发明做进一步说明
[0058]
如图1
‑
5所示，一种基于rgb
‑
d图像的的果实识别方法，具体包括如下步骤：
[0059]
步骤1：采集数据，数据集的建立，数据集的增强；
[0060]
步骤2：对gt(groundtruth)框进行k
‑
means分析获取rpn网络生成anchorboxes的最佳尺寸和比例；
[0061]
步骤3：改进特征提取网络，实现4通道(rgb
‑
d)数据的输入，利用特征金字塔结构，对于特征提取网络中生成的高尺度，中间尺度，最低尺度特征图进行多尺度特征融合；
[0062]
步骤4：把步骤2得到聚类数据设置为rpn网络的anchorboxes生成比例和尺寸，把步骤4得到的多尺度特征融合图像输入rpn中进行候选框的预测；
[0063]
步骤5：训练模型并预测
[0064]
步骤一的数据集构建包括：
[0065]
1.1采用kinect v2相机同时采集果实的颜色和深度图像，采集的颜色图像分辨率为 1920
×
1080，采集的深度图像的分辨率为512
×
424；
[0066]
1.2对颜色和深度图像进行对齐，使果实在颜色图像和深度图像的像素坐标一致，两种图片的分辨率大小一致；
[0067]
1.3.使用labelimg工具对图像进行标注，对于标注的物体生成的框为gt框，gt框的数据为(c，x
min
，y
min
，x
max
，y
max
)，其中c为物体的类别信息，(x
min
，y
min
)为以图像左下角为坐标原点gt框左下角在图像上的像素坐标，(x
max
，y
max
)为gt框框右上角在图像上的像素坐标，并对标注的结果生成符合pascalvoc格式的xml文件；
[0068]
1.4数据集的增强，对图像进行反转等操作进行数据集的增强，提高训练结果的鲁棒性；
[0069]
1.5将所得到的数据集按照6:2:2的比例分成训练集，验证集，测试集；
[0070]
3.根据权利要求1所述的一种基于rgb
‑
d图像的果实检测方法，其特征在于：所述步骤2包括：
[0071]
2.1对gt框的宽高及其比例进行分析，为方便聚类分析，对gt框数据处理得到gt框的(w
j
，h
j
)数据，j∈(1,2,3,
…
,n)，(w
j
，h
j
)为第j个gt框的像素宽和高，w
j
＝x
max
‑
x
min
， h
j
＝y
max
‑
y
min
；
[0072]
2.2宽高比例聚类，令宽高比获取gt框宽高比例m个聚类结果；
[0073]
2.3初始化尺寸聚类中心为c
i
(w
i
,h
i
)，i∈(1,2,3,
…
,k)，k为要生成的聚类框的个数， w
i
，h
i
分别为聚类中心点的像素宽和高；
[0074]
2.4计算gt框与每个聚类中心的距离，把gt归为与聚类中心最小的聚类，直到遍历完所有的gt与聚类中心的距离，把所有的gt框分为k个簇；
[0075]
距离d的计算方式采用iou(交并比)的计算方式：
[0076]
d
ji
＝1
‑
iou(box
j
,c
i
)
[0077]
其中d
ji
为第j个gt框与第i个聚类中心的距离，更具体的iou计算方式为:
[0078][0079]
sbox
j
为第j个gt框的面积，sc
i
为第i个聚类中心面积；
[0080]
2.5对于每个簇重新计算聚类中心，ni为第i个簇的gt框的个数，更新聚类中心的值c
i
(w
i
,h
i
)；
[0081]
2.6重复2.3
‑
2.5，直到聚类中心改变量收敛，得到k个聚类中心，即k个anchorboxes 的宽和高尺寸；
[0082]
步骤三包括
[0083]
3.1更改特征提取网络resnet50网络的第一个过滤器的深度，从原始的3增加到4，实现4通道(rgb
‑
d)数据的输入；
[0084]
3.2采用resnet50进行特征的提取过程中，利用特征金字塔结构，对resnet50中的 conv2，conv3，conv4输出层进行多尺度特征叠加融合。
[0085]
步骤四包括：
[0086]
4.1把步骤4中得到的多尺度特征图输入rpn网络中实现region proposal的提取；
[0087]
4.2采用步骤2对gt框聚类得到的宽高及比例，设置为rpn中生成anchorboxes的宽高及比例；
[0088]
4.3对于生成的anchor boxes利用rpn网络生成的调整参数生成候选框，基于候选框的cls得分滤除得分较低的候选框，采用nms算法，设置iou阈值为0.7，进一步精简候选框的数量；
[0089]
4.4.建立rpn网络损失函数，损失函数由分类损失函数和回归损失函数组成：
[0090]
分类损失函数为:
[0091][0092]
其中，i是anchorboxes的索引，pi是第i个anchorboxes预测为真实标签的概率， pi*是第i个anchorboxes的真实。lcls是分类损失，ncls是一个batch的样本数量为256；
[0093]
回归损失函数为：
[0094][0095]
其中ti是预测候选框与anchorbox的偏移量，ti*是gt框与anchorboxes的偏移量， n
reg
是anchorboxes的总数，约2400个，l
reg
是回归损失，l
reg
(ti,ti
*
)＝r(ti
‑
ti
*
)，r 为smooth损失函数。由于λ为比例系数，通常取10，则上式能近似等于:
[0096][0097]
则总损失函数可定义为：
[0098][0099]
所述步骤五包括：
[0100]
5.1利用训练集作为网络训练数据，训练改进的faster rcnn网络；验证集用于在训练过程中优化果实识别网络结构参数，得到最优模型；用测试集作为训练出的网络的性能测试数据，评价模型性能；
[0101]
5.2采用ap(平均准确率)值越高则证明模型检测物体的准确率越高，即模型越好；
[0102]
5.3设置网络初始参数：总epoch次数，初始学习率，学习率变化系数。每个epoch 结束后保留训练结果，每次迭代保留学习率的变化，和ap值。
[0103]
针对复杂的自然环境，本发明构建rgb
‑
d的数据集对果实的颜色信息和深度信息有效提取。为充分的利用rgb
‑
d数据集，修改faster rcnn网络模型实现特征的多模态融合，优化faster rcnn预瞄框的生成方法。在识别中有效地提高了果实的识别精度和效率。以上所述的实例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改，补充和同等替换等，均应包含在本发明的保护范围内。
[0104]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0105]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。