一种基于深度学习的目标图像角度计算方法与流程

1.本发明涉及深度学习领域，具体涉及一种基于深度学习的目标图像角度计算方法。


背景技术：

2.用于物料抓取的机械手是垃圾分选机器人必不可少的组成部分。物料被置于传送带上后，由视觉系统将采集到的物料图像信息进行处理，生成机器人坐标系下的物料位姿数据并传输给机器人；机器人根据物料位姿数据迅速进行路径规划后调整机械手位姿，从而准确抓取物料。传统的机械手抓取目标垃圾的角度是通过视觉模块直接使用opencv进行计算，再将目标角度发送给机器人夹爪进行实时抓取，其中，opencv法是根据图像的开、闭和腐蚀膨胀进行计算，找到最大轮廓，求取图片的最小外接矩形，进而获得短边中心点的斜率；该方法适用于简单场景下的物料抓取，但是对于复杂环境下的作业，如目标图像中含有其他杂点、物料堆叠等情况，往往会影响机械手抓取目标角度的计算，导致机械手反映速度慢或者识别错误，进而影响整个产线的分选效率。
3.深度学习可以模仿人脑的机制来解释数据，但是现阶段通过深度学习抓取物料角度的计算方法几乎都是基于如maskrcnn、yolact等实例分割算法基础上开发的。但是，首先实例分割算法需要针对每个目标垃圾的轮廓进行标注，因而其前期数据的标注量较大；其次在真实产线上，应用实例分割算法检测来料效率较低；而且由于来料性状复杂，也会导致实例分割算法对目标垃圾轮廓分割不准确，从而导致角度计算偏差不准等问题。因此，使用基于其他深度学习计算模型来解决物料抓取角度计算不准确问题，成为了当前亟需解决的难题。


技术实现要素：

4.本发明要解决的技术问题是提供一种基于深度学习的目标图像角度计算方法，结合yolo目标检测模型、角度分类模型和gan模型三大模型，同时运用opencv进行角度计算，两种不同计算方法的结合能够在较大程度上优化目标计算角度，提高了分选准确率，计算效果好，且计算速度快。
5.为解决上述技术问题，本发明采取如下技术方案：本发明的一种基于深度学习的目标图像角度计算方法，其创新点在于包括以下步骤：
6.(1)对yolo目标检测模型、角度分类模型和gan模型进行模型训练；
7.(2)通过yolo目标检测模型获取目标垃圾rgb图像；
8.(3)角度分类模型接收检测到的目标垃圾rgb图像，并对其角度进行计算；
9.(4)gan模型对检测到的目标垃圾rgb图像进行降噪处理，再通过opencv进行目标垃圾抓取的角度计算；
10.(5)根据角度分类模型预测的准确率来判断最终的目标垃圾实际抓取角度。
11.优选的，在上述步骤(1)中，模型训练的方法包括以下步骤：
12.(1.1)通过工业相机采集待识别检测的rgb图像；
13.(1.2)标注人员对需要识别的rgb图像进行长方形矩阵框的标注，获得rgb图像上的目标垃圾点位置，并放入yolo目标检测模型进行训练；
14.(1.3)在标注人员进行标注画框后，将每个目标垃圾点坐标信息提取压缩成目标垃圾图片，并进行角度标注，再将目标垃圾图片进行分类，分类后的目标垃圾图片再放入角度分类模型进行训练；
15.(1.4)拍摄目标垃圾在干净皮带上的图像设为干净背景图像作为训练标签，再拍摄目标垃圾周围有其他混淆垃圾背景图像作为训练图片，然后再一起放入gan模型中进行训练。
16.优选的，在上述步骤(1.3)中，把每个目标垃圾点坐标信息提取压缩至224*224尺寸的目标垃圾图片，并将每张目标垃圾图片进行0到179度的分类。
17.优选的，在上述步骤(1.4)中，gan模型为：
[0018][0019]
其中，v是指价值函数，即value function；g是指生成器，即用来生成降噪后的图片；d是指判别器，即用来判断降噪去杂质效果的好坏。
[0020]
优选的，在上述步骤(2)中，通过yolo目标检测模型获取目标垃圾rgb图像的具体流程为：
[0021]
(2.1)通过工业相机采集待识别检测的rgb图像；
[0022]
(2.2)将被检测的rgb图像输入到输入尺寸为608*608的yolo目标检测模型中获取图像中涉及目标垃圾的所有位置框的列表，再经非极大值抑制算法过滤，得到最后需要保留的目标垃圾点坐标位置信息；
[0023]
(2.3)将检测到的每个目标垃圾根据点坐标截取成长方形图片，并统一压缩至224*224尺寸的目标垃圾图片。
[0024]
优选的，在上述步骤(2.2)中，非极大值抑制算法为：
[0025][0026]
其中，s
i
表示每个边框得分；m表示当前得分最高的框；b
i
表示剩余框的某个框；n
t
为设定的nms阈值；iou为两个识别框的重合面积比例。
[0027]
优选的，在上述步骤(3)中，角度分类模型进行角度计算的具体流程为：
[0028]
(3.1)将步骤(2.3)获取到的目标垃圾图片放入角度分类模型进行分类预测；
[0029]
(3.2)把角度分类模型最后一个全连接层得到的向量矩阵通过softmax函数计算得到每个角度的准确度，并获取最高准确度的前两个角度及其对应的准确率；
[0030]
(3.3)通过加权求和方法将预测角度乘以其对应的准确率而后两者相加得到角度值。
[0031]
优选的，在上述步骤(3.2)中，softmax函数的计算公式为：
[0032]
[0033]
其中，e表示自然常数，欧拉数；v
i
表示v数组向量中的第i个元素；s
i
表示该元素的softmax值，即该元素的指数与所有元素指数和的比值。
[0034]
优选的，在上述步骤(4)中，opencv进行角度计算的具体流程为：
[0035]
(4.1)将步骤(2.3)获取到的目标垃圾图片放入gan模型中，通过gan模型中的生成器用来去除目标垃圾周边的杂质和堆叠，生成一张干净的目标垃圾图片实现降噪；
[0036]
(4.2)将降噪后的目标垃圾图片用opencv求出图像的最小外接矩形及两条短边中心点相连后相对于水平线的斜率，并计算出该目标垃圾的角度。
[0037]
优选的，在上述步骤(5)中，判别公式为：
[0038][0039]
而根据角度分类模型预测的准确率进行判别的具体流程为：
[0040]
(5.1)根据角度分类模型给出的最大准确率判定其是否超过90％进行判断；
[0041]
(5.2)若大于等于90％时，最终的目标垃圾实际抓取角度即为角度分类模型的预测结果加权求和后的角度值；
[0042]
(5.3)若小于90％时，则为经gan模型降噪后由opencv计算出的角度；
[0043]
(5.4)将获取的目标垃圾中心点坐标以及计算出的最终的目标垃圾实际抓取角度发送给夹爪机器人进行抓取。
[0044]
本发明的有益效果：
[0045]
(1)本发明结合yolo目标检测模型、角度分类模型和gan模型三大模型，同时运用opencv进行角度计算，两种不同计算方法的结合能够在较大程度上优化目标计算角度，提高了分选准确率，计算效果好，且计算速度快；
[0046]
(2)相较于其他深度学习分割检测算法需要对每个目标进行轮廓描边标注，本发明中角度分类模型的角度标注属于图片分类标注，其复杂程度变小，减轻了标注人员的标注难度；
[0047]
(3)本发明采用角度分类模型预测结果的加权求和以及gan模型降噪后使用opencv求解角度的方法相结合，其鲁棒性强。
附图说明
[0048]
为了更清晰地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0049]
图1为本发明中整体检测方法的流程示意图。
[0050]
图2为本发明中yolo目标检测模型和角度分类模型训练的流程示意图。
[0051]
图3为本发明中gan模型训练的流程示意图。
具体实施方式
[0052]
下面将通过具体实施方式对本发明的技术方案进行清楚、完整地描述。
[0053]
本发明的一种基于深度学习的目标图像角度计算方法，如图1～3所示，包括以下步骤：
[0054]
(1)对yolo目标检测模型、角度分类模型和gan模型进行模型训练；
[0055]
在上述步骤中，如图2、图3所示，模型训练的方法包括以下步骤：
[0056]
(1.1)通过工业相机采集待识别检测的rgb图像；
[0057]
(1.2)标注人员对需要识别的rgb图像进行长方形矩阵框的标注，获得rgb图像上的目标垃圾点位置，并放入yolo目标检测模型进行训练；
[0058]
(1.3)在标注人员进行标注画框后，将每个目标垃圾点坐标信息提取压缩成224*224尺寸的目标垃圾图片，并进行角度标注，再将每张目标垃圾图片进行0到179度的分类，分类后的目标垃圾图片再放入角度分类模型mobilenetv2进行训练；
[0059]
(1.4)拍摄目标垃圾在干净皮带上的图像设为干净背景图像作为训练标签，再拍摄目标垃圾周围有其他混淆垃圾背景图像作为训练图片，然后再一起放入gan模型中进行训练。
[0060]
在上述步骤中，gan模型为：
[0061][0062]
其中，v是指价值函数，即value function；g是指生成器，即用来生成降噪后的图片；d是指判别器，即用来判断降噪去杂质效果的好坏。
[0063]
上述步骤的目的是通过gan模型中的生成器和判别器的互相博弈学习来去除目标垃圾周围杂质或堆叠情况的图像，最终得到三个深度学习模型用于产线上目标垃圾抓取角度计算。
[0064]
(2)通过yolo目标检测模型获取目标垃圾rgb图像；
[0065]
在上述步骤中，通过yolo目标检测模型获取目标垃圾rgb图像的具体流程为：
[0066]
(2.1)通过工业相机采集待识别检测的rgb图像；
[0067]
(2.2)将被检测的rgb图像输入到输入尺寸为608*608的yolo目标检测模型中获取图像中涉及目标垃圾的所有位置框的列表，再经非极大值抑制算法过滤，得到最后需要保留的目标垃圾点坐标位置信息；
[0068]
在上述步骤中，非极大值抑制算法为：
[0069][0070]
其中，s
i
表示每个边框得分；m表示当前得分最高的框；b
i
表示剩余框的某个框；n
t
为设定的nms阈值；iou为两个识别框的重合面积比例；
[0071]
(2.3)将检测到的每个目标垃圾根据点坐标截取成长方形图片，并统一压缩至224*224尺寸的目标垃圾图片。
[0072]
(3)角度分类模型接收检测到的目标垃圾rgb图像，并对其角度进行计算；
[0073]
在上述步骤中，角度分类模型进行角度计算的具体流程为：
[0074]
(3.1)将步骤(2.3)获取到的目标垃圾图片放入角度分类模型mobilenetv2进行分类预测；
[0075]
(3.2)把角度分类模型mobilenetv2最后一个全连接层得到的向量矩阵通过softmax函数计算得到每个角度的准确度，并获取最高准确度的前两个角度及其对应的准确率；
[0076]
在上述步骤中，softmax函数的计算公式为：
[0077][0078]
其中，e表示自然常数，欧拉数；v
i
表示v数组向量中的第i个元素；s
i
表示该元素的softmax值，即该元素的指数与所有元素指数和的比值。
[0079]
(3.3)通过加权求和方法将预测角度乘以其对应的准确率而后两者相加得到角度值。
[0080]
(4)gan模型对检测到的目标垃圾rgb图像进行降噪处理，再通过opencv进行目标垃圾抓取的角度计算；
[0081]
在上述步骤中，opencv进行角度计算的具体流程为：
[0082]
(4.1)将步骤(2.3)获取到的目标垃圾图片放入gan模型中，通过gan模型中的生成器用来去除目标垃圾周边的杂质和堆叠，生成一张干净的目标垃圾图片实现降噪，从而减少opencv计算产生的误差；
[0083]
(4.2)将降噪后的目标垃圾图片用opencv求出图像的最小外接矩形及两条短边中心点相连后相对于水平线的斜率，并计算出该目标垃圾的角度。
[0084]
(5)根据角度分类模型预测的准确率来判断最终的目标垃圾实际抓取角度。
[0085]
上述步骤中，判别公式为：
[0086][0087]
而根据角度分类模型预测的准确率进行判别的具体流程为：
[0088]
(5.1)根据角度分类模型给出的最大准确率判定其是否超过90％进行判断；
[0089]
(5.2)若大于等于90％时，最终的目标垃圾实际抓取角度即为角度分类模型的预测结果加权求和后的角度值；
[0090]
(5.3)若小于90％时，则为经gan模型降噪后由opencv计算出的角度；
[0091]
(5.4)将获取的目标垃圾中心点坐标以及计算出的最终的目标垃圾实际抓取角度发送给夹爪机器人进行抓取。
[0092]
本发明的有益效果：
[0093]
(1)本发明结合yolo目标检测模型、角度分类模型和gan模型三大模型，同时运用opencv进行角度计算，两种不同计算方法的结合能够在较大程度上优化目标计算角度，提高了分选准确率，计算效果好，且计算速度快；
[0094]
(2)相较于其他深度学习分割检测算法需要对每个目标进行轮廓描边标注，本发明中角度分类模型的角度标注属于图片分类标注，其复杂程度变小，减轻了标注人员的标注难度；
[0095]
(3)本发明采用角度分类模型预测结果的加权求和以及gan模型降噪后使用opencv求解角度的方法相结合，其鲁棒性强。
[0096]
上面所述的实施例仅仅是本发明的优选实施方式进行描述，并非对本发明的构思和范围进行限定，在不脱离本发明设计构思的前提下，本领域中普通工程技术人员对本发明的技术方案作出的各种变型和改进均应落入本发明的保护范围，本发明的请求保护的技术内容，已经全部记载在技术要求书中。