一种基于深度学习的目标图像角度计算方法与流程

技术特征：
1.一种基于深度学习的目标图像角度计算方法，其特征在于包括以下步骤：(1)对yolo目标检测模型、角度分类模型和gan模型进行模型训练；(2)通过yolo目标检测模型获取目标垃圾rgb图像；(3)角度分类模型接收检测到的目标垃圾rgb图像，并对其角度进行计算；(4)gan模型对检测到的目标垃圾rgb图像进行降噪处理，再通过opencv进行目标垃圾抓取的角度计算；(5)根据角度分类模型预测的准确率来判断最终的目标垃圾实际抓取角度。2.根据权利要求1所述的一种基于深度学习的目标图像角度计算方法，其特征在于：在上述步骤(1)中，模型训练的方法包括以下步骤：(1.1)通过工业相机采集待识别检测的rgb图像；(1.2)标注人员对需要识别的rgb图像进行长方形矩阵框的标注，获得rgb图像上的目标垃圾点位置，并放入yolo目标检测模型进行训练；(1.3)在标注人员进行标注画框后，将每个目标垃圾点坐标信息提取压缩成目标垃圾图片，并进行角度标注，再将目标垃圾图片进行分类，分类后的目标垃圾图片再放入角度分类模型进行训练；(1.4)拍摄目标垃圾在干净皮带上的图像设为干净背景图像作为训练标签，再拍摄目标垃圾周围有其他混淆垃圾背景图像作为训练图片，然后再一起放入gan模型中进行训练。3.根据权利要求2所述的一种基于深度学习的目标图像角度计算方法，其特征在于：在上述步骤(1.3)中，把每个目标垃圾点坐标信息提取压缩至224*224尺寸的目标垃圾图片，并将每张目标垃圾图片进行0到179度的分类。4.根据权利要求2所述的一种基于深度学习的目标图像角度计算方法，其特征在于：在上述步骤(1.4)中，gan模型为：其中，v是指价值函数，即value function；g是指生成器，即用来生成降噪后的图片；d是指判别器，即用来判断降噪去杂质效果的好坏。5.根据权利要求1所述的一种基于深度学习的目标图像角度计算方法，其特征在于：在上述步骤(2)中，通过yolo目标检测模型获取目标垃圾rgb图像的具体流程为：(2.1)通过工业相机采集待识别检测的rgb图像；(2.2)将被检测的rgb图像输入到输入尺寸为608*608的yolo目标检测模型中获取图像中涉及目标垃圾的所有位置框的列表，再经非极大值抑制算法过滤，得到最后需要保留的目标垃圾点坐标位置信息；(2.3)将检测到的每个目标垃圾根据点坐标截取成长方形图片，并统一压缩至224*224尺寸的目标垃圾图片。6.根据权利要求5所述的一种基于深度学习的目标图像角度计算方法，其特征在于：在上述步骤(2.2)中，非极大值抑制算法为：
其中，s
i
表示每个边框得分；m表示当前得分最高的框；b
i
表示剩余框的某个框；n
t
为设定的nms阈值；iou为两个识别框的重合面积比例。7.根据权利要求5所述的一种基于深度学习的目标图像角度计算方法，其特征在于：在上述步骤(3)中，角度分类模型进行角度计算的具体流程为：(3.1)将步骤(2.3)获取到的目标垃圾图片放入角度分类模型进行分类预测；(3.2)把角度分类模型最后一个全连接层得到的向量矩阵通过softmax函数计算得到每个角度的准确度，并获取最高准确度的前两个角度及其对应的准确率；(3.3)通过加权求和方法将预测角度乘以其对应的准确率而后两者相加得到角度值。8.根据权利要求7所述的一种基于深度学习的目标图像角度计算方法，其特征在于：在上述步骤(3.2)中，softmax函数的计算公式为：其中，e表示自然常数，欧拉数；v
i
表示v数组向量中的第i个元素；s
i
表示该元素的softmax值，即该元素的指数与所有元素指数和的比值。9.根据权利要求7所述的一种基于深度学习的目标图像角度计算方法，其特征在于：在上述步骤(4)中，opencv进行角度计算的具体流程为：(4.1)将步骤(2.3)获取到的目标垃圾图片放入gan模型中，通过gan模型中的生成器用来去除目标垃圾周边的杂质和堆叠，生成一张干净的目标垃圾图片实现降噪；(4.2)将降噪后的目标垃圾图片用opencv求出图像的最小外接矩形及两条短边中心点相连后相对于水平线的斜率，并计算出该目标垃圾的角度。10.根据权利要求9所述的一种基于深度学习的目标图像角度计算方法，其特征在于：在上述步骤(5)中，判别公式为：而根据角度分类模型预测的准确率进行判别的具体流程为：(5.1)根据角度分类模型给出的最大准确率判定其是否超过90％进行判断；(5.2)若大于等于90％时，最终的目标垃圾实际抓取角度即为角度分类模型的预测结果加权求和后的角度值；(5.3)若小于90％时，则为经gan模型降噪后由opencv计算出的角度；(5.4)将获取的目标垃圾中心点坐标以及计算出的最终的目标垃圾实际抓取角度发送给夹爪机器人进行抓取。

技术总结
本发明公开了一种基于深度学习的目标图像角度计算方法，包括以下步骤：（1）对YOLO目标检测模型、角度分类模型和GAN模型进行模型训练；（2）通过YOLO目标检测模型获取目标垃圾RGB图像；（3）角度分类模型接收检测到的目标垃圾RGB图像，并对其角度进行计算；（4）GAN模型对检测到的目标垃圾RGB图像进行降噪处理，再通过OpenCV进行目标垃圾抓取的角度计算；（5）根据角度分类模型预测的准确率来判断最终的目标垃圾实际抓取角度。本发明采用两种不同计算方法结合，能够在较大程度上优化目标计算角度，提高了分选准确率。提高了分选准确率。提高了分选准确率。


技术研发人员：严圣军 刘德峰 唐融融 倪玮玮
受保护的技术使用者：上海智楹机器人科技有限公司 中国天楹股份有限公司 江苏天楹环保能源成套设备有限公司
技术研发日：2021.07.19
技术公布日：2021/10/23