一种生产线上工件实时追踪与定位装置的制作方法

1.本发明涉及计算机视觉目标检测与三维测量目标定位技术领域，具体为一种生产线上工件实时追踪与定位装置。


背景技术：

2.随着智能制造的全面开展、部署和实施，各行各业对工业自动化、智能化需求日益增加，开发和生产更加智能化、信息化、高精度的智能制造系统也成为了当下的主要任务，作为机器视觉中的关键技术，目标检测与定位技术在工业生产中也具有很大的应用价值，将具备实时检测定位功能的视觉系统和机械臂用到工业自动化生产线上，能够实现码垛、焊接、涂装、装配等各种功能，但随着工业自动化程度的进步和提高，工业应用场景日益复杂，市场需求也在增加，对于目标检测定位技术的智能化、精度、稳定性和速度都提出了更高的要求。目前主要是利用二维图像并基于深度学习网络模型进行目标检测和被动式三维坐标测量的方法，这种方法具有对相机硬件要求低、实现简单、功耗低等优点，但是容易受光照强度和角度影响，对于缺乏视觉纹理特征的场景匹配很困难，匹配的精度和准确度也很难保证，不适用于场景复杂、受外界因素干扰较多的工业自动化生产线上的工件检测与定位。


技术实现要素：

3.本发明提供一种生产线上工件实时追踪与定位装置，解决了实时检测定位系统能够在复杂场景和任意光照变化下实现对静止或运动工件的检测工作。
4.为实现上述目的，本发明提供如下技术方案：一种生产线上工件实时追踪与定位装置，包括用于采集彩色图像的彩色相机，用于采集红外图像的红外相机，用于产生结构光的红外激光发射器，用于补偿设备晃动对图像所产生干扰的陀螺仪和加速度计，用于存储数据的存储器，用于数据加工处理的处理器，数据输出接口，视频流输出接口以及用于目标识别算法和目标定位算法。
5.优选的，所述处理器包括通用处理器(ps)和可编程逻辑模块(pl)两个部分。
6.一种基于生产线上工件实时追踪与定位装置的定位方法，包括如下步骤：
7.第一步、通过对采集彩色图像的彩色相机和左右双目红外相机进行标定，获取彩色相机和左右红外相机的内参数和外参数；
8.第二步、采集待测工件图像并制作包含训练集和验证集的图像数据集，设计目标检测网络结构并训练得到工件检测网络模型；
9.第三步、通过彩色相机获取场景的彩色视频流并使用深度学习工件检测网络获取视频流中的工件类别以及所在图像区域位置坐标，其中，工件回归框像素坐标为(x
c
,y
c
,w,h)；
10.第四步、生成归一化的边框值，再分别乘以图像的宽和高，得到工件检测框中心点的像素坐标(x,y)；
11.第五步、通过把深度图与彩色图对齐，将红外相机坐标系下的点转换到彩色相机坐标系，获取彩色图中像素点所对应的深度值；
12.第六步、根据第一步和第四步获得的相机标定参数与工件图像区域中心点像素坐标，结合三角定位原理计算工件在彩色相机坐标系下的三维坐标，实现工件三维坐标定位；
13.第七步、根据第一步至第六步，彩色相机根据捕捉到的图像能实时检测，框出目标工件并对目标三维坐标定位，所利用的公式为：其中，depth是测得的深度，depth scale为深度比例；f
x
和f
y
分别为彩色相机在x方向和y方向的像素焦距；分别为彩色相机在x方向和y方向的主点。
14.优选的，所述定位方法基于神经网络，并且用于训练神经网络的图像数据集包括彩色相机拍摄的工件图像和通过使用的双目红外相机在结构光照射下采集的各种场景和光线下的工件图像，所述工件图像自动进行标注和格式转换。
15.优选的，所述第二步中，所述网络模型采用延迟低、精度高的轻量级神经网络模型作为工件检测网络的基础网络。
16.优选的，所述网络模型采用mobilenet作为基础模型来提取初步特征，去掉mobilenet最后的一些层，在mobilenet的conv13后面添加了八个卷积层，分别为conv14_1、conv14_2、conv15_1、conv15_2、conv16_1、conv16_2、conv17_1conv17_2，该网络从conv11、conv13、conv14_2、conv15_2、conv16_2、conv17_2这6层上抽取六个不同尺度的特征图来进行多尺度融合，在每个特征图上的每个位置(x,y)预先生成多个先验框并进行位置回归和类别置信度回归，并通过非极大值抑制算法获得最终检测结果，所述非极大值抑制算法的步骤为：
17.步骤1、对生成的所有候选框进行排序，选出置信度(score)最高的候选框；
18.步骤2、遍历剩余框并计算与最高分候选框的交叠率(iou)，删除iou大于一定阈值的候选框，交叠率计算原理为：其中a是预测框；b是真实框；iou是重叠部分面积，删除重叠面积大的候选框，保留重叠面积小的不是同一物体的候选框；
19.步骤3、重复步骤1和步骤2，直到删除所有iou大于阈值的候选框。
20.优选的，所述第三步中，通过对所述彩色相机拍摄的视频流进行逐帧检测，按照置信度大小对每帧检测到的工件进行标号，并在显示屏幕上实时显示每个工件目标的类别与三维坐标信息。
21.优选的，所述第五步中，所述深度图从双目红外结相机获取取代表场景内物体深度信息，所述彩色图从彩色相机获取。
22.与现有技术相比，本发明的有益效果：
23.1、本发明使用基于深度学习轻量级的目标检测网络进行工件实时检测与定位，可以解决深度神经网络中体积大耗费存储空间、网络模型复杂以及检测速度缓慢的问题，配合性能优良的红外相机，实时检测和定位速度方面有一个很大的突破。
24.2、本发明通过基于主动红外立体声技术的红外相机来实现深度的测量和三维坐标的获取，相较于当下利用被动式双目立体视觉进行三维坐标测量的方式，能有效解决场
景光线强弱和视觉特征造成的问题，在场景复杂、受外界因素干扰较多的工业自动化生产线上也能实现实时准确的景深计算。
25.3、本发明具有抗干扰能力强、检测帧率快、准确率高、定位精度高、适用范围广等优点，能够在相机视线范围内远近不同距离实现目标工件三维测距，并且能完成对静止或运动工件的实时检测与定位。
附图说明
26.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
27.在附图中：
28.图1是本发明的组成结构示意图；
29.图2是本发明使用的算法结构框架图；
30.图3是本发明轻量级深度可卷积网络结构图；
31.图4是本发明相机的结构光三维透视模型图；
32.图5是本发明相机成像模型图；
33.图6是本发明深度图与彩色图对齐原理图。
具体实施方式
34.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
35.实施例：如图1所示，一种生产线上工件实时追踪与定位装置，包括用于采集彩色图像的彩色相机，用于采集红外图像的红外相机，用于产生结构光的红外激光发射器，用于补偿设备晃动对图像所产生干扰的陀螺仪和加速度计，用于存储数据的存储器，用于数据加工处理的处理器，所述处理器包括通用处理器(ps)和可编程逻辑模块(pl)两个部分，数据输出接口，视频流输出接口以及用于目标识别算法和目标定位算法，具体选用xilinx出品的zynqultrascale型号为xazu3eg，其ps部分包含4个armcortex
‑
a53处理器、2个armcortex
‑
r5处理器，其pl部分包含15.4万个逻辑处理单元，14.1万个触发器；系统板载4gb内存8gb闪存；所配置的彩色和红外相机体积小巧，图像分辨率高达1280*720，系统运行linux4.14操作系统，在tensorflow object_detection api上使用opencv图形开发库、numpy矩阵运算库、系统基本依赖以及传感器的python api接口等结合相机sdk共同实现。
36.如图2
‑
6所示，一种基于生产线上工件实时追踪与定位装置的定位方法，所述定位方法基于神经网络，并且用于训练神经网络的图像数据集包括彩色相机拍摄的工件图像和通过使用的双目红外相机在结构光照射下采集的各种场景和光线下的工件图像，所述工件图像自动进行标注和格式转换，包括如下步骤：
37.第一步、通过对采集彩色图像的彩色相机和左右双目红外相机进行标定，获取彩色相机和左右红外相机的内参数和外参数；
38.第二步、采集待测工件图像并制作包含训练集和验证集的图像数据集，制作工件数据集，通过红外相机的彩色相机采集不同场景、不同角度和不同光线下丰富的工件图像共1000张，将数据集中的图片按照3:1分为训练集和数据集，使用lambelimg软件对图像进
行标注，并完成转换数据集格式为输入神经网络所需的形式，设计目标检测网络结构并训练得到工件检测网络模型，所述网络模型采用延迟低、精度高的轻量级神经网络模型作为工件检测网络的基础网络，所述网络模型采用mobilenet作为基础模型来提取初步特征，去掉mobilenet最后的一些层，在mobilenet的conv13后面添加了八个卷积层，分别为conv14_1、conv14_2、conv15_1、conv15_2、conv16_1、conv16_2、conv17_1conv17_2，该网络从conv11、conv13、conv14_2、conv15_2、conv16_2、conv17_2这6层上抽取六个不同尺度的特征图来进行多尺度融合，在每个特征图上的每个位置(x,y)预先生成多个先验框并进行位置回归和类别置信度回归，并通过非极大值抑制算法获得最终检测结果，并通过非极大值抑制算法获得最终检测结果，所述非极大值抑制算法的步骤为：
39.步骤1，对生成的所有候选框进行排序，选出置信度(score)最高的候选框；
40.步骤2，遍历剩余框并计算与最高分候选框的交叠率(iou)，删除iou大于一定阈值的候选框，交叠率计算原理为：其中a是预测框；b是真实框；iou是重叠部分面积，删除重叠面积大的候选框，保留重叠面积小的不是同一物体的候选框；
41.步骤3，重复步骤1和步骤2，直到删除所有iou大于阈值的候选框；
42.第三步、通过彩色相机获取场景的彩色视频流进行逐帧检测，当检测到每帧画面中的多个工件目标时则逐个进行检测定位，并使用深度学习工件检测网络，按照置信度大小对每帧检测到的工件进行标号，可通过dp接口在显示屏幕上实时显示每个工件目标的类别与工件检测框中心点三维坐标信息，也可以经由网络发送工件坐标数据，从而获取视频流中的工件类别以及所在图像区域位置坐标，并在显示屏幕上实时显示，其中，工件回归框像素坐标为(x
c
,y
c
,w,h)；
43.第四步、生成归一化的边框值，再分别乘以图像的宽和高，得到工件检测框中心点的像素坐标(x,y)；
44.第五步、通过把从双目红外结相机获取取代表场景内物体深度信息的深度图与从彩色相机获取的彩色图对齐，将红外相机坐标系下的点转换到彩色相机坐标系，获取彩色图中像素点所对应的深度值；
45.第六步、根据第一步和第四步获得的相机标定参数与工件图像区域中心点像素坐标，结合三角定位原理计算工件在彩色相机坐标系下的三维坐标，实现工件三维坐标定位；
46.第七步、根据第一步至第六步，彩色相机根据捕捉到的图像能实时检测，框出目标工件并对目标三维坐标定位，所利用的公式为：其中，depth是测得的深度，depth scale为深度比例；f
x
和f
y
分别为彩色相机在x方向和y方向的像素焦距；分别为彩色相机在x方向和y方向的主点，通过张正友标定法对三个相机进行标定，从六个不同角度捕捉标定板的图像，根据采集到的图像得到彩色相机标定内参矩阵：其中(c
x
,c
y
)是图像坐标系中心在像素坐标系中的位置，f
x
和f
y
分别是相机在
x和y方向上的焦距，同时该装置搭载有六轴惯性测量单元(imu)，imu信息与3d深度传感器和视频图像生成的数据帧同步，可以提升图像的稳定性和更好地提供环境信息，因此，本发明在对运动中的工件进行检测定位时也可以有很好的效果。
47.在室内复杂环境下工作前，首先对相机进行标定获得彩色相机和左右红外相机的内外参数，然后使用红外相机和彩色相机采集工件图像并制作成包含训练集和验证集的图像数据集，在深度学习框架下训练数据集得到检测网络模型，并调用模型和深度摄像头用于工件实时检测任务，在摄像头采集的视频流中检测并框出工件所在图像区域以及置信度，从而得到检测回归框的坐标(x
c
,y
c
,w,h)，接着获取彩色图像与深度图像并对齐，根据标定得到的相机内外参数、三角测距原理以及检测时框出的工件图像区域中心点坐标(x,y)，通过计算得到工件相对彩色相机的三维坐标，实现工件的检测与定位，该装置能够根据彩色相机捕捉到的图像检测出目标工件和中心点三维坐标，且检测效果好、速度快、定位准确率高。
48.最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。