一种集装箱锁销拆卸视觉系统的制作方法

1.本发明涉及集装箱锁销自动拆卸技术领域，尤其是涉及一种集装箱锁销拆卸视觉系统。


背景技术：

2.近年来自动化码头的发展十分火热，机械臂拆卸集装箱锁销对于自动化码头来说不可或缺，视觉识别技术和视觉测距技术应用在机械臂拆卸集装箱锁销的过程中必不可少，由于集装箱锁销的种类十分丰富，每类集装箱锁销对应的拆卸夹具也不一样，所以对于机械臂拆卸集装箱锁销来说，需要两步来完成，第一步，先通过视觉识别技术识别出待拆卸集装箱锁销的类别，接着机械臂装上对应的夹具；第二步，通过视觉测距技术测量出夹具到集装箱锁销的距离，使机械臂能够精准的完成对集装箱锁销的拆卸。
3.对于视觉识别技术，如果识别集装箱锁销类别的准确度不高，会使得机械臂安装错误的夹具，导致机械臂无法拆卸集装箱锁销；对于视觉测距技术，如果测量夹具到集装箱锁销的距离不够精确，一方面会导致机械臂无法拆卸集装箱锁销，另一方面还可能损坏夹具、集装箱锁销和机械臂自身，因此对于机械臂拆卸集装箱锁销的视觉识别技术和视觉测距技术研究是十分必要的。
4.目前视觉识别技术和视觉测距技术的运用领域十分广泛，现有的自动识别技术有条形码识别技术、ic卡识别技术、光学字符识别技术和射频技术识别等等，但是应用在机械臂拆卸集装箱锁销中的识别技术比较少；现有的测距技术有超声波测距技术、红外线测距技术、电涡流测距技术、雷达测距技术和激光测距技术等等，但是应用在机械臂拆卸集装箱锁销中的测距技术比较少。
5.对于识别技术，目前存在的识别技术对于机械臂拆卸集装箱锁销的实用性不高，如条形码识别技术利用光电转换器和光学知识完成对条形码的识别；ic卡识别技术利用电磁波在寻呼器和应答器之间通信完成对ic卡的识别；光学字符识别技术利用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工的技术；射频识别技术利用发射天线发送一定频率的射频信号，射频卡进入工作区域后产生感应电流，获得能量激活，将自身信息发生出去完成射频的识别；图像识别技术利用图像分割、图像特征提取和分类器的识别完成对图像的识别，这项技术被广泛应用于人脸识别、车牌识别、字迹识别等等，但是没有应用于集装箱锁销的图像识别技术。这些识别技术并不适用于对集装箱锁销的识别。
6.对于测距技术，目前应用的测距技术对于机械臂拆卸集装箱锁销存在各种各样的缺点，如电涡流测距技术容易受环境磁场影响；超声波测距技术不适宜测量较近物体，存在测量盲区；红外线测距技术受环境影响大；激光测距技术难以实现机械臂到达需要拆卸集装箱锁销的位置对该锁销实现拆卸；视觉测距技术单独应用于集装箱锁销的测距来说难以实现，因为集装箱锁销的测距点在待测距图像中不易定位，需要结合相关算法来完成对集装箱测距点的定位以实现对集装箱锁销的测距。使用这些技术无法保证机械臂可以高精度
v4tiny锁销模型，采用所述测试集测试所述yolo-v4tiny锁销模型的预测精度。
24.进一步地，所述双目相机模块包括双目摄像头。
25.进一步地，所述双目相机模块还包括液压阻尼云台，所述双目摄像头安装在该液压阻尼云台上。
26.进一步地，所述集装箱锁销拆卸视觉系统还包括计算机，所述双目摄像头和液压阻尼云台均通信连接所述计算机，所述计算机用于执行所述视觉识别系统和视觉测距系统的数据处理过程。
27.与现有技术相比，本发明具有以下优点：
28.(1)本技术方案使用视觉识别模块和视觉测距模块，视觉识别模块性能更高，可靠性更好，可以实现高精度识别集装箱锁销类型；视觉测距模块性能更高，可靠性更好，可以实现高精度测距，同时在参数优化上选择基于双目平行极线约束的天牛须搜索算法以及在定位测量点时采用矩形顶点特征的harris算法实现更高精度的定位。
29.(2)本发明设计了一种集装箱锁销拆卸视觉系统，实现了对待拆卸集装箱锁销的高精度识别、机械臂高精度的拆卸集装箱锁销和其运行状态下距离的可视化显示，并且克服了传统技术对集装箱锁销识别的准确度不高和对机械臂拆卸集装箱锁销的测距精度不高，避免因识别准确度问题导致机械臂无法拆卸集装箱锁销和因测距精度问题导致夹具、集装箱锁销和机械臂自身的损坏。
30.(3)本发明与传统视觉系统相比，结合了视觉识别模块和视觉测距模块，既可以实现对集装箱锁销类型的识别又可以实现测量夹具上平面到集装箱锁销的距离。对于视觉识别模块，在神经网络的选择上采用了yolov4网络，该网络训练速度更快，识别准确率更高，可靠性更好。在测距过程中，对于标定参数的优化采用了双目平行极线约束的天牛须搜索算法实现了对测量点更高精确的定位。还加入了该算法与粒子群算法和退火模拟算法进行参数优化结果的比对，进一步地提高了该测距系统的测量精度。
31.(4)机械臂自动化拆卸集装箱锁销在实现自动化码头的过程中是一个至关重要的环节，而实现视觉系统的高识别准确度和高测距精度对于机械臂拆卸集装箱锁销的精度、效率和实现自动化码头的高效率运作都有着决定性的作用。本发明实现了对机械臂高精度、高效率的拆卸集装箱锁销，避免了因识别准确度问题导致机械臂无法拆卸集装箱锁销和因测距精度低所带来的夹具、集装箱锁销、机械臂自身的损坏和机械臂拆卸集装锁销工作效率低的问题。
附图说明
32.图1为本发明实施例中提供的一种集装箱锁销拆卸视觉系统的数据处理流程示意图；
33.图2为本发明实施例中提供的一种机械臂拆卸集装箱锁销的框架图。
具体实施方式
34.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施
例的组件可以以各种不同的配置来布置和设计。
35.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.实施例1
37.如图1和图2所示，本实施例提供一种集装箱锁销拆卸视觉系统，包括视觉识别系统和视觉测距系统，视觉识别系统和视觉测距系统均连接有双目相机模块，视觉识别系统和视觉测距系统硬件部分设计包括双目相机模块和激光发射器；视觉识别系统的软件部分包括程序环境搭建、卷积神经网络搭建程序设计、集装箱锁销图像训练程序设计和集装箱锁销图像识别程序设计；视觉测距系统软件部分包括程序环境搭建、图像分割提取程序设计、双目相机测距程序设计和夹具到抓取位置距离计算程序设计。
38.下面对视觉识别系统和视觉测距系统进行详细描述。
39.1、视觉识别系统
40.视觉识别系统的数据处理过程包括采用预先建立并训练好的yolo-v4tiny锁销模型识别锁销的种类；
41.yolo-v4tiny锁销模型的训练过程为通过双目相机模块采集各类集装箱锁销的视频，并解码为若干图片，作为数据集，通过数据标注软件对数据集中的锁销设置标注框，然后载入yolo-v4tiny锁销模型中进行训练，并通过通道修剪算法修剪训练后的yolo-v4tiny锁销模型中的冗余通道和权重参数，选取修建后的权重参数用于yolo-v4tiny锁销模型中，作为训练好的yolo-v4tiny锁销模型。
42.作为一种优选的实施方式，双目相机模块安装在电动滑轨上，采集各类集装箱锁销的视频具体为：在电动滑轨上设定起点和终点，驱动双目相机模块在电动滑轨上来回移动，采集各类集装箱锁销的视频。
43.对于视觉识别部分，由于锁销种类较多以及现场测量的环境相对复杂使得检测模型的参数数量增加导致检测率下降，故使用通道修剪的yolo-v4tiny的深度学习算法进行锁销种类的检测。
44.2、视觉测距系统
45.视觉测距系统的数据处理过程包括：双目相机标定步骤和视觉测距步骤。
46.双目相机标定步骤包括：
47.s101：通过张正友棋盘标定法得到的双目相机立体标定参数，将其作为初代变量，并在双目相机模块输出的左右图像中设置棋盘格；
48.s102：通过bouguet算法对含有棋盘格的左右图像进行立体校正，检测出左右图像中棋盘格上所有的角点并得到相应的像素纵坐标，计算每个棋盘角点在立体校正后的左右图像中成像点在像素坐标系下纵坐标的差值，求和后取平均作为初代优化函数值；
49.s103：设置初代变量、初代优化函数值、步长、随机方向向量、迭代次数和变步长系数，通过基于双目平行极线约束的天牛须搜索算法优化双目相机立体标定参数以得到最优参数。
50.双目平行极线约束用于约束双目相机模块的平行程度。
51.视觉测距步骤包括：
52.s201：通过预先构建并训练好的yolov4-tiny测距模型，检测实时图像中集装箱锁销的待测距区域矩形框并标注，将该待测距区域矩形框显示为白色；
53.s202：设置二值化阈值为白色对应的灰度值，对标注有待测距区域矩形框的实时图像进行图像二值化，滤除除白色外的冗余背景；
54.s203：利用矩形顶点特征的harris算法检测出四个角点得到像素坐标；
55.s204：将优化后的双目相机立体标定参数和待测距点的像素坐标结合sgbm立体匹配算法进行测距，得到机器人到集装箱锁销的距离。
56.相当于，对于视觉测距部分，为了提高双目测距系统精度和可以精确定位到集装箱锁销上的待测距点，使用一种基于双目相机参数优化和角点检测的双目测距系统。同时双目相机的立体标定参数决定了双目相机的平行程度，双目相机越平行，则测距精度越高，所以有必要对双目相机的立体标定参数进行优化，以提高双目相机的平行程度，从而提高测距精度，使用一种基于双目平行极线约束的天牛须搜索算法优化双目相机的立体标定参数以提高双目相机的平行程度。由于本文的双目测距系统是测量机器人到集装箱锁销上待测距点的距离，需要在实时图像中精确定位到待测距点。针对待测距点的定位，采用角点检测算法将待测距点作为角点进行检测并输出对应的像素坐标以实现精确的定位，通过yolov4-tiny和矩形顶点特征的harris角点检测算法以实现对待测距点的精确定位，为后续的测距做好准备。
57.下面对本实施例集装箱锁销拆卸视觉系统的具体实施过程进行描述。
58.本实施例涉及一种集装箱锁销拆卸视觉系统，该系统包括装有win10操作系统的pc机、视觉识别模块、视觉测距模块，还有氧化铝标定板等工具。
59.基于视觉识别模块和视觉测距模块的集装箱锁销拆卸视觉系统，视觉识别模块和视觉测距模块共同包括：索尼imx179镜头、捷洋jy0506h液压阻尼云台、洋葱工厂hot dog二代电动滑轨、，视觉识别模块和视觉测距模块所用相机通过usb连接到装有win10操作系统的pc机上，在pc机上安装matlab和pycharm并配置好python、opencv和tensoflow环境，后续的程序设计都用python代码实现。
60.视觉识别模块：首先制作识别集装箱锁销半锁状态的数据集，通过放在洋葱工厂hotdog二代巧克力电动滑轨的云台上的双目摄像头，在设置好起点和终点的条件下，来回往复的对挂在集装箱上的各类集装箱锁销拍摄一段视频，将视频通过基于python的opencv代码解码成若干张图片，按照4：1的比例分为集装箱锁销全锁状态的训练集和测试集，其中80％为集装箱锁销半锁状态的训练集和20％为集装箱锁销半锁状态的测试集。
61.通过数据标注软件labelimg在数据集上标注待测锁销的矩形框。将数据集利用2080ti上的gpu在yolov4-tiny模型上进行训练，通过通道修剪算法修剪训练后的yolo-v4tiny锁销模型中的冗余通道和权重参数，将上述得到的权重参数应用于yolov4-tiny模型中用来检测锁销的种类。
62.视觉测距模块：首先通过张正友棋盘标定法得到的双目相机立体标定参数，将其作为初代变量。通过bouguet算法对含有棋盘格的左右图像进行立体校正，检测出左右图像中棋盘格上所有的角点并得到相应的像素纵坐标，计算每个棋盘角点在立体校正后的左右图像中成像点在像素坐标系下纵坐标的差值和的平均值作为初代优化函数值。设置好初代
变量、初代优化函数值、步长、随机方向向量、迭代次数和变步长系数后通过基于双目平行极线约束的天牛须搜索算法优化双目相机立体标定参数以得到最优参数。
63.制作视觉测距数据集采用与视觉识别同样的方法，通过数据标注软件labelimg在数据集上标注待测距区域矩形框。将数据集利用2080ti上的gpu在yolov4-tiny模型上进行训练以得到相应的权重参数为后续实时检测待测距区域矩形框做准备。将上述得到的权重参数应用于yolov4-tiny模型中用来检测实时图像中集装箱锁销的待测距区域矩形框并将框的颜色显示成白色。之后利用图像二值化的特性通过将阈值设置为白色对应的灰度值对数据标注后的实时图像进行图像二值化以保留白色的待测距区域矩形框，滤除除白色外的冗余背景以减少后续检测出冗余的角点，最后利用矩形顶点特征的harris算法检测出四个角点得到像素坐标。将优化后的立体标定参数和待测距点的像素坐标结合sgbm立体匹配算法进行测距以得到机器人到集装箱锁销的距离。
64.以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。