基于双目立体视觉的集装箱码头运输车辆定位系统的制作方法

1.本实用新型涉及车辆定位技术领域，特别涉及一种基于双目立体视觉的集装箱码头运输车辆定位系统。


背景技术：

2.码头无人化、智能化是提升港口转运效率的核心，其中集装箱码头运输车辆的定位系统是实现码头无人化的关键之一。目前，已有的移动车辆的定位系统中主要使用的定位方法有：基于差分卫星信号的定位方法，基于地面画线和图像识别的定位方法，基于地面埋设检测体的磁定位方法和基于激光、超声波或红外测距的定位方法等。
3.其中，基于差分卫星信号的定位系统由于成本高，定位精度和响应速度有限，稳定性不高，还会受天气、吊车、集装箱、灯塔等的影响出现信号盲区和短周期的跳动，在集装箱码头的应用推广具有严重的局限性。基于地面画线和图像识别的定位系统由于其基准线易受污染，无法满足堆场全天候作业的要求，且该系统的定位结果受车体姿态的影响很大，限制了它的应用和推广。基于地面埋设检测体的磁定位系统需要对堆场地面实施土建工程，且系统还会受到地面时常散落的金属碎片的干扰，对应用场景的要求比较高。基于激光、超声波或红外测距的定位系统需要借助实际的参照反射体来进行定位测量，该系统对反射体的反射能力要求较高，且受外部光线等干扰严重，有时难以正确反映设备的实际位置。
4.因此，急需一种定位精度高、适应性强的集装箱码头运输车辆定位系统。


技术实现要素：

5.本实用新型的目的在于解决现有技术中定位系统存在的定位精度低、难以适应码头环境的问题。
6.为解决上述技术问题，本实用新型的实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆定位系统，包括：菱形标识，菱形标识设置于地面；双目立体相机，双目立体相机设置于车辆上，双目立体相机包括第一相机和第二相机，双目立体相机用于拍摄菱形标识；测量装置，测量装置用于测量菱形标识、车辆及双目立体相机在世界坐标系下的坐标；计算单元，计算单元与双目立体相机及测量装置通讯连接，用于根据双目立体相机及测量装置发送的信息对车辆进行定位。
7.采用上述技术方案，定位系统的定位精度高、适应性强。
8.可选地，菱形标识在车辆行驶方向上的顶角为60度。
9.可选地，菱形标识的边长范围为50cm
‑
100cm。
10.可选地，车辆设置有工业计算机，工业计算机包括计算单元。
11.可选地，车辆设置有电气柜，工业计算机设置于电气柜内。
12.可选地，第一相机和第二相机均通过usb串口数据线连接至工业计算机。
13.可选地，菱形标识为白色。
14.可选地，测量装置包括全站仪和标定板。
附图说明
15.图1示出本实用新型一实施方式中定位系统的示意图；
16.图2示出本实用新型一实施方式中菱形标识的示意图；
17.图3示出本实用新型一实施方式中定位方法的流程图；
18.图4示出本实用新型另一实施方式中定位系统的坐标系建立示意图。
具体实施方式
19.以下由特定的具体实施例说明本实用新型的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本实用新型的其他优点及功效。虽然本实用新型的描述将结合较佳实施例一起介绍，但这并不代表此实用新型的特征仅限于该实施方式。恰恰相反，结合实施方式作实用新型介绍的目的是为了覆盖基于本实用新型的权利要求而有可能延伸出的其它选择或改造。为了提供对本实用新型的深度了解，以下描述中将包含许多具体的细节。本实用新型也可以不使用这些细节实施。此外，为了避免混乱或模糊本实用新型的重点，有些具体细节将在描述中被省略。需要说明的是，在不冲突的情况下，本实用新型中的实施例及实施例中的特征可以相互组合。
20.应注意的是，在本说明书中，相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
21.在本实用新型实施例的描述中，需要说明的是，术语“上”、“下”、“内”、“底”等指示的方位或坐标关系为基于附图所示的方位或坐标关系，或者是该实用新型产品使用时惯常摆放的方位或坐标关系，仅是为了便于描述本实用新型和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本实用新型的限制。
22.术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
23.在本实用新型实施例的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本实施例中的具体含义。
24.为使本实用新型的目的、技术方案和优点更加清楚，下面将结合附图对本实用新型的实施方式作进一步地详细描述。
25.参照图1所示，本实用新型的实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆4定位系统，包括：菱形标识1，菱形标识1设置于地面2；双目立体相机3，双目立体相机3设置于车辆4上，双目立体相机3包括第一相机31和第二相机32，双目立体相机3用于拍摄菱形标识1；测量装置5，测量装置5用于测量菱形标识1、车辆4及双目立体相机3在世界坐标系下的坐标；计算单元6，计算单元6与双目立体相机3及测量装置5通讯连接，用于根据双目立体相机3及测量装置5发送的信息对车辆4进行定位。
26.在本实施方式中，将菱形标识1设置于地面2，也就是说可以将菱形标识1设置在车辆4的作业区域内作为定位标识物，菱形标识1可以是直接设置在地面2上，也可以是通过其
它承载物间接设置于地面2。相对于通过差分卫星信号定位，使用菱形标识定位的稳定性更高，不易受天气、吊车等环境因素的影响，更适合码头，便于推广；相对于车道线等基准线作为标识物，菱形标识在车辆的行驶过程中不易被污染，因此更加可靠；相对于地面埋设检测体的磁定位系统，成本更低，且更加稳定；相对于激光、超声波或红外测距，无需设置反射体，成本低且受环境影响小。菱形标识1有四个明显的角点，易于识别，通过一个菱形标识1即能够完成一次三维坐标系间的转换关系计算，便于定位系统的设置，且定位的精度高。同时，四个角点对于转换关系的计算，具有冗余度，能够提高计算的精度。此外，菱形标识1的四条边长度相等，便于布置。优选地，菱形标识1通过喷涂或热熔的方式固定于地面2，对作业环境的影响小且便于施工。菱形标识1的尺寸、颜色、数量可以根据实际作业场景的大小、光照、相机的视野等来确定，本实施方式对此不作限定。可以理解的是，车辆4为单向行驶车辆时，可以仅在车头一侧安装双目立体相机3，车辆4为双向行驶车辆时，也可以两侧都安装有双目立体相机3，本实施方式对此不作限定。
27.双目立体相机3设置于车辆4上，双目立体相机3包括第一相机31和第二相机32，双目立体相机3用于拍摄菱形标识1。也就是说，本实施方式公开的定位系统中，双目立体相机3与车辆4的相对位置关系保持不变，且能够拍摄得到菱形标识1的图像，进而基于双目立体视觉对集装箱码头运输车辆4进行定位。双目立体视觉是机器视觉领域中的一个重要的研究领域，它能够利用两个不同相机位置处获取的目标物体图像，通过计算目标物体在不同图像中对应点间的位置偏差(即视差)，来获取目标物体空间几何信息。运用双目立体视觉进行车辆定位具有成本低、系统结构简单、无接触、效率高、精度高的优点，适合于移动设备在线无接触的测量，尤其适于码头的集装箱运输车辆的定位，能够实现码头的集装箱运输的无人化、智能化，进而提高港口的转运效率。且由于图像获取是在瞬间完成的，因此能够提升定位过程的效率。
28.优选地，双目立体相机3通过刚体固件(图未示出)安装固定在车辆4上，第一相机31和第二相机32沿车辆4的水平方向(图1示出x方向)左右设置，能够提升相机位置姿态的稳定性，进而提升定位精度。
29.在本实施方式中，测量装置5用于测量菱形标识1、车辆4及双目立体相机3在世界坐标系下的坐标。测量装置5可以是全站仪等测量仪器。计算单元6，计算单元6与双目立体相机3及测量装置5通讯连接，用于根据双目立体相机3及测量装置5发送的信息对车辆4进行定位。计算单元6可以是单片机、微控制器、计算机、移动终端、云服务器等具有数据处理和计算功能的设备或其中的单元模块。在一实施例中，计算单元6接收双目立体相机3发送的菱形标识1的图像以及测量装置5发送的菱形标识1、车辆4及双目立体相机3在世界坐标系下的坐标。可以理解的是，计算单元6通过车辆4与双目立体相机3各自在世界坐标系下的坐标，能够得到车体坐标系与相机坐标系之间的转换关系。在一实施例中，设置车辆的车体中心为车体坐标系的原点，相机中心为相机坐标系的坐标原点，通过车体中心与相机中心各自在世界坐标系下的坐标，以世界坐标系为中间坐标系，可以得到车体坐标系与相机坐标系之间的转换关系，转换关系包括旋转关系和平移关系，通过旋转矩阵和平移矩阵表示。
30.然后，通过计算单元6通过菱形标识1的图像能够得到菱形标识1在相机坐标系下的坐标，进而根据前面得到的转换关系，计算得到菱形标识1在车体坐标系下的坐标。在一实施例中，计算单元6对菱形标识1的图像进行特征提取与图像识别，能够得到四个角点在
成像图像中的像素坐标，结合成像原理和相机坐标系的原点位置能够得到菱形标识1的四个角点在相机坐标系下的坐标。接着，结合菱形标识1在世界坐标系下的坐标能够得到车体坐标系与世界坐标系之间的转换关系，进而得到车辆4在世界坐标系下的坐标，完成对车辆4的精准定位。可以理解的是，作业区域可以设置有多个菱形标识1。因此，在车辆4的行驶过程中可以根据不同位置的菱形标识1完成对车辆4的持续定位。
31.本实施方式所公开的集装箱码头运输车辆定位系统是基于双目立体视觉与地面菱形标识的，可以降低码头移动车辆自动化升级改造成本，提高定位精度和响应速度，降低对码头规划布局、基础设施和作业模式等应用场景的变更要求，不仅适用于新建码头，而且适用于已经建成的老码头。该系统结合了图像识别、立体视觉和参照体测距的优点，不易受环境干扰，适应性强且定位精度高。
32.参照图1和图2所示，本实用新型的另一实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆定位系统，菱形标识1在车辆4行驶方向(图1示出y方向)上的顶角为60度。也就是说，本实施方式中菱形标识1的四个顶角中，两个在车辆4行驶方向上的顶角为60
°
，另外两个顶角为120
°
。此时，菱形标识1在相机中的成像高度和宽度基本一致，方便图形在图像中的识别，进而提升定位的精度和效率。
33.参照图2所示，本实用新型的又一实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆定位系统，菱形标识1的边长l的范围为50cm
‑
100cm。在本实施方式中，将菱形标识1的边长设置在50cm
‑
100cm，既能够避免尺寸过小时抗环境污染的干扰能力弱且不易识别，又能够避免尺寸过大时设置成本高且拍摄难度大，与用于集装箱码头运输的车辆4的大小相契合，便于在车辆4行驶过程中被双目立体相机3清晰完整地拍摄。优选地，第一相机31和第二相机32为分辨率1280
×
720，镜头焦距为8mm的工业彩色相机，能够更加完整清晰地拍摄到菱形标识1。
34.本实用新型的另一实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆定位系统，车辆4设置有工业计算机(图未示出)，工业计算机包括计算单元6。在本实施方式中，由工业计算机完成定位系统定位过程中的数据处理和计算，工业计算机的响应速度快，将其设置于车辆4上，能提升定位的效率，确保实时性，减少时延。优选地，工业计算机的程序开发运行环境为ubuntu18.04，其中还可使用第三方图像处理库，能够进一步提升定位效率和精度。
35.本实用新型的又一实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆定位系统，车辆4设置有电气柜(图未示出)，工业计算机设置于电气柜内。在本实施方式中，将工业计算机设置于电气柜内，能较好地保护工业计算机，避免恶劣天气对其电气性能的影响。
36.本实用新型的另一实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆定位系统，第一相机31和第二相机32均通过usb串口数据线连接至工业计算机。也就是说，在本实施方式中第一相机31和第二相机32通过有线方式与计算单元6通讯连接，进而进行数据的传输，能够提升数据传输的可靠性和稳定性，通过usb串口数据线进行传输，便于设置且成本低。
37.本实用新型的又一实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆定位系统，菱形标识1为白色。在本实施方式中，菱形标识1为白色，能够与码头的作业环
境，尤其是码头的地面2形成鲜明的色彩对比，便于后续的图像识别和特征提取。
38.本实用新型的另一实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆定位系统，测量装置5包括全站仪和标定板。在本实施方式中，能够通过标定板和全站仪进行配合，将标定板设置于需要全站仪测量的物体上，例如车辆4的车体、双目立体相机3上，进而能够更加高效准确地测量出物体在世界坐标系下的坐标。
39.本实用新型前述实施方式中任一的定位系统，可以参照下述示意性实施方式中的定位方法完成对车辆4的定位。在另一些实施方式中，也可以使用其它定位方法对车辆4进行定位。
40.参照图3所示，本实用新型的实施方式还公开了一种基于双目立体视觉的集装箱码头运输车辆定位方法，适用于前述实施方式中任一的定位系统，定位方法包括以下步骤：s1：测量装置5测量菱形标识1在世界坐标系下的第一世界坐标；s2：测量装置5对双目立体相机3进行外参标定，得到相机坐标系与车体坐标系间的第一转换关系；s3：双目立体相机3拍摄得到菱形标识1的图像；s4：计算单元6根据第一世界坐标、第一转换关系和图像对车辆4进行定位。
41.在本实施方式中，步骤s1、s2和s3在步骤s4之前进行即可，s1、s2和s3之间无先后顺序的限制。在s1中，使用例如全站仪等测量装置5测量出菱形标识1在世界坐标系下的坐标，即第一世界坐标。在s2中，测量装置5对双目立体相机3进行外参标定，得到相机坐标系与车体坐标系间的转换关系，即第一转换关系。在s3中，双目立体相机3对菱形标识1进行拍摄，得到菱形标识1的图像。在s4中，计算单元6根据第一世界坐标、第一转换关系和菱形标识1的图像得到车体坐标系与世界坐标系之间的转换关系，从而完成对车辆4的定位。可以理解的是，在一些实施例中，初始定位时步骤s1、s2、s3和s4均需进行，在完成初始定位之后，在车辆4行驶过程中需要持续定位时，步骤s2无需再进行。在一些实施例中，车辆4的作业区设置有多个菱形标识1，测量装置5可以事先测量出所有菱形标识1在世界坐标系下的坐标，并存储在计算单元6中，以便后续的定位过程使用。因而，在持续定位过程中仅需重复步骤s3和s4即可，提高了定位效率。
42.本实施方式所公开的定位方法，基于双目立体视觉与地面菱形标识，可以降低码头移动车辆自动化升级改造成本，提高定位精度和响应速度，降低对码头规划布局、基础设施和作业模式等应用场景的变更要求，不仅适用于新建码头，而且适用于已经建成的老码头。该方法结合了图像识别、立体视觉和参照体测距的优点，不易受环境干扰，适应性强且定位精度高。
43.本实用新型的又一实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆定位方法，计算单元6根据第一世界坐标、第一转换关系和图像对车辆4进行定位的步骤s4，包括：计算单元6根据图像得到菱形标识1在相机坐标系下的第一相机坐标；计算单元6根据第一相机坐标和第一转换关系得到菱形标识1在车体坐标系下的第一车体坐标；计算单元6根据第一世界坐标和第一车体坐标得到车体坐标系与世界坐标系之间的第二转换关系；计算单元6根据第二转换关系对车辆4进行定位，得到车辆4在世界坐标系下的坐标。
44.在本实施方式中，计算单元6根据拍摄的图像可以计算得到菱形标识1在相机坐标系下的坐标，即第一相机坐标。在得到菱形标识1的第一相机坐标后，结合第一转换关系可以得到菱形标识1在车体坐标系下的坐标，即第一车体坐标。然后，结合菱形标识1在世界坐
标系下的世界坐标，可以得到车体坐标系与世界坐标系之间的转换关系，即第二转换关系。最后，根据第二转换关系，由于车辆4在车体坐标系下的坐标是固定已知的，例如可以是原点坐标，进而可以得到车辆4在世界坐标系下的坐标，即可完成对车辆4的定位。
45.本实用新型的另一实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆定位方法，还包括以下步骤：计算单元6根据车辆4在世界坐标系下的坐标和第二转换关系反馈车辆4的三维位姿信息。在本实施方式中，车辆4的三维位姿信息即车辆4的位置信息和姿态信息。在一实施例中，位置信息包括车体坐标系原点在世界坐标系下的三维坐标，姿态信息包括车体坐标系与世界坐标系之间的旋转关系，例如欧拉角、四元数等。本实施方式中，不仅能够及时完成对车辆4的位置的定位，同时能够反馈出车辆4的当前姿态角度，便于及时掌握车辆4的状态信息。计算单元6可以跟车载终端、移动终端、云端服务器等管理单元通讯连接，从而将车辆4的三维位姿信息进行实时反馈，便于整个码头的车辆4管理和调度。
46.本实用新型的又一实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆定位方法，相机坐标系包括第一相机坐标系和第二相机坐标系，第一转换关系包括第一子转换关系和第二子转换关系，测量装置5对双目立体相机3进行外参标定，得到相机坐标系与车体坐标系间的第一转换关系的步骤，包括：测量装置5分别测量第一相机31和第二相机32在世界坐标系下的第二世界坐标和第三世界坐标；测量装置5测量车辆4在世界坐标系下的第四世界坐标；根据第二世界坐标及第四世界坐标得到第一子转换关系，根据第三世界坐标和第四世界坐标得到第二子转换关系。可以理解的是，双目立体相机3中包括第一相机31和第二相机32，在本实施方式中，在定位计算过程中，分别建立两个相机坐标系进行计算，能够进一步提升定位结果的准确性。优选地，在同一位置使用同一菱形标识1完成两个相机的外部参数的标定，能够提升标定效率。
47.本实用新型的另一实施方式公开了一种基于双目立体视觉的集装箱码头运输车辆定位方法，图像包括第一图像和第二图像，第一相机坐标包括第一相机子坐标和第二相机子坐标，计算单元6根据图像得到菱形标识1在相机坐标系下的第一相机坐标的步骤，包括：计算单元6获取第一相机31及第二相机32拍摄的菱形标识1的第一图像和第二图像；计算单元6根据第一图像、第二图像和双目立体相机3的内参数据得到菱形标识1在第一相机坐标系下的第一相机子坐标和菱形标识1在第二相机坐标系下的第二相机子坐标。
48.在本实施方式中，在计算第一相机子坐标和第二相机子坐标时，结合双目立体相机3的内参数据，即相机内部的参数标定信息，如镜头畸变参数等，能够提升结果的准确性。内参数据可以事先获得，也可以在定位时由相机直接输出得到，本实施方式对此不作限定。优先地，在两个相机安装固定之前获取内参数据。在本实施方式中，第一转换关系包括第一子转换关系和第二子转换关系，能够根据菱形标识1的第一子相机坐标和第一子转换关系计算菱形标识1的在车体坐标系下的第一车体坐标，也可以根据菱形标识1的第二子相机坐标和第二子转换关系计算菱形标识1的在车体坐标系下的第一车体坐标。因而，能够使得计算菱形标识1的在车体坐标系下的第一车体坐标时有一定冗余度，相互检验，保证计算的精确性。
49.参照图4所示，在一实施例中，两个相机左右设置，在码头的堆场区域定义了四个坐标系统。坐标系o
w
x
w
y
w
z
w
为世界坐标系。坐标系o
c
x
c
y
c
z
c
为车体坐标系，其中点o
c
为车辆4的车体上架的几何中心点，o
c
x
c
轴指向车体上架的纵方向，o
c
y
c
轴指向车体上架的横方向，o
c
z
c
轴由右手定则确定；坐标系o
l
x
l
y
l
z
l
为双目立体相机中的左相机坐标系，其中o
l
x
l
轴为左相机成像平面行方向，o
l
y
l
轴为左相机成像平面列方向，o
l
z
l
轴为左相机光轴，满足右手定则；坐标系o
r
x
r
y
r
z
r
为双目相机中的右相机坐标系，其中o
r
x
r
轴为右相机成像平面行方向，o
r
y
r
轴为右相机成像平面列方向，o
r
z
r
轴为右相机光轴，满足右手定则。
50.对用于集装箱码头运输的车辆4进行定位的核心，就是要获得车体坐标系o
c
x
c
y
c
z
c
与世界坐标系o
w
x
w
y
w
z
w
之间的转换关系t
c
→
w
。首先，可以利用测量装置5测量出地面2的菱形标识1四个角点在世界坐标系o
w
x
w
y
w
z
w
下的坐标*(x
w
,y
w
,z
w
)
i
(i＝1,2,3,4)。其次，分别对左、右相机进行外参标定，相机外参标定的是获得左、右相机坐标系o
l
x
l
y
l
z
l
和o
r
x
r
y
r
z
r
与车体坐标系o
c
x
c
y
c
z
c
之间的转换关系t
l
→
c
和t
r
→
c
；然后，结合左、右相机的内部标定参数信息，依据地面2上的菱形标识1的四个角点在左、右相机在成像图像中的像素坐标*(u
l
,v
l
)
i
(i＝1,2,3,4)和*(u
r
,v
r
)
i
(i＝1,2,3,4)，以及左、右相机坐标系o
l
x
l
y
l
z
l
和o
r
x
r
y
r
z
r
与车体坐标系o
c
x
c
y
c
z
c
之间的转换关系t
l
→
c
和t
r
→
c
，计算出地面2上的菱形标识1的四个角点在车体坐标系o
c
x
c
y
c
z
c
下的坐标*(x
c
,y
c
,z
c
)
i
(i＝1,2,3,4)。最后，根据地面2上菱形标识1的四个角点在世界坐标系o
w
x
w
y
w
z
w
和车体坐标系o
c
x
c
y
c
z
c
下的坐标*(x
w
,y
w
,z
w
)
i
(i＝1,2,3,4)和*(x
c
,y
c
,z
c
)
i
(i＝1,2,3,4)计算出车体坐标系o
c
x
c
y
c
z
c
与世界坐标系o
w
x
w
y
w
z
w
之间的转换关系t
c
→
w
，进而能够得到车辆4在世界坐标系下的坐标，完成对车辆4的定位。
51.在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解的是，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。
52.虽然通过参照本实用新型的某些优选实施方式，已经对本实用新型进行了图示和描述，但本领域的普通技术人员应该明白，以上内容是结合具体的实施方式对本实用新型所作的进一步详细说明，不能认定本实用新型的具体实施只局限于这些说明。本领域技术人员可以在形式上和细节上对其作各种改变，包括做出若干简单推演或替换，而不偏离本实用新型的精神和范围。