基于激光雷达的货船舱口位置获取方法及系统与流程

1.本发明属于港口工程机械自动化领域，具体涉及一种基于激光雷达的货船舱口位置获取方法及系统。


背景技术：

2.在贸易中，货物转运往往是通过港口进行的。在转运的货物中，除集装箱外，散料(大豆、煤、沙子等)也是重要的一部分，这些散料通过泊位上的机械装备，将物料从货船上卸载下来，或者装载到货船上去。在散料作业码头，门座式起重机(门机)是一类重要的装卸设备，具有通用性强，灵活度高等特点。
3.在散料装卸作业过程中，确定货船上的作业范围是至关重要的方面，超过作业范围，不仅会造成撒料，还可能会造成设备和船体相碰撞等安全风险。目前，对于散料的装卸，基本采用的是人工作业的方式，操作人员在设备上或远程控制室里进行操作。操作人员负责装卸过程中的所有过程，效率较低且劳动强度大。因此，系统自动化、智能化的需求日益强烈。
4.在大型散货作业码头，根据舱盖的打开方式，散货船(海轮)主要分为两种类型：竖开和平开。前者舱盖沿船长方向竖起，打开舱口；后者舱盖沿船宽方向朝两侧水平滑动，打开舱口。因此，研究这两种船型，通过对货船进行建模，利用算法自动识别出舱口位置坐标等信息，对执行自动化作业流程具有重要意义，而这过程中，对各种散货船，算法的准确性和稳定性至关重要。


技术实现要素：

5.有鉴于此，本发明提出了一种基于激光雷达的货船舱口位置获取方法及系统、设备、存储介质，用于解决舱口位置识别的是适应性不佳的问题。
6.本发明第一方面，公开一种基于激光雷达的货船舱口位置获取方法，所述方法包括：
7.将抓斗放在待提取舱口位置信息的作业舱内，通过激光扫描仪扫描作业区域，获取3d点云数据；
8.对3d点云数据进行预处理；
9.根据预处理后的3d点云数据计算基准平面高度，并分析舱盖打开类型；
10.根据舱盖打开类型和预处理后的3d点云数据计算货船作业舱口位置信息。
11.优选的，获取3d点云数据之后，对3d点云数据进行预处理具体包括：
12.将3d点云数据从激光扫描仪坐标系转换至门机回转坐标系，再从门机回转坐标系转换至世界坐标系；
13.对世界坐标系中的3d点云数据进行滤波，获取包含货船的点云，滤掉无关点云，对点云进行下采样处理，并去除噪点。
14.优选的，所述根据预处理后的3d点云数据计算基准平面高度，并分析舱盖打开类
型具体包括：
15.预处理后的3d点云数据作为原始点云数据，从原始点云数据中提取垂直于z轴且点云数目大于第一设定阈值的平面模型；
16.根据点云数目对平面模型进行排序；以各平面模型点云数目为索引，以平面模型参数为对象，建立最大索引优先队列q，根据q中各平面模型的高度计算基准平面高度z
base
；
17.以平面基准高度z
base
为基准，通过滤波分割出z>z
base
的点云，从分割出的点云中提取垂直于x轴且点云数目大于第二设定阈值的平面，根据所提取的平面个数n的大小判断货船舱盖打开方式为平开或者竖开。
18.优选的，所述根据舱盖打开类型和预处理后的3d点云数据计算货船作业舱口位置信息具体包括：
19.根据基准平面高度对原始点云数据进行滤波处理，将点云向z＝0平面进行投影，获得第一投影平面点云；
20.从第一投影平面点云中去掉抓斗附近的点云，得到第二投影平面点云；
21.分别根据第一投影平面点云和第二投影平面点云，以抓斗x方向坐标p
x
为分割线，计算工作舱x方向的范围并校验；
22.根据工作舱x方向的范围，以货船y方向的中心位置y
cen
为分割线，计算工作舱y方向的范围并校验；
23.根据x、y方向舱口范围、基准平面高度z
base
，通过矩形包围盒滤波计算舱口高度z
cabin
和舱盖高度z
cover
。
24.优选的，分别根据第一投影平面点云和第二投影平面点云，以抓斗x方向坐标p
x
为分割线，计算工作舱x方向的范围并校验具体包括：
25.预估货船y方向的中心位置y
cen
并对第二投影平面点云进行滤波，从第二投影平面点云中获取抓斗两侧距离抓斗最近的两点的坐标，形成舱口x方向初始范围；
26.从第一投影平面点云中提取平行于y轴且点云数目大于第三设定阈值的直线模型，获取抓斗两侧距离抓斗最近的直线，形成舱口x方向第二范围；
27.对舱口x方向初始范围、第二范围进行校验，确定正确的[x
min
，x
max
]范围。
[0028]
优选的，根据工作舱x方向的范围，以货船y方向的中心位置y
cen
为分割线，计算工作舱y方向的范围并校验具体包括：
[0029]
根据工作舱x方向的范围，从第二投影平面点云中获取货船两侧距离货船y方向的中心位置最近的两点的坐标，形成舱口y方向初始范围；
[0030]
从第一投影平面点云中提取平行于x轴且点云数目大于第四设定阈值的直线模型，获取货船两侧距离货船y方向的中心位置最近的直线，形成舱口y方向第二范围；
[0031]
对舱口y方向初始范围、第二范围进行校验，确定正确的[y
min
、y
max
]范围。
[0032]
优选的，所述根据x、y方向舱口范围、基准平面高度z
base
，通过矩形包围盒滤波计算舱口高度z
cabin
和舱盖高度z
cover
具体包括：
[0033]
设定阈值δ5，则x、y、z三个方向的矩形包围盒滤波界限分别为[x
min
δ5，y
min
‑
δ5，z
base
‑
δ5]、[x
max
‑
δ5，y
max
δ5， ∞]，对得到的矩形包围盒内的点云，再次滤掉抓斗附近的点云，计算该点云z方向的最大值，该值即为舱口高度z
cabin
；
[0034]
若舱盖类型为竖开，设定阈值δ6，以舱口左下角坐标[x
min
、y
min
]为中心，矩形包围
盒滤波界限为[x
min
‑
δ6，y
min
‑
δ6，
‑
∞]、[x
min
δ6，y
min
δ6， ∞]，得到矩形包围盒内的点云，取该点云z方向的最大值记为z1；计算以舱口右下角坐标为中心得到的z方向的最大值记为z2，取二者中的较大者作为舱盖竖起高度z
cover
；
[0035]
若舱盖类型为平开，则直接取z
cover
＝z
cabin
。
[0036]
本发明第二方面，公开一种基于激光雷达的货船舱口位置获取系统，所述系统包括：
[0037]
数据获取模块：将抓斗放在待提取舱口位置信息的作业舱内，通过激光扫描仪扫描作业区域，获取3d点云数据；
[0038]
预处理模块：对3d点云数据进行预处理；
[0039]
类型分析模块：根据预处理后的3d点云数据计算基准平面高度，并分析舱盖打开类型；
[0040]
位置计算模块：根据舱盖打开类型和预处理后的3d点云数据计算货船作业舱口位置信息。
[0041]
本发明第三方面，公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；
[0042]
其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
[0043]
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现本发明第一方面所述的方法。
[0044]
本发明第四方面，公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现本发明第一方面所述的方法。
[0045]
本发明相对于现有技术具有以下有益效果：
[0046]
1)本发明通过安慰扫描仪获取作业区域3d点云数据，根据预处理后的3d点云数据计算基准平面高度，自动识别舱盖的打开方式；根据舱盖打开类型和预处理后的3d点云数据自动计算货船作业舱口位置信息，本发明的货船作业舱口位置获取算法适应性强，基本能够覆盖常见散货船，在散货船类型、规格变化时依然能有效获取作业舱口位置；
[0047]
2)本发明根据基准平面高度，通过滤波、投影等方式，通过多种方式计算舱口的范围，并进行校验，能够较好检测出舱口水平面位置范围，并且准确性强，然后根据舱口水平面位置范围、基准平面高度，通过矩形包围盒滤波计算舱口高度，结合舱盖打开类型，进一步确定舱盖高度。本发明的舱口检出率高，可大大减少舱口遗漏，为散料装卸自动化作业流程提供可靠依据。
附图说明
[0048]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0049]
图1为本发明的货船舱口位置获取方法流程图；
[0050]
图2为本发明的门机回转坐标系和码头世界坐标系示意图；
[0051]
图3为本发明的舱盖打开方式计算流程图；
[0052]
图4为本发明的舱口位置信息计算流程图；
[0053]
图5为本发明的舱口x方向范围计算流程图；
[0054]
图6为本发明的舱盖为平开的检测结果；
[0055]
图7为本发明的舱盖为竖开的检测结果。
具体实施方式
[0056]
下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
[0057]
请参阅图1，本发明提出的一种基于激光雷达的货船舱口位置获取方法包括如下步骤：
[0058]
s1、建立门机回转坐标系和码头世界坐标系，标定扫描仪外参。
[0059]
请参阅图2，建立门机回转坐标系和码头世界坐标系，以门机回转中心为原点，垂直于水平面向上为z轴，沿臂架幅度方向为y轴，根据右手准则确定x轴，建立门机回转坐标系。
[0060]
码头世界坐标系原点和z轴与门机坐标系重合，垂直于码头海岸线指向海侧为yw轴，平行于码头海岸线(大车移动方向)为xw轴。根据定义，码头世界坐标系和门机回转坐标系之间只相差绕z轴的一个旋转角度。
[0061]
对扫描仪相对于门机回转坐标系的相对位置关系进行标定，标定方式采用常见方式，此处不再赘述。记二者之间的旋转矩阵和平移向量分别为
[0062]
t＝[t
x
,t
y
,t
z
]。
[0063]
s2、将抓斗放在待提取舱口位置信息的作业舱内，通过激光扫描仪扫描作业区域，获取3d点云数据；
[0064]
将抓斗放在待提取舱口位置信息的作业舱内，从控制系统获取抓斗的位置坐标[p
x
、p
y
、p
z
]和臂架的回转角度θ。控制系统下达扫描指令后，利用激光扫描仪对整个作业区域进行扫描，获得3d点云数据。
[0065]
s3、对3d点云数据进行预处理，具体包括如下步骤：
[0066]
s31、点云从扫描仪坐标系变换到码头世界坐标系下。
[0067]
对于扫描仪坐标系下的任意点p
l
＝[x、y、z]，利用刚体齐次坐标变换原理，将其变换到码头世界坐标系下的点p
w
的公式：
[0068]
即可将点云变换到世界坐标系下。
[0069]
s32、对点云进行滤波、下采样等预处理。
[0070]
记海岸线y向坐标为y
base
，根据货船的经验最大宽度，设定第一阈值δ0，典型的δ0＝50.0，对点云进行滤波处理，获取y
base
<y<y
base
δ0坐标范围内的点云。设定下采样参数γ，参数值根据点云的分辨率/稠密度确定，对点云进行下采样，降低点云规模。设定滤波半径参数典型的对点云进行半径滤波，去除噪点，该点云作为后续算法输入的原始点云数据。
[0071]
s4、根据预处理后的3d点云数据计算基准平面高度，并分析舱盖打开类型；具体包括如下步骤：
[0072]
s41、将预处理后的3d点云数据作为原始点云数据，根据点云的规模确定第一阈值，从原始点云数据中提取垂直于z轴且点云数目大于第一设定阈值的平面模型，根据点云数目从大到小对平面模型进行排序；
[0073]
具体的，垂直于z轴的点云数据中，将投影距离均在预设差值范围内的点云作为一个平面的点云，统计各个平面的点云数目，筛选点云数目大于第一设定阈值的平面作为本步骤的平面模型，据点云数目从大到小对平面模型排序。本发明中其他步骤涉及提取平面或平面模型的原理与该步骤提取平面模型的原理相同。
[0074]
根据实际作业时扫描仪、水平面、货船三者之间的相对位置关系，通过该步骤获得的平面模型，会包含货船甲板平面、货船盖板平面、货船驾驶舱上平面等主要平面和其他一些涉及不同货船具体结构的较小平面。
[0075]
s42、以各平面模型点云数目为索引，以平面模型参数为对象，建立最大索引优先队列q，队列的最大元素个数为3，根据q中各平面模型的高度计算基准平面高度z
base
；具体的，设定阈值d1，d2，典型的d1＝3.0，d2＝7.0，按照如下规则计算基准平面高度z
base
：
[0076]
1)计算q[1]平面模型的高度h1，令z
base
＝h1；
[0077]
2)计算q[2]平面模型的高度h2，若z
base
<h2<z
base
d1||h2<z
base
‑
d2，则更新z
base
的值，z
base
＝h2，继续对q[3]执行步骤3)；否则，退出计算；
[0078]
3)计算q[3]平面模型的高度h3，若z
base
<h3<z
base
d1||h3<z
base
‑
d2，则更新z
base
的值，z
base
＝h3，否则，退出计算。
[0079]
在上述步骤中，计算基准平面高度的最终结果是寻求货船甲板平面高度附近的平面，或为竖开货船的甲板平面，或为平开货船的盖板平面。具体而言，若当前平面z
base
是驾驶舱上平面或竖开货船舱盖竖起后的上平面，则会通过h<z
base
‑
d2将z
base
更新，基准高度降低；若当前平面是甲板平面，对平开货船而言，则会通过z
base
<h<z
base
d1将z
base
更新，基准高度增加。
[0080]
s43、以平面基准高度z
base
为基准，通过滤波分割出z>z
base
的点云，从分割出的点云中提取垂直于x轴且点云数目大于第二设定阈值的平面，根据所提取的平面个数n的大小判断货船舱盖打开方式为平开或者竖开，典型的，若n≥5，则为竖开；反之，则为平开。
[0081]
本发明通过扫描仪获取作业区域3d点云数据，根据预处理后的3d点云数据计算基准平面高度，通过滤波分割出大于基准平面高度的点云，从分割出的点云中提取垂直于x轴且点云数目大于第二设定阈值的平面，根据所提取的平面个数n的大小判断货船舱盖打开方式为平开或者竖开，本发明基于三维扫描仪获取的三维数据即可自动识别舱盖的打开方式，为进一步识别舱口位置打下基础，以货船作业舱口位置获取算法的适应性，使其基本能够覆盖常见散货船，在散货船类型、规格变化时依然能有效获取作业舱口位置，大幅降低人
工劳动强度，保障作业安全性。
[0082]
s5、根据舱盖打开类型和预处理后的3d点云数据计算货船作业舱口位置信息按照先计算作业舱x方向范围，再计算y方向范围，最后计算z方向的范围顺序计算舱口位置。步骤s5具体包括如下步骤：
[0083]
s51、根据基准平面高度对原始点云数据进行滤波处理，将点云向z＝0平面进行投影，获得第一投影平面点云；
[0084]
具体的，以z
base
为基准，设定阈值δ1，典型的δ1＝2.0，对原始点云数据进行滤波处理，获得(z
base
‑
δ1)<z<(z
base
δ1)范围的点云；将点云向z＝0平面进行投影，获得第一投影平面点云。
[0085]
s52、从第一投影平面点云中去掉抓斗附近的点云，得到第二投影平面点云；
[0086]
设定阈值δ2，典型的δ2＝3.0，对第一投影平面点云，滤掉以抓斗位置为圆心，半径为δ2范围内的点云，得到第二投影平面点云。
[0087]
s53、分别根据第一投影平面点云和第二投影平面点云，以抓斗x方向坐标p
x
为分割线，计算工作舱x方向的范围并校验；步骤s53又进一步包括如下分步骤：
[0088]
s531、预估货船y方向的中心位置y
cen
并对第二投影平面点云进行滤波，从第二投影平面点云中获取抓斗两侧距离抓斗最近的两点的坐标，形成舱口x方向初始范围；
[0089]
具体的，该步骤根据第二投影平面点云和p
x
计算x方向初始舱口范围。计算第一投影平面点云y方向的最大值y
max
，获得货船y方向大致的中心位置设定阈值δ3，典型的δ3＝3.5，对第二投影平面点云进行滤波，获得y
cen
‑
δ3<y<y
cen
δ3范围内的点云。以抓斗x方向坐标p
x
为分割线，分别获得x<p
x
和x>p
x
的点云。对于x<p
x
的点云，计算点云x方向的最大值，作为舱口x方向的最小值x
min
；对于x>p
x
，计算点云x方向的最小值，作为舱口x方向的最大值x
max
，形成初始[x
min
、x
max
]舱口范围。
[0090]
s532、从第一投影平面点云中提取平行于y轴且点云数目大于第三设定阈值的直线模型，获取抓斗两侧距离抓斗最近的直线，形成舱口x方向第二范围；
[0091]
具体的，该步骤根据第一投影平面点云和p
x
计算x方向第二舱口范围。对第一投影平面点云，提取平行于y轴且点云数目大于第三设定阈值的直线模型，以p
x
为界线，在x<p
x
和x>p
x
的直线模型中，各取距离p
x
最近的一条直线，构成第二[x
min
、x
max
]舱口范围。
[0092]
s533、对舱口x方向初始范围、第二范围进行校验，确定正确的[x
min
、x
max
]范围。
[0093]
具体的，设定舱口长度的极限经验值x
low
、x
high
，正确的[x
min
、x
max
]范围根据如下规则确定：
[0094]
1)若两个范围对均不满足x
low
<x
max
‑
x
min
<x
high
，则舱口提取算法失败，并将结果反馈给系统；
[0095]
2)若其中一个范围对不满足x
low
<x
max
‑
x
min
<x
high
，则取第二舱口范围对作为结果；
[0096]
3)若两个范围对均满足x
low
<x
max
‑
x
min
<x
high
，则以x
min
的较大值，x
max
的较小值作为结果。
[0097]
s54、基于工作舱x方向的范围，分别根据第一投影平面点云和第二投影平面点云，以y
cen
为分割线，计算工作舱y方向的范围；步骤s54又进一步包括如下分步骤：
[0098]
s541、根据工作舱x方向的范围，从第二投影平面点云中获取货船两侧距离货船y
方向的中心位置最近的两点的坐标，形成舱口y方向初始范围；
[0099]
具体的，该步骤基于工作舱x方向的范围，根据第二投影平面点云和y
cen
计算y方向的初始舱口范围。根据[x
min
、x
max
]，设定阈值δ4，典型的，δ4＝2.0，对第二投影平面点云，提取x方向x
min
δ4<x<x
max
‑
δ4范围内的点云。以y
cen
为分割线，分别获得y<y
cen
和y>y
cen
的点云。对于y<y
cen
的点云，计算点云y方向的最大值，作为舱口y方向的最小值y
min
；对于y>y
cen
的点云，计算点云y方向的最小值，作为舱口y方向的最大值y
max
，形成初始[y
min
、y
max
]舱口范围。
[0100]
s542、从第一投影平面点云中提取平行于x轴且点云数目大于第四设定阈值的直线模型，获取货船两侧距离货船y方向的中心位置最近的直线，形成舱口y方向第二范围；
[0101]
具体的，该步骤根据第一投影平面点云和y
cen
计算y方向的第二舱口范围。对第一投影平面点云，提取平行于x轴且点云数目大于第四设定阈值的直线模型，以y
cen
为界线，在y<y
cen
和y>y
cen
的直线模型中，各取距离y
cen
最近的一条直线，构成第二[y
min
、y
max
]舱口范围。
[0102]
s543、对舱口y方向初始范围、第二范围进行校验，确定正确的[y
min
、y
max
]范围。
[0103]
具体的，设定舱口宽度的极限经验值y
low
、y
high
，正确的[y
min
、y
max
]范围根据如下规则确定：
[0104]
1)若两个范围对均不满足y
low
<y
max
‑
y
min
<y
high
，则舱口提取算法失败，并将结果反馈给系统；
[0105]
2)若其中一个范围对不满足y
low
<y
max
‑
y
min
<y
high
，则取第二舱口范围对作为结果；
[0106]
3)若两个范围对均满足y
low
<y
max
‑
y
min
<y
high
，则以y
min
的较大值，y
max
的较小值作为结果。
[0107]
s55、根据x、y方向舱口范围、基准平面高度z
base
，对原始点云数据进行矩形包围盒滤波，计算舱口高度z
cabin
和舱盖高度z
cover
。
[0108]
设定阈值δ5，典型的δ5＝2.0，x、y、z三个方向的滤波界限分别为[x
min
δ5、y
min
‑
δ5、z
base
‑
δ5]、[x
max
‑
δ5、y
max
δ5、 ∞]。对得到的矩形包围盒内的点云，再次滤掉抓斗附近的点云，计算该滤掉抓斗后的点云z方向的最大值，该值即为舱口高度z
cabin
。
[0109]
若舱盖类型为竖开，计算舱盖竖起的高度z
cover
。设定阈值δ6，典型的δ6＝2.0，以舱口左下角坐标[x
min
、y
min
]为中心，包围盒界限为[x
min
‑
δ6、y
min
‑
δ6、
‑
∞]、[x
min
δ6、y
min
δ6、 ∞]，得到包围盒内的点云，取该点云z方向的最大值记为z1；同理，计算以舱口右下角坐标为中心得到的最大值记为z2，取z1、z2中的较大者，作为舱盖竖起高度z
cover
。
[0110]
若舱盖类型为平开，则直接取z
cover
＝z
cabin
。
[0111]
本发明根据基准平面高度，通过滤波、投影等方式，通过多种方式计算舱口的范围，并进行校验，能够较好检测出舱口水平面位置范围，并且准确性强，然后根据舱口水平面位置范围、基准平面高度，通过矩形包围盒滤波计算舱口高度，结合舱盖打开类型，进一步确定舱盖高度。本发明的舱口检出率高，可大大减少舱口遗漏，为散料装卸自动化作业流程提供可靠依据。
[0112]
根据以上步骤即可自动获得货船舱口完整位置参数，将上述步骤获得的舱口各个方向的位置参数传递给控制系统，即可由控制系统执行自动作业流程。
[0113]
与上述方法实施例相对应，本发明还提出一种基于激光雷达的货船舱口位置获取系统，所述系统包括：
[0114]
数据获取模块：将抓斗放在待提取舱口位置信息的作业舱内，通过激光扫描仪扫
描作业区域，获取3d点云数据；
[0115]
预处理模块：对3d点云数据进行预处理；
[0116]
类型分析模块：根据预处理后的3d点云数据计算基准平面高度，并分析舱盖打开类型；
[0117]
位置计算模块：根据舱盖打开类型和预处理后的3d点云数据计算货船作业舱口位置信息。
[0118]
以上系统实施例和方法实施例是一一对应的，系统实施例简述之处请参阅方法实施例即可。
[0119]
本发明还公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现本发明前述的基于激光雷达的货船舱口位置获取方法。
[0120]
本发明还公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现本发明实施例所述基于激光雷达的货船舱口位置获取方法的全部或部分步骤。所述存储介质包括：u盘、移动硬盘、只议存储器rom、随机存取存储器ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0121]
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以分布到多个网络单元上。本领域普通技术人员在不付出创造性的劳动的情况下，可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0122]
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。