船舱定位及舱内物料的扫描识别方法、系统和存储介质与流程

1.本发明涉及船舱扫描技术领域，具体涉及一种船舱定位及舱内物料的扫描识别方法、系统和存储介质。


背景技术：

2.本部分旨在为权利要求书中陈述的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
3.门座式起重机(以下简称门机)是港口作业的重要设备，通过抓斗将散货从货船卸载到码头上，或者进行反向装载作业。传统的门机作业过程中，只能依赖于摄像头增加司机的视野，来指导司机获得船舱内物料的状态，但是门机司机视角具有盲区，较为麻烦，且明显需要人工观测操作。
4.现有技术中，为了提高门机自动化作业，通过将扫描设备安装在码头装卸设备的至高点位置(如门机抓斗上)，从而在抓取物料时对货船及货船上的物料进行建模，依次获取船舱舱口位置、物料状态等信息。但是扫描过程受限于装卸设备本身，可能由于振动或晃动的影响而导致扫描的点云扭曲，影响建模效果，且物料置放于船舱内，无法对船舱全面扫描，只能在抓斗可抓取范围内进行扫描，导致无法准确对船舱物料进行建模，影响门机自动化作业质量。


技术实现要素：

5.针对上述技术问题，本发明创造提出了一种船舱定位及舱内物料的扫描识别方法、系统和存储介质，能够全方位确定船舱内物料情况，实现船舱物料的建模以及船舱定位，避免门机作业时碰撞，并且提高门机自动化作业效率以及安全性。
6.为解决上述技术问题，本发明所采用的技术方案包括四个方面。
7.第一方面，提供了一种船舱定位及舱内物料的扫描识别方法，所述船舱内安装有至少两个激光扫描仪，且各个激光扫描仪分别安装于船舱对角处，所述扫描识别方法包括以下步骤：
8.对激光扫描仪进行标定，确定由激光扫描仪坐标系转换到门机世界坐标系的坐标变换矩阵；所述门机世界坐标系以门机回转中心为坐标原点；
9.获取激光扫描仪的扫描数据以及船舶位置信息与门机位置信息；
10.根据船舶位置信息与门机位置信息，实时确定船舱与门机的相对位置；
11.根据所述扫描数据以及坐标变换矩阵，在门机世界坐标系上对船舱与舱内物料信息建立模型。
12.在一些实施例中，所述对激光扫描仪进行标定，确定由激光扫描仪坐标系转换到门机世界坐标系的坐标变换矩阵，包括：
13.获取激光扫描仪坐标系与门机世界坐标系上相互对应的坐标点以及相互之间的旋转矩阵；
14.根据所述坐标点与旋转矩阵确定激光扫描仪坐标系相对门机世界坐标系的平移向量；
15.根据所述旋转矩阵与平移向量，利用刚体坐标转换原理，确定激光扫描仪坐标系相对门机世界坐标系的变换矩阵。
16.在一些实施例中，所述变换矩阵记为t
ab
，并通过以下式子确定：
[0017][0018]
式中，r
ab
为旋转矩阵；t
ab
为平移向量。
[0019]
在一些实施例中，所述对激光扫描仪进行标定，确定由激光扫描仪坐标系转换到门机世界坐标系的坐标变换矩阵，包括：
[0020]
利用激光扫描仪对标定板进行扫描，确定标定板三个平面在激光扫描仪下的法向量；
[0021]
获取标定板三个平面在门机世界坐标系下的法向量以及三个平面的交点；
[0022]
根据所述门机世界坐标系与激光扫描仪坐标系的一一对应关系，通过标定板在激光扫描仪坐标系下的法向量与在门机世界坐标系下的法向量求解变换矩阵，以完成标定工作。
[0023]
在一些实施例中，所述门机世界坐标系以平行于海岸线为x轴、面向海测为y轴、竖直向上为z轴以及在门机回转中心处为原点。
[0024]
在一些实施例中，所述船舶位置信息通过安装于所述船舱上的船舱定位模块采集；所述门机位置信息通过安装于门机回转平台上的门机定位模块采集。
[0025]
在一些实施例中，所述船舱定位模块与门机定位模块均包括gnss定位模块，所述gnss定位模块能够接收卫星定位信号。
[0026]
在一些实施例中，所述根据船舶位置信息与门机位置信息，实时确定船舱与门机的相对位置，包括：
[0027]
获取gnss定位模块接收卫星信号的载波相位差与接收另一卫星信号载波相位差之比；
[0028]
基于所述gnss定位模块接收卫星信号的载波相位差与接收另一卫星信号载波相位差之比得到二重差分可观测量；
[0029]
根据所述二重差分可观测量确定船舱定位模块与门机定位模块的相对位置，即确定船舱与门机的相对位置。
[0030]
第二方面，本技术提供了一种船舱定位及舱内物料的扫描识别系统，包括：
[0031]
至少两个激光扫描仪，各个所述激光扫描仪分别安装于船舱对角处；
[0032]
设于船舱上的船舱定位模块，用于实时定位船舱位置；
[0033]
设于门机上的门机定位模块，用于实时定位门机位置；
[0034]
与激光扫描仪、船舱定位模块以及门机定位模块连接的控制器，所述控制器用于执行如前述的扫描识别方法。
[0035]
第三方面，本技术提供了一种计算机可读存储介质，该存储介质存储的计算机程序，能够被一个或多个处理器执行，所述计算机程序能够用来实现如前述的扫描识别方法的步骤。
[0036]
与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：
[0037]
本技术提供了一种船舱定位及舱内物料的扫描识别方法、系统和存储介质，该扫描识别方法包括以下步骤：对激光扫描仪进行标定，确定由激光扫描仪坐标系转换到门机世界坐标系的坐标变换矩阵；所述门机世界坐标系以门机回转中心为坐标原点；获取激光扫描仪的扫描数据以及船舶位置信息与门机位置信息；根据船舶位置信息与门机位置信息，实时确定船舱与门机的相对位置；根据所述扫描数据以及坐标变换矩阵，在门机世界坐标系上对船舱与舱内物料信息建立模型。通过该扫描识别方法，能够利用多个在船舱内的激光扫描仪来对船舱内的各个角落全方位扫描，进而全方位确定船舱内物料情况，从而结合坐标转换矩阵，实现船舱物料在门机世界坐标系上的的建模以及船舱定位，使得门机作业时能够精确判断船舱位置以及物料情况，避免门机作业时碰撞，并且提高门机自动化作业效率以及安全性。
附图说明
[0038]
在下文中将基于实施例并参考附图来对本技术进行更详细的描述；
[0039]
图1为本发明实施例中一种船舱定位及舱内物料的扫描识别方法的流程示意图；
[0040]
图2为本发明实施例中对应于图1中所示的步骤s1的示例性流程图；
[0041]
图3为本发明实施例中对应于图1中所示的步骤s1的示例性流程图；
[0042]
图4为本发明实施例中关于标定板的样式图；
[0043]
图5为本发明实施例中对应于图1中所示的步骤s3的示例性流程图；
[0044]
图6为本发明实施例中提供的一种船舱定位及舱内物料的扫描识别系统的示意性框图；
[0045]
图7为发明实施例中提供的一种存储介质的示意性图。
[0046]
在附图中，相同的部件使用相同的附图标记，附图并未按照实际的比例绘制。
具体实施方式
[0047]
下面结合附图所示的实施例对本公开作进一步说明，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0048]
本技术实施例公开了一种船舱定位及舱内物料的扫描识别方法，如图1所示，该扫描识别方法包括以下步骤：对激光扫描仪进行标定，确定由激光扫描仪坐标系转换到门机世界坐标系的坐标变换矩阵；所述门机世界坐标系以门机回转中心为坐标原点；获取激光扫描仪的扫描数据以及船舶位置信息与门机位置信息；根据船舶位置信息与门机位置信息，实时确定船舱与门机的相对位置；根据所述扫描数据以及坐标变换矩阵，在门机世界坐标系上对船舱与舱内物料信息建立模型。通过该扫描识别方法，能够利用多个在船舱内的激光扫描仪来对船舱内的各个角落全方位扫描，进而全方位确定船舱内物料情况，从而结合坐标转换矩阵，实现船舱物料在门机世界坐标系上的的建模以及船舱定位，使得门机作业时能够精确判断船舱位置以及物料情况，避免门机作业时碰撞，并且提高门机自动化作业效率以及安全性
[0049]
本公开一些实施例还提供对应于上述扫描识别方法的系统和存储介质。
[0050]
本公开至少一实施例提供的一种船舱定位及舱内物料的扫描识别方法，该扫描识别方法可以以软件、硬件、固件或其任意组合的方式实现，由例如手机、平板电脑、笔记本电脑、桌面电脑、网络服务器等设备中的处理器加载并执行，从而实现自动化防碰撞，无需人为判断，并结合运动趋势来判断风险，给起重机制动提供时效，有效避免起重机发生碰撞，提高起重机作业的安全性。
[0051]
下面参考图1所示，对本公开至少一实施例提供的船舱定位及舱内物料的扫描识别方法进行说明，该控制方法包括步骤s1至s5。
[0052]
s1、对激光扫描仪进行标定，确定由激光扫描仪坐标系转换到门机世界坐标系的坐标变换矩阵；所述门机世界坐标系以门机回转中心为坐标原点。
[0053]
在一些实施例中，具体的，门机世界坐标系以平行于海岸线为x轴、面向海测为y轴、竖直向上为z轴以及以门机回转中心处为原点，且门机世界坐标系以地面高度为零，以该坐标系作为后续门机执行工作的坐标基础，因此只需将激光扫描仪扫描到的点云数据转换到门机世界坐标系中，即可作为门机进行自动化作业的基础。
[0054]
如图2所示，对激光扫描仪进行标定，确定由激光扫描仪坐标系转换到门机世界坐标系的坐标变换矩阵，包括：
[0055]
s11、获取激光扫描仪坐标系与门机世界坐标系上相互对应的坐标点以及相互之间的旋转矩阵；
[0056]
s12、根据所述坐标点与旋转矩阵确定激光扫描仪坐标系相对门机世界坐标系的平移向量；
[0057]
s13、根据所述旋转矩阵与平移向量，利用刚体坐标转换原理，确定激光扫描仪坐标系相对门机世界坐标系的变换矩阵。
[0058]
其中，对于任意一个点或向量，假设其在激光扫描仪坐标系与门机世界坐标系下的表示分别为：va与vb，激光扫描仪坐标系与门机世界坐标系上相互之间的旋转矩阵为r
ab
，平移向量为t
ab
，则有：va＝r
ab
*vb t
ab
。
[0059]
具体的，通过齐次坐标形式，将变换矩阵记为t
ab
，则变换矩阵通过以下式子确定：
[0060][0061]
因此，在激光扫描仪坐标系上的点与门机世界坐标系上的点的一一对应关系为：va＝t
ab
*vb，从而方便将激光扫描仪坐标系上的点或向量转化为门机世界坐标系上的点或向量。
[0062]
在一些实施例中，如图3和图4所示，采用具有三个平面的标定板对激光扫描仪进行标定，具体标定步骤包括：
[0063]
s101、利用激光扫描仪对标定板进行扫描，确定标定板三个平面在激光扫描仪下的法向量；
[0064]
s102、获取标定板三个平面在门机世界坐标系下的法向量以及标定板三个平面的交点；
[0065]
s103、根据所述门机世界坐标系与激光扫描仪坐标系的一一对应关系，通过标定板在激光扫描仪坐标系下的法向量与在门机世界坐标系下的法向量求解变换矩阵，以完成
标定工作。
[0066]
s2、获取激光扫描仪的扫描数据以及船舶位置信息与门机位置信息。
[0067]
在一些实施例中，激光扫描仪设置有两个，且两个激光扫描仪分别安装于船舱的对角处，两个激光扫描仪均具有10-20hz扫描速度和270
°
扫描范围，且两个激光扫描仪的扫描区域相互补充，通过对射扫描覆盖区间相互补充实现整个船舱区域全覆盖，实时扫描船舱范围内物料信息获取点云数据信息。
[0068]
在一些实施例中，所述船舶位置信息通过安装于所述船舱上的船舱定位模块采集；所述门机位置信息通过安装于门机回转平台上的门机定位模块采集；船舱定位模块用于获取船舶位置与船体姿态相关信息，门机定位模块用于获取门机位置，从而形成一组船舱节点与门机节点的相对定位节点组，从而利用相对定位节点组与坐标变换矩阵，实时确定船舱与门机在门机世界坐标系上的相对位置。
[0069]
在一些实施例中，船舱定位模块与门机定位模块均包括gnss定位模块，gnss定位模块能够接收卫星定位信号。
[0070]
s3、根据船舶位置信息与门机位置信息，实时确定船舱与门机的相对位置。
[0071]
在一些实施例中，如图5所示，步骤s3包括：
[0072]
s31、获取gnss定位模块接收卫星信号的载波相位差与接收另一卫星信号载波相位差之比；
[0073]
s32、基于所述gnss定位模块接收卫星信号的载波相位差与接收另一卫星信号载波相位差之比得到二重差分可观测量；
[0074]
s33、根据所述二重差分可观测量确定船舱定位模块与门机定位模块的相对位置，即确定船舱与门机的相对位置。
[0075]
其中，可观测量是指一个系统态的某些性质，可以经过一序列的“物理运作”而得知，这些可以得知的性质即为可观测量，通过相位差比得到二重差分可观测量，能够更精确通过gnss定位模块的接收信号确定每组相对定位节点组的相对位置，即确定船舱与门机的相对位置，提高船舱实时定位的精确性。
[0076]
s4、根据所述扫描数据以及坐标变换矩阵，在门机世界坐标系上对船舱与舱内物料信息建立模型。
[0077]
在一些实施例中，通过坐标变换矩阵，将激光扫描仪扫描获得的点云数据转换为门机世界坐标系中，从而在门机世界坐标系上对船舱与舱内物料信息建立模型，同时，通过坐标变换矩阵，能够结合门机定位模块与激光扫描仪定位模块实时确定船舱相对门机的位置，从而利用建模信息与船舱实时定位信息来作为门机作业的基础，有利于门机空间防碰撞系统的运作，配合门机起升电机、变幅电机、旋转电机尾端安装的绝对值编码器反馈门机抓斗位置信息，由plc实现控制系统运行作业及防碰撞功能，从而实现全面自动化作业。
[0078]
本公开的实施例提供的船舱定位及舱内物料的扫描识别方法，通过将激光扫描仪分布于船舱的各个对角处，使得通过该扫描识别方法，能够利用多个在船舱内的激光扫描仪来对船舱内的各个角落全方位扫描，进而全方位确定船舱内物料情况，并且结合坐标转换矩阵，实现船舱物料在门机世界坐标系上的的建模以及船舱定位，结合船舱定位模块与门机定位模块，使得门机作业时能够精确判断船舱位置以及物料情况，避免门机作业时碰撞，并且提高门机自动化作业效率以及安全性。
[0079]
本公开至少一些实施例还提供了一种船舱定位及舱内物料的扫描识别系统，如图6所示，包括：至少两个激光扫描仪11，各个所述激光扫描仪11分别安装于船舱对角处；
[0080]
设于船舱上的船舱定位模块12，用于实时定位船舱位置；
[0081]
设于门机上的门机定位模块13，用于实时定位门机位置；
[0082]
与激光扫描仪11、船舱定位模块12以及门机定位模块13连接的控制器14，所述控制器14用于执行如本公开任一项实施例提供的扫描识别方法。
[0083]
在一些实施例中，该扫描识别系统应用于门机控制系统上，门机控制系统可以是plc控制系统，从而结合门机的空间防碰撞系统，由门机起升电机、变幅电机、旋转电机尾端安装的绝对值编码器反馈门机抓斗位置信息，由plc实现控制系统运行作业及防碰撞功能，提高自动化作业效率以及安全性。
[0084]
在一些实施例中，激光扫描仪11与控制器14的数据交换采用5g通信技术，船舱定位模块12以及门机定位模块13同样可以采用5g通信技术来与控制器14进行数据交换，以便于快速获得扫描数据以及位置定位数据，从而及时对船舱与门机相对位置进行实时定位，并对船舱及舱内物料进行建模，保证门机作业的安全性。
[0085]
在一些实施例中，扫描识别系统中的控制器14可以是门机控制系统，该控制器14与存储器连接，存储器上存储有计算机程序，该计算机程序被所述控制器执行时，执行如本公开任一项实施例扫描识别方法的步骤。
[0086]
所述控制器14可以是专用集成电路(application specific integrated circuit，简称asic)、数字信号处理器(digital signal processor，简称dsp)、数字信号处理设备(digital signal processing device，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例一中的扫描识别方法。
[0087]
所述存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read-only memory，简称eprom)，可编程只读存储器(programmable read-only memory，简称prom)，只读存储器(read-only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。
[0088]
本公开至少一些实施例还提供了一种计算机可读存储介质，如图7所示，该可读存储介质上存储有计算机程序31，所述计算机程序31被处理器执行时实现本公开任一项实施例提供的扫描识别方法的步骤。
[0089]
在一些实施例中，存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容
的任何合适组合。
[0090]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0091]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0092]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0093]
综上，本技术提供的一种船舱定位及舱内物料的扫描识别方法、系统和存储介质，通过将激光扫描仪分布于船舱的各个对角处，使得通过该扫描识别方法，能够利用多个在船舱内的激光扫描仪来对船舱内的各个角落全方位扫描，进而全方位确定船舱内物料情况，并且结合坐标转换矩阵，实现船舱物料在门机世界坐标系上的的建模以及船舱定位，结合船舱定位模块与门机定位模块，使得门机作业时能够精确判断船舱位置以及物料情况，避免门机作业时碰撞，并且提高门机自动化作业效率以及安全。
[0094]
本公开中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0095]
本公开的保护范围不限于上述的实施例，显然，本领域的技术人员可以对本公开进行各种改动和变形而不脱离本公开的范围和精神。倘若这些改动和变形属于本公开权利要求及其等同技术的范围，则本公开的意图也包含这些改动和变形在内。