一种吊具下集装箱箱角位置信息的获取方法及装置与流程

1.本发明实施例涉及集装箱装卸技术领域，特别是涉及一种吊具下集装箱箱角位置信息的获取方法及装置。


背景技术：

2.目前，港口对集卡进行装卸集装箱多采用人工作业的方式，轮胎吊司机操作轮胎吊对其下方的集卡进行集装箱装卸作业。轮胎吊司机进行人工作业的缺点在于作业效率低，且作业质量不稳定。随着技术的进步和发展，越来越多的高科技技术被应用到码头，自动化以及智能化逐渐成为未来港口发展的趋势。
3.然而在现有技术中，通常采用gps卫星定位、测距传感器、微波传感器等来获取吊具下的集装箱位置信息，但是上述信息获取装置普遍存在成本偏高，部署难度较大，且难以追求视野的高分辨率等问题。
4.因此需要提供一种吊具下集装箱位置信息的获取方法及装置，能够解决上述问题。


技术实现要素：

5.本发明提供一种吊具下集装箱箱角位置信息的获取方法及装置，通过前景背景分割提取法能够快速地获取吊具下集装箱箱角，从而能够精准地获得获取集装箱箱角的位置信息，进而计算出集装箱箱体的实时位置。
6.本发明实施例提供一种吊具下集装箱箱角位置信息的获取方法，包括：
7.获取第一图像，将所述第一图像进行预处理，以得到第二图像，所述第一图像为吊具下集装箱箱角图像；
8.使用前景背景分割提取法将所述第二图像进行前景的目标箱角提取，以得到目标图像；
9.当所述吊具处于放箱阶段的匀速下降过程时，所述前景背景分割提取法为帧间差分法，当所述吊具处于高点横移阶段时，所述前景背景分割提取法为光流法；
10.将通过帧间差分法得到的所述目标图像和通过光流法得到的所述目标图像分别通过边缘拟合后进行权值分配。
11.优选地，所述将所述第一图像进行预处理包括：将所述第一图像进行噪声去除以及图像增强后进行灰度转化以及灰度图的二值化，并进行几何变化以及空间变换后得到所述第二图像。
12.优选地，所述将所述第一图像进行预处理包括：将所述第一图像进行箱角感兴趣区域选取以过滤不需要确认的边缘信息，从而得到所述第二图像。
13.优选地，所述将所述第二图像进行灰度转化以及灰度图的二值化包括使用最近邻插值法、双线性插值法以及三线性插值法进行所述灰度转化，所述灰度图的二值化包括使用平均灰度值法、类别方差法以及最大熵法。
14.优选地，当所述吊具处于放箱阶段的匀速下降过程时，所述前景背景分割提取法为帧间差分法包括获取连续两帧所述第二图像，通过将所述连续两帧所述第二图像进行差分运算来进行前景的目标箱角提取。
15.优选地，当所述吊具处于高点横移阶段时，所述前景背景分割提取法为光流法包括获取连续两帧所述第二图像，通过对所述连续两帧所述第二图像进行光流特征提取与光流模型计算来进行前景的目标箱角提取。
16.优选地，所述前景背景分割提取法为背景差分法，获取多帧所述第二图像，通过将所述多帧所述第二图像进行均值计算以得到背景模型，所述背景为目标箱角。
17.优选地，所述得到所述目标箱角的直线边缘之后还包括：对所述目标箱角的直线边缘进行滤波以过滤偏离样本中心的样本，根据滤波后的所述目标箱角的直线边缘计算所述目标箱角位置。
18.优选地，所述获取第一图像通过深度相机获取，所述深度相机在获取所述第一图像前进行标定以实现对所述第一图像的校准。
19.本发明实施例还提供一种吊具下集装箱箱角位置信息的获取装置，包括：
20.图像预处理模块，其用于获取第一图像，将所述第一图像进行预处理，以得到第二图像，所述第一图像为吊具下集装箱箱角图像；
21.目标箱角提取模块，其用于使用前景背景分割提取法将所述第二图像进行前景的目标箱角提取，以得到目标图像；
22.前景背景分割提取法选择模块，其用于当所述吊具处于放箱阶段的匀速下降过程时，所述前景背景分割提取法为帧间差分法，当所述吊具处于高点横移阶段时，所述前景背景分割提取法为光流法；
23.边缘拟合模块，其用于将通过帧间差分法得到的所述目标图像和通过光流法得到的所述目标图像分别通过边缘拟合后进行权值分配，以得到所述目标箱角的直线边缘。
24.与现有技术相比，本发明实施例的技术方案具有以下有益效果：
25.本发明实施例的吊具下集装箱箱角位置信息的获取方法及装置，获取第一图像，将所述第一图像进行预处理，以得到第二图像，所述第一图像为吊具下集装箱箱角图像；使用前景背景分割提取法将所述第二图像进行前景的目标箱角提取，以得到目标图像；当所述吊具处于放箱阶段的匀速下降过程时，所述前景背景分割提取法为帧间差分法，当所述吊具处于高点横移阶段时，所述前景背景分割提取法为光流法；将通过帧间差分法得到的所述目标图像和通过光流法得到的所述目标图像分别通过边缘拟合后进行权值分配，以得到所述目标箱角的直线边缘，通过前景背景分割提取法能够快速地获取吊具下集装箱箱角，从而能够精准地获得获取集装箱箱角的位置信息，进而计算出集装箱箱体的实时位置，通过在吊具处于不同的阶段时采用不同的前景背景分割提取法，从而不仅有效降低了计算量，并且还提高了计算集装箱箱体的实时位置的效率；
26.进一步地，将所述第一图像进行箱角感兴趣区域选取以过滤不需要确认的边缘信息，从而得到所述第二图像，通过过滤掉不需要确认的边缘信息，进一步降低计算量，提高计算集装箱箱体的实时位置的效率。
附图说明
27.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，而不是全部实施例。对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
28.图1为本发明的一个实施例提供的吊具下集装箱箱角位置信息的获取方法的流程图；
29.图2为本发明的一个实施例提供的吊具下集装箱箱角位置信息的获取装置的模块示意图。
具体实施方式
30.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.下面以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
32.基于现有技术存在的问题，本发明实施例提供一种吊具下集装箱箱角位置信息的获取方法及装置，通过前景背景分割提取法能够快速地获取吊具下集装箱箱角，从而能够精准地获得获取集装箱箱角的位置信息，进而计算出集装箱箱体的实时位置。
33.图1为本发明的一个实施例提供的吊具下集装箱箱角位置信息的获取方法的流程图。现在参看图1，本发明实施例提供一种吊具下集装箱箱角位置信息的获取方法，包括：
34.步骤s102：获取第一图像，将所述第一图像进行预处理，以得到第二图像，所述第一图像为吊具下集装箱箱角图像；
35.步骤s104：使用前景背景分割提取法将所述第二图像进行前景的目标箱角提取，以得到目标图像；
36.步骤s106：当所述吊具处于放箱阶段的匀速下降过程时，所述前景背景分割提取法为帧间差分法，当所述吊具处于高点横移阶段时，所述前景背景分割提取法为光流法；
37.步骤s108：将通过帧间差分法得到的所述目标图像和通过光流法得到的所述目标图像分别通过边缘拟合后进行权值分配，以得到所述目标箱角的直线边缘。
38.在具体实施中，步骤s102中，获取第一图像包括通过固定在吊具上的相机完成对吊具下方视野中吊起或放下的集装箱箱角的图像采集。由于放箱过程中，吊具与吊具下方的集装箱箱角能够保持较稳定的相对静止关系，所以在整个吊具下方视野中，变化的部分就是作为目标的集装箱箱角之外的背景部分，这是吊具下方视野中的集装箱箱角的图像特性。
39.基于上述吊具下方视野中的集装箱箱角的图像特性，在步骤s104中，使用前景背景分割提取法将所述第二图像进行前景的目标箱角提取，以得到目标图像。
40.在步骤s106中，吊具在抓取集装箱箱体之后的运动轨迹包括在远离目标位置时进入高点横移阶段，在接近目标位置时进入放箱阶段，放箱阶段包括匀速下降、减速下降、着
箱或叠箱，所述着箱为放箱是首层箱的情况，所述叠箱为放箱是非首层箱的情况。当所述吊具处于放箱阶段的匀速下降过程时，所述前景背景分割提取法为帧间差分法，当所述吊具处于高点横移阶段时，所述前景背景分割提取法为光流法。
41.在步骤s108中，将通过帧间差分法得到的所述目标图像和通过光流法得到的所述目标图像分别通过边缘拟合后进行权值分配。例如，最终结果＝0.7*光流结果 0.3*帧间差分结果。
42.边缘拟合包括模板匹配法，通过函数对目标图像边缘进行匹配，例如一次函数匹配直线边缘，二次函数、抛物线函数去匹配弯曲边缘等。此外边缘拟合还包括基于参数匹配的拟合方法，例如直最小二乘法、ransac算法等。
43.在具体实施中，步骤s102中所述将所述第一图像进行预处理包括：将所述第一图像进行噪声去除以及图像增强，并进行灰度转化以及灰度图的二值化，并进行几何变化以及空间变换后得到所述第二图像。第一图像不能直接用于边缘检测或者分割的算法，需要进行预处理后以达到更好的效果。其中进行灰度转化过程中的插值方法又可以选择最近邻插值法、双线性插值法、三线性插值法等。灰度图的二值化过程根据阈值选定的方法不同，又可以选择平均灰度值法、类别方差法、最大熵法等，opencv中还包括有自适应的阈值选择方式。
44.在具体实施中，步骤s102中所述将所述第一图像进行预处理还包括：将所述第一图像进行箱角感兴趣区域(roi，region of interest)选取以过滤不需要确认的边缘信息，从而得到所述第二图像。由于相机与吊具的相对固定的位置关系，因此可以让固定的roi区域总是包含目标箱角。这样就从整体的第一图像范围中过滤掉了大部分所不需要确认的边缘信息。通过过滤掉不需要确认的边缘信息，进一步降低计算量，提高计算集装箱箱体的实时位置的效率。
45.步骤s104中，使用前景背景分割提取法将所述第二图像进行前景的目标箱角提取，以得到目标图像。
46.在具体实施中，前景背景分割提取法可以包括帧间差分法和光流法。帧间差分法对于运动很慢的目标和静止目标的识别较差，但是帧间差分法对光线等场景变化不太敏感，能够适应各种动态环境，稳定性较好，可以有效减少计算量。光流法的光流计算是像素级别的分割提取，同时每次输入以两张图片为一组，这就造成了对所需要的硬件资源的显存占用较大，且随着输入图像的分辨率的增大占用量呈平方级增长，光流法通常能达到更高的准确率，并且其模型的泛化能力强，能有效适应不同场景下对不同目标物的前景背景分割。因此，在步骤s106中，当所述吊具处于放箱阶段的匀速下降过程时，所述前景背景分割提取法为帧间差分法，当所述吊具处于高点横移阶段时，所述前景背景分割提取法为光流法。通过在吊具处于不同的阶段时采用不同的前景背景分割提取法，从而不仅有效降低了计算量，并且还提高了计算集装箱箱体的实时位置的效率。
47.在具体实施中，当所述吊具处于放箱阶段的匀速下降过程时，所述前景背景分割提取法为帧间差分法包括获取连续两帧所述第二图像，通过将所述连续两帧所述第二图像进行差分运算来进行前景的目标箱角提取。由于吊具处于放箱阶段的匀速下降过程时，其背景变化较为明显，容易获取背景变化较明显的相邻连续两帧图像。目标箱角在相机视野内位置信息是固定的，变化的是目标箱角之外的背景因素，所以帧间差分法在应用时实际
获取的是运动背景的轮廓，从而间接得到了目标箱角的轮廓，进而得到目标集装箱箱体的轮廓。
48.当所述吊具处于高点横移阶段时，所述前景背景分割提取法为光流法包括获取连续两帧所述第二图像，通过对所述连续两帧所述第二图像进行光流特征提取与光流模型计算来进行前景的目标箱角提取。在具体实施中，按照不同深度光流网络的数据需求制作训练集，光流数据集类型包括sintel，kitti，flyingchairs，flyingthings3d等，需要准备与第二图像对应的反射图、光流真值、光流图、覆盖区域图等构成自定义的数据集。
49.在具体实施中，所述前景背景分割提取法还可以为背景差分法，获取多帧所述第二图像，通过将所述多帧所述第二图像进行均值计算以得到背景模型，所述背景为目标箱角。在背景差分法运用中实际被作为背景的是图像中位置固定的目标箱角，作为运动目标的是相机下的背景部分。背景差分法包括中值法背景建模、均值法背景建模、卡尔曼滤波器模型、单高斯分布模型、多高斯分布模型、高级背景模型等。背景差分法的优点在于检测运动目标速度快，检测准确，易于实现。
50.在具体实施中，所述得到所述目标箱角的直线边缘之后还包括：对所述目标箱角的直线边缘进行滤波以过滤偏离样本中心的样本，根据滤波后的所述目标箱角的直线边缘计算所述目标箱角位置。从而减小上述操作中残留的误差信息的比重，以获取更准确的结果。
51.在具体实施中，所述获取第一图像通过深度相机获取，所述深度相机在获取所述第一图像前进行标定以实现对所述第一图像的校准。
52.本发明实施例还提供一种吊具下集装箱箱角位置信息的获取装置，包括：
53.图像预处理模块21，其用于获取第一图像，将所述第一图像进行预处理，以得到第二图像，所述第一图像为吊具下集装箱箱角图像；
54.目标箱角提取模块22，其用于使用前景背景分割提取法将所述第二图像进行前景的目标箱角提取，以得到目标图像；
55.前景背景分割提取法选择模块23，其用于当所述吊具处于放箱阶段的匀速下降过程时，所述前景背景分割提取法为帧间差分法，当所述吊具处于高点横移阶段时，所述前景背景分割提取法为光流法；
56.边缘拟合模块24，其用于将通过帧间差分法得到的所述目标图像和通过光流法得到的所述目标图像分别通过边缘拟合后进行权值分配，以得到所述目标箱角的直线边缘。
57.综上所述，本发明实施例的吊具下集装箱箱角位置信息的获取方法及装置，获取第一图像，将所述第一图像进行预处理，以得到第二图像，所述第一图像为吊具下集装箱箱角图像；使用前景背景分割提取法将所述第二图像进行前景的目标箱角提取，以得到目标图像；当所述吊具处于放箱阶段的匀速下降过程时，所述前景背景分割提取法为帧间差分法，当所述吊具处于高点横移阶段时，所述前景背景分割提取法为光流法；将通过帧间差分法得到的所述目标图像和通过光流法得到的所述目标图像分别通过边缘拟合后进行权值分配，以得到所述目标箱角的直线边缘，通过前景背景分割提取法能够快速地获取吊具下集装箱箱角，从而能够精准地获得获取集装箱箱角的位置信息，进而计算出集装箱箱体的实时位置，通过在吊具处于不同的阶段时采用不同的前景背景分割提取法，从而不仅有效降低了计算量，并且还提高了计算集装箱箱体的实时位置的效率；
58.进一步地，将所述第一图像进行箱角感兴趣区域选取以过滤不需要确认的边缘信息，从而得到所述第二图像，通过过滤掉不需要确认的边缘信息，进一步降低计算量，提高计算集装箱箱体的实时位置的效率。
59.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。