基于视觉的多件航空行李同时自动识别与尺寸测量方法与流程

1.本发明属于计算机视觉技术领域，特别是涉及一种基于视觉的多件航空行李同时自动识别与尺寸测量方法。


背景技术：

2.随着物流和客运行业的飞速发展，航空货物和行李的仓储及运输成本不断升高，因此提高仓储空间利用率和运输效率成为了压缩航空成本的重要途径。为了提高仓储空间利用率，大量优化算法被应用于货物摆放；为了减少繁重的人力搬运，搬运机器人被应用到相关场景中。无论是优化仓储空间，还是利用机器人搬运，对于航空行李的精准三维感知是不可或缺的。
3.在航空物流领域，不同尺寸的货物有着不同的收费和运输方式，因此对于航空货物的精准测量是至关重要的。在实际应用场景中，人工测量和目测法常常被采用。其中，人工测量需要花费大量的时间，容易造成物流通道堵塞，并且会导致测量人员疲劳；而目测法则严重依赖于测量人员的测量经验，由于测量人员主观性强，容易导致较大的测量误差。
4.在航空客运领域，例如机场旅客托运行李的场景中，需要对旅客的行李尺寸进行精确测量，进而确定行李的传输通道，避免超大、超规的行李堵塞传输通道。同理，该场景下也需要对行李进行自动化精确测量。此外，测量结果还可以用于提高转运小车的码放效率，以及利用机器人抓取代替繁重的人力搬运。
5.但是在以上航空货物和行李测量场景中，由于传输通道压力较大，经常发生多件行李同时出现在测量工作区域内的情况，例如在航空行李的履带传输系统中经常发生行李间相互接触的情况，当该情况发生时往往需要人工参与将行李分离，这不利于未来航空行李运输过程中的无人化、自动化。
6.因此，利用计算机视觉对多件航空货物和行李的同时感知与测量是非常必要的。


技术实现要素：

7.为了解决上述问题，本发明的目的在于提供一种能够快速识别并测量工作区域内的多件行李，且对行李的姿态、接触方式有较强鲁棒性的识别与测量方法。
8.为了达到上述目的，本发明提供的基于视觉的多件航空行李同时自动识别与尺寸测量方法包括按顺序执行的下列步骤：
9.1)标定深度相机的内参和深度相机与可见光相机之间的外参，然后使用标定好的深度相机和可见光相机获取工作平面及上部放置的行李的深度图像和可见光图像，并将深度图像对齐到可见光图像坐标系下；之后利用对齐后的深度图像与可见光图像构建rgb-d图像；
10.2)使用多种预处理算法对对齐后的深度图像进行处理，以提高成像质量，获得预处理后的深度图像；
11.3)对步骤2)中获得的预处理后的深度图像进行线性阈值分割，得到具有前景区域
和背景区域的二值图像，然后使用形态学算法对二值图像中前景区域内可能存在的多件行李进行实例分割，获得实例分割标签；
12.4)使用步骤1)中获得的rgb-d图像和深度相机的内参重建多件行李的三维点云，同时将步骤3)中获得的实例分割标签映射到重建后的多件行李的三维点云上；
13.5)使用步骤4)中重建后的多件行李的三维点云分别计算多件行李的尺寸，从而实现前景区域内多件行李的自动识别与尺寸测量。
14.在步骤1)中，所述标定深度相机的内参和深度相机与可见光相机之间的外参的方法是：建立深度相机和可见光相机的成像几何模型，并求解几何模型参数，即利用标定方法标定深度相机的内参和深度相机与可见光相机之间的外参；其中标定方法采用张氏标定法和主动视觉相机标定法；
15.所述工作平面包括传送带或地面在内的载体；
16.所述深度相机的内参包括深度图像宽度、深度图像高度、深度相机水平焦距fx、深度相机垂直焦距fy、深度图像像素实际长度cx、深度图像像素实际宽度cy、1个深度单位在世界坐标系下所表示的实际长度depth_scale。
17.在步骤2)中，所述使用多种预处理算法对上述对齐后的深度图像进行处理，获得预处理后的深度图像的具体步骤如下：
18.2.1)首先使用空间滤波算法对步骤1)中获得的对齐后的深度图像进行处理；
19.空间滤波算法采用空间边缘保留滤波器，利用该滤波器分别在对齐后的深度图像的x和y方向上进行两次往返滤波，同时计算其一维指数移动平均值，表达式为：
[0020][0021]
其中，α表示平滑系数，y表示滤波器在某一位置的瞬时值，st表示滤波器在某一时间段t内的一维指数移动平均值；当α＝1时，表示该滤波器不进行滤波；当α＝0时，表示利用所有的历史值参与滤波；同时，该滤波器设置了阈值δ，当滤波器当前时刻状态与上一时刻状态相差较大时停止滤波；
[0022]
2.2)然后利用时间滤波器对上述空间滤波后的深度图像进行时间滤波，同时辅以持久性滤波器来缓解深度图像中，由于遮挡、纹理不均匀和多重匹配的原因出现的孔洞；
[0023]
2.3)紧接着使用孔洞填充算法来减少时间滤波后的深度图像中的孔洞，使用孔洞左侧的深度值来填充深度图像中像素数量小于64的孔洞；然后使用噪声区域移除算法，移除深度图像中像素数量小于64的孤立噪声区域；最终获得预处理后的深度图像。
[0024]
在步骤3)中，所述对步骤2)中获得的预处理后的深度图像进行线性阈值分割，得到具有前景区域和背景区域的二值图像，然后使用形态学算法对二值图像中前景区域内可能存在的多件行李进行实例分割，获得实例分割标签的具体步骤如下：
[0025]
3.1)使用深度相机到工作平面的距离作为阈值来分离预处理后的深度图像的前景区域和背景区域并将其二值化，获得二值图像；在此步骤中，由于成像平面与工作平面不一定平行，因此采用预处理后的深度图像中四个角落的平均深度值作为深度值，并拟合出线性过渡的前景、背景分割阈值；
[0026]
3.2)最后使用形态学算法开操作分离前景区域内可能存在的多件行李，其中腐蚀
膨胀核的大小选取为深度图像分辨率宽度的3％。
[0027]
在步骤4)中，所述使用步骤1)中获得的rgb-d图像和深度相机的内参重建多件行李的三维点云，同时将步骤3)中获得的实例分割标签映射到重建后的多件行李的三维点云上的方法是；
[0028]
使用步骤1)得到的深度相机的内参，利用下式所示的映射函数将rgb-d图像映射到三维空间内，得到多件行李的三维点云：
[0029][0030]
其中，x、y和z分别表示三维点云中任一点在三维坐标系下的坐标，d表示深度图像中对应点的值，depth_scale表示1个深度单位在世界坐标系下所表示的实际长度，u和v分别表示该点在图像坐标系下的坐标，fx表示深度相机水平焦距，fy表示深度相机垂直焦距，cx表示深度图像像素实际长度，cy表示深度图像像素实际宽度；另外，三维点云中每个点对应的rgb信息和由步骤3)得到的实例分割标签也被同时映射。
[0031]
在步骤5)中，所述使用步骤4)中重建后的多件行李的三维点云分别计算多件行李的尺寸，从而实现前景区域内多件行李的自动识别与尺寸测量的具体步骤如下：
[0032]
5.1)使用标定好的深度相机拍摄工作平面的深度图像，然后按照步骤1)、2)、4)的方法对工作平面的深度图像进行处理，获得工作平面的三维点云；
[0033]
5.2)在上述工作平面的三维点云点云上使用ransac算法拟合最大平面，并求得其三维平面参数a、b、c和d，则该工作平面方程表示为：
[0034]
ax by cz d＝0
[0035]
5.3)将步骤4)中获得的多件行李的三维点云进行旋转及平移，以便与工作平面对齐，方便计算行李的尺寸，平移变换矩阵表示为：
[0036][0037]
沿x轴旋转角度α为：
[0038][0039]
沿y轴旋转角度β为：
[0040][0041]
则沿x轴旋转变换矩阵表示为：
[0042]
[0043]
则沿y轴旋转变换矩阵表示为：
[0044][0045]
5.4)由于步骤4)中获得的多件行李的三维点云，其坐标值z与实际值互为相反数，因此需要对坐标值z进行取反操作，其变换矩阵表示为：
[0046][0047]
经过以上坐标变换后，上述多件行李的三维点云最终与工作平面对齐，由此获得变换后的多件行李的三维点云；
[0048]
5.5)利用步骤3)获得的实例分割标签从上述变换后的多件行李的三维点云中分别取出每件行李的三维点云，然后从每件行李的三维点云点集中取出所有点的x和y坐标，在xy平面上计算三维点云的特征向量，沿最大特征向量方向及其垂直方向得到最大值和最小值，将对应坐标值相减得到一件行李的长和宽；接着，将一件行李的三维点云的最大值与工作平面的距离作为行李的高；由此获得前景区域内每件行李的尺寸。
[0049]
本发明提供的基于视觉的多件航空行李同时自动识别与尺寸测量方法的优点是：
①
能够实现对相机视角内出现的多件航空行李进行同时测量，并且能够处理多种复杂的摆放方式，例如行李之间发生角接触、边接触不利于实例分割的情况。
②
计算简单，测量速度快，在实现实时识别与测量的基础上，保证了测量的精度。
③
对设备的型号和安装方式没有特别的要求，能够应用于大多数机场环境下的自动识别与测量任务。
附图说明
[0050]
图1是本发明提供的基于视觉的多件航空行李同时自动识别与尺寸测量方法流程图。
[0051]
图2是本发明提供的基于视觉的多件航空行李同时自动识别与尺寸测量方法的一种测量结果。
[0052]
图3是本发明提供的基于视觉的多件航空行李同时自动识别与尺寸测量方法的另一种测量结果。
具体实施方式
[0053]
下面结合附图和具体实施例对本发明提供的基于视觉的多件航空行李同时自动识别与尺寸测量方法进行详细说明。
[0054]
如图1所示，本发明提供的基于视觉的多件航空行李同时自动识别与尺寸测量方法包括按顺序进行的下列步骤：
[0055]
1)标定深度相机的内参和深度相机与可见光相机之间的外参，然后使用标定好的深度相机和可见光相机获取工作平面及上部放置的行李的深度图像和可见光图像，并将深度图像对齐到可见光图像坐标系下；之后利用对齐后的深度图像与可见光图像构建rgb-d图像；
[0056]
所述标定深度相机的内参和深度相机与可见光相机之间的外参的方法是：建立深度相机和可见光相机的成像几何模型，并求解几何模型参数，即利用标定方法标定深度相机的内参和深度相机与可见光相机之间的外参；其中标定方法采用张氏标定法和主动视觉相机标定法；
[0057]
所述工作平面包括传送带或地面在内的载体；
[0058]
所述深度相机的内参包括深度图像宽度、深度图像高度、深度相机水平焦距fx、深度相机垂直焦距fy、深度图像像素实际长度cx、深度图像像素实际宽度cy、1个深度单位在世界坐标系下所表示的实际长度depth_scale。
[0059]
2)使用多种预处理算法对上述对齐后的深度图像进行处理，以提高成像质量，获得预处理后的深度图像；
[0060]
具体步骤如下：
[0061]
2.1)首先使用空间滤波算法对步骤1)中获得的对齐后的深度图像进行处理；
[0062]
空间滤波算法采用空间边缘保留滤波器(spatial edge-preserving filter)，利用该滤波器分别在对齐后的深度图像的x和y方向上进行两次往返滤波，同时计算其一维指数移动平均(exponential moving average)值，表达式为：
[0063][0064]
其中，α表示平滑系数，y表示滤波器在某一位置的瞬时值，st表示滤波器在某一时间段t内的一维指数移动平均值；当α＝1时，表示该滤波器不进行滤波；当α＝0时，表示利用所有的历史值参与滤波；同时，该滤波器设置了阈值δ，当滤波器当前时刻状态与上一时刻状态相差较大时停止滤波，以保证深度图像的边缘特征不被滤波器破坏。具体的，空间边缘保留滤波器的滤波次数设置为2，平滑系数α设置为0.5，启用平滑滤波的阈值δ设置为20。
[0065]
2.2)然后利用时间滤波器对上述空间滤波后的深度图像进行时间滤波，同时辅以持久性滤波器来缓解深度图像中，由于遮挡、纹理不均匀和多重匹配的原因出现的孔洞；其中时间滤波器的平滑系数α设置为0.4，启用平滑滤波的阈值δ设置为20，持久性滤波器的窗口大小设置为4，最小有效帧数量设置为2。
[0066]
2.3)完成上述两次滤波后，因为上述同样的原因深度图像中依然会出现孔洞，因此紧接着使用孔洞填充算法来减少时间滤波后的深度图像中的孔洞，本发明使用孔洞左侧的深度值来填充深度图像中像素数量小于64的孔洞；然后使用噪声区域移除算法，移除深度图像中像素数量小于64的孤立噪声区域；最终获得预处理后的深度图像。
[0067]
3)对步骤2)中获得的预处理后的深度图像进行线性阈值分割，得到具有前景区域和背景区域的二值图像，然后使用形态学算法对二值图像中前景区域内可能存在的多件行李进行实例分割，获得实例分割标签；
[0068]
具体步骤如下：
[0069]
3.1)使用深度相机到工作平面的距离作为阈值来分离预处理后的深度图像的前景区域和背景区域并将其二值化，获得二值图像。由于相机的光轴与工作平面无法保证绝对垂直，因此预处理后的深度图像中背景区域的深度值并不是均匀的，因此本发明采用预处理后的深度图像中四个角落的平均深度值作为深度值，并拟合出线性过渡的前景区域、
背景区域分割阈值；
[0070]
3.2)最后使用形态学算法开操作分离前景区域内可能存在的多件行李，其中腐蚀膨胀核的大小可以根据实际工作场景中物体接触的角度、最小测量尺寸进行调整。在本步骤中，腐蚀膨胀核的大小选取为深度图像分辨率宽度的3％。
[0071]
4)使用步骤1)中获得的rgb-d图像和深度相机的内参重建多件行李的三维点云，同时将步骤3)中获得的实例分割标签映射到重建后的多件行李的三维点云上；
[0072]
使用步骤1)得到的深度相机的内参，利用下式所示的映射函数将rgb-d图像映射到三维空间内，得到多件行李的三维点云：
[0073][0074]
其中，x、y和z分别表示三维点云中任一点在三维坐标系下的坐标，d表示深度图像中对应点的值，depth_scale表示1个深度单位在世界坐标系下所表示的实际长度，u和v分别表示该点在图像坐标系下的坐标，fx表示深度相机水平焦距，fy表示深度相机垂直焦距，cx表示深度图像像素实际长度，cy表示深度图像像素实际宽度；另外，三维点云中每个点对应的rgb信息和由步骤3)得到的实例分割标签也被同时映射。
[0075]
5)使用步骤4)中重建后的多件行李的三维点云分别计算多件行李的尺寸，从而实现前景区域内多件行李的自动识别与尺寸测量。
[0076]
具体步骤如下：
[0077]
5.1)使用标定好的深度相机拍摄工作平面的深度图像，然后按照步骤1)、2)、4)的方法对工作平面的深度图像进行处理，获得工作平面的三维点云；
[0078]
5.2)在上述工作平面的三维点云点云上使用ransac算法拟合最大平面，并求得其数学平面参数a、b、c和d，则该工作平面方程可以表示为：
[0079]
ax by cz d＝0
[0080]
5.3)将步骤4)中获得的多件行李的三维点云进行旋转及平移，以便与工作平面对齐，方便计算行李的尺寸，平移变换矩阵表示为：
[0081][0082]
沿x轴旋转角度α为：
[0083][0084]
沿y轴旋转角度β为：
[0085][0086]
则沿x轴旋转变换矩阵表示为：
[0087][0088]
则沿y轴旋转变换矩阵表示为：
[0089][0090]
5.4)由于步骤4)中获得的多件行李的三维点云，其坐标值z与实际值互为相反数，因此需要对坐标值z进行取反操作，其变换矩阵表示为：
[0091][0092]
经过以上坐标变换后，上述多件行李的三维点云最终与工作平面对齐，由此获得变换后的多件行李的三维点云；
[0093]
5.5)利用步骤3)获得的实例分割标签从上述变换后的多件行李的三维点云中分别取出每件行李的三维点云，然后从每件行李的三维点云点集中取出所有点的x和y坐标，在xy平面上计算三维点云的特征向量，沿最大特征向量方向及其垂直方向得到最大值和最小值，将对应坐标值相减得到一件行李的长和宽；接着，将一件行李的三维点云的最大值与工作平面的距离作为行李的高；由此获得前景区域内每件行李的尺寸。
[0094]
本发明提供的基于视觉的多件航空行李同时自动识别与尺寸测量方法的效果可以通过以下实验结果进一步说明。
[0095]
本发明实验基于realsense
tm
d455深度相机，该相机可以同时输出深度图像与可见光图像，采用本发明方法对纸箱、行李箱等常见航空物流货物进行测量，以验证本发明方法的有效性。实验结果如表1所示，测量结果如图2、图3所示。
[0096]
表1、本发明测量结果统计数据
[0097][0098][0099]
通过上述实验对比结果可以得出，本发明方法能够满足生产环境下实时测量任务，并且具有较高的测量精度。对于多件行李发生接触的情况，本发明方法基本可以实现物体的实例分割，并具有较高的测量成功率。因此，本发明方法对生产场景中易发生的复杂测量场景具有较高的鲁棒性，对于前景区域内可能存在的多件待测量行李能够实现实时分割
测量。