一种航空港行李箱搬运系统及其控制方法与流程

1.本发明属于机器人搬运的技术领域，具体涉及一种航空港行李箱搬运系统及其控制方法。


背景技术：

2.面对日益发达的航空运输业务，人员、行李、货物的流动性要求不断提高，机场运营的工作量大大增加。行李托运进出港搬运、分拣任务日益繁重，而采用人工分拣模式，工作人员劳动强度大，更是严重阻碍机场行李分拣运营效率，导致运营成本急剧上升等。
3.因此，必须完成机场行李自动搬运、分拣系统智能化改造，以实现航空港行李搬运自动化、智能化，杜绝行李搬运及分拣过程中的卡包、误拣、损伤分体，提高航空港行李、货物搬运效率，提升机场智能化建设水平和机场形象。
4.目前的行李搬运大多数是靠人工分拣的方式，其工作效率十分的低，由于行李箱的大小尺寸不是统一的在进行行李箱搬运的时候不能很好的分拣，更是严重阻碍机场行李分拣运营效率，导致运营成本急剧上升等。


技术实现要素：

5.本发明的目的在于针对现有技术中的上述不足，提供一种航空港行李箱搬运系统及其控制方法，以解决或改善上述的问题。
6.为达到上述目的，本发明采取的技术方案是：
7.一方面，一种航空港行李箱搬运系统及其控制方法，其包括控制单元、与控制单元信号连接的检测单元和用于运输行李箱的运输单元；
8.控制单元包括控制箱和固定安装于机械臂上、且受控于控制单元的抓手；
9.检测单元包括网格激光、工业相机和压力薄膜传感器；工业相机和网格激光均安装于抓手的顶板上，且工业相机的四周环设有若干个点光源灯；压力薄膜传感器固定安装于抓手的内侧侧壁上；
10.运输单元包括传送带和设置于传送带一侧的运输小车。
11.进一步地，网格激光、工业相机、薄膜压力传感器与小型嵌入式工控机连接，并通过小型嵌入式工控机与控制箱通信连接。
12.进一步地，点光源灯为led发光光源灯。
13.一方面，航空港行李箱搬运系统的控制方法，其特征在于，包括以下步骤：
14.s1、工业相机标定，包括工业相机机内参数标定和手眼坐标转换关系标定；
15.s2、工业相机采集传送带上行李箱的图像信息，并将采集的图像信息传送至控制单元进行处理，得到图像中行李箱的位置信息；
16.s3、根据行李箱的位置信息控制抓手移动至目标位置，根据行李箱移动轨迹，控制抓手移动，设定抓手垂直下移距离和水平位移，直至抓手移动至行李箱的两侧；
17.s4、根据行李箱重量和薄膜传感器反馈的压力值抓取行李箱，并实时调整抓手的
抓取力度；
18.s5、控制单元驱动机械臂旋转作业，将行李箱运输至运输小车上方，继续下移机械臂，控制抓手释放行李箱，行李箱落在运输小车上；
19.s6、控制单元控制机械臂回调至初始位置。
20.进一步地，步骤s2中工业相机采集传送带上行李箱的图像信息，并将采集的图像信息传送至控制单元进行处理，得到图像中行李箱的位置信息，包括：
21.采用剪影处理法对采集的图像信息数据进行标记提取；
22.对提取的图像信息进行二值化处理，并对二值化处理后的图像进行图像分割，得到含有行李箱目标区域的图像信息；
23.对分割后的图像信息进行滤波；
24.采用骨架化识别目标区域位置信息，并将位置信息传送至控制单元。
25.进一步地，步骤s3中计算行李箱的移动轨迹，包括：
26.网格激光对待抓取行李箱的表面投射一组平行网格红色激光线；
27.采用标准霍夫变换计算网格中水平直线方程和垂直直线方程，然后通过水平直线和垂直直线的交点计算网格线的起止点坐标；
28.将计算得到的起止点坐标在二值化图像的基础上进行直线绘制，并得出网格线检测的结果图。
29.进一步地，根据网格线检测的结果图，计算网格水平线起始点坐标：
30.保持垂直直线方程不变，依次遍历所有水平直线方程，并计算每一条水平直线和既定的垂直线的交点坐标，计算得到实际网格水平直线的起始点坐标；
31.保持水平直线方程不变，依次遍历所有垂直直线方程，计算水平直线和垂直直线的交点坐标，计算得到实际网格垂直方向直线的起始点坐标；
32.根据网格线检测的结果图，计算网格水平线终点坐标：
33.保持水平直线方程不变，依次遍历所有垂直直线方程，并计算每一条垂直直线和既定的水平直线的交点坐标，计算得到实际网格水平直线的终点坐标；
34.保持水平直线方程不变，依次遍历所有垂直直线方程，计算水平直线和垂直直线的交点坐标，得到实际网格垂直方向直线的终点坐标。
35.进一步地，步骤s1中工业相机标定，包括：
36.采用张正友标定算法进行工业相机机内参数标定和畸变校正；
37.采用tsai
‑
lenz标定法进行手眼标定。
38.进一步地，还包括行李箱的体积的计算与校正：
39.当网格激光照射到目标行李箱上时，工业相机对目标行李箱进行拍照，对拍照的图片上的激光网格进行识别，以行李箱的最远的弯曲的网格线的行李箱的边缘为最远边；
40.计算以最远边行李箱的最上面的一个面的面积，进而估算出行李箱的初步体积；
41.对计算得到的行李箱的体积做边缘扩张填充，边缘填充为在行李箱的最远的弯曲的网格线向外填充总共5cm的灰色边框。
42.本发明提供的航空港行李箱搬运系统及其控制方法，具有以下有益效果：
43.本发明利用机械臂末端的抓手与周围点光源灯配合工业相机结合机器视觉中的物体检测，对行李箱进行尺寸及体积的估计，机械臂控制抓手去抓取行李箱放至行李箱搬
运小车上；且利用了压力薄膜传感器实现对机械臂末端抓手的力度实时检测与反馈，对行李箱的抓取做到了无损抓取；其能够适应抓取不同尺寸的行李箱，并且实现了可控力度的抓取实现了行李箱的无损抓取与搬运。
附图说明
44.图1为航空港行李箱搬运系统结构图。
45.图2为抓手结构图。
46.图3为图像处理框图。
47.图4为极坐标系中表示直线示例图。
48.图5为计算网格线坐标示例图。
49.图6为手眼标定与视觉引导，其中左图为手眼标定坐标转换关系图，右图为视觉引导过程图。
50.图7为手眼标定流程图。
51.图8为基于结构光的三维信息测量与定位图。
52.图9为行李箱体积估计示意图。
53.其中，1、传送带；2、顶板；3、机械臂；4、控制箱；5、行李箱；6、运输小车；7、工业相机；8、网格激光；9、压力薄膜传感器；10、抓手。
具体实施方式
54.下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
55.根据本技术的实施例一，参考图1和图2，本方案的航空港行李箱5搬运系统及其控制方法，包括控制单元、与控制单元信号连接的检测单元和用于运输行李箱5的运输单元。
56.其中，控制单元包括控制箱4、机械臂3和抓手10，抓手10安装于机械臂3上，并受控于控制箱4，机械臂3为6自由度的机械臂3。
57.控制箱4与6自由度的机械臂3通过通信线进行连接；机械臂3末端的抓手10与控制箱4通过通信线进行连接；网格激光8、工业相机7、薄膜压力传感器先与小型嵌入式工控机进行连接后再通过小型嵌入式工控机与机械臂3控制主机箱进行有线通信。
58.工业相机7对行李箱5进行定位与类别分类，分类与定位进行以后需要对行李箱5进行分拣，通过末端抓手10上的压力薄膜传感器9的力的反馈到机械臂3控制抓手10进行力控制的分拣。
59.控制单元用于控制机械臂3和抓手10实现对行李箱5的抓取，以及将抓取后的行李箱5放置到运输小车6上，最后返回至初始位置，等待下一次的抓取任务。
60.检测单元包括网格激光8、工业相机7和压力薄膜传感器9，工业相机7和网格激光8均安装于抓手10的顶板2上，网格激光8对抓取目标的物体表面投射一组平行网格红色激光线，对物体进行大体的判断。
61.且工业相机7的四周环设有若干个点光源灯，点光源灯选择为了突出拍摄目标的
特征，使其不同部分之间有足够的对比，选用led发光电光，同时也能克服在一些昏暗的环境中也能够配合好工业相机7进行很好的检测。
62.工业相机7对网格激光8标记后的物体进行采集，将目标对象的可视化图像和特征转化为能被计算处理的一系列数据。压力薄膜传感器9固定安装于抓手10的内侧侧壁上。
63.运输单元包括传送带1和设置于传送带1一侧的运输小车6。
64.根据本技术的实施例二，一种航空港行李箱5搬运系统的控制方法，包括以下步骤：
65.步骤s1、工业相机7标定，包括工业相机7机内参数标定和手眼坐标转换关系标定，其具体包括：
66.高精度手眼标定，是保证系统精度的关键，本实施例中，包括相机内参数标定与手眼坐标转换关系标定两部分内容，其中相机内参标定与畸变校正采用改进后的张正友标定算法实现。
67.机械臂3手眼坐标关系的标定的主要就是求解手眼映射模型，即机器人视觉空间到机器人作业空间的非线性映射模型，如图6左图中由摄像机坐标系o
c
到机械手基坐标系o
r
的转换关系。图6右图中为视觉引导过程中的坐标转换关系。
68.参考图7，本方案中拟采用tsai
‑
lenz标定法进行手眼标定，获得了机器人基座标与相机之间的空间位姿。
69.步骤s2、工业相机7采集传送带1上行李箱5的图像信息，并将采集的图像信息传送至控制单元进行处理，得到图像中行李箱5的位置信息；
70.参考图3，图像采集包括：
71.采用剪影处理法对采集的图像信息数据进行标记提取；
72.对提取的图像信息进行二值化处理，并对二值化处理后的图像进行图像分割，得到含有行李箱5目标区域的图像信息；
73.对分割后的图像信息进行滤波；
74.采用骨架化识别目标区域位置信息，并将位置信息传送至控制单元；
75.控制单元下发指令至控制箱4，并根据行李箱5的位置信息控制机械臂3和抓手10作业。
76.步骤s3、根据行李箱5的位置信息控制抓手10移动至目标位置，根据行李箱5移动轨迹，控制抓手10移动，设定抓手10垂直下移距离和水平位移，直至抓手10移动至行李箱5的两侧，其具体包括：
77.行李箱5姿态和体积智能识别，网格激光8对抓取目标的物体表面投射一组平行网格红色激光线，通过点光源灯配合工业相机7结合机器视觉中的物体检测，首先需要计算行李箱5在网格中的坐标位置；
78.对霍夫变换检测结果进行分析知道，直接使用霍夫变换检测网格线存在一些问题，例如同一位置有多条直线重叠、灯光的遮挡以及直线的起始和终止点并非实际起止点等问题。通过对霍夫变换检测结果进行分类与合并的思路解决上述直线重叠问题。由于非平行的直线一定有交点，因此可以通过计算水平和垂直方向直线的交点得出实际网格线的起始和终止点坐标，这样可以解决部分遮挡和获取非真实的网格线起止点坐标等问题。
79.霍夫变换，对比两种霍夫变换函数知道，选择标准霍夫变换。因为标准霍夫变换的
结果是极坐标系下的(θ，ρ)参数，而θ参数为直线与水平轴线的夹角，这对直线的水平和垂直分类整理提供便捷方式。另外，标准霍夫变换函数中只有一个动态变化的参数，容易设置其参数值。
80.参考图4，采用霍夫变换直线方法进行计算：
81.点a(x0,y0)，经过点a的直线满足方程y＝k*x0 b。(k是斜率，b是截距)；
82.那么在xoy平面过点a(x0,y0)的直线簇可以用y＝k*x0 b表示，但是，由于与x轴垂直的直线斜率是无穷大而无法表示出来，因此将直角坐标系转换到极坐标系就可以解决该特殊情况；
83.在极坐标系中，直线方程可以表示为ρ＝xcosθ ysinθ(ρ表示原点到直线的距离)，计算方法如图4所示。
84.直线方向的判断：通过对参数θ进行判断，当在θ∈(π/4,3*π/4)之间属于水平线，否则为垂直线，然后对相差很小的直线数据进行整理与合并，消除同一位置有多条直线重叠的问题，最后通过坐标系转化得出直线在直角坐标系的坐标信息。
85.使用上述中的结果计算水平直线方程和垂直直线方程，然后通过水平直线和垂直直线的交点来计算网格线的起止点坐标，如此可以解决霍夫变换中不是实际网格线起止点坐标以及灯光遮挡所带来的问题。
86.将计算得到直线起止点坐标在二值化图像的基础上进行直线绘制，并得出网格线检测的结果图。在二值图像上进行直线的绘制，是因为不仅能得到原始位置的激光线，而且能保留受障碍物影响发生形变的激光区域，还能解决灯光对网格激光8线的遮挡问题。
87.在图5中，直线l
hs
和直线l
he
是二值图像霍夫变换检测结果中水平方向的直线，其中直线l
hs
表示检测结果中第一条水平直线，直线l
he
表示检测结果中最后一条水平直线。直线l
vs
和直线l
ve
是二值图像霍夫变换检测结果中垂直方向的直线，其中直线l
vs
表示检测结果中第一条垂直直线，直线l
ve
表示检测结果中最后一条垂直直线。而图5中，坐标点(x1,y1)，(x2,y2)，(x3,y3)和(x4,y4)是实际网格激光8线的起始和终止点坐标。
88.其中，坐标点(x
v1
,y
v1
)和(x
v2
,y
v2
)中x
v1
与x
v2
是通过霍夫变换计算得到的，而y
v1
与y
v2
的值为0。坐标点(x
v3
,y
v3
)和(x
v4
,y
v4
)中x
v3
与x
v4
通过霍夫变换计算得到，而y
h1
与y
h3
是图像的高度。坐标点(x
h1
,y
h1
)和(x
h3
,y
h3
)中x
h1
与x
h3
的值为0，而y
h1
与y
h3
是通过霍夫变换计算得到的。坐标点(x
h2
,y
h2
)和(x
h4
,y
h4
)中x
h2
与x
h4
是图像的宽度，而y
h2
与y
h4
是通过霍夫变换计算得到的。
89.然后，根据网格水平线起始点坐标的计算方法，保持垂直直线方程不变，依次遍历所有水平直线方程，并计算每一条水平直线和既定的垂直线的交点坐标，最后就得出实际网格水平直线的起始点坐标。例如(x1,y1)和(x3,y3)等坐标。同理，保持水平直线方程不变，依次遍历所有垂直直线方程，然后计算水平直线和垂直直线的交点坐标，最后得出实际网格垂直方向直线的起始点坐标。例如(x1,y1)和(x2,y2)等坐标。
90.然后，根据网格水平线终点坐标的计算方法，保持水平直线方程不变，依次遍历所有垂直直线方程，并计算每一条垂直直线和既定的水平直线的交点坐标，最后就得出实际网格水平直线的终点坐标。例如(x2,y2)和(x4,y4)等坐标。同理，保持水平直线方程不变，依次遍历所有垂直直线方程，然后计算水平直线和垂直直线的交点坐标，最后得出实际网格垂直方向直线的终点坐标。例如(x3,y3)和(x4,y4)等坐标。
91.基于工业相机7的尺寸信息测量与定位方法，包括：
92.参考图8，采用基于主动网格激光8的参考光触发方法，利用基于工业相机7的尺寸信息测量与定位方法，可以满足对行李尺寸信息测量高精度的同时，避免了稠密点云运算带来的时间损耗与计算资源消耗，保证了系统的实时性。基于工业相机7的尺寸测量示意图如图7所示。
93.机械臂3末端有一圈点光源配合工业相机7，当所处环境光线较于昏暗的时候点光源可以为工业相机7提供足够的光线；与此同时当网格激光8照射到行李箱5表面的时候，点光源能够很好的突出网格激光8的线条，为工业相机7拍照提供足够清晰的线条从而提高后面对行李箱5尺寸和体积估计计算。
94.行李箱5的体积的计算与校正，在网格激光8照射到目标行李箱5上时，工业相机7对目标行李箱5进行拍照，对拍照的图片上的激光网格进行识别，以行李箱5的最远的弯曲的网格线的行李箱5的边缘为最远边；
95.第一步计算以最远边行李箱5的初步最上面一个面的面积，然后计算出初步的行李箱5的体积；
96.第二步在第一步基础上对计算出来的行李箱5的体积做一个边缘扩张填充，目的是为机械臂3末端的抓手10能够把行李箱5边缘完全包裹，如此使抓手10两端转到行李箱5。
97.边缘填充是工业相机7在进行目标尺寸检测时做的一个相对于抓手10的一个优化；边缘填充在第一步的基础上向外填充总共5cm的灰色边框，是对行李箱5尺寸估计时做的一个虚拟建模，使抓手10的张开程度大于检测时行李箱5的姿态的实际最长两边的长度；如果刚好以最长边之间的距离作为抓手10张开的程度，这时候由于抓手10存在一定的厚度就有可能把抓手10抵挡住使得抓手10不能抓取，所以在实际的情况下做一个尺寸的扩展能够很好的适应抓手10的抓取状态，让每一个行李箱5都能够被抓取。
98.以20寸行李箱5为例：
99.由于不同的行李箱5尺寸都是固定的，利用网格激光8照射到行李箱5的上方，工业相机7对其进行检测拍摄，估计出箱子正面的面积，图9中34*50cm表示行李箱5(20寸)正面的真实面积，相机计算出的长宽基础上对长宽分别扩张2.5cm为抓取留取足够的空间，图9中的虚线(39*55cm)是边缘填充是在工业相机7在进行目标尺寸检测时做的一个相对于抓手10做的一个优化，在实际上是不存在的只是对行李箱5尺寸估计时做的一个虚拟建模，使抓手10的张开程度大于检测时行李箱5的姿态的实际最长两边的长度。由于行李箱5的高度与相应的尺寸对应，用正面的面积乘高度就可以估计出行李箱5的体积。
100.步骤s4、根据行李箱5重量和薄膜传感器反馈的压力值抓取行李箱5，并实时调整抓手10的抓取力度，利用压力薄膜传感器9实现对机械臂3末端抓手10的力度实时检测与反馈，对行李箱5的抓取做到了无损抓取。
101.步骤s5、控制单元驱动机械臂3旋转作业，将行李箱5运输至运输小车6上方，继续下移机械臂3，控制抓手10释放行李箱5，行李箱5落在运输小车6上；
102.步骤s6、控制单元控制机械臂3回调至初始位置。
103.虽然结合附图对发明的具体实施方式进行了详细地描述，但不应理解为对本专利的保护范围的限定。在权利要求书所描述的范围内，本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属本专利的保护范围。