卸船机抓斗的摆角确定方法及装置、系统与流程

1.本发明涉及机械工程技术领域，特别涉及一种卸船机抓斗的摆角确定方法、卸船机抓斗的摆角确定装置、卸船机抓斗的摆角检测系统、卸船机的控制系统、边缘计算装置、计算机可读介质。


背景技术：

2.卸船机(英文简称为gsu)可以用于将岸边的船中的货物(例如，煤)取出后放置在运输装置中。
3.在卸船机的工作过程中，需要对卸船机的抓斗的摆角进行精确定位。gsu在作业过程中，控制卸船机的小车在小车行进轨道上移动，这样小车可以带动抓斗移动，抓斗是依靠卸船机的钢丝绳的拉力进行控制的。在提升过程、小车行走过程中抓斗都会有不同程度的摆幅，如果摆幅控制不当，轻则影响作业效率，重则发生碰撞等危险情况。对抓斗进行实时位置的精准检测进而实现闭环防摇，是解决卸船机自动控制中的关键所在。
4.但是目前，通常依靠卸船机司机实际目测，利用司机的经验，来实现对卸船机的抓斗的摆角进行定位，从而会造成定位不准确。


技术实现要素：

5.本发明提供了一种卸船机抓斗的摆角确定方法、卸船机抓斗的摆角确定装置、卸船机抓斗的摆角检测系统、卸船机的控制系统、边缘计算装置、计算机可读介质，能够更为准确地对卸船机的抓斗的摆角进行定位。
6.第一方面，本发明一个实施例提供一种卸船机抓斗的摆角确定方法，所述卸船机的大车行进轨道的两端各设置有一个摄像装置，每一个摄像装置的视野范围均覆盖所述卸船机在工作过程中所述抓斗的运动范围；所述确定方法包括：
7.获取所述卸船机在所述大车行进轨道上的当前位置；
8.在所述卸船机工作过程中实时获取每一个摄像装置所采集的视频；
9.确定每一个摄像装置所采集的视频中的每一帧图像中的抓斗摆角；
10.根据两个摄像装置所采集的视频中的对应帧图像的两个抓斗摆角以及所述卸船机在所述大车行进轨道上的当前位置，确定所述抓斗的当前摆角。
11.第二方面，本发明一个实施例提供一种卸船机抓斗的摆角确定装置，所述卸船机的大车行进轨道的两端各设置有一个摄像装置，每一个摄像装置的视野范围均覆盖所述卸船机在工作过程中所述抓斗的运动范围；所述确定装置包括：
12.第一获取模块，用于：获取所述卸船机在所述大车行进轨道上的当前位置；
13.第二获取模块，用于：在所述卸船机工作过程中实时获取每一个摄像装置所采集的视频；
14.第一计算模块，用于：确定每一个摄像装置所采集的视频中的每一帧图像中的抓斗摆角；
15.第二计算模块，用于：根据两个摄像装置所采集的视频中的对应帧图像的两个抓斗摆角以及所述卸船机在所述大车行进轨道上的当前位置，确定所述抓斗的当前摆角。
16.第三方面，本发明一个实施例提供一种卸船机抓斗的摆角检测系统，包括：一个边缘计算装置以及与所述边缘计算单元连接的两个摄像装置，其中：
17.所述两个摄像装置设置在大车行进轨道的两端，每一个摄像装置的视野范围均覆盖所述卸船机在工作过程中所述抓斗的运动范围；每一个摄像装置用于：在所述卸船机工作过程中采集视野范围内的视频，并将所述视频发送至所述边缘计算装置；所述边缘计算装置为第二方面提供的摆角确定装置。
18.第四方面，本发明一个实施例提供一种卸船机的控制系统，包括第三方面提供的卸船机抓斗的摆角检测系统、防抖系统和自动控制系统，所述防抖系统连接至所述摆角检测系统和所述自动控制系统，其中：
19.所述自动控制系统用于：在所述卸船机的工作过程中控制小车在小车进行轨道上运动，以带动所述抓斗运动；
20.所述摆角检测系统用于：实时检测所述抓斗在运动过程中的所述当前摆角，并将所述当前摆角发送至所述防抖系统；
21.所述防抖系统用于：获取所述小车的运动信息，根据所述小车的运动信息和所述当前摆角，确定所述小车的附加速度，并将所述附加速度发送至所述自动控制系统中；
22.所述自动控制系统用于：根据所述附加速度对所述小车的运动进行调整，以使所述抓斗的当前摆角控制在预设范围内。
23.第五方面，本发明一个实施例提供一种边缘计算装置，该装置包括：至少一个存储器和至少一个处理器；
24.所述至少一个存储器，用于存储机器可读程序；
25.所述至少一个处理器，用于调用所述机器可读程序，执行第一方面提供的方法。
26.第六方面，本发明实施例提供一种计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行第一方面提供的方法。
27.本发明实施例提供的卸船机抓斗的摆角确定方法及装置、系统，针对卸船机的大车行进轨道的两端各设置一个摄像装置的基础上实现，获取到两个摄像装置将采集到的视频后，会首先获取卸船机在大车行进轨道上的当前位置，然后确定两个摄像装置采集到的视频中两帧相对应的图像中的两个抓斗摆角，然后根据两个抓斗摆角以及所述卸船机在所述大车行进轨道上的当前位置，确定所述抓斗的当前摆角。在这个过程中，不仅考虑到了抓斗在两个摄像装置的视角下的摆角，而且考虑到了卸船机在大车行进轨道上的位置，由于卸船机的位置不同，两个摄像装置的清晰度、视角偏差等多种因素都有所不同，对这些因素进行综合考虑，得到抓斗的实时摆角。这种方式可以避免某种因素导致的摆角偏差过大，可以提高摆角计算的准确度。而且，本发明实施例提供的方法所基于的硬件很少，因此硬件成本比较低、机械改造成本也比较低。本发明实施例将机械视觉技术应用在卸船机中，成功解决了卸船机的抓斗摆角检测准确度低的问题。
附图说明
28.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以基于这些附图获得其他的附图。
29.图1是本发明一个实施例提供的卸船机抓斗的摆角确定方法的流程示意图；
30.图2是本发明一个实施例提供的卸船机抓斗的摆角确定方法中步骤s4的流程示意图；
31.图3是本发明一个实施例提供的卸船机抓斗的摆角确定装置的结构框图；
32.图4是本发明一个实施例提供的卸船机抓斗的摆角检测系统的结构框图；
33.图5是本发明一个实施例提供的卸船机抓斗的摆角检测系统的结构框图；
34.图6是本发明一个实施例提供的卸船机的控制系统的结构示意图；
35.附图标记说明：
36.s1～s4
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
步骤
37.s41～s44
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
步骤
38.10
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
摆角确定装置
39.11
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第一获取模块
40.12
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第二获取模块
41.13
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第一计算模块
42.14
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第二计算模块
43.100
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
摆角检测系统
44.110
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
摄像装置
45.120
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
边缘计算装置
46.130
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
无线客户端
47.140
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
无线接入点
48.200
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
防抖系统
49.300
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
自动控制系统
50.400
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
卸船机的控制系统
具体实施方式
51.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.第一方面，本发明一个实施例提供一种卸船机抓斗的摆角确定方法，该方法的执行主体可以为一个计算机设备，例如，设置在电气房内的边缘计算装置。
53.可理解的是，卸船机大致包括大车行进轨道、小车行进轨道、在小车行进轨道上运动的小车、与小车通过钢丝绳连接的抓斗、对小车进行控制的控制系统等。在通常情况下，大车行进轨道和小车行进轨道在立体空间中不相交但具有一定夹角，例如，夹角为90
°
。大
车行进轨道位于岸边的地面上，整个卸船机可以大车行进轨道上移动，这样可以根据船在岸边的位置对卸船机的位置进行调整。小车行进轨道架设于卸船机的支架上，位于空中，这样自动控制系统控制小车在小车行进轨道上运动，小车便可以带动抓斗进行运动。例如，带动抓斗落入船体上方，将船中的货物抓取后提起，平稳运行到卸货区上方，将抓斗中的货物抖落在卸货区的装置中。
54.为了便于观察在整个过程中抓斗的运动，可以在大车行进轨道的两端各设置有一个摄像装置，每一个摄像装置的视野范围均覆盖所述卸船机在工作过程中所述抓斗的运动范围。
55.可理解的是，上述大车行进轨道的两端是指大车行进轨道的头部和尾部，即两个端部。在实际中，摄像装置可以具体设置在大车行进轨道的端部旁边的空地上。每一个摄像装置的视野范围均覆盖抓斗在工作过程中的全运动范围，避免出现某一个摄像装置在某段时间内采集到的视频中不包含抓斗的情形出现。
56.这里，在大车行进轨道的两个端部分别设置一个摄像装置的目的是：无论卸船机在大车行进轨道的哪个位置，都能够采集到卸船机在工作过程中包含抓斗的视频。例如，当卸船机接近大车行进轨道的头部时，由于位于头部的摄像装置距离抓斗过近，在位于头部的摄像装置的拍摄视野里，图像的清晰度比较高，抓斗摆角的偏差比较大。而位于尾部的摄像装置虽然距离抓斗比较远，拍摄视频的清晰度有所下降，不利于图像特征的提取，但抓斗摆角的偏差会比较小，此时可以根据具体需求选择一个摄像装置采集到的视频作为主要视频，而将另一个摄像装置采集到的视频作为辅助视频，通过主要视频和辅助视频来共同计算抓斗的摆角。
57.举例来说，在实际需求中对于抓斗摆角的准确性要求非常高，当卸船机接近大车行进轨道的头部时，可以将抓斗摆角偏差较小的位于尾部的摄像装置所采集的视频为主要视频，位于头部的摄像装置采集到的视频为辅助视频。类似的，如果卸船机接近大车行进轨道的尾部时，可以以位于头部的摄像装置采集的视频为主来计算抓斗的摆角。
58.也就是说，这里设置两个摄像装置，可以根据卸船机在大车行进轨道中的位置，选择一个摄像装置采集的视频为主要视频，而另一个摄像装置采集的视频为辅助视频，通过主要视频和辅助视频共同来计算抓斗的摆角，具体选择哪一个摄像装置采集的视频作为主要视频、哪个摄像装置采集到的视频为辅助视频，需要看具体场景下的实际需求。
59.参见图1，本发明实施例体提供的卸船机抓斗的摆角确定方法包括如下步骤s1～s4：
60.s1、获取所述卸船机在所述大车行进轨道上的当前位置；
61.可理解的是，在卸船机对一艘船进行货物卸载时，会根据船的位置在大车行进轨道上移动卸船机，这样使得卸船机的位置和船的位置相对应，便于进行货物卸载。针对一艘船而言，卸船机在大车行进轨道上的位置一般是固定的。当然，如果船只过大，也可以在卸载过程中移动卸船机，使得卸船机的位置能够满足货物卸载的需求。
62.s2、在所述卸船机工作过程中实时获取每一个摄像装置所采集的视频；
63.举例来说，在卸船机工作的过程中，每一个摄像装置会将自己采集到的视频实时发送给边缘计算装置，这样边缘计算装置会得到每一个摄像装置传输来的一帧帧图像所形成的视频流。
64.s3、确定每一个摄像装置所采集的视频中的每一帧图像中的抓斗摆角；
65.在某一个场景下，小车和抓斗之间通过钢丝绳连接，此时抓斗摆角为钢丝绳所在的直线和钢丝绳处于竖直状态时所在的直线之间的夹角。也可以直接理解为：钢丝绳所在的直线和竖直方向之间的夹角。
66.可理解的是，这里要确定每一个摄像装置发送的视频中的每一帧图像中的抓斗的摆角，即一帧图像可以得到一个抓斗摆角。两个摄像装置所发送来的视频中，在相同时间点对应的两帧图像为对应帧图像。即，针对两个摄像装置，在相对应的两帧图像中可以得到两个抓斗摆角。
67.在具体实施时，s3中确定每一个摄像装置所采集的视频中的每一帧图像中的抓斗摆角的过程可以具体包括：
68.采用边缘检测的方式检测出每一帧图像中所述抓斗连接的钢丝绳所在的区域，将所述钢丝绳所在的区域分割出来，在分割出来的区域中进行特征提取，并将提取到的所述钢丝绳与竖直方向之间的夹角作为该帧图像中的抓斗摆角。
69.也就是说，针对每一帧图像采用边缘检测技术检测出钢丝绳所在的区域，然后将钢丝绳所在的区域分割出来，并对分割得到的区域进行特征提取，可以得到区域中钢丝绳所在的直线，进而可以计算出钢丝绳所在的直线和竖直方向之间的夹角，并将该夹角作为该帧图像中的抓斗摆角。
70.在实际情况下，钢丝绳并不是在所有时刻都处于直线状态，例如，在需要通过抖动抓斗而进行卸货时，钢丝绳的尾端即靠近抓斗的那一端可能为曲线状态。针对这种情况，如果直接采用边缘检测技术确定抓斗摆角的话，对于钢丝绳所在的直线的提取是不准确的，因此计算得到的摆角可能会存在误差。因此可以在采用边缘检测的方式检测所述钢丝绳的所在区域之前，对每一帧图像进行非线性畸变校准，以使每一帧图像中所述抓斗连接的钢丝绳成为直线。
71.也就是说，在进行边缘检测之前，先对每一帧图像进行非线性畸变校准，非线性畸变校准可以将曲线的部分进行修正，使其成为直线，而且由曲线转为直线的部分和其它的直线部分之间平稳衔接，这样可以避免因钢丝绳的端部为曲线状态而造成的摆角偏差。
72.进一步的，在对每一帧图像进行非线性畸变校准之后，在进行边缘检测之前，还可以将该帧图像转换为hsv空间的图像。
73.可理解的是，rgb是我们接触最多的颜色空间，由三个通道表示一幅图像，分别为红色(r)，绿色(g)和蓝色(b)。这三种颜色的不同组合可以形成几乎所有的其他颜色。rgb颜色空间是图像处理中最基本、最常用、面向硬件的颜色空间，也比较容易理解。自然环境下获取的图像容易受自然光照、遮挡和阴影等情况的影响，即对亮度比较敏感。而rgb颜色空间的三个分量都与亮度密切相关，即只要亮度改变，三个分量都会随之相应地改变。人眼对于这三种颜色分量的敏感程度是不一样的，在单色中，人眼对红色最不敏感，蓝色最敏感，所以rgb颜色空间是一种均匀性较差的颜色空间。如果颜色的相似性直接用欧氏距离来度量，其结果与人眼视觉会有较大的偏差。所以rgb颜色空间适合于显示系统，却并不适合于图像处理。所以本发明实施例中将图像转换为hsv空间的图像。
74.可理解的是，hsv颜色空间比rgb更接近人们对彩色的感知经验，非常直观地表达颜色的色调、鲜艳程度和明暗程度，方便进行颜色的对比。hsv表达彩色图像的方式由三个
部分组成：hue(即色调、色相)、saturation(即饱和度、色彩纯净度)、value(即明度)。
75.可见，本发明实施例中将rgb颜色空间是图像转换为hsv颜色空间的图像，更加利于后面的边缘检测过程，对于提取图像的特征信息更加容易。
76.s4、根据两个摄像装置所采集的视频中的对应帧图像的两个抓斗摆角以及所述卸船机在所述大车行进轨道上的当前位置，确定所述抓斗的当前摆角。
77.也就是说，在计算抓斗摆角时，不仅要依据两个对应帧图像中的两个抓斗摆角，而且还要依据卸船机在大车行进轨道上的当前位置。当卸船机在大车行进轨道上的不同位置时，两个摄像装置和抓斗之间的距离远近不同，会造成两个摄像装置所采集到的对应帧图像的清晰度、视角所带来的偏差等都会有所不同，因此在计算抓斗的最终摆角时，不仅要依据对应帧图像的两个抓斗摆角，而且依据卸船机在大车行进轨道的当前位置，这样可以大大提高最终计算得到的抓斗摆角的准确性。
78.在具体实施时，参见图2，s4中所述根据两个摄像装置所采集的视频中的对应帧图像的两个抓斗摆角以及所述卸船机在所述大车行进轨道上的当前位置，确定所述抓斗的当前摆角，可以具体包括s41～s44：
79.s41、根据所述卸船机在所述大车行进轨道上的当前位置，计算所述卸船机和每一个摄像装置之间的位置偏差；
80.可理解的是，计算所述卸船机的当前位置分别和两个摄像装置的位置之间的偏差，可以得到两个位置偏差。当卸船机的位置固定时，两个位置偏差的值是不变的。
81.s42、判断两个所述位置偏差是否相等；
82.可理解的是，如果两个位置偏差是相等的，说明卸船机位于大车进行轨道上的中间位置，此时两个摄像装置采集到的视频的清晰度、视角偏差等大体是一样的，所以此时可以将两个摄像装置对应的权重值设置为相等。例如，每一个摄像装置对应的权重值均位置为0.5。
83.但是，如果两个位置偏差是不相等的，此时在设置两个摄像装置的权重值时需要考量多个因素，例如，此时卸船机的当前位置是否靠近头部或者位置，两个摄像装置对应的两个位置偏差的大小等因素，具体可以参见以下s43。
84.s43、若两个所述位置偏差不相等，则根据所述当前位置是否位于所述预设位置范围内以及两个位置偏差之间的大小关系，确定所述两个摄像装置中的第一摄像装置和第二摄像装置，所述第一摄像装置对应的权重高于第二摄像装置对应的权重值；
85.可理解的是，如果卸船机的当前位置在预设位置范围内时，两个摄像装置所采集到的视频的清晰度、视角偏差等因素有一定的差距，但是差距不是很大。此时可以设置两个摄像装置对应的权重值有一定的差距，但是差距不是很大，例如，一个摄像装置对应的权重值为0.4，另一个摄像装置对应的权重值为0.6，那哪一个摄像装置的权重值为0.4，哪一个摄像装置对应的权重值为0.6呢。此时可以考虑到实际场景，是对清晰度要求更高一点，还是对视角偏差要求更高一点，根据实际需求进行选择。
86.在具体实施时，s43中所述根据所述当前位置是否位于所述预设位置范围内以及两个位置偏差之间的大小关系，确定所述两个摄像装置中的第一摄像装置和第二摄像装置，可以具体包括如下中的至少一项：
87.(1)若所述当前位置位于预设位置范围内，则将位置偏差较小的摄像装置作为第
一摄像装置，将位置偏差较大的摄像装置作为第二摄像装置；当所述当前位置位于所述预设位置范围之外时的第一摄像装置对应的权重值大于当所述当前位置位于所述预设范围之内时所述第一摄像装置对应的权重值。
88.(2)若所述当前位置位于所述预设位置范围之外，则将位置偏差较大的摄像装置作为第一摄像装置，将所述位置偏差较小的摄像装置作为所述第二摄像装置；当所述当前位置位于所述预设位置范围之外时的第一摄像装置对应的权重值大于当所述当前位置位于所述预设范围之内时所述第一摄像装置对应的权重值。
89.可理解的是，在所述当前位置位于预设位置范围之内的情况下，位置偏差比较小的摄像装置所拍摄到的视频的清晰度比较好，而且两个摄像装置的视角偏差之间的差距不大，所以此时可以将位置偏差比较小的摄像装置作为第一摄像装置，位置偏差比较大的摄像装置作为第二摄像装置，第一摄像装置的权重高于第二摄像装置的权重值，即第一摄像装置为主要摄像装置，而第二摄像装置为辅助摄像装置。
90.可理解的是，在当前位置位于预设位置范围之外的情况下，位置偏差比较小的摄像装置距离大车行进轨道的一个端部比较近，此时在该摄像装置的视角下视角偏差比较大，而位置偏差比较大的摄像装置距离抓斗距离比较远，虽然拍摄的视频的清晰度有所下降，但是视角偏差不大，此时可以将位置偏差比较大的摄像装置作为第一摄像装置，而另一个摄像装置作为第二摄像装置，第一摄像装置的权重值高于第二摄像装置的权重值，即第一摄像装置为主要摄像装置，第二摄像装置为辅助摄像装置。
91.以上为对某一个时刻，两个摄像装置中谁主谁辅进行确定。而在不同时刻时，大车在大车行进轨道上的当前位置可能发生变化。当当前位置位于预设位置范围内时，两个摄像装置的位置偏差实际差距不大，此时两个摄像装置的权重值的差值可以设置的比较小。而当前位置在预设位置范围之外时，两个摄像装置的位置偏差是比较大的，此时两个摄像装置的权重值的差值可以设置的比较大。例如，当前位置在预设位置范围之内时，第一摄像装置的权重值为0.6，第二摄像装置的权重值为0.4。而当前位置在预设位置范围之外时，第一摄像装置的权重值可以设置为0.7，而第二摄像装置的权重值可以设置为0.3。即，当所述当前位置位于所述预设位置范围之外时的第一摄像装置对应的权重值大于当所述当前位置位于所述预设范围之内时所述第一摄像装置对应的权重值。
92.其中，预设位置范围为在大车行进轨道上的一个预设位置范围，例如，以大车行进轨道的中间位置为中心，向两端延伸相同的距离，得到的位置范围作为上述预设位置范围。
93.s44、根据所述两个摄像装置所采集的视频中的对应帧图像的两个抓斗摆角以及两个摄像装置各自对应的权重值，计算所述抓斗的当前摆角。
94.举例来说，第一摄像装置的权重值为0.65，第二摄像装置的权重值为0.35，第一摄像装置的一帧图像中的抓斗摆角为c1，而第二摄像装置中对应帧图像中的抓斗摆角为c2，这样最终的抓斗摆角为0.65*c1 0.35*c2。
95.在具体实施时，在s4之前，本发明实施例提供的方法还可以包括：
96.对两个摄像装置所采集视频中的对应帧图像的两个抓斗摆角进行有效性检测；若两个抓斗摆角是有效的，则执行所述确定所述抓斗的当前摆角的步骤；
97.其中，所述有效性检测包括判断两个抓斗摆角是否均小于预设摆角以及两个抓斗摆角之间的差值是否小于预设差值；若两个抓斗摆角均小于所述预设摆角以及两个抓斗摆
角之间的差值小于所述预设差值，则两个抓斗摆角是有效的。
98.可理解的是，在卸船机在工作过程中，抓斗的摆角是有一定的浮动范围的，如果在某个时刻，一帧图像中的抓斗摆角超出这个浮动范围，说明这帧图像在计算抓斗摆角时可能出现了错误。还有，不论卸船机在大车行进轨道的哪个位置，两个摄像装置采集到的视频中的对应帧图像的两个抓斗摆角之间的差值也是有一定的范围的，如果在对应的两帧图像中的两个抓斗摆角之间的差值过大，说明对应的两帧图像中至少有一帧图像在计算抓斗摆角时出现了错误。可见，这两种情况下，计算出来的两个抓斗摆角是不能用的，如果继续用两个抓斗摆角计算最终摆角的话，会导致计算得到的最终摆角有较大的误差。
99.可理解的是，在实际场景中，由于天气、光线、可能的空中遮挡物等因素的影响，可能会发生抓斗摆角计算错误的情况发生，为了避免计算错误的情况会影响到最终摆角的计算，此时本发明实施例中对两个抓斗摆角进行有效性检测，只有经过检测后发现两个抓斗摆角都是有效的，才会利用两个抓斗摆角进入后续的计算。
100.在实际中，如果经过有效性检测后，发现是无效的，此时可以丢弃两个对应帧图像的抓斗摆角的计算，针对下一个帧图像进行抓斗摆角的计算。
101.当然，为了进一步提高抓斗计算的准确度，本发明一个实施例中，所述对两个摄像装置所采集视频中的对应帧图像的两个抓斗摆角进行有效性检测之前，还可以包括如下步骤(1)～步骤(3)：
102.步骤(1)：根据所述卸船机在所述大车行进轨道上的当前位置，计算所述卸船机和每一个摄像装置之间的位置偏差；
103.步骤(2)：获取每一个摄像装置在各自对应的位置偏差下的标定摆角；其中，所述标定摆角为在连接所述抓斗的钢丝绳处于竖直状态时所述卸船机和每一个摄像装置之间处于不同位置偏差时，每一个摄像装置所拍摄的图像中的抓斗摆角；
104.可理解的是，需要预先进行标定，针对卸船机位于大车行进轨道上的一个位置时，两个摄像装置分别和卸船机之间的位置偏差是一定的。在卸船机在稳定工作状态时，且抓斗的钢丝绳处于竖直状态时，计算在每一个摄像装置所采集的图像中的抓斗摆角，并将该抓斗摆角作为该摄像装置对应的位置偏差下的标定摆角。然后，移动卸船机，使其处于大车行进轨道上的另一个位置，此时每一个摄像装置与卸船机之间的位置偏差均发生变化，再次在该位置偏差下进行标定，直到卸船机在大车行进轨道上的各个位置时都确定出标定摆角。
105.步骤(3)：计算每一个摄像装置所采集视频中的每一帧图像中的抓斗摆角和所述标定摆角之间的差值，将所述差值作为每一个摄像装置所采集视频中的每一帧图像在去标定后的抓斗摆角；
106.对应的，所述对两个摄像装置所采集视频中的对应帧图像的两个抓斗摆角进行有效性检测，包括：对两个摄像装置所采集视频中的对应帧图像在去标定后的抓斗摆角进行有效性检测。
107.可理解的是，首先确定卸船机的当前位置，然后计算该当前位置和两个摄像装置之间的位置偏差，然后查找在对应位置偏差下每一个摄像装置的标定摆角，将该摄像装置采集的视频中的图像中的抓斗摆角和该标定摆角做差，得到去标定后的抓斗摆角，然后利用去标定后的抓斗摆角进行有效性检测，这样可以减少视角偏差带来的有效性检测的误
差，以及后续最终摆角的计算误差。
108.在具体实施时，在计算得到抓斗的实时摆角后，可以将实时摆角渲染并标注在摄像装置所采集的视频中，当然在视频中还可以将对应的标定摆角标出出来，以作对比。
109.当然，在得到最终的实时摆角之后，还可以将摆角发送给卸船机的防抖系统，以使防抖系统和自动控制系统根据该摆角对小车的运动进行控制，是实现抓斗防抖的闭环控制。
110.本发明实施例提供的卸船机抓斗的摆角确定方法，针对卸船机的大车行进轨道的两端各设置一个摄像装置的基础上实现，获取到两个摄像装置将采集到的视频后，会首先获取卸船机在大车行进轨道上的当前位置，然后确定两个摄像装置采集到的视频中两帧相对应的图像中的两个抓斗摆角，然后根据两个抓斗摆角以及所述卸船机在所述大车行进轨道上的当前位置，确定所述抓斗的当前摆角。在这个过程中，不仅考虑到了抓斗在两个摄像装置的视角下的摆角，而且考虑到了卸船机在大车行进轨道上的位置，由于卸船机的位置不同，两个摄像装置的清晰度、视角偏差等多种因素都有所不同，对这些因素进行综合考虑，得到抓斗的实时摆角。这种方式可以避免某种因素导致的摆角偏差过大，可以提高摆角计算的准确度。而且，本发明实施例提供的方法所基于的硬件很少，因此硬件成本比较低、机械改造成本也比较低。本发明实施例将机械视觉技术应用在卸船机中，成功解决了卸船机的抓斗摆角检测准确度低的问题。
111.第二方面，本发明实施例提供一种卸船机抓斗的摆角确定装置。所述卸船机的大车行进轨道的两端各设置有一个摄像装置，每一个摄像装置的视野范围均覆盖所述卸船机在工作过程中所述抓斗的运动范围。参见图3，所述确定装置10包括：
112.第一获取模块11，用于：获取所述卸船机在所述大车行进轨道上的当前位置；
113.第二获取模块12，用于：在所述卸船机工作过程中实时获取每一个摄像装置所采集的视频；
114.第一计算模块13，用于：确定每一个摄像装置所采集的视频中的每一帧图像中的抓斗摆角；
115.第二计算模块14，用于：根据两个摄像装置所采集的视频中的对应帧图像的两个抓斗摆角以及所述卸船机在所述大车行进轨道上的当前位置，确定所述抓斗的当前摆角。
116.其中，该确定装置的硬件设备可以为设置在电气房内的边缘计算装置。
117.在一些实施例中，第二计算模块具体包括：
118.第一计算单元，用于：根据所述卸船机在所述大车行进轨道上的当前位置，计算所述卸船机和每一个摄像装置之间的位置偏差；
119.第一判断单元，用于：判断两个所述位置偏差是否相等；
120.权重确定单元，用于：若两个所述位置偏差不相等，则根据所述当前位置是否位于所述预设位置范围内以及两个位置偏差之间的大小关系，确定所述两个摄像装置中的第一摄像装置和第二摄像装置，所述第一摄像装置对应的权重高于第二摄像装置对应的权重值；
121.第二计算单元，用于：根据所述两个摄像装置所采集的视频中的对应帧图像的两个抓斗摆角以及两个摄像装置各自对应的权重值，计算所述抓斗的当前摆角。
122.进一步的，权重确定单元具体用于：若所述当前位置位于预设位置范围内，则将位
置偏差较小的摄像装置作为第一摄像装置，将位置偏差较大的摄像装置作为第二摄像装置；若所述当前位于所述预设位置范围之外，则将位置偏差较大的摄像装置作为第一摄像装置，将所述位置偏差较小的摄像装置所谓所述第二摄像装置；当所述当前位置位于所述预设位置范围之外时的第一摄像装置对应的权重值大于当所述当前位置位于所述预设范围之内时所述第一摄像装置对应的权重值。
123.在一些实施例中，装置还包括：
124.第一检测模块，用于在第二计算单元确定所述抓斗的当前摆角之前，对两个摄像装置所采集视频中的对应帧图像的两个抓斗摆角进行有效性检测；若两个抓斗摆角是有效的，则第二计算单元执行“确定所述抓斗的当前摆角”的步骤；其中，所述有效性检测包括判断两个抓斗摆角是否均小于预设摆角以及两个抓斗摆角之间的差值是否小于预设差值；若两个抓斗摆角均小于所述预设摆角以及两个抓斗摆角之间的差值小于所述预设差值，则两个抓斗摆角是有效的。
125.进一步的，装置还包括：
126.第一标定模块，用于在所述第一检测模块对两个摄像装置所采集视频中的对应帧图像的两个抓斗摆角进行有效性检测之前，根据所述卸船机在所述大车行进轨道上的当前位置，计算所述卸船机和每一个摄像装置之间的位置偏差；获取每一个摄像装置在各自对应的位置偏差下的标定摆角；其中，所述标定摆角为在连接所述抓斗的钢丝绳处于竖直状态时所述卸船机和每一个摄像装置之间处于不同位置偏差时，每一个摄像装置所拍摄的图像中的抓斗摆角；计算每一个摄像装置所采集视频中的每一帧图像中的抓斗摆角和所述标定摆角之间的差值，将所述差值作为每一个摄像装置所采集视频中的每一帧图像在去标定后的抓斗摆角；
127.对应的，所述第一检测模块具体用于：对两个摄像装置所采集视频中的对应帧图像在去标定后的抓斗摆角进行有效性检测。
128.在一些实施例中，第一计算模块具体包括：
129.边缘检测单元，用于：采用边缘检测的方式检测出每一帧图像中所述抓斗连接的钢丝绳所在的区域，将所述钢丝绳所在的区域分割出来，在分割出来的区域中进行特征提取，并将提取到的所述钢丝绳与竖直方向之间的夹角作为该帧图像中的抓斗摆角。
130.进一步的，第一计算模块具体还包括：
131.图像处理单元，用于在边缘检测单元采用边缘检测的方式检测所述钢丝绳的所在区域之前，对每一帧图像进行非线性畸变校准，以使每一帧图像中所述抓斗连接的钢丝绳成为直线；将每一帧图像转换为hsv空间的图像。
132.可理解的是，本发明实施例提供的装置中有关内容的解释、具体实施方式、有益效果、举例等内容可以参见上述第一方面提供的方法中的相应部分，此处不再赘述。
133.第三方面，本发明实施例提供一种卸船机抓斗的摆角检测系统。
134.参见图4，摆角检测系统100可以包括：一个边缘计算装置120以及与所述边缘计算单元连接的两个摄像装置110，其中：所述两个摄像装置设置在大车行进轨道的两端，每一个摄像装置的视野范围均覆盖所述卸船机在工作过程中所述抓斗的运动范围；每一个摄像装置用于：在所述卸船机工作过程中采集视野范围内的视频，并将所述视频发送至所述边缘计算装置；所述边缘计算装置120为第二方面提供的摆角确定装置10。
135.可理解的是，在卸船机的工作现场设置了两个摄像装置，边缘计算装置用于根据两个摄像装置采集的视频计算抓斗的实时摆角。边缘计算装置可以设置在电气房中，方便工作人员在电气房中观察到实时摆角。
136.在一个具体场景下，在卸船机工作时，两个摄像装置采集视频，将视频发送给边缘计算装置，而边缘计算装置会执行如下步骤：获取所述卸船机在所述大车行进轨道上的当前位置；在所述卸船机工作过程中实时获取每一个摄像装置所采集的视频；确定每一个摄像装置所采集的视频中的每一帧图像中的抓斗摆角；根据两个摄像装置所采集的视频中的对应帧图像的两个抓斗摆角以及所述卸船机在所述大车行进轨道上的当前位置，确定所述抓斗的当前摆角。通过这种方式可以将最终确定的实时摆角计算出来，还可以标注在视频中，这样电气房内的工作人员可以看到具体的抓斗摆角。
137.在具体实施时，参见图5，摆角检测系统100还可以包括：两个无线客户端130和一个无线接入点140；所述两个无线客户端和所述两个摄像装置一一对应连接，所述无线接入点和所述边缘计算装置连接，通过所述两个无线客户端与所述无线接入点之间的无线连接，实现两个摄像装置与所述边缘计算装置之间的通信连接。
138.也就是说，每一个摄像装置通过对应的无线客户端将视频发送给无线接入点，进而无线接入点将两个摄像装置发送来的视频发送给边缘计算装置，从而实现摄像装置和边缘计算装置之间的无线通信。无线客户端和无线接入点之间可以通过ieee 802.11ac网络协议进行传输，确保视频数据的实时性与网络的稳定性。
139.当然，摄像装置和边缘计算装置之间也可以采用有线连接的方式进行数据传输。
140.可见，在本发明实施例提供的检测系统中，
141.本发明实施例提供的检测系统，可以随着摄像装置视频采集的同时，确定抓斗的摆角，不仅抓斗的精度高，而且响应速度快。该检测系统对于抓斗摆角的确定与抓斗是否有初始摆角无关，因此在抓斗存在初始摆角的情形中也能够准确的确定出抓斗的摆角，便于后续防摇系统的闭环控制，避免出现现有技术中如果抓斗存在初始摆角时闭环失效的情况发生。而且，本发明实施例提供的系统，仅需要两个摄像装置、一个边缘计算装置以及相关的传输单元，整个系统的结构非常简单，简单的结构会提高系统的稳定性，而且施工改造也比较方便，后期维护成本低。还有，由于摄像装置可以设置在大车行进轨道两端旁边的空地上，不会受到小车振动的影响。
142.可理解的是，本发明实施例提供的摆角检测系统中有关内容的解释、具体实施方式、有益效果、举例等内容可以参见上述第一方面提供的方法中的相应部分，此处不再赘述。
143.第四方面，本发明实施例提供一种卸船机的控制系统。
144.参见图6，卸船机的控制系统400中可以包括第三方面提供的卸船机抓斗的摆角检测系统100、防抖系统200和自动控制系统300，所述防抖系统连接至所述摆角检测系统和所述自动控制系统，其中：
145.所述自动控制系统用于：在所述卸船机的工作过程中控制小车在小车进行轨道上运动，以带动所述抓斗运动；
146.所述摆角检测系统用于：实时检测所述抓斗在运动过程中的所述当前摆角，并将所述当前摆角发送至所述防抖系统；
147.所述防抖系统用于：获取所述小车的运动信息，根据所述小车的运动信息和所述当前摆角，确定所述小车的附加速度，并将所述附加速度发送至所述自动控制系统中；
148.所述自动控制系统用于：根据所述附加速度对所述小车的运动进行调整，以使所述抓斗的当前摆角控制在预设范围内。
149.也就是说，在卸船机的控制系统中包含三个子系统，分别是卸船机抓斗的摆角检测系统、防抖系统和自动控制系统。自动控制系统的作用是按照预设程序通过控制小车的运动方向、速度、加速度等来控制抓斗的运动，而摆角检测系统的作用是在抓斗在运动过程中确定抓斗的实时摆角，进而将实时摆角发送给防抖系统。防抖系统的作用是根据抓斗的实时摆角，生成小车的附加速度，发送给自动控制系统，自动控制系统会将该附加速度附加到小车当前速度上，进而实现对小车速度的调整，即实现对抓斗的闭环控制。
150.在具体实施时，所述小车的运动信息可以包括所述小车的运动方向、所述小车的运动速度和所述小车在所述小车行进轨道上的当前位置；
151.对应的，所述防抖系统可以具体用于：若所述小车在所述小车行进轨道上的当前位置处于平稳运动范围，则根据所述小车的运动方向和所述小车的运动速度，生成所述附加速度，所述附加速度能够使得所述自动控制系统在对所述小车的运动进行调整后所述抓斗的当前摆角处于第一范围内，所述当前摆角处于第一范围内时所述抓斗能够平稳运动；若所述小车在所述小车行进轨道上的当前位置处于卸货范围，则根据所述小车的运动方向和所述小车的运动速度，生成所述附加速度，所述附加速度能够使得所述自动控制系统在对所述小车的运动进行调整后所述抓斗的当前摆角处于第二范围内，所述当前摆角处于第一范围内时所述抓斗能够摆动以将所述抓斗内的货物抖落。
152.在具体场景中，抓斗的运动有多个阶段，首先小车控制抓斗竖直向下落入船体的上方，进行货物的抓取，在抓取货物之后，抓斗提起到一定的高度，进而平稳运动到卸货区，进行卸货。在平稳运行阶段，需要抓斗的摆角尽可能小，这样可以保持抓斗平稳移动，保证抓斗内的货物不会掉落。而当抓斗运动到卸货区后，需要抓斗有一定的摆角，这样可以将抓斗内的货物抖落，此时需要对摆角的大小进行控制，避免摆角过大或者过小。
153.针对上述场景，防抖系统在生成附加速度时，需要考虑小车的运动方向、运动速度，例如，在平稳运动阶段，如果小车正带动抓斗向左移动，而此时抓斗具有向右的一个摆角，则此时可以降低小车的速度，这样抓斗瞬时由于惯性以原速度向左移动，从而使得抓斗向右的摆角变小，接近竖直方向。此时附加速度为方向为向右的速度，这样自动控制系统将向右的附加速度附加到原来向左的速度上，可以减小小车向左的速度。再例如，小车向右走，而抓斗向右的摆角过大，此时需要减小摆角，所以防抖系统生成的附加系统为向右的速度，这样将向右的附加速度增加到小车原本向右的速度上，使得小车向右的速度增大，这样可以减小抓斗向右的摆角，实现对摆角的闭环控制。
154.可理解的是，在平稳运行阶段，经过防抖系统和自动控制系统的闭环控制，可以使得抓斗的摆角控制在第一范围内，此时抓斗的摆角很小，不会使得抓斗内的货物掉落。
155.同样，针对上述场景，在生成附加速度时，需要考虑小车的运动方向、运动速度，例如，在卸货阶段，如果小车带动抓斗运动，此时抓斗具有一个摆角，但是该摆角较小，不足以抖落货物，此时需要增大摆角。故防抖系统会生成附加速度，自动控制系统将该附加速度增加到小车的原本速度上后，使得抓斗的摆角增大，进而将货物抖落。
156.可见，这里的防抖系统和自动控制系统，不仅可以将抓斗的摆角控制在很小的范围内，也可以将抓斗的摆角控制在一个比较大的范围内，这样可以在不同的阶段完成不同的工作。
157.在实际中，由于边缘计算装置在计算实时摆角时，需要得知卸船机在大车行进轨道中的当前位置。由于自动控制系统中存储有卸船机的实时工况信息，例如，卸船机在大车行进轨道上的位置，因此边缘计算装置与自动控制系统连接，这样可以从自动控制系统中获取卸船机在大车行进轨道中的当前位置。
158.而且，由于防抖系统在生成附加速度时，需要获知小车当前的运行信息，因此边缘计算装置可以从自动控制系统中获取小车的运动信息发送给防抖系统。当然，由于防抖系统和自动控制系统之间是直接连接的，因此防抖系统也可以直接从自动控制系统中获知小车的运动信息。
159.可理解的是，本发明实施例提供的系统中有关内容的解释、具体实施方式、有益效果、举例等内容可以参见第一方面提供的方法中的相应部分，此处不再赘述。
160.第五方面，本发明一个实施例提供一种边缘计算装置，该装置包括：至少一个存储器和至少一个处理器；所述至少一个存储器，用于存储机器可读程序；所述至少一个处理器，用于调用所述机器可读程序，执行第一方面提供的方法。
161.可理解的是，本发明实施例提供的装置中有关内容的解释、具体实施方式、有益效果、举例等内容可以参见第一方面提供的方法中的相应部分，此处不再赘述。
162.第六方面，本发明实施例提供一种计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行第一方面提供的方法。
163.具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。
164.在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
165.用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上下载程序代码。
166.此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
167.此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展模块中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展模块上的cpu等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
168.可理解的是，本发明实施例提供的计算机可读介质中有关内容的解释、具体实施方式、有益效果、举例等内容可以参见第一方面提供的方法中的相应部分，此处不再赘述。
169.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部
分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
170.本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、挂件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
171.以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。