一种集装箱吊机危险区域检测方法及系统与流程

1.本发明涉及机器视觉技术领域，具体为一种集装箱吊机危险区域检测方法及系统。


背景技术：

2.在港口码头或者仓库，经常会有集装箱通过吊机从货车上搬上搬下，为了安全，通常吊机摇臂的活动范围下是不准有人员活动的，目前针对集装箱吊机下是否站人的检测，出现的一些基于视觉检测的方案，通常是在场地划定危险区域，如果在这些区域检测到行人，则告警，这种方案只能适用于在固定位置实行吊装的情况，而当吊装位置随时变化时，该方案无法胜任检测任务。而针对一些工厂环境，有一些基于固定高度的吊机的测距方法来判断工人是否处于吊装物下方，该方法无法胜任开放环境下吊机高度可以随时调整的情况。


技术实现要素：

3.本发明的目的在于提供一种在吊装高度调整的情况下能准确地判断人体是否处于危险区域的集装箱吊机危险区域检测方法及系统。
4.本发明实施例中，提供了一种集装箱吊机危险区域检测方法，其包括：
5.获取摄像头采集到的集装箱吊机区域的图片并在所述图片中检测集装箱和人体；
6.根据摄像头安装位置、倾斜角度分别计算人体站立点的世界坐标和集装箱八个角点的世界坐标；
7.根据集装箱八个角点的世界坐标和人体站立点的世界坐标判断人体是否在危险区域。
8.本发明实施例中，采用yolox集装箱图像识别模型来检测图片中的集装箱，采用yolox人体图像识别模型来检测图片中的人体。
9.本发明实施例中，人体站立点的世界坐标(xw,yw,zw)的计算方式如下：
10.xw＝h/sin(∠a ∠b),
11.yw＝(x/f)*(h*sin(∠a ∠b)),
12.zw＝0,
13.其中，∠b＝arctan(y/f)，(x,y)为人体站立点在图像坐标系中的坐标，∠a为摄像头的倾斜角度，f为摄像头的焦距，h为摄像头的高度，地面被设定为第一世界坐标系的zw轴零点平面。
14.本发明实施例中，检测集装箱八个角点的世界坐标，包括：
15.假设集装箱的底面或者顶面为第二世界坐标系的zw’轴零点平面，摄像头所在的zw’轴高度为h’；
16.分别根据图像坐标系中的坐标计算出zw’轴零点平面上靠近摄像头的一面的两个角点在第二世界坐标系的世界坐标；
17.根据所述两个角点在第二世界坐标系的世界坐标计算出所述两个角点的实际距离，并求解出摄像头所在的zw’轴高度h’，根据摄像头所在的zw’轴高度h’与摄像头的实际高度h之间的差值计算出第二世界坐标系的zw’轴与第一世界坐标系的zw轴之间的差值，并将所述两个角点的世界坐标换算为第一世界坐标系中的坐标；
18.根据集装箱的尺寸推算出集装箱其它角点在第一世界坐标系中的坐标。
19.本发明实施例中，根据人体站立点的世界坐标和集装箱八个角点的世界坐标判断人体是否处于危险区域，包括：
20.根据集装箱八个角点的世界坐标和人体站立点的世界坐标计算集装箱的底面四条边与人体站立点的距离；
21.根据集装箱的底面四条边与人体站立点的距离来判断人体是否在危险区域，若集装箱的底面四条边与人体站立点的距离都大于设定的阈值，判断人体处于安全区域，否则判断人体处于危险区域。
22.本发明实施例中，还提供了一种集装箱吊机危险区域检测系统，其特征在于，包括：
23.摄像头，用于采集集装箱吊机区域的图片；
24.图像识别模块，用于在所述摄像头采集到的图片中检测集装箱和人体；
25.坐标转换模块，用于根据所述摄像头的安装位置、倾斜角度来计算人体站立点的世界坐标和集装箱八个角点的世界坐标；
26.判断模块，用于根据集装箱八个角点的世界坐标和人体站立点的世界坐标来判断人体是否在危险区域。
27.本发明实施例中，所述图像识别模块采用yolox集装箱图像识别模型来检测图片中的集装箱，所述图像识别模块采用yolox人体图像识别模型来检测图片中的人体。
28.本发明实施例中，所述坐标转换模块计算人体站立点的世界坐标(xw,yw,zw)的公式如下：
29.xw＝h/sin(∠a ∠b),
30.yw＝(x/f)*(h*sin(∠a ∠b)),
31.zw＝0,
32.其中，∠b＝arctan(y/f)，(x,y)为人体站立点在图像坐标系中的坐标，∠a为摄像头的倾斜角度，f为摄像头的焦距，h为摄像头的高度，地面被设定为第一世界坐标系的zw轴零点平面。
33.本发明实施例中，所述坐标转换模块计算集装箱八个角点的世界坐标的过程包括：
34.假设集装箱的底面或者顶面为第二世界坐标系的zw’轴零点平面，摄像头所在的zw’轴高度为h’；
35.分别根据图像坐标系中的坐标计算出zw’轴零点平面上靠近摄像头的一面的两个角点在第二世界坐标系的世界坐标；
36.根据所述两个角点在第二世界坐标系的世界坐标计算出所述两个角点的实际距离，并求解出摄像头所在的zw’轴高度h’，根据摄像头所在的zw’轴高度h’与摄像头的实际高度h之间的差值计算出第二世界坐标系的zw’轴与第一世界坐标系的zw轴之间的差值，并
将所述两个角点的世界坐标换算为第一世界坐标系中的坐标；
37.根据集装箱的尺寸推算出集装箱其它角点在第一世界坐标系中的坐标。
38.本发明实施例中，所述判断模块判断人体是否处于危险区域的过程包括：
39.根据集装箱八个角点的世界坐标和人体站立点的世界坐标计算集装箱的底面四条边与人体站立点的距离；
40.根据集装箱的底面四条边与人体站立点的距离来判断人体是否在危险区域，若集装箱的底面四条边与人体站立点的距离都大于设定的阈值，判断人体处于安全区域，否则判断人体处于危险区域。
41.与现有技术相比较，采用本发明的集装箱吊机危险区域检测方法及系统，获取摄像头采集到的集装箱吊机区域的图片并在所述图片中检测集装箱和人体，根据摄像头安装位置、倾斜角度分别计算人体站立点的世界坐标和集装箱八个角点的世界坐标，根据集装箱八个角点的世界坐标和人体站立点的世界坐标判断人体是否在危险区域，利用摄像头拍摄的图像对人体站立点和集装箱的各个角点在世界坐标系中的位置进行计算，无论集装箱的高度如何变化，都可以准确的判断人体是否处于危险区域。
附图说明
42.图1是本发明实施例的集装箱吊机危险区域检测方法的流程图。
43.图2是本发明实施例的摄像头图像坐标系到世界坐标系转换的原理图。
44.图3是本发明实施例的集装箱吊机危险区域检测系统的结构图。
具体实施方式
45.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
46.以下结合具体实施例对本发明的实现进行详细描述。
47.如图1所示，本发明实施例中，提供了一种集装箱吊机危险区域检测方法，其包括步骤s1-s3。下面分别对上述步骤进行说明。
48.步骤s1：获取摄像头采集到的集装箱吊机区域的图片并在所述图片中检测集装箱和人体。
49.需要说明的是，本发明实施例中，采用摄像头来对集装箱吊机危险区域进行检测，其拍摄方向正对集装箱吊机所在区域。摄像头拍摄到集装箱吊机区域的图片后，需要对图片进行识别，从而获取图片中集装箱和人体的位置和在图像坐标系中的坐标。
50.具体地，本发明实施例中，采用yolox集装箱图像识别模型来检测图片中的集装箱，采用yolox人体图像识别模型来检测图片中的人体。需要说明的是，yolox模型是一种基于目标检测的神经网络图像识别模型，其可以准确的检测到目标物体并识别出目标物体在图像中所在的位置。在采用yolox模型对集装箱和人体进行检测前，需要分别采用集装箱训练图片集和人体训练图片集对yolox模型进行训练，从而分别得到用于识别集装箱的yolox集装箱图像识别模型和用于检测人体的yolox人体图像识别模型，也可以将同时具有集装箱和人体的图片集对yolox模型进行训练，得到能同时识别出集装箱和人体的yolox图像识
轴高度h’，根据摄像头所在的zw’轴高度h’与摄像头的在第一世界坐标系中的高度h之间的差值计算出第二世界坐标系的zw’轴与第一世界坐标系的zw轴之间的差值，并将所述两个角点的世界坐标换算为第一世界坐标系中的坐标；
75.由于摄像头的尺寸是已知的，因此，可以根据所述两个角点在第一世界坐标系中的坐标来得到其它角点在第一世界坐标系中的坐标。
76.步骤s3：根据人体站立点的世界坐标和集装箱八个角点的世界坐标判断人体是否处于危险区域。
77.需要说明的是，根据人体站立点的世界坐标和集装箱八个角点的世界坐标判断人体是否处于危险区域，包括：
78.根据集装箱八个角点的世界坐标和人体站立点的世界坐标计算集装箱的底面四条边与人体站立点的距离；
79.根据集装箱的底面四条边与人体站立点的距离来判断人体是否在危险区域。具体地，若集装箱的底面四条边与人体站立点的距离都大于设定的阈值，判断人体处于安全区域，否则判断人体处于危险区域。
80.如图3所示，对应于上述集装箱吊机危险区域检测方法，本发明实施例还提供了一种集装箱吊机危险区域检测系统，其包括摄像头1、图像识别模块2、坐标转换模块3及判断模块4。下面分别进行说明。
81.所述摄像头1，用于采集集装箱吊机区域的图片。
82.需要说明的是，所述摄像头1可采用单目摄像头，也可以采用双面摄像头，其拍摄方向正对集装箱吊机所在区域。摄像头拍摄到集装箱吊机区域的图片后，需要对图片进行识别，从而获取图片中集装箱和人体的位置和在图像坐标系中的坐标。
83.所述图像识别模块2，用于在所述摄像头1采集到的图片中检测集装箱和人体。
84.需要说明的是，本发明实施例中，所述图像识别模块中，采用yolox集装箱图像识别模型来检测图片中的集装箱，采用yolox人体图像识别模型来检测图片中的人体。需要说明的是，yolox模型是一种基于目标检测的神经网络图像识别模型，其可以准确的检测到目标物体并识别出目标物体在图像中所在的位置。在采用yolox模型对集装箱和人体进行检测前，需要分别采用集装箱训练图片集和人体训练图片集对yolox模型进行训练，从而分别得到用于识别集装箱的yolox集装箱图像识别模型和用于检测人体的yolox人体图像识别模型，也可以将同时具有集装箱和人体的图片集对yolox模型进行训练，得到能同时识别出集装箱和人体的yolox图像识别模型。
85.所述坐标转换模块3，用于根据所述摄像头1的安装位置、倾斜角度来计算人体站立点的世界坐标和集装箱八个角点的世界坐标。坐标转换的具体原理已在对集装箱吊机危险区域检测方法的实施例中进行说明，此处不在赘述。
86.所述判断模块4，用于根据集装箱八个角点的世界坐标和人体站立点的世界坐标来判断人体是否在危险区域。
87.需要说明的是，在获取了集装箱八个角点的世界坐标和人体站立点的世界坐标后，即可根据集装箱八个角点的世界坐标和人体站立点的世界坐标计算集装箱的底面四条边与人体站立点的距离，然后再根据集装箱的底面四条边与人体站立点的距离来判断人体是否在危险区域。具体地，若集装箱的底面四条边与人体站立点的距离都大于设定的阈值，
判断人体处于安全区域，否则判断人体处于危险区域。
88.综上所述，采用本发明的集装箱吊机危险区域检测方法及系统，获取摄像头采集到的集装箱吊机区域的图片并在所述图片中检测集装箱和人体，根据摄像头安装位置、倾斜角度分别计算人体站立点的世界坐标和集装箱八个角点的世界坐标，根据集装箱八个角点的世界坐标和人体站立点的世界坐标判断人体是否在危险区域，利用摄像头拍摄的图像对人体站立点和集装箱的各个角点在世界坐标系中的位置进行计算，无论集装箱的高度如何变化，都可以准确的判断人体是否处于危险区域。
89.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。