一种轮胎式龙门吊移动平台双侧枪球联动方法及系统与流程

本技术涉及吊装系统运输领域，尤其涉及一种轮胎式龙门吊移动平台双侧枪球联动方法及系统。

背景技术：

1、港口固定设备自动化已成熟，但堆场流动集卡实时感知存在严重短板，集卡实时位置不透明、场桥与集卡供需错配、集卡空驶率高、作业效率低下。

2、现有感知技术均无法跟随rtg（rubber-tyred gantry crane，轮胎式集装箱门式起重机）移动，作业区域随rtg移动产生大量视觉盲区，无法实现连续覆盖。

3、因此，有必要提供一种轮胎式龙门吊移动平台双侧枪球联动方法及系统，以解决上述问题。

技术实现思路

1、本技术提供一种轮胎式龙门吊移动平台双侧枪球联动方法及系统，通过第一图像获取模块和第二图像获取模块的联动检测，极大地提升了感知覆盖率并减少视觉盲区，从而实现连续覆盖。

2、本技术提供一种轮胎式龙门吊移动平台双侧枪球联动方法，所述方法包括：

3、通过第一图像获取模块实时检测视野范围内的目标集卡以获取集卡的位置信息，所述第一图像获取模块设置在轮胎式龙门起重机的大梁车道侧面，所述第一图像获取模块为枪机；

4、通过第二图像获取模块将所述目标集卡锁定在画面中心区域以抓拍高清特写图像，从而精细识别所述目标集卡的车牌号以及集装箱号，所述第二图像获取模块设置在所述轮胎式龙门起重机的过道下方，所述第二图像获取模块为球机；

5、通过数据处理模块接收所述第一图像获取模块传输的所述集卡的位置信息，所述数据处理模块还用于根据预设的所述第二图像获取模块的相机参数得到所述第二图像获取模块锁定所述目标集卡所需的控制参数；

6、所述数据处理模块接收到所述位置信息后，计算ptz控制参数，将所述ptz控制参数发送至所述第二图像获取模块，所述ptz控制参数包括云台角度、俯仰角度和变焦倍数；

7、ptz驱动器驱动云台电机、俯仰电机和变焦电机，调整所述第二图像获取模块的云台角度、俯仰角度和变焦倍数，将目标集卡锁定在画面中心区域；

8、所述数据处理模块判断所述第二图像获取模块是否已成功锁定目标，若未成功锁定，则重新计算并下发修正后的ptz控制信号，形成闭环反馈控制。

9、优选地，所述第一图像获取模块包括第一图像获取子单元和第二图像获取子单元，所述第二图像获取模块包括第三图像获取子单元和第四图像获取子单元，所述第一图像获取子单元和所述第二图像获取子单元分别设置在所述轮胎式龙门起重机的大梁车道的左侧和右侧，所述第三图像获取子单元和所述第四图像获取子单元分别设置在所述轮胎式龙门起重机的过道下方的左侧和右侧，所述第一图像获取子单元和所述第二图像获取子单元形成镜像对称布局，所述第三图像获取子单元和所述第四图像获取子单元的安装高度和旋转底座规格保持一致，所述数据处理模块同时接收所述第一图像获取子单元和第二图像获取子单元传输的所述集卡的位置信息，根据目标集卡的位置，选择距离所述目标集卡更近的所述第三图像获取子单元或所述第四图像获取子单元对所述目标集卡的车牌号以及集装箱号进行精细识别。

10、优选地，所述ptz驱动器包括云台电机、俯仰电机和变焦电机，所述云台电机用于驱动所述第二图像获取模块水平旋转，所述俯仰电机用于驱动所述第二图像获取模块垂直俯仰，所述变焦电机用于驱动光学变焦镜头。

11、优选地，所述通过第一图像获取模块实时检测视野范围内的目标集卡包括：

12、通过目标检测模型识别所述目标集卡，定位接地点像素坐标。

13、优选地，所述获取集卡的位置信息包括：

14、通过逆透视变换结合rtg定位融合，解算集卡全局坐标；

15、具体包括如下步骤：

16、像素点归一化，设检测框选取点为像素坐标，相机内参为，则归一化坐标为：

17、

18、俯仰角及偏航角计算，设相机俯仰角为 ，偏航角 ；

19、先做俯仰旋转：

20、

21、再做偏航旋转：

22、

23、与地面平面求交得到世界坐标，设相机高度为，地面方程为 ，则比例系数：

24、

25、车辆对应地面点世界坐标为：

26、

27、其中，为横向坐标， 为纵向距离；

28、融合rtg中心偏移，为统一到rtg中心坐标系，引入纵向偏移：

29、

30、全局贝位计算，设rtg当前贝位为 ，贝位长度为 ，车辆中心纵向坐标为，则：

31、

32、其中，为浮点贝位， 为整数贝位。

33、优选地，所述计算ptz控制参数包括：

34、通过调度算法自动计算所述ptz控制参数。

35、优选地，所述精细识别所述目标集卡的车牌号以及集装箱号包括：

36、通过多任务模型并行识别所述车牌号以及集装箱号。

37、优选地，融合双侧数据，生成全局统一目标列表。

38、优选地，按照kafka协议封装数据，将所述数据实时上报。

39、本技术还提供一种轮胎式龙门吊移动平台双侧枪球联动系统，所述系统包括：

40、第一图像获取模块，其用于实时检测视野范围内的目标集卡以获取集卡的位置信息，所述第一图像获取模块设置在轮胎式龙门起重机的大梁车道侧面，所述第一图像获取模块为枪机；

41、第二图像获取模块，其用于将所述目标集卡锁定在画面中心区域以抓拍高清特写图像，从而精细识别所述目标集卡的车牌号以及集装箱号，所述第二图像获取模块设置在所述轮胎式龙门起重机的过道下方，所述第二图像获取模块为球机；

42、数据处理模块，其用于接收所述第一图像获取模块传输的所述集卡的位置信息，所述数据处理模块还用于根据预设的所述第二图像获取模块的相机参数得到所述第二图像获取模块锁定所述目标集卡所需的控制参数；

43、ptz控制参数计算模块，其用于当所述数据处理模块接收到所述位置信息后，计算ptz控制参数，将所述ptz控制参数发送至所述第二图像获取模块，所述ptz控制参数包括云台角度、俯仰角度和变焦倍数；

44、ptz驱动模块，其用于驱动云台电机、俯仰电机和变焦电机，调整所述第二图像获取模块的云台角度、俯仰角度和变焦倍数，将目标集卡锁定在画面中心区域；

45、目标锁定判断模块，其用于通过所述数据处理模块判断所述第二图像获取模块是否已成功锁定目标，若未成功锁定，则重新计算并下发修正后的ptz控制信号，形成闭环反馈控制。

46、本技术对比现有技术有如下的有益效果：本技术提供的一种轮胎式龙门吊移动平台双侧枪球联动方法及系统，所述方法包括：通过第一图像获取模块实时检测视野范围内的目标集卡以获取集卡的位置信息，所述第一图像获取模块设置在轮胎式龙门起重机的大梁车道侧面，所述第一图像获取模块为枪机；通过第二图像获取模块将所述目标集卡锁定在画面中心区域以抓拍高清特写图像，从而精细识别所述目标集卡的车牌号以及集装箱号，所述第二图像获取模块设置在所述轮胎式龙门起重机的过道下方，所述第二图像获取模块为球机；通过数据处理模块接收所述第一图像获取模块传输的所述集卡的位置信息，所述数据处理模块还用于根据预设的所述第二图像获取模块的相机参数得到所述第二图像获取模块锁定所述目标集卡所需的控制参数；所述数据处理模块接收到所述位置信息后，计算ptz控制参数，将所述ptz控制参数发送至所述第二图像获取模块，所述ptz控制参数包括云台角度、俯仰角度和变焦倍数；ptz驱动器驱动云台电机、俯仰电机和变焦电机，调整所述第二图像获取模块的云台角度、俯仰角度和变焦倍数，将目标集卡锁定在画面中心区域；所述数据处理模块判断所述第二图像获取模块是否已成功锁定目标，若未成功锁定，则重新计算并下发修正后的ptz控制信号，形成闭环反馈控制，通过第一图像获取模块和第二图像获取模块的联动检测，极大地提升了感知覆盖率并减少视觉盲区，从而实现连续覆盖。