驾驶舱下置的智能塔吊控制方法和系统与流程

技术特征：
1.一种驾驶舱下置的智能塔吊控制方法，其特征在于，包括：在塔身和主横梁交界处的多个方向上分别安装多个摄像头，用于采集所述塔身和主横梁交界处不同方向的视频并发送给下置驾驶舱内的全景视频模拟器；在吊钩上安装高度传感器；所述全景视频模拟器根据所述塔身和主横梁交界处不同方向的视频进行全景拼接，模拟所述塔身和主横梁交界处的全景视图，并发送给用户佩戴的虚拟现实设备；所述虚拟现实设备具有高空操作模式和下置操作模式；所述高度传感器将吊钩高度信息发送给塔吊控制器，塔吊控制器根据所述吊钩高度信息提示用户选择佩戴的虚拟现实设备的工作模式；当所述用户选择切换虚拟现实设备到高空操作模式时，所述虚拟现实设备打开内置显示屏，显示模拟的所述塔身和主横梁交界处的全景视图，以便于用户执行高空塔吊操作；当所述用户选择切换虚拟现实设备到下置操作模式时，虚拟现实设备关闭模拟的所述塔身和主横梁交界处的全景视图，收缩内置显示屏，以便于用户执行下置塔吊操作。2.根据权利要求1所述的方法，其特征在于，所述下置操作模式时，所述虚拟现实设备切换为遮光太阳镜功能。3.根据权利要求2所述的方法，其特征在于，所述在塔身和主横梁交界处的多个方向上分别安装多个摄像头，用于采集所述塔身和主横梁交界处不同方向的视频并发送给下置驾驶舱内的全景视频模拟器，包括：在塔吊塔身和主横梁交界处安装至少六个摄像头，所述六个摄像头分别对准所述塔身和主横梁交界处的前、后、左、右、上、下六个方位；所述六个摄像头采集所述六个方位的视频并通过有线或者无线的方式发送给全景视频模拟器。4.根据权利要求3所述的方法，其特征在于，所述全景视频模拟器根据所述塔身和主横梁交界处不同方向的视频进行全景拼接，模拟所述塔身和主横梁交界处的全景视图，并发送给用户佩戴的虚拟现实设备，包括：通过六个摄像头的视频在深度为无穷远处的六个图像，计算图像变换矩阵，获得深度为无穷远处的参考平面图像变换矩阵；将其它深度信息值标定多个不同的深度等级，获得每个深度等级所对应的深度信息值处的平面图像变换矩阵；其中，深度信息值是指物体到成像平面的距离；利用所述的参考平面图像变换矩阵，将六视频在深度为无穷远处的六个图像进行几何变换，获得合成图像，作为参考全景图像；计算六个视频的重叠区域的当前深度信息值，根据所述的当前深度信息值对应所述的深度等级以及对应的平面图像变换矩阵，获得合成图像，作为重叠区域全景图像；将所述重叠区域全景图像和所述参考全景图像进行混合渲染，形成当前的全景视频图像；将全景拼接后的视频发送给用户佩戴的虚拟现实设备。5.根据权利要求3所述的方法，其特征在于，所述全景视频模拟器根据所述塔身和主横梁交界处不同方向的视频进行全景拼接，模拟所述塔身和主横梁交界处的全景视图，并发送给用户佩戴的虚拟现实设备，包括：
采用同态滤波、直方图均衡化和最小二乘法滤波算法对所述塔身和主横梁交界处不同方向的视频图像进行图像增强处理；根据预设查找表文件和图像增强后的所述塔身和主横梁交界处不同方向的视频图像进行图像拼接；根据所述查找表文件，以所述塔身和主横梁交界处正前方的摄像头图像为基准建立坐标系，将其他方向的摄像头图像变换到所述坐标系中，完成图像的拼接；所述塔身和主横梁交界处正前方是指主横梁指向吊钩的方向；根据拼接后的所述塔身和主横梁交界处不同方向的视频图像和预设融合算法，对相邻摄像头的图像拼接接缝处进行融合；将全景拼接后的视频发送给用户佩戴的虚拟现实设备。6.如权利要求3所述的方法，其特征在于，所述全景视频模拟器根据所述塔身和主横梁交界处不同方向的视频进行全景拼接，模拟所述塔身和主横梁交界处的全景视图，并发送给用户佩戴的虚拟现实设备，包括：(1)对系统进行初始化，系统使用同一配置线同时对多个摄像头的每个进行配置；(2)通过fpga分时段分别读取每块摄像头的视频数据；(3)进行图像畸变校正；(4)通过fpga进行图像配准拼接；(5)进行图像融合；(6)将全景拼接后的视频发送给用户佩戴的虚拟现实设备。7.根据权利要求4－6任一项所述的方法，其特征在于，所述高度传感器将吊钩高度信息发送给塔吊控制器，塔吊控制器根据所述吊钩高度信息提示用户选择佩戴的虚拟现实设备的工作模式，包括：高度传感器将吊钩高度信息发送给塔吊控制器；塔吊控制器根据所述吊钩高度信息查找当前塔吊任务适合高空观察还是地面观察；根据当前塔吊任务适合高空观察，提示用户切换佩戴的虚拟现实设备的工作模式到高空操作模式；根据当前塔吊任务适合地面观察，提示用户切换佩戴的虚拟现实设备的工作模式到下置操作模式。8.一种驾驶舱下置的智能塔吊控制系统，其特征在于，包括：传感器模块，用于在塔身和主横梁交界处的多个方向上分别安装多个摄像头，用于采集所述塔身和主横梁交界处不同方向的视频并发送给下置驾驶舱内的全景视频模拟器；在吊钩上安装高度传感器；全景拼接模块，用于所述全景视频模拟器根据所述塔身和主横梁交界处不同方向的视频进行全景拼接，模拟所述塔身和主横梁交界处的全景视图，并发送给用户佩戴的虚拟现实设备；所述虚拟现实设备具有高空操作模式和下置操作模式；模式选择模块，用于所述高度传感器将吊钩高度信息发送给塔吊控制器，塔吊控制器根据所述吊钩高度信息提示用户选择佩戴的虚拟现实设备的工作模式；高空模式模块，用于当所述用户选择切换虚拟现实设备到高空操作模式时，所述虚拟现实设备打开内置显示屏，显示模拟的所述塔身和主横梁交界处的全景视图，以便于用户执行高空塔吊操作；下置模式模块，用于当所述用户选择切换虚拟现实设备到下置操作模式时，虚拟现实设备关闭模拟的所述塔身和主横梁交界处的全景视图，收缩内置显示屏，以便于用户执行
下置塔吊操作。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1－7任一项所述的方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1－7中任一项所述的方法。

技术总结
本申请实施例提供一种驾驶舱下置的智能塔吊控制方法和系统。该方法包括：全景视频模拟器根据塔身和主横梁交界处不同方向的视频进行全景拼接，模拟所述塔身和主横梁交界处的全景视图，并发送给用户佩戴的虚拟现实设备；高度传感器将吊钩高度信息发送给塔吊控制器，塔吊控制器根据所述吊钩高度信息提示用户选择佩戴的虚拟现实设备的工作模式；虚拟现实设备根据所述用户选择切换虚拟现实设备到高空操作模式或下置操作模式时，开启或关闭模拟的所述塔身和主横梁交界处的全景视图，以便于用户执行塔吊操作。本申请现场全景视频采集方式使得位于驾驶舱下置智能塔吊中控室内的操作人员能够根据现场施工需要，智能、灵活的切换高低空视角，极大丰富了塔吊的智能控制功能和控制效果。控制效果。控制效果。


技术研发人员：陈德木 蒋云 赵晓东 陆建江 陈曦
受保护的技术使用者：杭州大杰智能传动科技有限公司
技术研发日：2022.01.24
技术公布日：2022/6/4