一种基于深度相机和激光雷达的港区智能巡检机器人的制作方法

1.本实用新型属于巡检机器人技术领域，尤其涉及一种基于深度相机和激光雷达的港区智能巡检机器人。


背景技术：

2.港区巡检工作是及时发现和排除安全隐患、保障港区安全稳定运转的必要工作之一。传统的港区巡检方式主要以人工定时定点巡检为主，一线工作人员携带纸质标准巡检作业书，到达指定地点后，通过个人判断以及手持红外热像仪、相机等相关配套检测装置对港口基础设施、机械设备等进行检测，确认是否存在安全隐患。
3.由于港区范围较大、设施设备较多、人工检测耗费时间较长且由于巡检人员可能存在经验不足等情况，所以人工巡检的过程中有可能存在检测不及时、误判、错判的现象。此外，通过人工巡检方式获得的数据较为零散，对获取的大量巡检数据无法进行科学有效的分析，也没有足够的能力对长期巡检下来的历史数据进行全方面的对比，无法及时有效发现安全隐患。随着港区内基础设施、设备数量的不断增多，且覆盖面不断扩大，日常巡检的任务也日益繁重，人工巡检的劣势愈加明显。
4.自动导引车辆技术和机器人技术的长足发展为开发设计智能巡检机器人系统提供了理论基础和实践方向，可以想见的是，采用自动巡检机器人代替现有的人工巡检操作将带来诸多的优点。首先，港区巡检作业任务通过机器人自动巡检可在一定程度上代替人工完成大部分常规巡检工作，且可以减少户外恶劣环境条件下人员前往的次数，减轻了工作人员的工作强度；其次，自动巡检机器人能极大降低巡检设备费用及人工成本，维护相对简单；再者，港区巡检机器人可以有效监测当前环境的相关信息，对关注区域进行拍照数据留存，将采集的数据通过后台分析后可以传送到后台管理系统，当发生异常时可进行报警提醒，提高了港区的安全性，且具有客观可验证性；再者，港区巡检机器人可以统一规划好巡检路径、巡检时间，不会出现巡检顺序混乱的状况，也不会对当前港口生产作业产生影响，从而保证港口生产管理资源有效合理利用。
5.因此，开发设计港区智能巡检机器人并应用在港区巡检工作中，将极大地提高巡检工作效率，具有较高的安全效益、经济效益和社会效益。


技术实现要素：

6.本实用新型为解决公知技术中存在的技术问题而提供一种结构设计合理、能够自主规划巡检路线的基于深度相机和激光雷达的港区智能巡检机器人，提高巡检工作效率，提升港区运营的安全效益、经济效益和社会效益。
7.本实用新型为解决公知技术中存在的技术问题所采取的技术方案是：一种基于深度相机和激光雷达的港区智能巡检机器人包括带有车载电源的轮式移动底盘，在轮式移动底盘上安装有嵌入式控制器，轮式移动底盘的伺服驱动电机通过伺服驱动器与嵌入式控制器连接，车载电源通过电源管理模块与嵌入式控制器连接；还包括用于获取场景rgb图像及
深度图像的深度相机以及用于对场景进行扫描的激光雷达，深度相机和激光雷达均与嵌入式控制器连接；还包括用于获取巡检数据的可见光摄像头、红外热像仪、激光雷达传感器和超声波传感器，可见光摄像头、红外热像仪、激光雷达传感器和超声波传感器均与嵌入式控制器连接；还包括无线通信模块，无线通信模块与嵌入式控制器连接。
8.本实用新型的优点和积极效果是：
9.本实用新型提供了一种结构设计合理的基于深度相机和激光雷达的港区智能巡检机器人，通过将巡检机器人基于轮式移动底盘构建，令巡检机器人能够自主移动，移动灵活、通过性好。通过在轮式移动底盘上安装嵌入式控制器、深度相机和激光雷达，实现了对场景rgb图像及深度图像的获取以及高速激光扫描，嵌入式控制器通过执行内置算法实现了对场景的三维地图构建，并且通过执行路径规划算法实现巡检路线的自主规划。
10.通过设置可见光摄像头、红外热像仪、激光雷达传感器和超声波传感器，令巡检机器人具备了多种获取巡检数据的手段。通过设置无线通信模块，令本巡检机器人具备与控制中心之间的通信能力，因此巡检数据能够实时传输至控制中心，保证数据传输实时可靠，同时本港区智能巡检机器人能够以无线通信的方式从控制中心接收控制指令。
11.本港区智能巡检机器人通过执行自动巡检过程，可在一定程度上代替人工完成大部分常规巡检工作，且可以减少户外恶劣环境条件下人员前往的次数，减轻了工作人员的工作强度。自动巡检机器人能极大降低巡检设备费用及人工成本，维护简单。港区巡检机器人可以有效监测当前环境的相关信息，对关注区域进行数据留存，将采集的数据分析后传输至控制中心，当发生异常时可及时响应处理，提高了港区的安全性。本港区智能巡检机器人可以统一规划好巡检路径、巡检时间，不会出现巡检顺序混乱的状况，也不会对当前港区生产作业产生影响，从而保证港区生产管理资源得到有效合理的利用。
12.优选地：还包括用于获取场景高分辨率图像的双目相机，双目相机与嵌入式控制器连接。
13.优选地：还包括用于获取精确位置信息的gnss模块，gnss模块与嵌入式控制器连接。
14.优选地：在轮式移动底盘上还安装有姿态角度传感器，该姿态角度传感器与嵌入式控制器连接。
15.优选地：所述激光雷达选取为16线激光雷达。
16.优选地：所述轮式移动底盘的伺服驱动电机设置有四个，各自单独配置伺服驱动器。
附图说明
17.图1是本实用新型的结构框图。
具体实施方式
18.为能进一步了解本实用新型的

技术实现要素：
、特点及功效，兹举以下实施例详细说明。
19.请参见图1，本实用新型的基于深度相机和激光雷达的港区智能巡检机器人包括带有车载电源的轮式移动底盘，在轮式移动底盘上安装有嵌入式控制器，轮式移动底盘的伺服驱动电机通过伺服驱动器与嵌入式控制器连接，车载电源通过电源管理模块与嵌入式
控制器连接。
20.嵌入式控制器是用于执行指定独立控制功能并具有复杂方式处理数据能力的控制系统，由硬件部分和软件系统构成。其中，硬件部分是由嵌入式微电子技术芯片(包括微处理器芯片、定时器、序列发生器或控制器等一系列微电子器件)来控制的电子设备或装置，能够完成数据处理、控制等各种自动化处理任务，软件系统包括嵌入式操作系统，本实用新型的嵌入式操作系统基于斯坦福人工智能实验室开源的ros操作系统(robot operation system)进行开发设计。
21.在软件控制和路径规划方面，通过全局规划和局部规划模块，机器人可依据给定的目标进行路径规划和动态避障，通过快速随机搜索算法，机器人可以实现对未知环境的探索。在ros操作系统之上，利用gmapping算法构建空间平面地图，并转化为可以进行路径规划的costmap，采用a
‑
srar算法实现机器人的全局路径规划，采用dwa算法实现局部规划，综合建图和路径规划算法实现了未知环境的探索。
22.电源管理模块对车载电源提供充电管理、电量计量管理以及充放电短路保护等功能。轮式移动底盘向伺服驱动器下发驱动指令，伺服驱动电机驱动车轮转动，实现前进、后退、转弯、原地转向等动作。
23.具体地，本实施例中选取型号为dgt
‑
001m的机器人移动底盘。该机器人底盘是一款多功能行业应用的车辆底盘产品，是一种四轮运载平台，采用四轮差速结构，具有体型小、灵活性强的特点。采用模块化设计，具有相对独立性、互换性、通用性，模块接口部位的结构、尺寸和参数标准化，容易实现模块间的互换。也可以对模块单独进行设计、制造、调试、修改和存储，有利于实现模块的通用。同时内部排布不紧凑，空间较大，可快速便捷的进行二次开发。通过搭载自主导航、gps、惯导等一系列扩展设备，可应用于巡检、安防、科研等不同领域。该移动机器人底盘配备了标准can通讯协议，可以通过can接口进行二次开发。
24.本实施例中，轮式移动底盘的伺服驱动电机设置有四个，各自单独配置伺服驱动器，这四个伺服驱动器均与嵌入式控制器连接，接受嵌入式控制器的单独控制，实现前述前进、后退、转弯、原地转向等动作模式。
25.本实施例中，在轮式移动底盘上还安装有姿态角度传感器，该姿态角度传感器与嵌入式控制器连接。姿态角度传感器用于实时检测和求解轮式移动底盘的姿态角度，具体地，本港区智能巡检机器人采用了基于jt901芯片的姿态角度传感器，该姿态角度传感器集成了高精度的陀螺仪、加速度计、地磁场传感器，采用高性能的微处理器和先进的动力学解算与卡尔曼动态滤波算法，快速求解出巡检机器人当前的实时运动姿态。
26.还包括用于获取场景rgb图像及深度图像的深度相机以及用于对场景进行扫描的激光雷达，深度相机和激光雷达均与嵌入式控制器连接，深度相机和激光雷达采用支架安装固定在轮式移动底盘上。本实施例中，深度相机选取为rgb
‑
d深度相机，激光雷达选取为16线激光雷达。
27.本港区智能巡检机器人通过在嵌入式控制器的软件系统上执行slam算法来构建港区环境的地图，机器人需要一边实时地估计自己的位姿，另一边实时地建立一个描述未知环境的地图。同时定位与地图构建算法(simultaneous localization and mapping，即slam)正是通过这种方式实现机器人的自主性。深度相机和激光雷达用于提供slam算法所需要的环境rgb图像、深度图像和点云数据，根据获取的环境rgb图像、深度图像和点云数据
实时计算相机的位姿，形成运动轨迹，构建室内场景的三维环境稠密地图。
28.深度相机通过物理的方法而非计算的形式获取图像的深度数据，在算法的实时性、精确度上有很好的优势。目前的rgb
‑
d深度相机的主流型号有微软kinect、华硕xtion、奥比中光、英特尔realsense等。
29.以微软kinect为例，kinect1.0主要由三个摄像头组成，从左向右依次为红外线发射器、rgb彩色摄像头和红外线相机。kinect1.0采用光编码(light coding)结构光技术来实现测距。光编码结构光技术是使用红外线发射器发射一种具有深度的立体编码，当红外线遇到物体后发生反射或者散射便会产生散斑图，不同的散斑图案便对应着不同的深度信息。使用kinect前，先需要对光源进行标定：假设需要测距的空间为kinect前方1～5米的距离，每5mm取一个参考平面则一共可以得到1000幅参考散斑图像。将待测的散斑图像与所有的参考图像进行相关性计算从而得到1000幅相关度图像，空间中物体的位置就与这些相关图像的峰值位置有关，再经过插值计算即可得到场景的深度信息。
30.激光雷达选取为rs
‑
lidar
‑
16机型，结构紧凑，由16组激光/探测器组成，提供360
°
的3d图像。机身快速旋转对周围环境进行扫描，每秒上千次的激光发射实时生成密集3d点云，获取的点云数据用于构建港区的栅格
‑
拓扑地图。目前，激光雷达已经广泛应用在了无人驾驶以及相关技术领域。
31.通过16线激光雷达传感器获取周围环境信息，从而创建栅格
‑
拓扑地图。利用粒子滤波方法进行采样初始估计移动机器人的位置和姿态，然后在此初始估计的基础上，利用相邻两帧激光雷达扫描数据使用快速icp算法来实现虚拟航迹推算传感器，获得移动机器人位姿的精确估计。
32.本实施例中，还包括用于获取场景高分辨率图像的双目相机，双目相机与嵌入式控制器连接，双目相机采用支架安装固定在轮式移动底盘上。
33.双目相机初次安装，需要首先运行路面自动标定，可在较开阔路面进行标定。双目相机可自动计算相机和路面的相对关系，作为检测模式的启动参数。采用双目相机(包括左摄像设备和右摄像设备)进行图像获取的方法包括以下步骤：(1)从双目摄像设备获取一个图像对，包括左摄像设备获得的左图和右摄像设备获取的右图，左图和右图是同时拍摄的；(2)双目相机是标定过的，利用标定的相机内部参数矫正左图和右图的到无畸变的无畸左图和无畸右图；利用相机的外部参数使得无畸左图和无畸右图极线对齐得到矫正左图和矫正右图；(3)同时插值扩大矫正左图和矫正右图，并以矫正右图为基准，在矫正左图同一水平线附近，搜索对应匹配点；(4)融合对于的矫正右图和矫正左图对应匹配点，得到高分辨率图像。
34.还包括用于获取巡检数据的可见光摄像头、红外热像仪、激光雷达传感器和超声波传感器，可见光摄像头、红外热像仪、激光雷达传感器和超声波传感器均与嵌入式控制器连接。可见光摄像头、红外热像仪、激光雷达传感器和超声波传感器安装固定在轮式移动底盘上的设定位置，各部件均为现有部件，通过市购获取。
35.其中，可见光摄像头用于获取巡检图像/视频，即朝向巡检位置拍摄图像并通过对图像/视频进行分析以获取安全隐患信息(如管道锈蚀等)，红外热像仪用于获取巡检的热力图像/视频，即获取巡检位置的红外热力图像/视频并通过对热力图像/视频进行分析以获取安全隐患信息，激光雷达传感器用于获取巡检位置的激光雷达成像并通过对雷达成像
的进行分析以获取安全隐患信息，超声波传感器用于获取超声波检查图像/视频，即获取检查位置的超声波图像/视频并通过对图像/视频进行分析以获取安全隐患信息(如管道裂纹等)。
36.还包括无线通信模块，无线通信模块与嵌入式控制器连接。无线通信模块通过移动通信网络与控制中心进行通信，可以实时传输视频、音频、图像信息到控制中心，保证数据传输实时可靠，同时通过无线通信模块，控制中心向本港区智能巡检机器人发送控制指令。控制中心能够实时显示巡检机器人的位置状态信息，具备整个港区完整的电子地图显示功能，可实时显示巡检机器人巡检时获取的高清视频、红外视频等，并且巡检机器人能够自主返回控制中心充电。
37.还包括用于获取精确位置信息的gnss模块，gnss模块与嵌入式控制器连接。gnss模块是指采用差分定位技术的gnss(全球导航卫星系统，global navigation satellite system)定位模块，采用gps和北斗双模定位，其中gps采用差分定位技术以提高定位精度。gnss模块从全球导航卫星系统接收位置信号，获取巡检机器人的精确位置。
38.本实用新型的基于深度相机和激光雷达的港区智能巡检机器人将巡检机器人应用在环境较复杂的港口区域，替代了人工定时定点巡检方式。
39.本巡检机器人基于视觉slam算法，在ros机器人软件系统上实现了港区环境下的定位和建图任务，通过深度相机和激光雷达的融合计算，提高了定位和建图的精度，减少了巡检机器人位置和姿态估计误差。通过集成本项目开发的定位和地图构建算法、路径规划算法、融合定位算法，实现构建高精度地图并在高精度地图中实现自主移动。