基于目标检测和SLAM构图的智能巡检系统及方法

基于目标检测和slam构图的智能巡检系统及方法
技术领域
1.本发明涉及人工智能与机器人技术领域，特别是涉及一种基于目标检测和slam构图的智能巡检系统及方法。


背景技术：

2.随着人工智能和机器人技术快速发展，移动机器人在生产车间、物流仓库、变电站等场合的应用逐渐增加。由于机器人所处的工作环境较为复杂，其建图导航和运动控制的难度也相应增加。
3.当前，国内机器人巡检一直作为人工巡视的补充手段，与人工巡视同步开展，如变电站采用人工巡检的方式，一次至少花费2-3个小时，每次巡视至少两名运维人员，需要耗费大量的人力。巡检人员在设备巡检的过程中需要严格按照安全规程，及时发现、及时消除事故隐患。但是例如高压管道漏气、设备外形改变、声响异常这种渐变的物理现象，如果巡检人员没有及时发现，或发现处理不够及时，就会造成严重的事故。
4.智能移动机器人在自主性地执行外部任务时，往往需要自主导航系统或者定位技术的辅助，使得机器人能够根据系统地图提升移动至目的地，从而执行任务。然而对于目前常用的定位系统，例如gps，在存在遮挡条件或者在室内执行任务时，往往会出现定位不准，无法识别区域位置等问题，这使得机器人在移动过程中无法正确地进行判断，很可能无法移动至目的地。
5.因此，机器人的定位与导航逐渐成为该领域研究的热点问题，解决该问题的关键是同时定位和地图构建(simultaneouslocalization and mapping，slam)技术。slam技术可以分为激光slam和视觉slam两大类，目前激光雷达slam在全向移动机器人平台上的应用还比较少见，存在较大的发展空间。


技术实现要素：

6.本发明采用激光slam搭配视觉摄像头，解决室内环境的物体定位及地图构建问题，采用开源ros机器人操作平台来设计智能小车的控制系统，具备易掌握，易修改，易控制以及功能可扩展性强等特点。
7.为实现上述目的，本发明提供了如下方案：
8.基于目标检测和slam构图的智能巡检系统，包括：
9.ros机器人管理单元：用于对各模块单元之间建立通讯机制，使各模块单元之间能够协调运行；
10.惯性测量单元：用于测得所述巡检机器人的加速度和位姿，以及坐标系的比例分量，并将所述比例分量转换到导航坐标系中，得到所述机器人在导航参考坐标系中的位置；
11.slam算法构图单元：用于实现对所述巡检机器人所处未知环境的2d地图构建；
12.目标检测单元：用于对所述巡检机器人捕获的图片经过目标检测算法处理后以视频的形式传送处理结果；
13.网络通信单元：用于与移动终端进行通信；
14.自主导航单元：根据ros机器人管理单元结合惯性测量单元的加速度和位姿及坐标变换树、目标检测单元的实时检测结果、slam算法构图单元构建的地图和网络通信单元的控制信号，为所述巡检机器人输出目标位置及安全速度,使巡检机器人能够动态避障、规划路线、自主导航；
15.所述自主导航单元与所述ros机器人管理单元连接，所述ros机器人管理单元分别与所述惯性测量单元、slam算法构图单元、网络通信单元连接和所述目标检测单元连接。
16.优选地，所述ros机器人管理单元包括若干巡检机器人，所述巡检机器人通过串口收到控制信息后，控制电机驱动电路对底盘进行驱动，完成机器人的机械移动，并搭载激光雷达结合所述slam算法构图单元对位置环境构建2d地图。
17.优选地，所述激光雷达通过激光三角测距技术，对所述激光雷达的测距核心进行顺时针旋转，用于实现对所述巡检机器人周围环境的扫描测距，获得周围环境的轮廓图。
18.优选地，所述惯性测量单元用于反馈巡检机器人的运动状态和位姿，将在加速度状态下测得的所述巡检机器人坐标系比例分量转换到导航坐标系中，得到坐标转换关系数据，基于积分求解比例方程，得到巡检机器人相对于地球的速度，在所述导航参考坐标系下，通过载体速度积分得到所述巡检机器人的位置。
19.优选地，所述slam算法构图单元通过开源的slam算法，利用所述激光雷达扫描数据和所述坐标转换关系数据，发布占据栅格地图数据，实现对所述巡检机器人所处未知环境的2d地图构建。
20.优选地，所述目标检测单元基于yolov4-tiny的目标检测模型，对所述巡检机器人捕获的图片经过目标检测算法处理后，用矩形框出目标在图片的位置以及显示其置信程度，并以视频的形式传送处理结果。
21.优选地，所述网络通信单元基于flask微型python web开发框架实现巡检机器人与移动终端的通信，其中所述巡检机器人与移动终端通信的内容包括目标检测视频流和控制信号。
22.优选地，所述自主导航单元还包括概率定位模块和路径规划模块，所述概率定位模块用于跟踪在已知地图中所述巡检机器人的位置，所述路径规划模块用于提供规划路径和代价地图，生成速度指令并发送至所述巡检机器人。
23.一种基于目标检测和slam构图的智能巡检系统的检测方法，包括：
24.s1、基于ros机器人管理单元、惯性测量单元和slam算法构图单元，确定巡检机器人的位置并对未知环境构建2d地图；
25.s2、通过自主导航单元，确定所述巡检机器人在所述2d地图中的位置并进行路径规划，对标定点进行巡查；
26.s3、基于目标检测单元对所述巡检机器人采集到的图像进行处理，并以视频形式传输给网络通信单元；
27.s4、操作人员通过所述网络通信单元对所述巡检机器人进行控制，通过移动终端实时捕捉前方画面或者将巡检机器人建图结果传回移动终端，同时，操作人员能够使用移动终端上的虚拟摇杆控制巡检机器人的运动状态。
28.本发明的有益效果为：
29.本技术通过深度学习技术来进行危险区域的巡检，以解决人工巡检中存在的消耗人力巨大、巡检速度慢等一系列的问题，能够保障工作人员的人身安全；
30.本技术系统运用yolov4-tiny目标检测技术，对外部输入的图像和文本信息进行处理，将信息与可能发生的隐患反馈到移动终端，并将其作为是否需要提出预警信号的依据并产生预警信号给后台管理系统，大幅度提升了操作人员与危险巡检系统的交互程度，从而极大地提高危险区域检测的效率，消除人工操作带来的误操作与判定疲劳。
附图说明
31.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
32.图1为本发明实施例的一种基于目标检测和slam构图的智能巡检系统结构示意图；
33.图2为本发明实施例的gmapping建图流程示意图；
34.图3为本发明实施例的定位坐标变换关系示意图；
35.图4为本发明实施例的系统框架示意图；
36.图5为本发明实施例的yolov4-tiny网络结构示意图。
具体实施方式
37.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
39.近年来，人工智能领域快速发展。万物互联的智能化时代已经到来，放眼国际世界，众多国家都致力于人工智能产业发展。
40.中国已经将机器人和智能制造纳入国家科技创新的优先重点领域。当前，我国特种机器人市场保持较快发展，各类型产品不断出现，在应对地震、洪涝灾害和极端天气，以及公共安全事件中，对特种机器人有着突出的需求。据统计，我国智能特种机器人活跃企业市场格局主要分为三个梯队，企业的机器人产品类型涉及救护、安防、矿山、巡检、消防、抢险等方面。也就是说，国内巡检机器人主要应用于危险系数较高的行业，因其可以替换人完成高危工作，同时帮助企业降低成本受到众多行业青睐。本发明的应用场景可以推广到相关危险区域巡检在危险系数较高的地带，为减少财产损失和人员伤亡，该发明能得到广泛应用。
41.本发明是针对变电站、污水处理厂、管廊、园区、工厂、仓储、车站等场所完成日常巡检任务，辅助巡检人员及时发现潜在危险，弥补传统危险区域巡检工作人员安全、检查准确性等问题。机器人采用轻量化设计结构，以先进的目标检测和ros机器人技术辅助传统的
危险区域巡检模式，可及时发现和预判周边环境潜在的安全隐患，具有实时性、可靠性和安全性等特点。
42.参照附图1所示，本发明提供一种基于目标检测和slam构图的智能巡检系统，包括：
43.ros机器人管理单元：用于对各模块单元之间建立通讯机制，使各模块单元之间能够协调运行；
44.惯性测量单元：用于测得所述巡检机器人的加速度和位姿，以及坐标系的比例分量，并将所述比例分量转换到导航坐标系中，得到所述机器人在导航参考坐标系中的位置；
45.slam算法构图单元：用于实现对所述巡检机器人所处未知环境的2d地图构建；
46.目标检测单元：用于对所述巡检机器人捕获的图片经过目标检测算法处理后以视频的形式传送处理结果；
47.网络通信单元：用于与移动终端进行通信；
48.自主导航单元：根据ros机器人管理单元结合惯性测量单元的加速度和位姿及坐标变换树、目标检测单元的实时检测结果、slam算法构图单元构建的地图和网络通信单元的控制信号，为所述巡检机器人输出目标位置及安全速度,使巡检机器人能够动态避障、规划路线、自主导航；
49.所述自主导航单元与所述ros机器人管理单元连接，所述ros机器人管理单元分别与所述惯性测量单元、slam算法构图单元、网络通信单元连接和所述目标检测单元连接。
50.在本实施例中(参照图4)，本嵌入式系统分为上位机和下位机，上位机是jetson nano用于目标检测、雷达构图导航，网络通讯等，下位机是stm32，主要用于机器人的电机驱动。
51.ros机器人操作系统是一个开放源代码且可重复使用的软件平台，提供了能够快速创建高性能机器人应用程序的库、工具和规定。它为国际机器人技术界提供了标准化的硬件接口，用于创建、调试、分发运行过程的工具以及用于开发程序的库。
52.巡检机器人实现各种功能的过程中需要许多个节点协同工作，节点间通过发布话题和订阅话题相互通信。巡检机器人的节点包括图像采集、图像处理、图像驱动、slam导航和相关算法。每个具体的功能都是一个节点。利用话题发布的开发，实现节点信息的广播。节点想要接收其他的节点的消息则必须订阅发布者的消息。
53.ros机器人管理单元：利用坐标系变换完成机器人的定位，确定机器人中心坐标系相对于全局坐标系变换关系能够确定巡检机器人地图中的具体位置。此外，巡检机器人地盘坐标系和激光雷达坐标系也是不同的，确定二者的转换关系，能将相对于激光雷达的障碍物距离信息转换成机器人地盘底盘与障碍物的距离信息，从而实现机器人的精准避障和路径规划。
54.惯性测量单元：利用惯性测量单元反馈机器人自身的运动状态(加速度)和位姿将加速度测得的机器人坐标系的比例分量转换到导航坐标系中。在导航坐标系下，通过积分求解比例方程，获得机器人相对地球的速度。在导航参考坐标系下，由载体速度积分得到机器人位置。
55.惯性测量单元采用的是gy-85。gy-85是九轴模块，三个芯片是：陀螺仪、加速度计和磁力计。分别提供三个方向上的角速度、加速度和磁场方向。巡检机器人获得这些信息并
对信号处理后，便可解算出物体的姿态。惯性测量单元提供的是一个相对的定位信息，它的作用是测量相对于起点物体所运动的路线。里程计信息和imu信息通过扩展卡尔曼滤波器进行融合得到一个不容易丢失的机器人姿态，从而实现巡检机器人的定位。
56.slam算法构图单元：利用开源的slam算法，如：gmapping、karto、hector，利用激光扫描数据和移动机器人姿态辅助构建一个2d占据栅格地图。其中，建图算法是核心节点，该节点订阅的是激光雷达数据和坐标转换关系数据，并发布占据栅格地图数据，从而实现对巡检机器人所处未知环境的2d地图构建。
57.激光雷达通过不断向周围发射激光点，在障碍物上，激光雷达脉冲会投射在上面，发射回来的激光脉冲会被接收，障碍物的距离就会在光速与飞行时间差相乘下得到。通过slam算法得出自身位置以及周围的环境信息，最终构造出一份2d栅格地图。
58.巡检机器人搭载了双目深度摄像机，双目深度摄像机获得物体三维坐标信息的基本原理是三角法，即由两个摄像机的图像平面和北侧物体之间构成一个三角形，已知两个摄像机之间的位置关系，便可以获得两摄像机公共视场之间内物体的三维尺寸及空间物体特征点的三维坐标。
59.巡检机器人测距模块采用的是思岚的rplidar-a1激光雷达。rplidar-a1采用激光三角测距技术，配合的高速的视觉采集处理机构，可进行每秒8000次以上的测距动作。rplidar-a1的测距核心顺时针旋转，可实现对周围环境的360度扫描测距检测，从而获得周围环境的轮廓图。得益于先进的内部光学和算法系统，采样频率高达8000次/秒,让机器人能更快速、精确的建图。
60.在本实施例中，巡检机器人搭载的激光雷达结合slam建图算法(gmapping、karto、hrctor)，对未知环境构建2d地图。
61.激光雷达采用激光三角测距技术，可进行每秒8000次以上的测距动作。激光雷达的测距核心顺时针旋转，可实现对周围环境的360
°
扫描测距，从而获得周围环境的轮廓图。
62.以巡检机器人采用的gmapping建图算法为例，slam_gmapping算法监听的消息分别是激光雷达发布的sensor_msgs和坐标管理系统发布的tfmessage，从而发布地图信息。
63.参照图2，gmapping是基于滤波slam框架的常用开源slam算法。gmapping基于rbpf粒子滤波算法，先进行定位再进行建图。gmapping在rbpf算法上做了两个主要的改进，即改进提议分布和选择性重采样。
64.自主导航单元：利用ros操作系统的2d导航navigation功能包通过接收惯性测量单元加速度和位姿以及tf坐标变换树，为巡检机器人输出目标位置以及安全速度。
65.巡检机器人还要借助概率定位模块，实现自适应蒙特卡罗滤波的定位方法，并使用粒子滤波器去跟踪在已知地图中机器人的位置。巡检机器人的路径规划模块则使用base_local_planner功能包，它提供了2d平面局部导航方法。通过提供一个跟随的规划路径和代价地图，控制器生成速度指令发送至机器人。
66.蒙特卡洛定位是巡检机器人在二维移动过程中概率定位系统，再用粒子滤波器来跟踪已经知道的地图中机器人的位姿，对于大范围的局部定位问题工作良好。
67.巡检机器人所处的平面是一个二维空间，在这个二位空间假设机器人的初始位置、状态方程(运动预测方程)、传感器测量数据，用粒子滤波的方法对其定位(如图3)。其基本步骤如下：
68.(1)初始化粒子群；
69.(2)机器人开始运动(每运动一次进行一次测量)；
70.(3)粒子群进行更新(预测步骤)；
71.(4)重采样；
72.(5)重复步骤(2)-(4)，直到结束。
73.最终，巡检机器人的整个运动过程中，小车实际路径以及测量位置、真实位置之间的误差以及粒子群中心位置与真实位置的误差都可以计算出。
74.巡检机器人完成建图后，操作人员按照一定顺序在地图上标定几个点，巡检机器人自主规划路径从起始位置按照顺序依次对标定的点巡查。
75.巡检机器人多目标点巡航由概率定位模块和路径规划模块协同完成。其中定位需要自主构建地图功能提供地图信息(2d栅格地图)，再根据激光雷达提供的距离信息和tf坐标变换，经过自适应蒙特卡罗算法计算出机器人的位置。
76.路径规划是巡检机器人的核心部分，机器人利用环境障碍物信息找到一条到达目标并且开销小的路径。全局路径规划global_planner的任务是为机器人规划出一条尽量短并且易于执行的路径，巡检机器人实际行走时global_planner考虑实时障碍物并制订避让策略。本实施例中采用的全局路径规划器是基于a*算法。a*算法结合了dijstra和bfs算法的优点，和dijstra算法一样，a*能用于搜索最短路径，和bfs一样，a*能用启发式函数引导自己。
77.目标检测单元：用于对所述巡检机器人捕获的图片经过目标检测算法处理后以视频的形式传送处理结果。
78.深度学习的目标检测算法在识别精度，推理速度都比传统的目标检测算法高，正逐步取代传统目标检测算法。综合考虑嵌入式开发板性能和目标检测精度、推理速度，本实施例采用基于yolov4-tiny的目标检测模型。
79.在目标检测算法中，yolov4能达到很高的检测速度，而yolov4-tiny，是yolov4的简化版，它以简化网络结构并减少参数，使其适合在移动和嵌入式设备上进行开发。为了提高目标检测的实时性，yolov4-tiny是一种快速目标检测方法。如图5为yolov4-tiny的整个网络结构示意图。
80.巡检机器人捕获的图片经过目标检测算法处理后用矩形框出目标在图片的位置以及显示其置信程度，并以视频的形式传回处理结果，同时本系统采用tensorrt模型加速工具对yolov4-tiny模型进行加速，使yolov4-tiny模型推理速度能够达到20fps的实时效果。
81.在服务器上对yolov4-tiny的预训练模型进行重新训练，训练完成之后将其部署到嵌入式平台jetson nano上进行实时推理。
82.嵌入式平台jetson nano采用四核64位arm cpu和128核集成nvidia gpu，可提供472gflops的计算性能。它还包括4gb lpddr4存储器，采用高效，低功耗封装，具有5w和10w功率模式。装好ubuntu 18.04的jetson nano有完整的桌面linux环境，具有加速图形，支持nvidia cuda toolkit 10.0，以及cudnn 7.3和tensorrt等库。jetson nano为各种复杂的深度神经网络(dnn)模型提供实时计算机视觉和推理。这些功能支持多传感器自主机器人，具有智能边缘分析的物联网设备和先进的ai系统。甚至转移学习也可以使用ml框架在
jetson nano上本地重新训练网络。
83.网络通信单元：基于flask框架的网络通信，利用flask微型python web开发框架实现巡检机器人与移动终端的通信。巡检机器人和移动终端通信内容包括目标检测视频流和控制信号。
84.移动终端采用基于okhttp的网络框架与嵌入式端web通过http协议建立网络通讯，实时获取嵌入式的视频流，并且能够实时的对嵌入式端发送控制信号，通过建立ui界面与用户进行交互，用户能够实时的对嵌入式端发送的数据进行反馈。
85.本发明还提供一种基于目标检测和slam构图的智能巡检系统的检测方法，包括：
86.s1、基于ros机器人管理单元、惯性测量单元和所述slam算法构图单元，确定巡检机器人的位置并对未知环境构建2d地图；
87.s2、通过自主导航单元，确定所述巡检机器人在所述2d地图中的位置并进行路径规划，对标定点进行巡查；
88.s3、基于目标检测单元对所述巡检机器人采集到的图像进行处理，并以视频形式传输给网络通信单元；
89.s4、操作人员通过所述网络通信单元对所述巡检机器人进行控制，通过移动终端实时捕捉前方画面或者将巡检机器人建图结果传回移动终端，同时，操作人员可以使用移动终端上的虚拟摇杆控制巡检机器人的运动状态。
90.本技术通过深度学习技术来进行危险区域的巡检，以解决人工巡检中存在的消耗人力巨大、巡检速度慢等一系列的问题，能够保障工作人员的人身安全；
91.本技术系统运用yolov4-tiny目标检测技术，对外部输入的图像和文本信息进行处理，将信息与可能发生的隐患反馈到移动终端，并将其作为是否需要提出预警信号的依据并产生预警信号给后台管理系统，大幅度提升了操作人员与危险巡检系统的交互程度，从而极大地提高危险区域检测的效率，消除人工操作带来的误操作与判定疲劳。
92.以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。