基于ROS的视觉四旋翼无人机的制作方法

基于ros的视觉四旋翼无人机
技术领域
1.本实用新型属于无人机技术领域，涉及基于ros的视觉四旋翼无人机。


背景技术：

2.近年，随着机器人学的不断发展和多种基于arm架构的ai计算板卡(如nvidia的tx、nx系列板卡等)体积的不断减小和计算能力的不断攀升，被越来越多包括汽车、无人机、无人船、机械狗在内的智能自驾机器设备开发者所使用。
3.在视觉传感器方面，stereolab公司开发的zed系列双目摄像头为开发者提供了ros开发功能包，开发者可以使用其提供的接口处理摄像头的深度信息以实现视觉里程计的功能，同时使用opencv对图像进行其他处理。
4.同时，在cuda的支持下，开发者们可以使用pytorch、tensorflow等成熟的ai计算框架方便地在ai计算板卡上部署自己的神经网络并用神经网络进行多种传感器数据处理并使用神经网络输出作为控制机器人任务执行过程的重要依据。
5.开源硬件方面，pixhawk硬件支持的px4固件对多种旋翼飞机提供了稳定的控制接口，通过mavros，ros开发者可以通过上位机的节点对飞行器进行稳定的控制。同时，rosserial功能包的问世又为开发者提供了arduino单片机的串口通信助手，为开发平台的拓展性奠定了基础，用户可以通过简单的连线以及自主开发实现如无人机云台开发和无人机气象站的开发
6.综上所述，基于ros的视觉四旋翼开发平台所需的技术已经足够成熟，可以研发适用于高校学生的版本，作为大学自动化等相关专业的高水平实验室教具。
7.国内的阿木实验室的p系列无人机开发平台使用安装了ros的英伟达计算板卡与intel realsense(t265作为视觉里程计、d435作为深度摄像头获取深度信息)开发的科研无人机开发学习平台。采用多种传感器实现开发演示功能，如：t265视觉里程计、d435深度摄像头、思岚科技激光雷达、tfmini激光模块等。
8.现有的用户较多的产品在利用深度视觉开发时通常采用的方案是将d435作为深度相机，输出深度信息用于生成地图，而无人机本身的位置信息(室内应用开发)则是利用另一个双目摄像头t265单独处理图像，解算图像特征点得到的。两个摄像头的信息还需经过坐标转换处理才输入路径规划器被调用。而深度相机本身不仅可以处理深度信息为点云信息，也能将图像中的特征点进行解算得到无人机自身的室内位置信息，因此，现有的这种解决方案为开发过程增加了不必要的成本，挤占了科研无人机上本身就并不算多的空间，不便于用户进行自己的硬件与机械结构拓展。
9.现在市面上较多见的科研无人机平台的硬件部分没有足够的可拓展性，未能考虑到多种开源硬件平台之间已经建立了有效且可靠的通信方案，不能满足用户自主添加如舵机货仓、气体传感器等外设的需求
10.本实用新型需要解决科研无人机机身视觉传感器冗余而导致的搭建成本偏高以及机身机械结构不够简洁、空间小、可拓展性差的问题。
11.同时解决用户不能基于单片机等嵌入式系统开发拓展硬件实现新功能并被ros调用的问题，提高科研无人机的可拓展性。


技术实现要素：

12.有鉴于此，本实用新型的目的在于提供一种基于ros的视觉四旋翼无人机。首先仅使用一个双目视觉传感器同时达到输出点云信息与无人机室内位置信息的目的，节省科研无人机的搭建成本以及机械空间，提高整体结构的美观性和简约性，方便用户添加机械结构和其他硬件拓展。
13.在无人机底部加装arduino单片机及simplefoc无刷电机驱动板，并通过下载线与机载计算机串口通信，传递控制指令等信息，开发人员可以基于arduino开发多种拓展硬件以实现针对不同场景而设计的特殊功能。
14.为达到上述目的，本实用新型提供如下技术方案：
15.基于ros的视觉四旋翼无人机，包括无人机躯体部分、飞行控制模块、分体电调、gps模块、gps支架、航模无刷电机、锂电池、双目摄像头、双目摄像头稳定机构、碳管、板载计算机、飞行控制模块分电板、底座、无刷电机一、摆臂一、摆臂二、无刷电机三、夹持机构、无刷电机二和单片机与控制板；
16.所述无人机躯体部分是由三层碳板和铝柱交替排列的层级结构，位于最上方的碳板上放置飞行控制模块以及板载计算机，无人机躯体部分的右侧，通过gps支架连接gps模块；在由上至下的第一层和第二层碳板之间放置飞行控制模块分电板、四个分体电调以及飞机左右两侧的两个锂电池；在由上至下的第二层和第三层碳板之间固定四根碳管；
17.所述无人机躯体部分的第三层碳板的正下方，通过螺丝螺母连接着双目摄像头稳定机构；双目摄像头连接在双目摄像头稳定机构上；
18.双目摄像头稳定机构由无刷电机一、无刷电机二、无刷电机三、摆臂一、摆臂二、底座和以及夹持机构组成；
19.双目摄像头稳定机构的底座由两层碳板组成，这两层碳板由四个分布在四角的减震球连接，并在下层碳板的中心位置固定有无刷电机一；同时在两块碳板中间放置单片机与控制板，对无刷电机一、无刷电机二和无刷电机三进行控制以达到维持双目摄像头姿态稳定的目的；
20.所述分体电调为20a，分体电调的红黑蓝三根信号线分别与航模无刷电机引出的三根信号线相连，并连接至飞行控制模块分电板，用于供电与对控制航模无刷电机的控制。
21.可选的，所述飞行控制模块为pixhawk4飞行控制模块，用于控制航模无刷电机实现四旋翼的稳定飞行。
22.可选的，所述gps模块为m8n gps模块，通过海绵胶连接至gps支架，并通过螺丝连接至无人机躯体部分中第一层碳板的顶部，gps模块通过排线连接至飞行控制模块实现通信。
23.可选的，所述gps支架由底座和碳棒组成，起到支撑gps模块的作用。
24.可选的，所述航模无刷电机采用air gear航模无刷电机以及配套桨，连接至碳管上，组成无人机的四只机臂。
25.可选的，所述锂电池为两块4000mah的锂电池，为无人机供电；锂电池通过xt60插
头与飞行控制模块分电板连接，为飞行控制模块以及板载计算机供电。
26.可选的，所述双目摄像头为stereolab zed2i双目摄像头，作为视觉里程计输出其自身的位置信息与周围环境的深度信息。
27.可选的，单片机与控制板为arduino单片机与simplefoc控制板；
28.无刷电机一通过四颗螺丝连接摆臂一来控制第一个自由度；
29.摆臂一的下方通过四颗螺丝固定有无刷电机二，并通过无刷电机二连接摆臂二，以控制第二个自由度；
30.摆臂二的末端连接无刷电机三，无刷电机三上连接着双目摄像头的夹持机构；
31.夹持机构通过调整连接上下的夹持部件的距离来调整夹持的松紧程度，将双目摄像头牢固地放置于稳定机构中；
32.单片机与控制板固定在底座的上下两块碳板之间，无刷电机一、无刷电机二和无刷电机三的信号线连接于foc控制板上被arduino单片机控制，实现维持姿态稳定的目的；
33.碳管作为无人机的机臂，电机线穿过碳管连接至分体电调；
34.板载计算机为nvidia jetson tx2板载计算机，通过铝柱连接在无人机躯体部分的最上层位置，双目摄像头通过数据线连接至板载计算机的usb接口，飞行控制模块通过telem2口与nvidia jetson tx2板载计算机的串口针脚通信；
35.飞行控制模块分电通过海绵双面胶粘贴在无人机躯体部分的中间层，锂电池通过飞行控制模块分电板为分体电调、飞行控制模块和板载计算机供电。
36.基于所述四旋翼无人机的开发系统，该系统包括驱动节点、控制指令发布节点、环境信息处理节点、mavros节点和飞行控制模块；
37.所述环境信息处理节点订阅来自mavros节点发布的飞行控制模块的信息，飞行控制模块的信息包括飞行控制模块的位置、姿态、飞行模式、加速度信息和来自驱动节点发布的图像信息；
38.所述环境信息处理节点使用opencv库和ros的cv_bridge对图像信息进行处理，实现视觉识别，在识别到相应的目标之后，通过和点云信息的映射得到目标物体距离双目摄像头的距离信息；
39.所述环境信息处理节点发布识别结果信息，包括目标物体距离双目摄像头的距离信息和目标物体的label信息；
40.所述控制指令发布节点订阅来自双目摄像头的驱动节点发布的信息，包括双目摄像头的位置信息、双目摄像头的深度信息、飞行控制模块的信息和环境信息处理节点发布的视觉处理结果；
41.通过识别结果信息判断双目摄像头的视野内是否出现感兴趣的物体并将物体与双目摄像头之间的距离转换至世界坐标系，以解算出目标物体在世界坐标系中的坐标信息；
42.将规划器写在控制节点中，输入双目摄像头的深度信息进行局部航线规划，实现对物体进行追踪和避障的功能；
43.将规划期的结果通过mavros节点发布至飞行控制模块，飞行控制模块控制四旋翼无人机按照规划器输出的航线进行飞行。
44.本实用新型的有益效果在于：本实用新型是面向高校学生开发者的教学视觉平
台，利用纯视觉、单一传感器取代了多种传感器共同工作、同时发布多种信息的解决方案，可以节省学生配置不同传感器环境和学习了解多种传感器的时间而专注于创新应用和顶层算法的研发同时减少因为系统开启过多节点而造成系统不稳定的问题。
45.同时本身科研无人机开发中使用的视觉传感器的成本较高，在能达到同样功能的前提下使用多种传感器会提高开发、管理成本，并且为实验室的管理造成没有必要的麻烦。
46.加装单片机与tx2通信，可以在基于开源社区的多种项目来开发自己的硬件功能，并集成于ros管理的体系，在科研无人机系统上实现更有创意的应用，提高学生开发者的积极性。
47.本实用新型的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本实用新型的实践中得到教导。本实用新型的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
48.为了使本实用新型的目的、技术方案和优点更加清楚，下面将结合附图对本实用新型作优选的详细描述，其中：
49.图1为基于ros的视觉四旋翼无人机结构图；
50.图2为双目摄像机稳定机构结构图；
51.图3为arduino单片机与simplefoc控制板结构图；
52.图4为基于ros的视觉四旋翼无人机数据流转图。
53.附图标记：1-无人机躯体部分；2-飞行控制模块；3-分体电调；4-gps模块；5-gps支架；6-航模无刷电机；7-锂电池；8-双目摄像头；9-双目摄像头稳定机构；10-碳管；11-板载计算机；12-飞行控制模块分电板；30-底座；31-无刷电机一；32-摆臂一；33-摆臂二；34-无刷电机三；36-夹持机构；37-无刷电机二；38-单片机与控制板。
具体实施方式
54.以下通过特定的具体实例说明本实用新型的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本实用新型的其他优点与功效。本实用新型还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本实用新型的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本实用新型的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
55.其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本实用新型的限制；为了更好地说明本实用新型的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
56.本实用新型实施例的附图中相同或相似的标号对应相同或相似的部件；在本实用新型的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本实用新型和简化描述，
而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本实用新型的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
57.视觉科研无人机平台由无人机躯体部分、飞行控制模块、四只航模无刷电机、分体电调、飞行控制模块分电板、gps模块、板载计算机、双目摄像头、单片机与控制板和锂电池组成。
58.pixhawk4飞行控制模块通过有线连接gps模块获取室外位置信息；作为飞行器的动力系统，无刷电机通过四合一电调连接至分电板上接受锂电池的供电，以带动机架飞行。tx2通过螺丝孔和铜柱放置于机架顶部，由分电板引出供电线连接至供电口为tx2供电，同时tx2的rx/tx端口与飞行控制模块telem2端口连接并利用串口通信传递数据。
59.arduino通过螺丝孔固定于机身底部通过下载线连接至tx2的usb口通过串口通信读取arduino的数据。
60.zed2i双目深度摄像头通过稳定机构连接在机身底部，初始位置朝向机头处，与tx2用数据线连接。zed2i双目摄像头可以处理环境信息利用特征点识别结算出飞机自身的位置信息，同时能够用视差法得到当前环境的深度，zed-ros-warpper功能包将zed2i.launch文件运行后，相机获取的深度信息和自身位置信息可以通过数据线传递给tx2上运行的其他ros节点来控制旋翼无人机。
61.同时，通过稳定机构连接双目摄像头可以减轻由于无人机剧烈运动而导致的高、低频震动而对视觉信息而造成的误差。此外，稳定机构本身具有三个自由度，在保证其稳定的同时可以灵活的调整位置、朝向，以实现在高空对某一地面目标进行识别追踪的功能。
62.飞行控制模块的选型方面可以采用支持mavros的其它开源飞行控制模块，如ardupilot、pixhawk系列其他飞行控制模块产品；
63.飞机的动力系统可以使用四只分体电调与无刷电机的方案(分体电调的安装和使用更简便但对载重量和稳定性要求比较大的视觉科研无人机有一定的负面影响)；
64.zed2i作为唯一视觉传感器同时输出深度信息以及位置信息的方案可以被两个视觉传感器分别作为视觉里程计、输出深度信息并进行坐标变换的方案替代。但后者在运行时需开启多个节点，容易在过程中出现节点间通信丢失等现象，为在校学生开发者的开发过程带来困扰，零部件集成度低也会实验室设备管理等造成困难。
65.双目摄像头与无人机的连接部分也可以简单通过其他机械结构直接进行刚性连接，但该种方案会导致双目摄像头输出视觉信息时出现较大偏差。
66.请参阅图1～图3，无人机躯体部分1是由三层碳板和铝柱交替排列的层级结构，位于最上方的碳板上放置了飞行控制模块2以及板载计算机11，同时在右侧，通过gps支架5连接gps模块4；在由上至下的第一层和第二层碳板之间放置了飞行控制模块分电板12、四个分体电调3以及飞机左右两侧的两个锂电池7；在由上至下的第二层和第三层碳板之间固定了用来充当无人机机臂的四根碳管10。
67.在本实施例中，飞行控制模块2为pixhawk4飞行控制模块，可以通过自身的传感，控制航模无刷电机6实现四旋翼的稳定飞行。
68.在本实施例中，分体电调3为20a，分体电调3的红黑蓝三根信号线分别与航模无刷电机6引出的三根信号线相连，并连接至飞行控制模块分电板12，实现供电与对航模无刷电
机6的控制。
69.在本实施例中，gps模块4为m8n gps模块，通过海绵胶连接至gps支架5，并通过螺丝连接至无人机躯体部分1中第一层碳板的顶部，gps模块4通过排线连接至飞行控制模块2实现通信。
70.在本实施例中，gps支架5由底座和一根碳棒组成，起到支撑gps模块4的作用。
71.在本实施例中，航模无刷电机6采用air gear航模无刷电机以及配套桨，连接至碳管10上，组成无人机的四只机臂。
72.在本实施例中，锂电池7为两块4000mah的锂电池，为无人机供电。锂电池7通过xt60插头与飞行控制模块分电板12连接，为飞行控制模块2以及板载计算机11供电。
73.在本实施例中，双目摄像头8为stereolab zed2i双目摄像头，作为视觉里程计输出其自身的位置信息与周围环境的深度信息。双目摄像头8连接在双目摄像头稳定机构9上。
74.在本实施例中，无人机躯体部分1的第三层碳板的正下方，通过螺丝螺母连接着双目摄像头稳定机构9。双目摄像头稳定机构9能在飞机不平稳飞行时保证双目摄像头8的姿态稳定，减少由于低频震动带来的里程计位置信息误差，双目摄像头稳定机构9有三个自由度，可以通过控制无刷电机一31、无刷电机二37和无刷电机三34来调整双目摄像头8的姿态。
75.双目摄像头稳定机构9由无刷电机一31、无刷电机二37、无刷电机三34、摆臂一32、摆臂二33、底座30和以及夹持机构36组成。
76.双目摄像头稳定机构9的底座30由两层碳板组成，这两层碳板由四个分布在四角的减震球连接，并在下层碳板的中心位置固定有无刷电机一31。同时在两块碳板中间放置单片机与控制板38，对无刷电机一31、无刷电机二37和无刷电机三34进行控制以达到维持双目摄像头8姿态稳定的目的。单片机与控制板38为arduino单片机与simplefoc控制板。
77.无刷电机一31通过四颗螺丝连接摆臂一32来控制第一个自由度。
78.摆臂一32的下方通过四颗螺丝固定有无刷电机二37，并通过无刷电机二37连接摆臂二33，以控制第二个自由度。
79.摆臂二33的末端连接无刷电机三34，无刷电机三34上连接着双目摄像头8的夹持机构36。
80.夹持机构36通过调整连接上下的夹持部件的距离来调整夹持的松紧程度，将双目摄像头8牢固地放置于稳定机构中。
81.单片机与控制板38固定在底座30的上下两块碳板之间，无刷电机一31、无刷电机二37和无刷电机三34的信号线连接于foc控制板上被arduino单片机控制，实现维持姿态稳定的目的。
82.在本实施例中，碳管10作为无人机的机臂，电机线穿过碳管10连接至分体电调3。
83.在本实施例中，板载计算机11为nvidia jetson tx2板载计算机，简称为tx2，通过铝柱连接在无人机躯体部分1的最上层位置，双目摄像头8通过数据线连接至nvidia jetson tx2板载计算机的usb接口将位置信息和图像中的深度信息传输至ros节点中被处理，飞行控制模块2通过telem2口与nvidia jetson tx2板载计算机的串口针脚通信，实现tx2中ros节点对无人机的控制。
84.在本实施例中，飞行控制模块分电板12通过海绵双面胶粘贴在无人机躯体部分1的中间层，锂电池7通过飞行控制模块分电板12为分体电调3、飞行控制模块2和板载计算机11供电。
85.电气连接方式
86.四路电机分别通过红、黑、蓝三根线连接至好盈20a分体电调，分体电调的红黑两根线焊接至分电板上，分电板由锂电池供电，并引出正负两根电源线连接至tx2，为tx2供电。分电板的pw2口连接至飞行控制模块的power口为飞行控制模块供电。gps通过排线连接至飞行控制模块。
87.tx2计算机tx2通过串行总线与飞行控制模块的telem2口连接实现串口通信。
88.zed2i双目深度摄像头zed2i通过数据线连接至tx2的usb数据口实现数据传输。
89.如图4所示，整体软件数据传递方案基于ros的发布、订阅模型开发，使用了mavros功能包与zed2i的ros驱动代码，它们分别实现了tx2与飞行控制模块通信以及发布位置、图像、深度信息的功能。软件子模块主要分为控制指令发布节点与环境信息处理节点：
90.环境信息处理节点订阅来自mavros节点发布的飞行控制模块自身的位置、姿态、飞行模式、加速度等基本信息和来自zed2i驱动节点发布的图像信息。在环境信息处理节点，使用opencv库和ros的cv_bridge对图像信息进行处理，实现基本的视觉识别功能，在识别到相应的目标之后，通过和点云信息的映射得到目标物体距离双目摄像头的距离信息。环境处理节点发布识别结果信息，包括目标物体距离双目摄像头的距离信息和目标物体的label信息。
91.控制指令发布节点订阅来自双目摄像头驱动节点发布的位置信息、深度信息，mavros节点发布的飞行控制模块基本信息，环境信息处理节点发布的视觉处理结果。通过视觉处理结果判断双目摄像头的视野内是否出现感兴趣的物体并将物体与双目摄像头之间的距离转换至世界坐标系，以解算出目标物体在世界坐标系中的坐标信息。将规划器写在控制节点中，输入双目摄像头的深度信息进行局部航线规划，实现对物体进行追踪和简单避障的基本功能。最终，将规划期的结果通过mavros接口发布至飞行控制模块，飞行控制模块即可控制四旋翼无人机按照规划器输出的航线进行飞行。
92.最后说明的是，以上实施例仅用以说明本实用新型的技术方案而非限制，尽管参照较佳实施例对本实用新型进行了详细说明，本领域的普通技术人员应当理解，可以对本实用新型的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本实用新型的权利要求范围当中。