一种基于蜂窝网络的无人机控制系统及控制方法

1.本技术涉及无人机通讯技术领域，特别是涉及一种基于蜂窝网络的无人机控制系统及控制方法。


背景技术：

2.随着无人机技术的不断发展和成熟，无人机在各行各业得以应用和普及，现有的无人机控制系统大多采用遥控手柄进行控制，遥控手柄与无人机之间的控制方式为射频信号连接和控制，而射频信号传输距离有限，这就造成遥控手柄对无人机的飞行控制距离较短，导致无人机的有效飞行范围较小，难以满足现有的使用需求。


技术实现要素：

3.本发明针对上述问题，提供了一种基于蜂窝网络的无人机控制系统及控制方法，利用了移动蜂窝网络信号覆盖广，传输带宽大等特点，扩大了无人机的飞行控制范围，增大了无人机数据回传的吞吐量，提高了无人机部署的便携性。
4.本发明的第一方面，一种基于蜂窝网络的无人机控制系统，包括移动终端、无人机处理系统以及通信模块，其中，所述移动终端和所述无人机处理系统利用所述通信模块通信进行可视化数传和可视化图传；
5.所述移动终端通过使用虚拟摇杆解析无人机控制意图，用于对无人机进行控制；
6.所述无人机处理系统通过软件程序监听数据端口获取所述移动终端发送的数据指令并将所述数据指令进行自定义程序解析校验和协议转换，用于实现对无人机的全向控制；
7.在可视化数传过程中，通过机载传感器组获取信息并调用原生接口，所述原生接口通过标签化实现数据解析并将解析后的数据传输至移动终端，所述移动终端通过gui窗口将解析后的数据渲染绘制用于实现可视化与用户交互；
8.在可视化图传过程中，通过机载镜头获取视频图像，所述无人机处理系统将所述视频图像分组解压编码成编码数据并进行流式传输给所述移动终端，所述移动终端通过解析编码数据实现视频流播放。
9.进一步的，所述虚拟摇杆通过建立六路通道进行控制数据指令映射通信，所述控制数据指令映射通信通过自定义协议帧完成双向数据传输。
10.进一步的，所述移动终端通过使用虚拟摇杆解析无人机控制意图，用于对无人机进行控制，具体包括：
11.所述移动终端的控制程序通过监听线程获取虚拟摇杆位置变化从而获得用户操纵意图；
12.所述移动终端的控制程序将捕获的操作意图通过方向角度映射成六路指令通道数据，并将所述指令通道数据根据定义的传输报文格式编码打包，发送给所述无人机处理系统；
13.所述无人机处理系统通过网络接口接收所述指令通道数据，解析所述指令通道数据的相应指令并下发给机上飞行控制模块；
14.所述飞行控制模块根据不同指令对应调整动力实现全向飞行控制。
15.进一步的，所述移动终端的监听线程包括有：
16.虚拟摇杆监听线程，用于获取用户操作方向，角度，位移距离并量化计算为动力数据大小；
17.用户界面主线程，用于实现用户选取交互，控件加载，更改设置，窗口渲染等；
18.数据发送线程，用于处理所述用户数据，建立网络通信并实现编码发送；
19.数据接收线程，用于处理数据反馈，解析姿态数；
20.通信守护线程，用于心跳包发送，维护网络连接；
21.姿态信息刷新线程，用于对所述数据接收线程处理的反馈数据绘制渲染，实现姿态信息可视化。
22.进一步的，所述控制数据指令映射通信通过自定义协议帧完成双向数据传输，其中所述自定义协议帧数据报文具体包括：
23.协议帧头，用于标识数据报文起始位；
24.长度位，用于标识本帧报文长度，防止数据损失；
25.类型位，用于标识报文类型；
26.时间戳，用于记录报文生成时间；
27.计数值，用于报文ack反馈；
28.数据位，用于搭载信令数据；
29.校验位，用于处理crc校验。
30.进一步的，所述通信模块实现方式具体包括：
31.对虚拟摇杆尺度进行自定义设置，通过滑动标尺匹配用户操作尺度，用于保证摇杆反馈的灵敏性与操作安全性；
32.网络通信协议使用基于quic轻量级协议；
33.使用轮询响应循环检查方式的非阻塞i/o；
34.视频流链式传输通过使用非阻塞链式传输方案将稳流等待优化为链式调用，将缓冲区优化为关键帧，用于实现快启动。
35.进一步的，所述可视化数传中的数据信号包括无人机飞行速度、无人机飞行高度、无人机信号强度、无人机电量、卫星质量、gps信息、无人机飞行模式、无人机飞行距离、无人机飞行轨迹、俯仰角、横滚角、偏航角中的一种或多种。
36.进一步的，所述无人机处理系统包括网络数据接收单元、网络数据发送单元、遥控指令接收单元、姿态数据接收单元、姿态指令发送单元、主定时器单元，其中，
37.网络数据接收单元，用于接收通信模块发送的控制指令；
38.网络数据发送单元，用于向通信模块发送状态数据；
39.遥控指令接收单元，用于接收遥控手柄发送的控制信号；
40.姿态数据接收单元，用于接收无人机自身的飞行状态数据；
41.姿态指令发送单元，用于向飞控模块发送飞行控制指令；
42.图像视频发送单元，用于向移动终端传输实时视频流；
43.主定时器单元，用于定时监测网络状态和通信网络连接状态。
44.本发明的第二方面，提供了一种基于蜂窝网络的无人机控制方法，包括：
45.在移动终端上通过使用虚拟摇杆解析无人机控制意图，用于对无人机进行控制；
46.利用无人机处理系统中的软件程序监听数据端口获取移动终端发送的数据指令并将所述数据指令进行自定义程序解析校验和协议转换，用于实现对无人机的全向控制；
47.通过机载传感器组获取信息并调用原生接口，所述原生接口通过标签化实现数据解析并将解析后的数据传输至移动终端，在移动终端上通过gui窗口将解析后的数据渲染绘制用于实现可视化与用户交互；
48.通过机载镜头获取视频图像，利用无人机处理系统将所述视频图像分组解压编码成编码数据并进行流式传输给移动终端，移动终端通过解析编码数据实现视频流播放。
49.进一步的，所述虚拟摇杆通过建立六路通道进行控制数据指令映射通信，所述控制数据指令映射通信通过自定义协议帧完成双向数据传输。
50.本发明提供的一种基于蜂窝网络的无人机控制系统及控制方法，产生的有益效果为：基于移动蜂窝网络的无人机进行数传与图传综合应用，通过六路指令通道建立控制连接，将虚拟摇杆状态进行用户意图解析，实现轻量协议数据通与无人机全向飞行控制，且回传数据可视化交互，蜂窝网络无人机视频流实时传输。利用了移动蜂窝网络信号覆盖广，传输带宽大等特点，扩大了无人机的飞行控制范围，增大了无人机数据回传的吞吐量，提高了无人机部署的便携性，以及提高蜂窝网络控制无人机的鲁棒性。
附图说明
51.图1是本发明实施例中基于蜂窝网络的无人机控制系统结构示意图；
52.图2是本发明实施例中移动终端结构示意图；
53.图3是本发明实施例中无人机处理系统结构示意图。
具体实施方式
54.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅出示了与本发明相关的部分而非全部结构。
55.在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
56.本发明实施例针对一种基于蜂窝网络的无人机控制系统及控制方法，提供了如下实施例：
57.基于本发明的实施例1
58.如图1所示，为本发明实施例1的一种基于蜂窝网络的无人机控制系统100，包括移动终端110、无人机处理系统120以及通信模块130，其中，所述移动终端110和所述无人机处理系统120利用所述通信模块130通信进行可视化数传和可视化图传；
59.所述移动终端110通过使用虚拟摇杆解析无人机控制意图，用于对无人机进行控制；
60.优选地，所述虚拟摇杆通过建立六路通道进行控制数据指令映射通信，所述控制数据指令映射通信通过自定义协议帧完成双向数据传输。
61.具体地，所述移动终端110的控制程序通过监听线程获取虚拟摇杆位置变化从而获得用户操纵意图；
62.所述移动终端110的控制程序将捕获的操作意图通过方向角度映射成六路指令通道数据，并将所述指令通道数据根据定义的传输报文格式编码打包，发送给所述无人机处理系统120；
63.所述无人机处理系统120通过网络接口接收所述指令通道数据，解析所述指令通道数据的相应指令并下发给机上飞行控制模块；
64.所述飞行控制模块根据不同指令对应调整动力实现全向飞行控制。
65.具体实施过程中，通过虚拟摇杆监听解析用户控制意图并建立通道指令映射，用户通过移动终端app的左右虚拟摇杆滑动控制模拟飞行意图，移动应用通过虚拟摇杆监听获取线程获取用户控制意图，该控制意图包括上下前后左右快慢，应用根据实体无人机通信要求建立六路指令通道，通过映射关系建立用户控制意图与指令通道的映射。首先虚拟摇杆监听线程记录用户手指滑动动作，并配合用户界面主线程进行虚拟摇杆用户交互。程序读取到用户滑动的方向与距离，通过调用等比例的折算器获取用户对于不同方向加减速的意图值。捕获的摇杆运动将左摇杆上下运动映射为power通道，左摇杆左右运动映射为yaw通道，右摇杆上下运动映射为pitch通道，右摇杆左右运动映射为roll通道，飞行模式映射为mode通道，通信控制映射为commode通道。
66.其中，通信模块130通过网络转发建立双向通信并按照自定义协议帧与优化协议进行传输。
67.具体的，通信模块130通过双端的ip地址与端口号建立通讯连接并创建双向转发线程，移动终端110按照自定义协议帧格式填充数据报文并压缩编码，经由quic轻量级协议进行安全快速传输。
68.通信模块130服务器记录移动终端通信的第一ip地址和第一端口号。无人机向通信模块130发起通信，通信模块130服务器记录无人机通信的第二ip地址和第二端口号。通信模块130服务器执行数据转发线程，建立移动终端110和无人机之间的双向网络数据通信链路。所述指令通道数据根据定义的传输报文格式编码打包，由无人机系统生成时间戳，设置计数值与校验位，移动终端110建立quic socket服务，经由网络封装进行双向通信。
69.所述无人机处理系统120通过软件程序监听数据端口获取所述移动终端110发送的数据指令并将所述数据指令进行自定义程序解析校验和协议转换，用于实现对无人机的全向控制；
70.具体地，无人机处理系统120监听端口获取数据解析并作用于非控单元实现全向控制。无人机通过蜂窝网络数据收发模块接收控制指令并对该控制指令进行解析，将解析后的控制指令发送至无人机处理系统120，无人机处理系统120根据该控制指令对无人机飞行姿态进行相应调整。
71.所述可视化数传过程中，通过机载传感器组获取信息并调用原生接口，所述原生
接口通过标签化实现数据解析并将解析后的数据传输至移动终端110，所述移动终端110通过gui窗口将解析后的数据渲染绘制用于实现可视化与用户交互；
72.所述可视化图传过程中，通过机载镜头获取视频图像，所述无人机处理系统120将所述视频图像分组解压编码成编码数据并进行流式传输给所述移动终端110，所述移动终端110通过解析编码数据实现视频流播放。
73.具体地，无人机实时获取无人机自身的状态数据，无人机对该状态数据进行编码并通过蜂窝网络数据收发模块上载，并通过csi获取无人机视角图像视频，经过gop分组编码与压缩后推流至通信模块130服务器。其中，状态数据包括网络连接状态数据和飞行姿态数据等。
74.移动终端110接收网络流通过接口实现数据可视化交互与实时视频流传输。
75.移动终端在接收到无人机反馈的状态数据后，通过调用接口实现数据解析，并通过用户界面主线程进行相应数据渲染与绘制实现用户交互，并通过h264解码与ffmepg进行网络拉流实现实时视频流播放。
76.具体实施过程中，基于移动蜂窝网络的无人机控制方法时，通过虚拟摇杆监听解析用户控制意图并建立通道指令映射。通过网络转发建立双向通信并按照自定义协议帧与优化协议进行传输。无人机处理系统120监听端口获取数据解析并作用于非控单元实现全向控制。机载传感器组与图传模块压缩编码进行数传与图传。移动终端110接收网络流通过接口实现数据可视化交互与实时视频流传输。利用了移动蜂窝网络信号覆盖广，传输带宽大等特点，扩大了无人机的飞行控制范围，增大了无人机数据回传的吞吐量，提高了无人机部署的便携性，以及提高蜂窝网络控制无人机的鲁棒性。
77.进一步的，所述移动终端110的监听线程包括有：
78.虚拟摇杆监听线程，用于获取用户操作方向，角度，位移距离并量化计算为动力数据大小；
79.用户界面主线程，用于实现用户选取交互，控件加载，更改设置，窗口渲染等；
80.数据发送线程，用于处理所述用户数据，建立网络通信并实现编码发送；
81.数据接收线程，用于处理数据反馈，解析姿态数；
82.通信守护线程，用于心跳包发送，维护网络连接；
83.姿态信息刷新线程，用于对所述数据接收线程处理的反馈数据绘制渲染，实现姿态信息可视化。
84.进一步的，所述控制数据指令映射通信通过自定义协议帧完成双向数据传输，其中所述自定义协议帧数据报文具体包括：
85.协议帧头，用于标识数据报文起始位；
86.长度位，用于标识本帧报文长度，防止数据损失；
87.类型位，用于标识报文类型；
88.时间戳，用于记录报文生成时间；
89.计数值，用于报文ack反馈；
90.数据位，用于搭载信令数据；
91.校验位，用于处理crc校验。
92.进一步的，所述通信模块实现方式具体包括：
93.对虚拟摇杆尺度进行自定义设置，通过滑动标尺匹配用户操作尺度，用于保证摇杆反馈的灵敏性与操作安全性；
94.网络通信协议使用基于quic轻量级协议；
95.使用轮询响应循环检查方式的非阻塞i/o；
96.视频流链式传输通过使用非阻塞链式传输方案将稳流等待优化为链式调用，将缓冲区优化为关键帧，用于实现快启动。
97.进一步的，所述可视化数传中的数据信号包括无人机飞行速度、无人机飞行高度、无人机信号强度、无人机电量、卫星质量、gps信息、无人机飞行模式、无人机飞行距离、无人机飞行轨迹、俯仰角、横滚角、偏航角中的一种或多种。
98.进一步地，无人机包括：蜂窝网络数据收发模块，用于接收通信模块130服务器发送的控制指令、以及向通信模块130服务器发送状态数据；传输模块，用于根据该控制指令控制无人机的飞行状态、以及实时获取无人机自身的状态数据与图像视频进行数传图传；
99.进一步地，如图2所示，移动终端110包括：虚拟摇杆单元1101，用于根据用户操作产生控制指令；数据回传单元1102，用于显示回传数据与用户可视化交互；模式单元1103，用于提供用户模式选择；参数设置单元1104，用于设置通道，地址，映射等自定义功能。
100.通信模块130服务器用于接收移动终端110发送的控制指令并向无人机发送该控制指令、以及接收该无人机发送的本文数据与多媒体数据并向该移动终端110发送该文本数据与多媒体数据。
101.具体的，移动终端110实现的应用模块有：
102.虚拟摇杆根据用户操作产生控制指令。具体的，虚拟摇杆监听线程记录用户手指滑动动作，并配合用户界面主线程进行虚拟摇杆用户交互。程序读取到用户滑动的方向与距离，通过调用等比例的折算器获取用户对于不同方向加减速的意图值。捕获的摇杆运动将左摇杆上下运动映射为power通道，左摇杆左右运动映射为yaw通道，右摇杆上下运动映射为pitch通道，右摇杆左右运动映射为roll通道，飞行模式映射为mode通道，通信控制映射为commode通道。
103.数据回传单元1102通过调用接口解析数据进行文本显示与可视化。具体的，通过机载传感器组获取信息并调用原生接口，原生接口通过标签化实现数据解析，gui窗口绘制将所述解析数据渲染绘制实现可视化与用户交互；图传模块通过机载镜头获取视频图像，所述无人机处理系统将所述视频图像分组压缩编码，所述编码数据通过流式传输与终端解析实现所述图传模块实时视频流播放。
104.提供飞行模式相关设置功能。具体的，模式选择包括定高模式，采用气压计等传感器组测量高度信息并保证无人机在恒定高度飞行；gps模式，提供gps辅助的精度信息，使无人机具有更佳的水平稳定性；返航模式，配合返航点辅助无人机无障碍路径飞行；蜂窝网络模式，全量接入蜂窝网络控制；辅助模式，可提供遥控器辅助接管，增强安全性；接收机模式，全量遥控器专用控制，用于蜂窝网络异常环境下的安全保障。
105.参数设置单元1104，提供用户自定义设置功能。具体的，连接按键提供连接确认功能，当处于连接状态时变更为断开连接按键；解锁/锁定保障无人机误触与安全性；设置按键唤起二级菜单，用户可修改服务端口资源，通道模式，指令映射以及个性化操作尺度功能。
106.无人机提供蜂窝网络接入、协议转换与无人机处理系统120。
107.进一步的，所述无人机处理系统120包括网络数据接收单元1201、网络数据发送单元1202、遥控指令接收单元1203、姿态数据接收单元1204、姿态指令发送单元1205、图像视频发送单元1206、主定时器单元1207，其中，
108.网络数据接收单元1201，用于接收通信模块130发送的控制指令；
109.网络数据发送单元1202，用于向通信模块130发送状态数据；
110.遥控指令接收单元1203，用于接收遥控手柄发送的控制信号；
111.姿态数据接收单元1204，用于接收无人机自身的飞行状态数据；
112.姿态指令发送单元1205，用于向飞控模块发送飞行控制指令；
113.图像视频发送单元1206，用于向移动终端110传输实时视频流；
114.主定时器单元1207，用于定时监测网络状态和通信网络连接状态。
115.进一步的，主定时器单元1207还用于进行网络时钟同步、以及根据无人机的通信网络连接状态控制切换移动终端110控制通道和遥控手柄控制通道。
116.进一步的，无人机端还包括协议转换模块，用于不同信号不同模块通信之间的协议转换。通过设置协议转换模块，实现数据从网络传输到软件传输再到硬件传输的通配性，提高系统鲁棒性。
117.优选的，该移动终端110为手机或平板电脑。
118.基于本发明的实施例2
119.本发明实施例2所提供的一种基于蜂窝网络的无人机控制方法，具体包括：
120.在移动终端上通过使用虚拟摇杆解析无人机控制意图，用于对无人机进行控制；
121.利用无人机处理系统中的软件程序监听数据端口获取移动终端发送的数据指令并将所述数据指令进行自定义程序解析校验和协议转换，用于实现对无人机的全向控制；
122.通过机载传感器组获取信息并调用原生接口，所述原生接口通过标签化实现数据解析并将解析后的数据传输至移动终端，在移动终端上通过gui窗口将解析后的数据渲染绘制用于实现可视化与用户交互；
123.通过机载镜头获取视频图像，利用无人机处理系统将所述视频图像分组解压编码成编码数据并进行流式传输给移动终端，移动终端通过解析编码数据实现视频流播放。
124.进一步的，所述虚拟摇杆通过建立六路通道进行控制数据指令映射通信，所述控制数据指令映射通信通过自定义协议帧完成双向数据传输。
125.一种基于蜂窝网络的无人机控制方法可以基于实施例1中提供的一种基于蜂窝网络的无人机控制系统，因此，一种基于蜂窝网络的无人机控制方法的具体工作过程参照上述基于蜂窝网络的无人机控制系统实施例1的描述，不再赘述。
126.综合上述各实施例提供的基于蜂窝网络的无人机控制系统及控制方法，产生的有益效果为：基于移动蜂窝网络的无人机进行数传与图传综合应用，通过六路指令通道建立控制连接，将虚拟摇杆状态进行用户意图解析，实现轻量协议数据通与无人机全向飞行控制，且回传数据可视化交互，蜂窝网络无人机视频流实时传输。利用了移动蜂窝网络信号覆盖广，传输带宽大等特点，扩大了无人机的飞行控制范围，增大了无人机数据回传的吞吐量，提高了无人机部署的便携性，以及提高蜂窝网络控制无人机的鲁棒性。
127.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以
通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
128.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。