基于5G的电力巡检无人机实时通讯与远程控制系统及方法与流程

基于5g的电力巡检无人机实时通讯与远程控制系统及方法
技术领域
1.本发明属于电网无人机智能巡检领域，具体涉及一种基于5g的电力巡检无人机实时通讯与远程控制系统及方法。


背景技术：

2.无人机应用日益广泛，例如在巡检勘检方面，运用无人机技术就可以很好地替代人工进行电网的巡检。由于无人机可以在三维空间中自由运动，具有灵活度和精确度高的特点，使用无人机代替人工巡检可以大幅度的提高工作的效率，特别是在一些地形复杂、环境恶劣的作业场所。同时，使用无人机巡检也可以很大程度地降低人工作业的安全隐患，并且可以进一步地扩大作业范围，保证巡检范围。
3.传统无人机控制和通讯方式基于飞机自身数据传输模块，使用公共频段进行无线电通信，传输距离一般在5km内，并且多为一对一、点对点的传输模式，远程化、智能化、协同化能力均受到制约；现阶段的网联无人机通过4g蜂窝移动网络连接，无法满足特定场景应用所要求的高速率和低延迟，并且由于传输速率受限，远程检验图像传输延迟较大，而且由于无人机控制更新速率要求较高，基于4g的网联无人机无法满足对无人机的远程控制调度要求。


技术实现要素：

4.本发明针对现有技术中的不足，提供一种基于5g的电力巡检无人机实时通讯与远程控制系统及方法，可提供长距离、低延时、高清晰度的无人机远程巡检。
5.为实现上述目的，本发明采用以下技术方案：
6.一种基于5g的电力巡检无人机实时通讯与远程控制系统，其特征在于，包括：rc遥控器、pc地面端、命令与信号通讯服务器、视频数据传输服务器、机载端以及无人机；所述pc地面端接收rc遥控器的控制信号，并通过路由器与命令与信号通讯服务器以及视频数据传输服务器进行通信；所述机载端通过sdk与无人机进行通信，机载端通过5g模块与命令与信号通讯服务器以及视频数据传输服务器进行通信。
7.进一步地，本发明还提出了一种基于5g的电力巡检无人机实时通讯与远程控制方法，采用了如上所述的电力巡检无人机实时通讯与远程控制系统，其特征在于，包括如下步骤：
8.s1：无人机起飞前，用户通过pc地面端连接命令与信号通讯服务器和视频数据传输服务器，命令与信号通讯服务器和视频数据传输服务器通过5g网络调度算法，对网络资源进行调度与分配；
9.s2：无人机执行电力巡检任务前，选择巡检模式，当有任务航路点时，无人机进入航路点巡检模式；当没有任务航路点时，无人机进入遥控巡检模式；
10.s3：在巡检过程中，无人机将自身状态信息返回至pc地面端显示；
11.s4：无人机将云台相机采集到的视频图像返回至pc地面端显示。
12.为优化上述技术方案，采取的具体措施还包括：
13.进一步地，步骤s1中通过5g网络调度算法，对网络资源进行调度与分配，具体如下：
14.s11：对当前5g网络传输系统进行建模，并进行虚拟网络功能分析：
15.定义服务功能链集合s，对于每个服务功能链si，i∈[1，s]，具有流量需要以固定顺序通过的虚拟网络功能；fi，i∈[1，s]为服务功能链si中虚拟网络功能的集合；f
ij
表示服务功能链si中的第j个虚拟网络功能；
[0016]
为具有实例化虚拟网络功能f
ij
能力的虚拟机节点集合，每个虚拟机节点在同一时间段内至多实例化一个虚拟网络功能；每个服务功能链si从流入端点到流出端点的固定流量需求定义为di，i∈[1，s]，两个虚拟机节点之间的虚拟链路的带宽为n为虚拟网络中虚拟机节点的集合；服务功能链si在虚拟机节点k1和k2之间虚拟链路的传输时延为之间虚拟链路的传输时延为为虚拟网络功能f
ij
实例化在虚拟机节点k上的处理时延，其优化目标表示为：
[0017][0018]
其约束条件为：
[0019][0020][0021][0022]
式中：δ是所有服务功能链最后一个虚拟网络功能的处理完成时间；t
ij
表示虚拟网络功能f
ij
开始处理达到数据流的时刻；t
′
ij
，i∈[1，s]，j∈[1，f
i-1]表示虚拟网络功能f
ij
向流出链路开始转发数据流的时刻；x
ijk
为二值变量，x
ijk
＝1表示虚拟网络功能f
ij
实例化在虚拟机节点k上；反之，x
ijk
＝0；下标z表示整数集；
[0023]
s12：对5g网络带宽进行分配，将带宽分配建模为整数线性规划模型，其优化目标表示为：
[0024][0025]
其约束条件为：
[0026][0027]
式中：η表示虚拟链路总的传输时延，c
out
(k1)为虚拟机节点k1的流出带宽，c
in
(k2)为虚拟机节点k2的流入带宽。
[0028]
进一步地，步骤s2具体如下：
[0029]
s21：判断是否有任务航路点；
[0030]
s22：若有任务航路点，pc地面端将航路点信息上传至命令与信号通讯服务器，无人机按照任务航路点信息进行巡检任务；
[0031]
s23：若没有任务航路点，则无人机进入遥控模式，用户通过rc遥控器或者pc地面端的软件模拟摇杆控制无人机进行巡检任务。
[0032]
进一步地，步骤s22具体如下：
[0033]
s22.1：若有航路点文件，通过pc地面端的软件解析后将航路点信息按照mqtt协议以json格式上传至命令与信号通讯服务器，命令与信号通讯信服务器利用云产品流转规则引擎进行相关话题的转发，机载端通过5g模块访问命令与信号通讯服务器获取json格式的航路点信息并解析，机载端通过sdk将信息传递给无人机；
[0034]
s22.2：若没有航路点文件，用户通过在pc地面端的软件地图中点选航路点，pc地面端的软件解析后将航路点信息以json格式上传至命令与信号通讯服务器，命令与信号通讯服务器用云产品流转规则引擎进行相关话题的转发，机载端通过5g模块访问命令与信号通讯服务器获取js0n格式的航路点信息并解析，机载端通过sdk将航路点信息传递给无人机；
[0035]
s22.3：pc地面端控制启动无人机自动起飞程序，无人机起飞至一定高度悬停；
[0036]
s22.4：在pc地面端选择开始航路点巡检任务，无人机开始执行航路点巡检任务。
[0037]
进一步地，步骤s23具体如下：
[0038]
s23.1：若没有任务航路点，在无人机起飞前，将遥控器信号接收器插入pc地面端；
[0039]
s23.2：pc地面端控制启动无人机自动起飞程序，无人机起飞至一定高度悬停；
[0040]
s23.3：若通过rc遥控器进行控制，rc遥控器发送控制信号后由遥控器信号接收器接收并传递给pc地面端的软件，pc地面端的软件对接收到的控制信号进行解码，获得控制信号参数；
[0041]
s23.4：若通过pc地面端的软件模拟摇杆进行控制或者解码得到控制信号参数，pc地面端将控制信号参数以json格式上传至命令与信号通讯服务器，命令与信号通讯服务器用云产品流转规则引擎进行相关话题的转发，机载端通过5g模块访问命令与信号通讯服务器获取控制信号参数，解码后再通过sdk传递给无人机，从而控制无人机飞行。
[0042]
进一步地，所述机载端设有控制信号参数阈值，若解码所得控制信号参数超过设定阈值，则判定为错误信息不予响应。
[0043]
进一步地，步骤s3具体如下：
[0044]
s31：无人机将自身状态信息通过sdk传递给机载端；
[0045]
s32：机载端将无人机的状态信息通过5g模块以json格式上传至命令与信号通讯
服务器；
[0046]
s33：命令与信号通讯服务器用云产品流转规则引擎进行相关话题转发；
[0047]
s34：pc地面端的软件从命令与信号通讯服务器获取无人机状态信息并解码显示于消息界面上。
[0048]
进一步地，步骤s4具体如下：
[0049]
s41：机载端通过sdk获取无人机的云台相机原始视频数据；
[0050]
s42：机载端使用ffmpeg软件对原始视频数据进行编码压缩；
[0051]
s43：机载端将处理完的视频流推流至视频数据传输服务器；
[0052]
s44：视频数据传输服务器根据rtsp流中的url地址，将rtsp数据广播出去；
[0053]
s45：pc地面端的软件访问视频数据传输服务器获取rtsp视频流，使用ffmpeg进行解码，并在pc地面端的软件界面上播放。
[0054]
进一步地，所述无人机在巡检过程中由pc地面端控制无人机中断任务降落，然后切换模式，再由pc地面端控制起飞进行巡检任务。
[0055]
本发明的有益效果是：本发明能够克服传统无人机巡检通讯距离有限、视频传输延迟高的缺点，实现超远程、低延时的电力巡检无人机实时通讯与远程控制。
附图说明
[0056]
图1为本发明的基于5g的电力巡检无人机实时通讯与远程控制方法示意图。
[0057]
图2为本发明的电力巡检无人机实时通讯与远程控制系统示意图。
[0058]
图3为本发明的航路点巡检流程图。
[0059]
图4为本发明的遥控巡检流程图。
[0060]
图5为状态信息反馈示意图。
[0061]
图6为视频流信息反馈示意图。
具体实施方式
[0062]
现在结合附图对本发明作进一步详细的说明。
[0063]
如图1所示的一种基于5g的电力巡检无人机实时通讯与远程控制方法，其中所采用的电力巡检无人机实时通讯与远程控制系统如图2所示，包括：rc遥控器、pc地面端、命令与信号通讯服务器、视频数据传输服务器、机载端以及无人机；pc地面端接收rc遥控器的控制信号，并通过路由器与命令与信号通讯服务器以及视频数据传输服务器进行通信；机载端通过sdk(软件开发包)与无人机进行通信，机载端通过5g模块与命令与信号通讯服务器以及视频数据传输服务器进行通信。
[0064]
基于5g的电力巡检无人机实时通讯与远程控制方法，具体包括以下步骤：
[0065]
s1：无人机起飞前，用户通过pc地面端连接命令与信号通讯服务器，服务器端通过一种5g网络低延时调度算法，实时对网络资源进行合理调度与分配。具体包括如下子步骤：
[0066]
s11：对当前5g网络传输系统进行建模，并对系统进行虚拟网络功能分析。
[0067]
定义服务功能链集合s，对于每个服务功能链si，i∈[1，s]，具有流量需要以固定顺序通过的虚拟网络功能；fi，i∈[1，s]为服务功能链si中虚拟网络功能的集合；f
ij
表示服务功能链si中的第j个虚拟网络功能。假设每个虚拟机节点具有实例化不同虚拟网络功能
的能力，且在同一时间段内至多实例化一个虚拟网络功能，为具有实例化虚拟网络功能f
ij
能力的虚拟机节点集合，即计算资源约束。
[0068]
本发明考虑了两种类型的时延，即服务功能链的数据流通过虚拟机之间的虚拟链路的传输时延和虚拟网络功能实例化在虚拟机中的处理时延。假定每个服务功能链从流入端点到流出端点具有固定的流量需求，定义为di，i∈[1，s]，两个虚拟机之间的虚拟链路的带宽为n为虚拟网络中虚拟机节点的集合，因此，服务功能链si在虚拟机节点k1和k2之间虚拟链路的传输时延为之间虚拟链路的传输时延为为虚拟网络功能f
ij
实例化在虚拟机节点k上的处理时延。其优化目标可表示为：
[0069][0070]
其约束条件为：
[0071][0072][0073][0074]
式中：δ是所有服务功能链最后一个虚拟网络功能的处理完成时间；t
ij
表示虚拟网络功能f
ij
开始处理达到数据流的时刻；t
′
ij
，i∈[1，s]，j∈[1，f
i-1]表示虚拟网络功能f
ij
向流出链路开始转发数据流的时刻；x
ijk
为二值变量，x
ijk
＝1表示虚拟网络功能f
ij
实例化在虚拟机节点k上；反之，x
ijk
＝0；下标z表示整数集。
[0075]
s12：对5g网络带宽进行合理分配，将带宽分配建模为整数线性规划模型，以降低系统实时传输延时，其优化目标表示为：
[0076][0077]
其约束条件为：
[0078][0079]
式中：η表示虚拟链路总的传输时延，c
out
(k1)为虚拟机节点k1的流出带宽，c
in
(k2)为虚拟机节点k2的流入带宽。
[0080]
s2：无人机执行电力巡检任务前，选择巡检模式，当有任务航路点时，无人机进入航路点巡检模式；当没有任务航路点时，无人机进入遥控巡检模式。具体包括如下子步骤：
[0081]
s21：判断是否有任务航路点。
[0082]
s22：若有任务航路点，pc地面端将航路点信息上传至命令与信号通讯服务器，巡检无人机按照任务航路点信息进行巡检任务。
[0083]
参照图3所示，本发明提供了一种航路点巡检流程方案，具体包括如下子步骤：
[0084]
s22.1：若有航路点文件，通过pc地面端软件解析后将航路点信息按照mqtt协议(message queuing telemetry transport)以json(javascript object notation)格式上传至命令与信号通讯服务器，命令与信号通讯服务器用云产品流转规则引擎进行相关话题的转发，机载端通过5g模块访问服务器获取json格式的航路点信息并解析，机载端通过sdk将信息传递给无人机；
[0085]
s22.2：若没有航路点文件，用户可通过在pc地面端软件地图中点选航路点，pc地面端软件解析后将航路点信息以json格式上传至命令与信号通讯服务器，命令与信号通讯服务器用云产品流转规则引擎进行相关话题的转发，机载端通过5g模块访问服务器获取json格式的航路点信息并解析，机载端通过sdk将信息传递给无人机；
[0086]
s22.3：pc地面端控制启动无人机自动起飞程序，无人机起飞至一定高度悬停；
[0087]
s32.4：在pc地面端选择开始航路点巡检任务，无人机开始执行航路点巡检任务。
[0088]
s23：若没有任务航路点，则巡检无人机进入遥控模式，用户通过rc遥控器或者pc地面端软件模拟摇杆控制无人机进行巡检任务。
[0089]
参照图4所示，本发明提供了一种遥控巡检流程方案，具体包括如下子步骤：
[0090]
s23.1：若没有任务航路点，在无人机起飞前，将遥控器信号接收器插入pc地面端；
[0091]
s23.2：pc地面端控制启动无人机自动起飞程序，无人机起飞至一定高度悬停；
[0092]
s23.3：若通过rc遥控器进行控制，rc遥控器发送控制信号后由遥控器信号接收器接收并传递给pc地面端软件，pc地面端软件对接收到的信号进行解码，获得控制信号参数；
[0093]
s23.4：若通过pc地面端软件模拟摇杆进行控制或者已解码得到控制信号参数，pc地面端将控制信号参数以json格式上传至命令与信号通讯服务器，命令与信号通讯服务器用云产品流转规则引擎进行相关话题的转发，机载端通过5g模块访问命令与信号通讯服务器获取到控制信号，解码后再通过sdk传递给无人机，从而控制无人机飞行。
[0094]
s3：在巡检过程中，无人机将自身状态信息返回至pc地面端显示。
[0095]
参照图5所示，本发明提供一种无人机状态数据实时反馈方案，具体包括如下子步骤：
[0096]
s31：无人机将自身三轴的位置、速度、姿态、电池状态、gps数据以及云台数据等状态信息通过sdk传递给机载端。
[0097]
s32：机载端将无人机状态信息通过5g模块以json格式上传至命令与信号通讯服务器。
[0098]
s33：命令与信号通讯服务器用云产品流转规则引擎进行相关话题转发。
[0099]
s34：pc地面端软件从命令与信号通讯服务器获取无人机状态信息解码并显示于消息界面上。
[0100]
s4：无人机将云台相机采集到的视频图像返回至pc地面端，显示于pc地面端的视
频窗口，用于地面人员完成巡检任务。
[0101]
参照图6所示，本发明提供一种低延时、高清晰度的视频传输方案，具体包括如下子步骤：
[0102]
s41：机载端通过sdk获取无人机云台相机原始视频数据。
[0103]
s42：机载端使用ffmpeg软件对原始相机数据进行编码压缩，视频流格式为h.264。
[0104]
s43：机载端将处理完的视频流推流至视频数据传输服务器(rtsp服务器)。
[0105]
s44：视频数据传输服务器根据rtsp流中的url地址，将rtsp数据广播出去。
[0106]
s45：pc地面端软件访问视频数据传输服务器获取rtsp视频流，使用ffmpeg进行解码，并使用该组件下的ffplay在地面端软件界面上播放。
[0107]
综上，本发明利用无人机搭载云台相机与5g模块，搭建pc端地面站，通过mqtt协议连接命令与信号通讯服务器传输控制参数与状态数据，通过rtsp协议连接视频数据传输服务器传输视频流，实现远程无人机实时通讯与控制以及视频传输。本发明能够克服传统无人机巡检通讯距离有限、视频传输延迟高的缺点，实现超远程、低延时的电力巡检无人机实时通讯与远程控制。
[0108]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。