基于5G智能网联无人机的电网云边协同巡检系统及方法与流程

基于5g智能网联无人机的电网云边协同巡检系统及方法
技术领域
1.本发明涉及无人机运检技术领域，特别涉及基于5g智能网联无人机的电网云边协同巡检系统及方法。


背景技术：

2.目前，电力巡检无人机已得到较为广泛应用，运用无人机技术可以对输电线路与输电杆塔进行精准故障检测，既达到了减少人工投入与节约成本的目的，又提高了输电线路巡检的稳定性与时效性，保障电网安全稳定运行。
3.目前，无人机电力巡检通讯主要采用两种方式：一是基于飞行器自身数据传输模块，其传输距离在5km以内，难以实现远程检验；二是基于4g网络，由于其传输速率受限，会使远程检验图像传输延迟大，而且由于无人机控制更新速率要求较高，4g通讯无法满足对无人机远程控制、调度需求。
4.5g移动通信将为无人机的飞行测控提供强大的技术支撑，使得无人机飞行测控从局域通讯扩展为广域互通，可以协助电力行业利用装载光电设备的网联无人机完成日常巡线巡检工作。


技术实现要素：

5.本发明针对现有技术中的不足，提供基于5g智能网联无人机的电网云边协同巡检系统及方法；以提供可以降低作业风险，扩大作业范围，且能够系统性的完成无人机巡检工作的技术方案，克服了传统无人机电力巡检通信范围有限的缺点，实现了电力巡检的智能化、高效化、低成本化。
6.为实现上述目的，本发明采用以下技术方案：
7.基于5g智能网联无人机的电网云边协同巡检系统，包括：云端无人机智慧巡检系统和无人机，且两者之间通过网络传输层进行通信连接；
8.所述云端无人机智慧巡检系统包括有空域管理模块、巡检任务模块、无人机远程控制模块，且三者之间进行通信连接；其中无人机空域管理模块由无人机空域申请人员对电网无人机巡检区域进行空域规划；其中巡检任务模块包括巡检任务管理模块、巡检航迹最优规划模块、设备数字孪生数据库、巡检航迹库、手动/自动巡检切换模块，且巡检任务模块中的各个模块之间进行通信连接，手动/自动巡检切换模块实现了电网巡检任务系统自动派发和人工手动控制指令的自动切换；其中无人机远程控制模块包括北斗差分高精度位置服务模块、无人机巡检状态监控模块、无人机主控指令模块、数据智能分析模块、无人机集群设备状态模块、多无人机巡检任务协调模块，且无人机远程控制模块中的各个模块之间进行通信连接；
9.所述无人机上搭载有5g边缘智能处理模块，5g边缘智能处理模块包括机载计算机、配备有5g通信模块的客户端终端设备cpe，且5g边缘智能处理模块中的各个器件之间进行通信连接；
10.所述网络传输层包括有urllc切片、embb切片。
11.为优化上述技术方案，采取的具体措施还包括：
12.进一步地，基于5g智能网联无人机的电网云边协同巡检方法，采用了基于如上述的协同巡检系统，包括以下步骤：
13.s1：空域申请人员在空域管理模块规划并申请无人机巡检作业空域；运维人员在巡检任务模块中设置电网巡检任务，并传输给无人机远程控制模块，具体过程为：
14.s1.1：运维人员在巡检任务管理模块中派发电网巡检任务，巡检任务管理模块将该任务下发给巡检航迹最优规划模块；
15.s1.2：巡检航迹最优规划模块根据该任务内容在设备数字孪生数据库中找到此次任务中所需巡检的相关设备器件，以及在巡检航迹库中读取此次任务的巡航路线，并对比巡航路线中是否涵盖对应的设备器件，若涵盖则巡检任务管理模块将该任务及对应的巡航路线进一步下发给无人机远程控制模块，若不涵盖则根据此次任务在设备孪生数据库中所要覆盖的设备器件重新生成巡航路线，然后同步至巡检航迹库中，同时巡检任务管理模块将该任务及对应的巡航路线进一步下发给无人机远程控制模块；
16.s2：无人机远程控制模块接收任务及对应的巡航路线后，通过网络传输层传输指令给无人机进行巡检工作，同时无人机将巡检的数据信息通过网络传输层反馈给无人机远程控制模块进行分析；具体过程为：
17.s2.1：无人机远程控制模块接收到任务及对应的巡航路线后，无人机集群设备状态模块将可用的、健康状态的无人机编码发送给多无人机巡检任务协调模块；
18.s2.2：多无人机巡检任务协调模块采用现有的智能调度算法对各无人机的巡检任务进行分配和调度，并将对应任务以及对应任务巡航路线的指令传输给无人机主控指令模块；
19.s2.3：无人机通过网络传输层中的urllc切片与无人机主控指令模块、北斗差分高精度位置服务模块、巡检状态监控模块进行相互通信，使得无人机能够根据指令中对应的任务内容和巡航路线进行准确、安全的巡检；
20.s2.4：无人机在巡检过程中进行数据的采集并通过网络传输层中的embb切片将数据信息反馈给数据智能分析模块中进行分析；同时无人机进行数据采集时还采用无人机巡检拍摄质量优化方案，以确保巡检过程中的拍摄质量。
21.进一步地，步骤s2.3和步骤s2.4中利用网络传输层中的urllc切片以及embb切片进行数据传输时，采用了改进型ran网络切片算法实现了urllc切片和embb切片资源的实时优化分配，具体内容如下：
22.(1)、对urllc切片和embb切片的两个切片层的带宽占比进行分配优化，包括：
23.设定ran网络由1个bbu池和k个rrh组成，为此urllc切片和embb切片在rrh中频谱资源具体分配方法为：
[0024][0025]
式中，s＝{1，2}表示虚拟网络切片集合，1表示urllc切片，2表示embb切片，s表示
虚拟网络切片集合中的切片元素，b为总带宽资源，l
k,s
表示k个rrh中属于切片s的用户量，ωs表示切片s的权值，we、wu分别表示embb切片和urllc切片的权值，bs表示将rrh中频谱资源分配给切片s的带宽资源；
[0026]
(2)、由于每个切片中都含有多个用户，在上述(1)的过程中对urllc切片和embb切片的两个切片层的带宽资源分配完毕后，针对具体的一个切片，通过采用现有的粒子群算法，计算该切片中每个用户所要分配的带宽资源在该切片已分配的整体带宽资源中的所占比例，即可对每个切片中的每个用户的带宽资源进行优化分配的确定；其中采用现有的粒子群算法进行计算的过程中，所要实现的目标函数和约束条件如下：
[0027]
目标函数：
[0028]
约束条件：
[0029]
其中，目标函数求出的是关于每个用户在对应切片中带宽资源的占比值；
[0030]
式中：s表示虚拟网络切片集合，s表示虚拟网络切片集合中的切片元素；k表示rrh的总共数量，k表示k中的一个元素；u表示urllc切片和embb切片的两个切片层中的所有用户数量，u表示u中的一个元素；r
u,s,k
表示切片s中用户u获得的实际数据传输速度，r
smax
表示切片s中用户获得最佳服务时所需的数据速度，b
u,s
代表分配给切片s中的用户u的带宽，b
s,k
代表k个rrh中分配给切片s的带宽，分别表示切片s需要的最小数据速率和最大数据速率。
[0031]
进一步地，步骤s2.3的具体内容为：
[0032]
s2.3.1：无人机主控指令模块将指令压缩成文件，通过网络层中的urllc切片将指令传输给客户终端设备cpe；
[0033]
s2.3.2：cpe接收指令并解析指令中的巡检任务以及巡航路线，然后通过mqtt协议下发给机载计算机；
[0034]
s2.3.3：机载计算机通过无人机sdk接口将接收到的巡检任务以及巡航路线信息传输给无人机，使得无人机根据指定路线进行飞行以及根据指定任务进行拍摄内容的巡检；其中在无人机根据指定路线进行飞行时，cpe从urllc切片中访问北斗差分高精度位置服务模块，以获取当前无人机的经纬高数据，进而实现无人机的实时定位，保证无人机自身位置符合巡检路线要求；
[0035]
s2.3.4：在无人机按照指定路线进行巡检的同时，机载计算机通过无人机sdk接口获得无人机位置、速度、姿态、电池状态、云台状态的实时数据并传输给cpe；
[0036]
s2.3.5：cpe将获取的数据进行封装，然后通过urllc切片发送给巡检状态监控模块，巡检状态监控模块根据各项内容的指标情况判断是否无人机是否存在异常，若有异常则进行无人机的召回；
[0037]
s2.3.6：根据上述步骤完成无人机的巡检工作。
[0038]
进一步地，步骤s2.4中所述“无人机在巡检过程中进行数据的采集并发送到5g边
缘智能处理模块，5g边缘智能处理模块利用网络传输层将数据反馈给数据智能分析模块进行分析”的具体内容为：
[0039]
s2.4.1:机载计算机从sdk接口实时读取无人机的云台相机画面和任务点照片；
[0040]
s2.4.2:机载计算机将获得的相机画面中的原始视频流通过rtsp协议推送到cpe，若有任务点照片也传输至cpe；
[0041]
s2.4.3：cpe接受rtsp视频流的同时进行协议转换，将rtsp协议转换成国标gb/t28181-2016协议；
[0042]
s2.4.4:cpe将转换完成的视频流数据通过embb切片传输至数据智能分析处理模块中，cpe将需要反馈的任务点照片通过embb切片采用http协议传输给数据智能分析处理模块中；
[0043]
s2.4.5:数据智能分析处理模块获取到实时无人机实时巡检图像或视频信息，采用现有的深度学习算法对电网设备状态进行诊断，筛选出设备缺陷部位，解算出缺陷部件位置信息，并进行留存，进而完成无人机巡检视屏和图像的分析工作。
[0044]
进一步地，步骤s2.4中所述“无人机进行数据采集时还采用无人机巡检拍摄质量优化方案，以确保巡检过程中的拍摄质量”的具体内容为：
[0045]
所述无人机巡检拍摄质量优化方案包括：定期通过embb切片将数据智能分析模块中新版本的现有图像处理与分析算法更新至边缘计算模块，边缘计算模块利用该算法对无人机拍摄目标的成像位置、拍摄清晰度进行实时计算，并据此校核无人机位姿与云台参数，优化巡检拍摄效果，以确保巡检过程中的拍摄质量。
[0046]
本发明的有益效果是：
[0047]
1、传统的无人机电力巡检通讯主要采用两种方式：一是基于飞行器自身数据传输模块，其传输距离在5km以内，难以实现远程检验；二是基于4g网络，由于其传输速率受限，会使远程检验图像传输延迟大，而且由于无人机控制更新速率要求较高，4g通讯无法满足对无人机远程控制、调度需求。而本技术基于无人机上搭载的5g边缘智能处理模块以及网络传输层实现无人机与云端的云端无人机智慧巡检系统中各个模块的通讯连接，以提供可以降低作业风险，扩大作业范围，且能够系统性的完成无人机巡检工作的技术方案，克服了传统无人机电力巡检通信范围有限的缺点，实现了电力巡检的智能化、高效化、低成本化。
[0048]
2、本技术在网络传输层中对urllc切片和embb切片提供资源优化，使得网络层的带宽资源可以合理优化的使用，避免带宽资源浪费，以及保证信号传输的及时性和准确性。
[0049]
3、本技术提供一整套较为完整的无人机与云端协同的巡检方案，使得无人机巡检过程更为优化和完整，实现了电力巡检的智能化、高效化、低成本化。
附图说明
[0050]
图1是本发明整体系统结构示意图。
[0051]
图2是本发明无人机位置与状态反馈示意图。
[0052]
图3是本发明无人机视频与照片反馈示意图。
具体实施方式
[0053]
现在结合附图对本发明作进一步详细的说明。
[0054]
参考图1-图3；基于5g智能网联无人机的电网云边协同巡检系统及方法；
[0055]
s1、无人机搭载5g边缘智能处理模块，上面集成机载计算机、5g通信模块和客户终端设备(cpe)。云端无人机智慧巡检管控系统由无人机远程控制模块、无人机空域管理模块以及电网无人机巡检任务管理模块组成。无人机远程控制模块由北斗差分高精度位置服务模块、无人机巡检状态监控模块、无人机主控指令模块、数据智能分析模块、无人机集群设备状态模块、多无人机巡检任务协调模块组成；无人机空域管理模块由无人机空域申请人员对电网无人机巡检区域进行空域规划。电网无人机巡检任务管理模块由电网设备数字孪生数据库、巡检航迹数据库、手动/自动巡检切换模块组成；手动/自动巡检切换模块实现了电网巡检任务系统自动派发和人工手动控制指令的自动切换。
[0056]
s2、空域申请人员在空域管理模块规划并申请无人机巡检作业空域；运维人员在电网无人机巡检任务管理模块派发电网巡检任务，巡检航迹最优规划模块根据巡检任务类型对设备数字孪生数据库和巡检航迹库进行自动匹配、校核。若巡检航迹库中航迹经校核后可用，直接下发至无人机远程控制模块，若巡检航迹库中航迹与最新的设备数字孪生模型不匹配，在最新的设备数字孪生模型上采用能耗最优的无人机航迹规划方法重新生成航迹，下发至无人机远程控制模块，并将最新的航迹同步至巡检航迹库；
[0057]
其中，设备数字孪生数据库存储了输电、变电、配电等电网设备二三维一体化高精度模型，为电网设备模型的管理和评估、设备数据的预处理和融合以及设知识的挖掘和表示提供支持。
[0058]
s3、无人机远程控制模块接受到电网巡检任务后，无人机集群设备状态模块将可用的、健康状态无人机编码发送至多无人机巡检任务协调模块，多无人机巡检任务协调模块采用巡检任务智能优化调度算法对无人机巡检任务进行分配与调度，并发送至无人机主控指令模块；无人机主控指令模块利用5g网络切片技术将无人机指令发送至无人机集群，无人机集群收到任务指令后开始执行任务，通过5g网络切片技术与云端实时获取北斗差分高精度位置服务，以及实时反馈自身状态信息。
[0059]
s4、无人机集群巡检过程采用云边协同巡检方法，保证了无人机巡检效率、质量以及安全性。
[0060]
进一步，步骤s1所述的5g边缘智能处理模块中，机载计算机与无人机通过sdk接口通信，客户终端设备与5g模块集成在一起，负责机载计算机与云端管控系统的通信。
[0061]
进一步，步骤s3所述5g网络切片技术具体表现为根据无人机巡检业务特征信息传输方式划分成增强移动宽带(embb)网络切片层和超高可靠与低延迟通信(urllc)网络切片层两类，其中巡检视频与照片的反馈属embb网络切片层，巡检无人机实时位置反馈、实时状态反馈、无人机巡检航迹文件、巡检任务以及无人机控制指令属于urllc网络切片层。
[0062]
进一步，步骤s3所述5g网络切片技术采用了资源最优分配改进型ran(无线接入网)切片算法实现了(embb)网络切片层和超高可靠与低延迟通信(urllc)网络切片层资源实时最优分配，具体如下：
[0063]
(1)假设ran网络由1个bbu池和k个rrh组成，s＝{1，2，
…
，s}表示虚拟网络切片集合，共有u个用户，b为总带宽资源，为此rrh中频谱资源具体分配方法为：
[0064][0065]
式中:l
k,s
表示rrh k中属于切片s的用户量，we、wu分别表示embb切片和urllc切片的权值，ωs表示切片s的权值，bs表示分给切片s的带宽资源。
[0066]
(2)对具体用户进行资源分配，建立用户体验质量反馈模型，采用粒子群算法进行求解，进而实现5g电网无人机智能运检业务资源分配，计算方法如下：
[0067]
目标函数：
[0068]
约束条件：
[0069]
式中：r
u,s,k
表示切片s中用户u获得的实际数据传输速度，表示用户获得最佳服务时所需的数据速度，b
u,s
代表分配给切片s中的用户u的带宽，b
s,k
代表分配给rrh k中切片s带宽，分别表示切片s需要的最小数据速率和最大传输速率。
[0070]
其中，网络层分为embb网络传输层和urllc网络传输层两类，embb网络传输层和urllc网络传输层各包含包含不同用户，该算法先确定embb网络传输层和urllc网络传输层带宽占比，然后再确认embb网络传输层(urllc网络传输层)中每个用户的带宽资源占比。
[0071]
进一步，步骤s3所述的无人机自主巡检过程可表述为:
[0072]
s31、客户终端设备(cpe)从5g低延迟通信(urllc)网络切片层中接收到无人机指令中无人机巡检航迹轨迹文件；
[0073]
s32、cpe解析巡检航迹轨迹文件并将巡检任务所需信息通过mqtt协议下发给机载计算机；
[0074]
s33、机载计算机通过无人机sdk接口将接收到的巡检任务信息传输给电力巡检无人机；
[0075]
s34、cpe从5g低延迟通信(urllc)网络切片层中获取云端北斗差分高精度位置服务，得到当前无人机的经纬高数据；
[0076]
s35、每个无人机收到巡检任务后，依照任务航迹轨迹，采用北斗高精度位置差分定位与前端视觉相融合的方法开展自主巡检；
[0077]
s36、机载计算机通过无人机sdk接口获得无人机速度、姿态、电池状态、云台状态等实时数据并发送给cpe；
[0078]
s37、cpe将无人机位置和状态实时数据封装后通过5g低延迟通信(urllc)网络切片层发送给云端巡检状态监控模块；
[0079]
s38、重复步骤s35、s36、s37，直至巡检任务结束。
[0080]
进一步，步骤s4所述的云边协同巡检方法可分无人机巡检拍摄质量最优方法、无人机集群巡检安全监控方法以及无人机巡检缺陷前端识别方法。
[0081]
进一步，无人机巡检拍摄质量最优方法为定期通过5g embb切片网络层将数据智能分析模块中最新的无人机巡检图像处理与分析算法更新至边缘计算模块，边缘计算模块利用最新的算法对无人机拍摄目标成像位置、拍摄清晰地进行实时计算，并据此校核无人机位姿与云台参数，确保巡检拍摄效果最佳。无人机集群巡检安全监控方法为云端通过5g低延迟通信(urllc)网络切片层获取无人机集群巡检位置与实时轨迹，并对无人机集群位置以及运行状态进行评估，调取后台空域冲突检测算法以及续航能力评估算法模型进行实时计算，通过多无人机巡检协同任务协调模块对无人机集群巡检路径进行动态调整，通过5g低延迟通信(urllc)网络切片层将最新的无人机主控指令发送至无人机集群，保证巡检作业实时安全。同时，对异常状态无人机进行自动迫降或转为远程人工控制模式进行控制。
[0082]
进一步，无人机巡检缺陷前端识别方法具体表现为：
[0083]
(1)机载计算机从sdk接口实时读取电力巡检无人机的云台相机画面和任务点照片；
[0084]
(2)机载计算机将获得的原始视频流通过rtsp协议推流到cpe，若有任务点照片也传输至cpe；
[0085]
(3)cpe接受rtsp视频流的同时进行协议转换，将rtsp协议转换成国标gb/t 28181-2016协议；
[0086]
(4)cpe将转换完成的视频流通过5g移动宽带(embb)网络切片层传输至云端数据智能分析处理模块。cpe将需要反馈的照片通过5g移动宽带(embb)网络切片层采用http协议传输给云端数据智能分析处理模块；
[0087]
(5)云端数据智能分析处理模块获取到实时无人机实时巡检图像或视频信息，采用深度学习算法对电网设备状态进行诊断，筛选出设备缺陷部位，解算出缺陷部件位置信息，并通过5g低延迟通信(urllc)网络切片层将缺陷位置位置信息反馈至无人机边缘计算模块，无人机边缘计算模块据此计算出拍摄位置、角度以及拍摄参数等信息，并发送至无人机，无人机对缺陷部件开展不同角度的巡检与拍照，并将缺陷照片通过5g移动宽带(embb)网络切片层传输至云端，进行留存。
[0088]
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
[0089]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。