一种基于边缘计算的无人机日常巡逻检测系统的制作方法

1.本发明涉及无人机与边缘计算技术领域，具体是涉及一种基于边缘计算的无人机日常巡逻检测系统。


背景技术：

2.近年来，随着我国经济与科技的蓬勃发展，大中型城市中监控设备逐渐普及，相关部门也在大力进行信息化建设，整体治安环境持续改善。
3.对比超一线、一二线中心城市的基础建设情况，人口密度一般的非中心城市在治安基础建设方面还是有较大的不足，主要体现在治安维持人员数量在区域人口中占比极低，监控设备覆盖率一般甚至较低等方面，致使相关部门无法对辖区内潜在危险信息进行有效掌握，同时即便安排了进行日常巡逻，海量的人流会极大降低工作效率且至多只能做到事件发生第一时间在现场控制事态，而利用监控设备进行事先排查也存在不小的问题，如监控设备天然存在众多死角，这些非中心城市较为一般的监控设备覆盖率更是雪上加霜，另外监控设备还存在图像分辨率低，信息采集效率较差，不能实时处理数据信息等问题，于是如何提前有效探查潜在危险，预防事件发生成为了这些人口密度一般的非中心城市相关部门的难题。
[0004] 现有中国专利：一种基于云边协同和5g网络的无人机巡检系统，专利号：cn 212785420 u，授权公告日：2021.03.23，可以提升业务的处理效率，使得电力巡检更加智能化，但是专利中将边缘计算设备挂载到无人机上，与地面传感器或交换机联通传递数据，并在无人机搭载的边缘计算设备上进行计算处理，这种结构的设计存在以下问题：无人机由于其自身大小与电源限制，挂载边缘计算设备后耗电量剧增，因此
①
无人机的飞行续航时间大大减少，使得每次执行任务时间缩水，探查区域较小；
②
挂载版本的边缘计算设备相较正常设备大小受限，所以边缘计算设备中负责计算处理部分的计算力与计算规模也相应受限，另外由于供电受限，无法使用正常功率进行计算，所以计算速度也大打折扣，因此需要提供一种基于边缘计算的无人机日常巡逻检测系统来解决上述问题。


技术实现要素：

[0005]
为解决上述技术问题，本发明提供一种基于边缘计算的无人机日常巡逻检测系统，包括多旋翼无人机和定制设计组装的边缘计算设备，所述边缘计算设备设置在地面上，所述多旋翼无人机包括控制导航模块：控制导航模块用于确认与修正无人机飞行方位、实时地理位置并确保航线与规定巡检路线一致，此外还承担了多旋翼无人机使用过程中处理指令与总控单元的作用；图像与视频采集模块：图像与视频采集模块用于采集地面信息；数据存储模块用于存储整个巡检过程中产生的处理前后图像视频数据与飞行日志；数据存储模块、飞行控制模块：所述飞行控制模块通过对电机、电调、螺旋桨发送实时指令实现多旋翼无人机的飞行轨迹、速度、姿态等的统一控制；无线通信模块：无线通信模块用于空中的多旋翼无人机与地面的边缘计算设备之间进行通信，传输图像视频数据、处理数据和控制
指令；定制小轴距机架和多旋翼无人机电源：多旋翼无人机电源为便携式电池，需要定期进行充电与维护；所述定制设计组装的边缘计算设备包括中央处理模块：中央处理模块是边缘计算设备的控制核心，用于处理数据与指令并执行各类运算与控制操作；图形处理模块：图形处理模块用于图像和图形相关运算，通过根据特定数据集训练出的深度学习网络权重文件对多旋翼无人机采集传输的图像视频进行检测并将结果提交中央处理模块进行后续操作处理；数据存储模块、无线通信模块、定制金属外壳和边缘计算设备电源：边缘计算设备电源则是接地供电，保证电压稳定，需要持续供电与定期维护；所述多旋翼无人机通过图像与视频采集模块采集巡检路径覆盖的道路边及可视范围内的高清60帧分辨率视频数据，将其传递至边缘计算设备，所述边缘设备对视频抽帧并将数据分解调度至区域内其他边缘设备进行图像处理，收到其他设备发回的处理结果后对这些结果进行聚合并根据几种判定模式进行飞行控制指令计算，将处理后图像视频数据与飞行控制指令发回至所述多旋翼无人机，支持多旋翼无人机进行日常的巡逻检测任务。
[0006]
本发明的进一步改进在于：所述边缘设备对任务进行分解调度的依据为copoly算法，copoly算法包含4个步骤：首先设第一台与无人机连接并通信的边缘设备为第一节点，第一节点计算当前区域内其他边缘设备（节点）与其物理直线距离，再按照公式计算得到基础分配调度值。同时对当前区域内其他节点与第一节点的通信信道信噪比进行处理，计算其他节点与第一节点的信噪比的均值和标准差，对各个节点的信噪比进行标准化(normalization)处理：，得到另一基础分配调度值，其中为信号功率（瓦），为噪声功率（瓦）。最终根据加权公式进行分配，得到不同节点的调度处理工作量，其中为物理距离因素的权重，为信噪比因素的权重，另外i>1，a为总工作量（该时间段中需要处理图像帧的总数量），第一节点将抽帧后的图像数据分别发送至不同节点进行进一步处理，最终的工作量分布如所示。
[0007]
本发明的进一步改进在于：在巡检区域内根据建筑、基站数量等客观条件影响下的无线通信模块实际辐射范围进行规划，在确保设备最大化覆盖多旋翼无人机巡检路线和取得最稳定通信环境范围的条件下部署若干定制边缘计算设备，依靠点对点协议（ppp）进行无人机与边缘计算设备之间、边缘计算设备集群内的数据传输。
[0008]
本发明的进一步改进在于：所述中央处理模块和图形处理模块作为边缘计算的核心，以无线通信模块接收到的多旋翼无人机发送的图像与视频数据为输入，使用在yolo
‑
v5深度学习网络预训练模型基础上根据特定数据集进行训练得到针对相关成员识别的指向性权重文件，进行检测操作，再将检测结果与预设判定模式进行比较，生成继续巡逻任务或返回进行加量拍摄的指令，通过无线通信模块发送回多旋翼无人机。
[0009]
本发明的进一步改进在于：所述控制导航模块通过内置微型gps设备确认与修正当前多旋翼无人机飞行方位与所处地理位置，并内置微型板载电脑进行基础指令处理，例如该模块命令图像与视频采集模块进行数据采集，在打上时间戳记录之后发送至数据存储模块，再通过无线通信模块发送至地面端边缘计算设备，在接收地面端回传信息后编译指令对飞行控制模块、图像与视频采集模块进行飞行与采集命令的调整。
[0010]
本发明的进一步改进在于：所述多旋翼无人机电源为可移动串联式锂电池，支持无人机运行时间约为1小时，需要在每次任务结束后由负责人员进行充电与保养。
[0011]
本发明的进一步改进在于：所述基于边缘计算的无人机日常巡逻检测系统的巡逻检测方法，包括以下步骤：步骤一，本次巡检任务开始，相关机关负责人员放出多旋翼无人机；步骤二，多旋翼无人机按照预先设定路线飞抵巡检区域开始既定路线巡检；步骤三，多旋翼无人机匀速飞行，采集区域内图像视频数据，每间隔一定距离就发送至当前区域内距离最近的边缘计算设备；步骤四，边缘计算设备对步骤三获取的图像视频数据信息进行抽帧处理，同时根据copoly算法对区域内边缘计算设备进行负载均衡调度，将抽帧后的图像数据分别传递至不同的边缘计算设备；步骤五，区域内边缘计算设备收到分配的任务指令与数据后将数据输入图像处理模块使用yolo
‑
v5深度学习算法进行处理，输出的文件发送回负责抽帧与分配的边缘设备，该设备将收集到的所有处理结果聚合并编写指令，一并发送至多旋翼无人机；步骤六，若当前区域内不存在检测可疑值大于预警界值，则执行步骤八；若存在则执行步骤七；步骤七，多旋翼无人机根据边缘计算设备发回的处理结果与指令，返回可疑处进行短时间加量拍摄，采集更多图像数据并与先前数据一并存储，采集完成后，本区域内不再执行采集任务，执行步骤八；步骤八，若巡检路程没有结束，存储该区域处理结果，并按照既定路线进入下一个边缘设备辐射范围开始采集图像数据，重复执行步骤三；若巡检路程已经结束，存储该区域处理结果，执行步骤九；步骤九，按照预先设定返航路线返回出发点，负责人员取出存储器，对日志与处理结果进行入库记载，分析本日巡检过程中可疑值较大的数据并作进一步处理；进行机体维护与充电；步骤十，本次巡逻检测任务结束。
[0012]
本发明的有益效果：将无人机与计算处理模块分离，实现功能隔离，无人机由搭载的便携式锂电池供电，地面边缘计算设备接地供电，电压稳定且能够实现持续供电，因此
①
无人机无需向边缘计算设备供电，其飞行续航时间大大增加，能够实现45分钟以上的持续飞行；
②
部署在地面的定制边缘计算设备，因为大小、散热、供电基本没有限制，边缘计算模块得到了解放，所以其计算处理模块的计算力与计算速度得到了极大的提升。
[0013]
此外，在对接收到的无人机拍摄视频进行抽帧处理后，地面边缘计算设备根据部署在其上的copoly算法进行图片处理任务的调度，将总工作量拆分调度至区域内其他边缘
设备上再进行处理，这样能够大大提升无人机拍摄的60帧高分辨率视频的计算处理速度，对目标的检测和识别更加清晰，所执行任务的效率和成效也因此获得了巨大的提升。
附图说明
[0014]
图1为基于边缘计算的无人机日常巡逻检测系统的巡逻检测区域配置示意图；图2为基于边缘计算的无人机日常巡逻检测系统的巡逻检测流程示意图；图3为基于边缘计算的无人机日常巡逻检测系统的系统结构示意图；图4为基于边缘计算的无人机日常巡逻检测系统的分布式调度copoly算法流程图；
具体实施方式
[0015]
为了加深对本发明的理解，下面将结合实施例对本发明作进一步的阐述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。如图1与图3所示，本实施例提供了一种基于边缘计算的无人机日常巡逻检测系统，包括多旋翼无人机和定制设计组装的边缘计算设备，所述边缘计算设备设置在地面上；所述多旋翼无人机包括控制导航模块、图像与视频采集模块、数据存储模块、飞行控制模块、无线通信模块、定制小轴距机架和电源；所述定制设计组装的边缘计算设备包括中央处理模块、图形处理模块、数据存储模块、无线通信模块、定制金属外壳和电源。其中，控制导航模块用于确认与修正无人机飞行方位、实时地理位置并确保航线与规定巡检路线一致，此外还承担了多旋翼无人机使用过程中处理指令与总控单元的作用；图像与视频采集模块用于采集地面信息；数据存储模块用于存储整个巡检过程中产生的处理前后图像视频数据与飞行日志；飞行控制模块用于根据指令对多旋翼无人机的飞行速度、方向和姿态进行控制；无线通信模块用于空中的多旋翼无人机与地面的边缘计算设备之间进行通信，传输图像视频数据、处理数据和控制指令；中央处理模块是边缘计算设备的控制核心，用于处理数据与指令并执行各类运算与控制操作；图形处理模块用于图像和图形相关运算，通过根据特定数据集训练出的深度学习网络权重文件对多旋翼无人机采集传输的图像视频进行检测并将结果提交中央处理模块进行后续操作处理；多旋翼无人机电源为便携式电池，需要定期进行充电与维护；边缘计算设备电源则是接地供电，保证电压稳定，需要持续供电与定期维护。所述多旋翼无人机通过图像与视频采集模块采集巡检路径覆盖的道路边及可视范围内的高清60帧分辨率视频数据，将其传递至边缘计算设备，所述边缘设备对视频抽帧并将数据分解调度至区域内其他边缘设备进行图像处理，收到其他设备发回的处理结果后对这些结果进行聚合并根据几种判定模式进行飞行控制指令计算，将处理后图像视频数据与飞行控制指令发回至所述多旋翼无人机，支持多旋翼无人机进行日常的巡逻检测任务。
[0016]
接下来讨论边缘计算设备中图像处理模块的工作方式：在系统建立初期，通过调取相关系统内部资料与3d资源建模，制作数据增强后包含特定大型数据集，使用剪枝改进后的基于yolo
‑
v5算法的深度学习网络预训练模型，在高算力gpu支持下进行加速训练得到新的指向性深度学习网络权重文件。边缘计算设备中部署了图像检测环境，收到多旋翼无人机发送的多段时长为15
‑
30秒的60帧分辨率视频，每间隔2帧抽取一张图片作为关键帧，每批次得到450
‑
900张高清图片，按照copoly算法调度至区域内其他边缘计算设备，这些设
备将抽帧后的图片放入yolo
‑
v5算法框架，结合指向性权重文件进行检测。对检测结果进行处理，如果图片中目标被yolo
‑
v5算法框选并判定为“可疑”，同时其置信度大于等于75，则判定为可疑目标，反之则为常规目标。
[0017]
下面将结合图2，具体描述工作流程：1.本次巡检任务开始，相关机关负责人员放出多旋翼无人机；2.多旋翼无人机按照预先设定路线飞抵巡检区域开始既定路线巡检；3.多旋翼无人机匀速飞行，采集区域内图像视频数据，每间隔一段距离就发送至区域内边缘计算设备；4.边缘计算设备对收到的图像视频数据信息进行抽帧处理，同时根据copoly算法对区域内边缘计算设备进行负载均衡调度，将抽帧后的图像数据分别传递至不同的边缘计算设备；区域内边缘计算设备收到分配的任务指令与数据后将数据输入图像处理模块使用yolo
‑
v5深度学习算法进行处理，输出的文件发送回负责抽帧与分配的边缘设备，该设备将收集到的所有处理结果聚合并编写指令，一并发送至多旋翼无人机；5.若当前区域内存在检测可疑值大于预警界值，则根据边缘计算设备发回的处理结果与指令，返回可疑处进行短时间加量拍摄，采集更多图像数据并与先前数据一并存储，采集完成后，本区域内不再执行采集任务；6.若当前区域内不存在检测可疑值大于预警界值，且巡检路程没有结束，存储该区域处理结果，并按照既定路线进入下一个边缘设备辐射范围开始采集图像数据，继续与当前区域内边缘计算设备进行联动；若巡检路程已经结束，存储该区域处理结果并返航。
[0018]
7.按照预先设定返航路线返回出发点，负责人员取出存储器，对日志与处理结果进行入库记载，分析本日巡检过程中可疑值较大的数据并作进一步处理，进行机体维护与充电，本次巡逻检测任务结束。
[0019]
本发明中原创的copoly算法，影响无线通信的重要因素主要有物理距离、电磁波干扰、信道信噪比等，我们重点关注物理距离与信道信噪比，以此作为关键因素加入调度策略，计算得到区域内不同节点间的通信损失，再据此选取最优的分配调度方式，具体策略如下：copoly算法包含4个步骤：首先，设第一台与无人机连接并通信的边缘设备为第一节点，第一节点按照设定好的抽帧规则对接收到的视频文件进行抽帧，得到a个关键帧图片；接着计算当前区域内其他边缘设备（节点）与其物理直线距离，再按照公式计算得到基础分配调度值。
[0020]
其次，对当前区域内其他节点与第一节点的通信信道信噪比进行处理，计算其他节点与第一节点的信噪比的均值和标准差，对各个节点的信噪比进行标准化(normalization)处理：，得到另一基础分配调度值，其中为信号功率（瓦），
为噪声功率（瓦）；最终根据加权公式进行分配，得到不同节点的调度处理工作量，其中为物理距离因素的权重，为信噪比因素的权重，另外i>1，a为总工作量（该时间段中需要处理图像帧的总数量即copoly第一步的结果），第一节点将抽帧后的图像数据分别发送至不同节点进行进一步处理，最终的工作量分布如所示。
[0021]
再次，进行实验测试，取无人机正常飞行拍摄的4k60帧高分辨率视频一段，时长90s，大小为1184mb，按每2帧抽取关键帧的策略抽取出2700帧图片。首先在第一节点上通过yolo
‑
v5深度学习算法直接计算，生成结果文件用时91s。接着计算加入物理距离影响因子进行分配，第二节点处理1074帧，第三节点处理819帧，第四节点处理907帧，三个节点从第一节点接收数据用时分别为30s、25s、28s；在三个节点上分别通过yolo
‑
v5深度学习算法进行计算，第二节点用时38s，第三节点用时30s，第四节点用时32s；最后由于yolo
‑
v5深度学习算法的处理结果为txt文件，容量很小，所以各节点将结果发送回第一节点进行聚合的通信时间较短，分别为第二节点用时5s，第三节点用时4s，第四节点用时4s。
[0022]
最后，加入信噪比影响因子进行分配，第二节点处理934帧，第三节点处理989帧，第四节点处理877帧，三个节点从第一节点接收数据用时分别为28s、29s、26s；在三个节点上分别通过yolo
‑
v5深度学习算法进行计算，第二节点用时35s，第三节点用时34s，第四节点用时35s；结果回传时间依然分别是5s，4s，4s。由此我们可以得到实验表格，如下表所示：实验测试结果总结：相对单一节点进行计算，引入两种影响因子的copoly算法将任务执行时间减少了将近25%，该算法优化了原本较长的计算处理时间，也就是提升了任务执行的效率，考虑到电池制约了无人机的续航时间，算法减少计算时间就等于为无人机延长任务执行时间，这就相当于进一步扩大了巡检范围，能够检视更大的区域与更多的可疑。
[0023]
本发明的有益效果：
在人口密度一般的非中心城市人口聚居区域、大人流区域规划日常巡逻路线，在路线涉及街道与街道临近区域部署若干数量的定制边缘计算设备与日常巡逻多旋翼无人机进行联动，实现高效探查潜在危险，预防事件发生，解决了地方不足，监控设备数量少、信息采集效率低等问题，为维护社会安全与稳定，创造让人民群众安业安居安康安心的良好社会环境做出贡献；在地面按辐射范围等科学依据进行部署一定数量的定制边缘计算设备，无人机上只有微型板载电脑负责运行指令与调用高清图像视频拍摄设备，两者通过ppp协议进行联通传递数据，在地面的边缘计算设备上进行分布式计算处理后结果发送回无人机。这样通过将无人机与计算处理模块分离，实现功能隔离，其中无人机由挂载的便携式锂电池供电，地面边缘计算设备接地供电，电压稳定且能够实现持续供电，因此
①
无人机携带的电池无需向边缘计算设备供电，其飞行续航时间大大增加，能够实现45分钟以上的持续飞行，大大扩展了任务执行区域；
②
部署在地面的定制边缘计算设备，因为大小、散热、供电基本没有限制，边缘计算模块得到了解放，所以其计算处理模块的计算力与计算速度得到了极大的提升。
[0024]
此外，在对接收到的无人机拍摄视频进行抽帧处理后，地面边缘计算设备根据部署在其上的copoly算法进行图片处理任务的调度，将总工作量拆分调度至区域内其他边缘设备上再进行处理，这样能够大大提升无人机拍摄的60帧高分辨率视频的计算处理速度，对目标的检测和识别更加清晰，所执行任务的效率和成效也因此获得了巨大的提升。
[0025]
本发明通过多旋翼无人机自动巡逻并与定制边缘计算设备联动进行图像视频检测，其优点在于费用低且效率高，大部分工作自动化、日常化，实现了高效探查潜在危险，预防事件发生，解决了地方不足，监控设备数量少、信息采集效率低等问题，为维护社会安全与稳定，创造让人民群众安业安居安康安心的良好社会环境做出贡献。