基于边缘计算的输气管道高后果区智能识别系统的制作方法

1.本发明涉及图像处理，深度学习、边缘计算等技术领域，具体涉及一种基于边缘计算的输气管道高后果区的智能系统。


背景技术：

2.随着经济不断发展，城镇化水平不断提高。输气管道等为提供能源起到了非常重要的作用，如果发生泄漏严重危害公众安全或造成较大环境破坏。输气管道周边城镇化与自然资源也会发生变化。如何对输气管道的高后果区智能识别是目前急需解决的问题。针对这一问题目前主要是靠人工监测完成，但管道存在环境复杂线路长等问题，无法实时高效低成本的完成。
3.为了解决上述问题，边缘计算应运而生。边缘计算属于一种分布式计算，在网络边缘侧的智能网关上，就近处理采集到的数据，而不需要将大量数据上传到远端的核心管理平台。
4.和云端计算相比，边缘计算以利用云服务器上已有的数据和计算能力，得到识别结果的响应时间大大缩短，而且当识别结果返回的同时，将会把图像的特征信息发送给云服务器作为新的训练集。


技术实现要素：

5.本申请实施例通过提出一种基于边缘计算的输气管道高后果区智能识别系统。系统主要包括无人机设备、输气管道传感器、高后果区智能系统、云端服务器。目的为了对输气管道的高后果区识别，实现高后果区的地物信息识别、地物区域分类、泄漏灾害预估等。
6.为实现上述目的，本申请采用以下技术方案予以实现：
7.s1：所述无人机以一定高度沿着管道从指定的位置巡航航拍，识别到高后果区后降低高度多角度拍摄地物信息采集图像信息；与地面输气管道传感器融合获取管道信息；
8.s11：对无人机边缘计算能力的改进，实时检测需要一定的并行计算能力，把边缘计算硬件jetson xavier nx集成在无人机上；
9.s12：改进输气管道传感器，使其能够向无人机发送管道信息、地理信息等。结合图像分析管道异常信息。
10.s2：云端服务器搭建神经网络系统，根据采集图像训练出权重；
11.s21：基于语义分割网络模型搭建地物信息识别，人工标注出如建筑物种类信息、公路信息、铁路信息、桥梁信息等，把图像数据集进行预处理和图像增强后通过网络训练出初代权重；
12.s22：基于vgg图像分类网络实现地物区域分类，基于居民聚集密度信息、工厂园区散布密度信息、森林湖泊地貌等散布密度信息人工分类出不同遥感图像数据集，把图像数据集进行预处理和图像增强后通过网络训练出初代权重；
13.s23：基于以上得出的信息结合地下管道信息累加权重得到泄漏灾害预估模型。
14.s3：机载jetson xavier nx把实时拍摄的地物信息识别后进行判断，同时结合机载雷达卡尔曼滤波通过边缘计算判断出路径动态向周边自动检测；
15.s31：无人机搭载双目摄像头、gps和激光雷达模块，无人机通过gps定位沿着管道指定位置巡航航拍，jetson xavier nx模块识别到高后果区后降低高度拍摄目标物从而更加精准多角度拍摄地物信息提高精度，结合卡尔曼滤波、传感器融合、地物信息识别等算法对获取的观测数据进行最优估计，实现无人机自动寻址采集输气管道周围图像信息算法；
16.s4：无人机把检测结果实时转回到云端服务器供人员判断，飞行结束降落后把新采集的图像数据传输到云端服务器，用于智能系统模型的训练以及参数的更新；权重更新完成后把结果回传到无人机；
17.s41：无人机把检测结果实时转回到云端服务器供人员判断，工作人员可以实时操作无人机对感兴趣区域识别；
18.s42：云端服务器把新采集的图像数据结合之前的权重进行迁移学习并且更新新的权重，权重更新完成后把结果回传到无人机。
附图说明
19.图1为系统流程图；
20.图2为系统效果图；
21.图3为识别流程图；
具体实施方式
22.本申请实施例通过提出一种基于边缘计算的高后果区智能系统。以低成本实时高效的对输气管道高后过区对智能识别。系统主要包括无人机设备、输气管道传感器、高后果区智能系统、云端服务器。
23.s1无人机会从输气管道的维护点a起飞，经过约30分钟巡航识别后到维护点b降落充电交付识别数据，同理充电完成后继续飞往下一个点c。
24.s2无人机首先会在管道1000米上拍摄俯视图，根据语义分割算法初步判断出建筑物种类及坐标、道路等级及坐标、铁路种类及坐标、自然资源种类及坐标等。接着无人机沿着道路自动寻址对置信度低于阈值的目标物体和建筑物进行多角度拍摄。进一步加强对物体判断以及楼房楼层的识别。此过程可由人工辅助监视以防无人机遇到障碍物掉落伤人。
25.s3根据gb 32167
‑
2015《油气输送管道完整性管理规范》定义:地区等级按管道沿线居民户数和(或)建筑物的密集程度等划分的等级，分为四个地区等级。高后果区分为三种，输气管道的潜在影响半径由以下公式确定：
[0026][0027]
s4根据所诉地物信息识别和地物区域分类通过基于maskrcnn语义分割实现，在地图中人为标注管道位置及信息，影响范围可通过公式计算得到。判断出地物目标计算出离管道最近的距离是否满足。信息类别有：
[0028]
识别到道路地物类别(如高速公路、省道、国道、铁路等)、平层建筑物分类为一级高后果区。
[0029]
识别到自然资源地物类别(如湿地、森林等自然保护区等)、建筑物高于一层低于六层、交通枢纽、易燃易爆场所分类为二级高后果区。
[0030]
识别到自然资源地物类别(如河流、水库、水源等)、建筑物高于六层分类为三级高后果区。系统自动标注出上述地物区域及高后果区域。
[0031]
s5根据所述泄漏灾害预估可由图像分类实现，首先采集大量正常输气管道附近的环境航拍图。接着采集出现不同程度由输气管道泄漏引起的环境航拍图。从而对输气管道如果发生泄漏附近环境预估。


技术特征：
1.一种基于边缘计算的输气管道高后果区智能识别系统，其特征在于由无人机设备、输气管道传感器、高后果区智能系统、云端服务器组成，系统包括以下步骤：s1：所述无人机以一定高度沿着管道从指定的位置巡航航拍，识别到高后果区后降低高度多角度拍摄地物信息采集图像信息，与地面输气管道传感器融合获取管道信息；s2：云端服务器搭建神经网络系统，根据采集图像训练出权重；s3：机载jetson xavier nx把实时拍摄的地物信息识别后进行判断，同时结合机载雷达卡尔曼滤波通过边缘计算判断出路径动态向周边自动检测；s4：无人机把检测结果实时转回到云端服务器供人员判断，飞行结束降落后把新采集的图像数据传输到云端服务器，用于智能系统模型的训练以及参数的更新，权重更新完成后把结果回传到无人机。2.根据权利要求1所述一种基于边缘计算的输气管道高后果区智能识别系统，其特征在于：步骤s1中的无人机，通过提高无人机边缘计算能力，改进管道传感器信息使其能和无人机通信，其具体步骤如下：s11：对无人机边缘计算能力的改进，实时检测需要一定的并行计算能力，把边缘计算硬件jetson xavier nx集成在无人机上；s12：改进输气管道传感器，使其能够向无人机发送管道信息、地理信息等，结合图像分析管道异常信息。3.根据权利要求1所述一种基于边缘计算的输气管道高后果区智能识别系统，其特征在于：s2步骤所述的神经网络系统，通过步骤s21使无人机拍摄的图像识别出不同地物目标，通过步骤s22使无人机拍摄的图像分类出不同地物区域，最后通过步骤s23得到泄漏灾害预估模型，其具体步骤如下：s21：基于语义分割网络模型搭建地物信息识别，人工标注出如建筑物种类信息、公路信息、铁路信息、桥梁信息等，把图像数据集进行预处理和图像增强后通过网络训练出初代权重；s22：基于vgg图像分类网络实现地物区域分类，基于居民聚集密度信息、工厂园区散布密度信息、森林湖泊地貌等散布密度信息人工分类出不同遥感图像数据集，把图像数据集进行预处理和图像增强后通过网络训练出初代权重；s23：基于以上得出的信息结合地下管道信息累加权重得到泄漏灾害预估模型。4.根据权利要求1所述一种基于边缘计算的输气管道高后果区智能识别系统，其特征在于：s3步骤所述的无人机搭载更多的传感器同地面传感器通信，具体步骤如下：无人机搭载双目摄像头、gps和激光雷达模块，无人机通过gps定位沿着管道指定位置巡航航拍，jetson xavier nx模块识别到高后果区后降低高度拍摄目标物从而更加精准多角度拍摄地物信息提高精度，结合卡尔曼滤波、传感器融合、地物信息识别等算法对获取的观测数据进行最优估计，实现无人机自动寻址采集输气管道周围图像信息算法。5.根据权利要求1所述一种基于边缘计算的输气管道高后果区智能识别系统，其特征在于：s4步骤所述的无人机通过s41使人员实时操作，通过s42迁移学习得到更准确结果，其具体步骤如下：s41：无人机把检测结果实时转回到云端服务器供人员判断，工作人员可以实时操作无人机对感兴趣区域识别；
s42：云端服务器把新采集的图像数据结合之前的权重进行迁移学习并且更新新的权重，权重更新完成后把结果回传到无人机。

技术总结
本发明提供了一种基于边缘计算的输气管道高后果区智能识别系统，系统主要由无人机设备、输气管道传感器、高后果区智能系统、云端服务器组成。所述无人机以一定高度沿着管道从指定的位置巡航航拍，识别到高后果区后降低高度多角度拍摄地物信息。所述智能系统以无人机设备为载体，包含地物信息识别、地物区域分类、泄漏灾害预估三种深度学习模型。无人机首先与地面输气管道传感器融合获取管道信息，并且用机载Jetson NX把拍摄到的地物信息识别后进行预估，同时结合机载雷达卡尔曼滤波通过边缘计算判断出路径动态向周边检测。将结果展示在边缘端服务器上。飞行结束降落后把数据传输到云端服务器，用于智能系统模型的训练以及参数的更新。权重更新完成后把结果回传到无人机。权重更新完成后把结果回传到无人机。权重更新完成后把结果回传到无人机。


技术研发人员：易军 陈文鑫 沈志龙 刘洪 钟婉霞 闵宣霖 周伟 庞进 刘佳
受保护的技术使用者：重庆科技学院
技术研发日：2021.08.31
技术公布日：2021/11/23