一种无人机智能图像采集系统及方法与流程

1.本发明属于图像采集技术领域，具体涉及一种无人机智能图像采集系统及方法。


背景技术：

2.当前无人机应用技术日臻成熟，已经实现了各种应用场景下的无人机自主飞行、飞行过程状态实时监控，大数据分析技术、云计算技术、人工智能与机器学习技术有了质的飞跃，可确保无人机获取的各类图形图像及结构化数据等可根据应用场景的需要开展深入智能化分析，在此前提下，无人机智能巡检技术在输电线路巡检中展现出了广阔的应用前景。
3.如图1所示，目前无人机巡检流程包括如下步骤：1. 空域申请：通过线下方式向空管部门申请无人机飞行空域；2. 计划制定：在无人机巡检管控平台中录入巡检年度计划、月度计划、周计划；3. 任务制定：结合巡检计划，制定无人机巡检任务；4. 任务派发：通过线下方式把任务/航迹文件导入至飞行终端；5. 巡检作业：线下实施巡检作业、安全监视、飞行终端存档；6. 安全监控：无法线上获取无人机位置等信息，缺乏现场作业的安全管控；7. 数据回传：将巡检数据线下方式上传至无人机自主巡检应用；8. 数据分析：巡检任务图片经智能分析 人工二次复核后，生成缺陷存储于无人机系统；9. 缺陷流转：把生成的缺陷人工导入pms，触发后续流程。
4.但目前无人机巡检业务仍存在任务重复派工、数据线下流转、安全管控不足、缺陷识别效率不高等问题，主要包括：无法实时获取无人机位置与状态信息，适航区综合管控能力欠缺，存在误入非适航区的风险，对现场作业安全管控能力欠缺；无人机自主巡检采集图像尚无法自动识别并实时回传企业内网，与现有企业内网平台未有效融合；巡检产生的缺陷数据无法贯通流转至pms系统，导致缺陷无法同源维护；内外网缺少安全、便捷和稳定交互通道，巡检任务、航迹文件和视频图像等数据未实现线上数据贯通，人工参与度过高。


技术实现要素：

5.为了解决现有技术中存在的任务重复派工、数据线下流转、安全管控不足、缺陷识别效率不高的技术问题，本发明提供了一种无人机智能图像采集系统及方法，技术方案如下：一种无人机智能图像采集系统，包括管理信息大区、互联网大区、互联网；管理信息大区包括无人机应用、技术中台、数据中台、业务中台，数据中台包括非结构化平台；互联网大区包括无人机应用、技术中台、非结构化平台；管理信息大区与互联网大区通过逻辑型信息网络安全隔离装置实现信息穿透，互联网大区与互联网通过防火墙实现信息穿透。
6.进一步的，管理信息大区的技术中台包括总部侧人工智能平台、省市侧人工智能
平台；总部侧人工智能平台包括样本库、模型库、训练平台；省市侧人工智能平台包括样本库、模型库；互联网大区的技术中台包括人工智能运行平台；总部侧人工智能平台从省市侧人工智能平台获得样本信息，样本信息经总部侧人工智能平台的训练平台后得到模型算法，省市侧人工智能平台获取模型算法，互联网大区的技术中台调用模型算法，无人机巡检得到的巡检图片通过模型算法获得缺陷信息。
7.进一步的，无人机通过rtk服务实现无人机定位、纠偏。
8.进一步的，还包括外部无人机，外部无人机通过互联网大区的统一认证后进行巡检作业。
9.本发明还提供一种无人机智能图像采集方法，管理信息大区的无人机应用将无人机巡检任务相关的结构化数据通过管理信息大区的业务中台下发至互联网大区，互联网大区接收并缓存无人机巡检任务相关的结构化数据，并下发至互联网的无人机巡检终端，无人机巡检终端开展自主巡检作业，并将巡检图片上传至互联网大区的非结构化平台进行长期存储。
10.进一步的，管理信息大区的技术中台的省市侧人工智能平台通过样本归集接口自动从管理信息大区的无人机应用拉取样本信息，并将样本信息归集并上传至总部侧人工智能平台的样本库，供总部侧人工智能平台的训练平台使用。
11.将总部侧人工智能平台的训练平台中经训练验证达标的模型算法存储至总部侧人工智能平台的模型库，将模型库中的模型算法下发至省市侧人工智能平台的模型库，供互联网大区的技术中台调用。
12.互联网大区的无人机应用将巡检图片上传至互联网大区的技术中台，在技术中台的人工智能运行平台上通过调用的模型算法进行算法模型识别，并将识别结果返回至互联网大区的无人机应用。
13.互联网大区的无人机应用将识别结果为缺陷的缺陷图片回传至管理信息大区的无人机应用，并将缺陷信息回传至管理信息大区的业务平台。
14.进一步的，在管理信息大区侧，根据批复的空域文件，结合gis数据、电网资源数据、非适航区台账信息，生成适航区数据，保存在管理信息大区。
15.在互联网大区侧，通过调用无人机现场作业期间回传的飞行坐标信息，结合适航区数据，实现无人机实时位置监控。
16.调用无人机现场作业视频数据和任务执行状态数据，实现无人机现场作业的安全管控。
17.进一步的，对外委飞行人员及外部无人机进行统一认证，并赋予临时作业权限，将外部无人机的飞行状态数据和飞行位置信息实时回传至互联网大区进行作业安全管控和辅助预警。
18.进一步的，外部无人机巡检产生的图像数据在机端仅做暂存处理，待图像数据回传至互联网大区后，对暂存于外部无人机上的巡检数据进行即时消除。
19.本发明的有益效果：本发明以人工智能、图像识别等技术为依托，以“业务数字化、管理规范化、作业智能化”为方向，实现飞行空域管理、巡检计划制定、作业安全监控、数据交互处理、辅助检修决策等业务全过程线上流转，提高缺陷识别分析、数据安全防护及作业全流程管控能力，减轻基层员工作业压力，全面支撑数字化班组建设。
附图说明
20.图1是无人机巡检作业流程现状图。
21.图2是本发明一种无人机智能图像采集系统架构图。
22.图3是本发明一种无人机智能图像采集系统应用架构图。
23.图4是本发明一种无人机智能图像采集系统的无人机自主巡检数据流转图。
24.图5是本发明一种无人机智能图像采集系统的样本及缺陷数据流转图。
25.图6是本发明一种无人机智能图像采集系统的安全管控数据流转图。
26.图7是本发明一种无人机智能图像采集系统的外委管理数据流转图。
具体实施方式
27.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
28.如图2所示，一种无人机智能图像采集系统，包括管理信息大区、互联网大区、互联网。其中，管理信息大区包括无人机应用、技术中台、数据中台、业务中台，数据中台包括非结构化平台；互联网大区包括无人机应用、技术中台、非结构化平台；管理信息大区与互联网大区通过逻辑型信息网络安全隔离装置实现信息穿透，互联网大区与互联网通过防火墙实现信息穿透。
29.其中，管理信息大区的无人机应用包括作业计划管理模块、作业任务管理模块、适航区管控模块、航线库管理模块、统计分析模块、基础配置模块。
30.管理信息大区的技术中台包括电网gis平台、人工智能平台、统一权限平台。其中，电网gis平台通过电网gis平台服务，结合业务中台的电网资源中心、电网拓扑中心提供的台账、图形信息，综合批复的空域信息和非适航区信息，生成适航区文件，明确安全作业范围；人工智能平台提供图像识别算法分析服务，对无人机巡视图像数据进行缺陷智能识别，同时还能实现样本归集功能，对样本信息进行统一管理；统一权限平台为业务应用、微服务提供方便、快捷、安全、可靠的账号管理、认证管理、权限管理、安全审计管理。
31.管理信息大区的数据中台包括分析层、共享层、贴源层。采用非结构化平台，通过碎片化分布式存储技术，保存海量无人机巡检图片，并基于全业务数据及统一模型，进行跨数据域综合计算分析，通过各类数据服务，支撑无人机数据分析统计及价值挖掘应用。
32.管理信息大区的业务中台包括电网资源中心、作业管理中心、电网拓扑中心。通过电网资源中心、作业管理中心，基于统一数据模型，调用电网资源查询、巡视计划维护、巡视任务维护等共享服务，并通过信息网络安全隔离装置（逻辑型）实现管理信息大区与互联网大区信息穿透，支撑输电设备台账信息获取，巡视计划下达、巡视任务派发、缺陷数据上报等业务。
33.互联网大区的无人机应用包括适航区管理模块、任务管理模块、缺陷管控模块、飞行监控模块、暂存数据库。其中，暂存数据库存储的数据包括飞行状态、告警信息、飞行轨迹等。
34.互联网大区的技术中台包括统一视频平台、电网gis平台、人工智能平台、统一权
限平台、外网移动门户。其中，统一视频平台通过将无人机实时视频数据接入统一视频平台，实现现场作业可视化监控；电网gis平台通过电网gis平台服务，结合业务中台的电网资源中心、电网拓扑中心提供的台账、图形信息，综合批复的空域信息和非适航区信息，生成适航区文件，明确安全作业范围；人工智能平台提供图像识别算法分析服务，对无人机巡视图像数据进行缺陷智能识别；实现样本归集功能，对样本信息进行统一管理；统一权限平台为业务应用、微服务提供方便、快捷、安全、可靠的账号管理、认证管理、权限管理、安全审计管理；外网移动门户基于app建设无人机原生安卓微应用，利用app数据传输链路，支撑无人机巡检业务。非结构化平台通过碎片化分布式存储技术，保存海量无人机巡检图片。
35.于一实施例中，无人机巡检终端与无人机通过互联网4g/5g与互联网大区通信连接。
36.于一实施例中，本发明提供的一种无人机智能图像采集系统，基于外网移动门户app，融合大疆无人机等原生sdk，建立无人机巡检终端与无人机的传输通道，实现无人机定位、纠偏等信号的实时传输，进行无人机飞行控制。利用外网移动门户“互联网-互联网大区-管理信息大区”传输通道，贯通无人机数据安全传输链路，通过管理信息大区的业务中台共享服务，结合业务中台与技术中台提供的公共服务，支撑管理信息大区、互联网大区输电专业无人机作业信息调取、巡视资料存储等业务功能，实现无人机监控、巡检任务接收、巡检数据回传等业务，以解决现有技术中内外网缺少安全、便捷和稳定交互通道，巡检任务、航迹文件和视频图像等数据未实现线上数据贯通，人工参与度过高的技术问题。
37.具体的，无人机现场操作人员通过遥控器进行无人机飞行控制，无人机通过rtk服务获取无人机定位、纠偏等信号，并实时传输给互联网无人机巡检终端，无人机巡检终端通过“互联网-互联网大区-管理信息大区”传输通道，将信号通过信息网络安全隔离装置（逻辑型）实时传输至管理信息大区，实现无人机监控、巡检任务接收、巡检数据回传。
38.为了实现无人机的信息采集实时化、数字化、可视化、智能化、精细化等目标，通过融合外网移动门户、业务中台、数据中台与技术中台等支撑平台公共服务，实现对无人机巡检业务的智能处理与数据贯穿闭环管理。
39.具体的，如图3所示，管理信息大区包括总部级无人机应用、省级无人机应用。其中，总部级无人机应用包括无人机业务监控、综合统计分析，省级无人机应用包括作业计划管理、作业任务管理、适航区管控、航线库管理、统计分析、基础管理。在省级无人机应用中，作业计划管理包括计划制定、计划审批、计划变更、计划完结，作业任务管理包括作业巡视任务、作业巡视工单、作业任务下发、历史轨迹查看，适航区管控包括适航区管理、适航区告警，航线库管理包括航线录入、航线更新、航线删除、航线查看，统计分析包括巡检航线入库率、无人机配置率、作业覆盖率，基础管理包括字典配置、业务审核配置。
40.相应的，互联网大区包括适航区管控、缺陷管理、任务管理、飞行监控。其中，适航区管控包括告警信息获取、告警信息同步、作业路径接收、作业路径同步，缺陷管理包括缺陷识别、缺陷上传，任务管理包括任务工单获取、适航区信息获取、航线文件获取、任务结果管理，飞行监控包括安全监控、状态监控。
41.在无人机巡检终端上，包括任务航线接收、无人机自主巡检、无人机飞行监控、巡检数据回传。
42.于一实施例中，无人机巡检数据横向分布于管理信息大区和互联网大区，在管理
信息大区侧，通用技术类、设备台账类、基础数据类、巡检任务类、安全管控类数据存储于业务中台，缺陷图片、样本图片分别存储于非结构化平台及人工智能平台。在互联网大区侧，告警信息、飞行状态数据、飞行轨迹等安全管控类数据暂存（即用即销），便于自主巡检作业的实时调用并实现现场作业安全管控，作业结果类巡视图片、视频等数据按周期性要求存储于非结构化平台。
43.具体的，关于无人机巡检数据流转方向，可分为如下几类：1. 航迹数据：从管理信息大区的无人机应用获取航迹文件，通过信息网络安全隔离装置（逻辑型）下发至互联网大区的无人机应用，并提取航迹数据，然后将该航迹数据通过防火墙下发至互联网的无人机app上；2. 巡视计划：从管理信息大区的无人机应用调用业务中台维护巡视计划，并下发至管理信息大区的业务中台；3. 巡视任务：从管理信息大区的无人机应用调用业务中台维护巡视任务，下发至管理信息大区的业务中台，管理信息大区的业务中台通过信息网络安全隔离装置（逻辑型）将任务下发至互联网大区的无人机应用，并提取航迹数据，然后将该航迹数据通过防火墙下发至互联网的无人机app上；4. 巡视工单：从管理信息大区的无人机应用调用业务中台维护巡视工单，下发至管理信息大区的业务中台，管理信息大区的业务中台通过信息网络安全隔离装置（逻辑型）将任务下发至互联网大区的无人机应用，并获取工单数据，然后将该巡视工单通过防火墙下发至互联网的无人机app上；5. 飞行监控：互联网的无人机app将飞行监控数据通过防火墙回传给互联网大区的无人机应用，再通过信息网络安全隔离装置（逻辑型）回传给管理信息大区的业务中台。
44.6. 巡检回传（图片视频）：互联网的无人机app将图片数据、视频数据分别通过防火墙回传给互联网大区的无人机应用以及统一视频平台，其中，回传给无人机应用的数据再通过非结构话平台、信息网络安全隔离装置（逻辑型）依次回传给管理信息大区的无人机应用、非结构化平台、人工智能平台。
45.7. 缺陷信息：互联网大区的无人机应用通过信息网络安全隔离装置（逻辑型）将缺陷信息回传给管理信息大区的业务中台。
46.为了实现自主巡检任务与统一航迹文件线上流转，以gis技术、中台服务为支撑，建立无人机航迹规划、自主作业、数据回传、自动归档的作业流程，提升无人机自主巡检作业能力。如图4所示，无人机自主巡检包括：1. 在管理信息大区部署航迹规划服务，制定自主巡检任务，并将相关航迹文件与任务信息等结构化数据下发至互联网大区。
47.2. 在互联网大区中接收并缓存管理信息大区下发的巡检任务相关的结构化数据，以供相关业务应用调用。
48.3. 在巡检终端接收包含规划航迹信息的巡检任务文件，开展自主巡检作业。根据自主航线附加信息实现巡检图片自动命名归档，并在线上传至互联网大区非结构化数据库进行长期存储。
49.对于样本及缺陷数据流转，于一实施例中，无人机巡检图像数据通过人工智能平台进行缺陷识别与审核，将缺陷信息自动流转至管理信息大区的缺陷管理模块，推进缺陷
数据流转自动化；同时将图像归类样本集数据上传至人工智能平台，进行算法模型的迭代升级。
50.如图5所示，管理信息大区的技术中台包括总部侧人工智能平台、省市侧人工智能平台；总部侧人工智能平台包括样本库、模型库、训练平台；省市侧人工智能平台包括样本库、模型库；互联网大区的技术中台包括人工智能运行平台；总部侧人工智能平台从省市侧人工智能平台获得样本信息，样本信息经总部侧人工智能平台的训练平台后得到模型算法，省市侧人工智能平台获取模型算法，互联网大区的技术中台调用模型算法，无人机巡检得到的巡检图片通过模型算法获得缺陷信息。具体为：样本上传：省市侧部署人工智能平台样本库及模型库，通过样本归集接口自动从无人机应用拉取样本信息，并将归集样本信息上传至总部侧样本库，经标注、发布等流程，供模型训练使用。
51.模型下发：将总部侧模型库中经训练验证达标的模型算法下发至省市侧人工智能平台模型库，并部署至省市级模型服务平台或模型服务器，供无人机应用调用，支撑无人机图像智能识别。
52.对于安全管控，如图6所示，将批复的空域信息进行数字化解析，结合排查出的非适航区台账、gis数据、电网资源数据，生成无人机作业适航区；基于互联网大区，即时获取无人机实时位置、任务执行状态等信息，实时监控无人机现场作业情况，实现超区域、超限高等自动告警并限制飞行的功能，强化现场作业的安全管控。
53.其中，管理信息大区侧：根据批复的空域文件，结合gis数据、电网资源数据和排查出的非适航区台账等信息，生成适航区数据，保存在管理信息大区。
54.互联网大区侧：通过调用无人机现场作业期间回传的飞行坐标信息，结合适航区数据，实现无人机实时位置监控，同时可调用无人机现场作业视频数据和任务执行状态数据，实现无人机现场作业的全流程安全管控。
55.互联网侧：无人机实时回传位置数据，通过移动终端实现影像信息和任务执行状态信息的即时回传。
56.于一实施例中，还包括外委管理，外部无人机通过互联网大区的统一认证后进行巡检作业。如图7所示，对外委飞行人员及外部无人机进行统一认证，赋予临时作业权限。外委作业过程中，飞行状态数据和飞行位置信息实时回传至互联网大区进行作业安全管控和辅助预警，降低无人机误入非适航区的风险。外委作业产生的巡检图像数据回传至互联网大区侧进行集中存储，避免在外部无人机端存储巡检数据。且外部无人机巡检产生的图像数据在机端仅做暂存处理，待图像数据回传至互联网大区后，对存储于外部无人机上的巡检数据进行即时消除，做到即传即（数据暂存）销，避免数据泄露。
57.本发明还提供一种无人机智能图像采集方法，管理信息大区的无人机应用将无人机巡检任务相关的结构化数据通过管理信息大区的业务中台下发至互联网大区，互联网大区接收并缓存无人机巡检任务相关的结构化数据，并下发至互联网的无人机巡检终端，无人机巡检终端开展自主巡检作业，并将巡检图片上传至互联网大区的非结构化平台进行长期存储。
58.于一实施例中，管理信息大区的技术中台的省市侧人工智能平台通过样本归集接口自动从管理信息大区的无人机应用拉取样本信息，并将样本信息归集并上传至总部侧人
工智能平台的样本库，供总部侧人工智能平台的训练平台使用；将总部侧人工智能平台的训练平台中经训练验证达标的模型算法存储至总部侧人工智能平台的模型库，将模型库中的模型算法下发至省市侧人工智能平台的模型库，供互联网大区的技术中台调用；互联网大区的无人机应用将巡检图片上传至互联网大区的技术中台，在技术中台的人工智能运行平台上通过调用的模型算法进行算法模型识别，并将识别结果返回至互联网大区的无人机应用；互联网大区的无人机应用将识别结果为缺陷的缺陷图片回传至管理信息大区的无人机应用，并将缺陷信息回传至管理信息大区的业务平台。
59.于一实施例中，在管理信息大区侧，根据批复的空域文件，结合gis数据、电网资源数据、非适航区台账信息，生成适航区数据，保存在管理信息大区；在互联网大区侧，通过调用无人机现场作业期间回传的飞行坐标信息，结合适航区数据，实现无人机实时位置监控；调用无人机现场作业视频数据和任务执行状态数据，实现无人机现场作业的安全管控。
60.于一实施例中，对外委飞行人员及外部无人机进行统一认证，并赋予临时作业权限，将外部无人机的飞行状态数据和飞行位置信息实时回传至互联网大区进行作业安全管控和辅助预警。
61.于一实施例中，外部无人机巡检产生的图像数据在机端仅做暂存处理，待图像数据回传至互联网大区后，对暂存于外部无人机上的巡检数据进行即时消除。
62.本发明以人工智能、图像识别等技术为依托，以“业务数字化、管理规范化、作业智能化”为方向，实现飞行空域管理、巡检计划制定、作业安全监控、数据交互处理、辅助检修决策等业务全过程线上流转，提高缺陷识别分析、数据安全防护及作业全流程管控能力，减轻基层员工作业压力，全面支撑数字化班组建设。
63.业务数字化：贯通管理信息大区与互联网大区，减少线下人工干预环节，实现任务派发、数据回传、图像识别、缺陷登记等业务线上流转，提升无人机自主巡检应用水平。
64.管理规范化：建立现场作业安全管控体系，对内规范现场作业行为，对外完善外委作业管理，基本杜绝超区域作业情况，强化适航区综合管控能力。
65.作业智能化：丰富缺陷样本数量和种类，实现样本自动归集和模型按需下发，提升图像智能识别和规模化应用水平，减轻基层作业负担。
66.尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。