基于移动终端技术的无人机巡检影像缺陷识别系统的制作方法

1.本发明涉及风电场缺陷识别技术领域，尤其涉及基于移动终端技术的无人机巡检影像缺陷识别系统。


背景技术：

2.近年来，随着无人机的普及与行业应用的越发广泛，尤其在军事领域的突出优势，人工智能与无人机相结合技术在国内外都处于研究热点，在军事上，美国空军已经在为名为天空堡垒的人工智能项目筛选无人机，详细报道称，这个系统在未来将直接控制无人机战斗系统。我国科技人员也在积极探索人工智能与无人机相结合技术，目前在车辆识别及跟踪、空对地探测、代替人工高空作业、智慧农林植保等方面都得到了有效的应用。电力行业在无人机应用于巡检工作上研究颇多，但是人工智能与无人机紧密结合的相关功能研究并没有规模开展，适合无人机巡检的便携式缺陷检测系统目前属于空白阶段。开展此项研究将使无人机在电力行业上获得越来越广泛和充分的应用。
3.由于人工智能与无人机相结合技术涉及到的知识面比较广，对技术人员专业化能力要求高，导致目前掌握无人机使用技术与进行人工智能研究的单位大多互相割裂、一分为二，并且相关厂商对新能源场站的生产运维场景和管理需求不熟悉，不能长期根据现场实际需求进行相关研究。当前亟需具备丰富行业知识、充分熟悉新能源场站运营和检修实际场景及同时掌握人工智能技术与无人机应用两项技术特点的团队，联合打造新能源场站实际应用的产品。


技术实现要素：

4.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
5.鉴于上述现有存在的问题，提出了本发明。
6.因此，本发明提供了基于移动终端技术的无人机巡检影像缺陷识别系统，能够解决现场巡视维护成本高，安全生产水平低等问题。
7.为解决上述技术问题，本发明提供如下技术方案，基于移动终端技术的无人机巡检影像缺陷识别系统，包括监视与数据获取单元、展示单元、定位单元、识别单元、云台控制单元以及实时动态测量单元，
8.监视与数据获取单元，实时展示采集的无人机定位数据和风电场图像数据，帮助工作人员实时监控风电场巡检状况；
9.展示单元，实时展示风电场缺陷识别数据计算结果和可视化结果；
10.定位单元，实现双向定位，移动终端对测算定位无人机与特征目标的方向和角度，同时无人机对移动终端位置进行获取，实现无人机安全回收；
11.识别单元，结合深度学习算法实现对风电场中缺陷部位进行识别，通过图像识别
确定并锁定特征目标；
12.云台控制单元，控制无人机进行自主巡航，并结合识别单元识别的特征数据对缺陷数据进行进一步处理，利用专业的风电场图形图像库，以交互算法计算的方式高效地进行精细化拍摄，作为数据处理后台为整个系统进行服务；
13.实时动态测量单元，实时地提供测站点在指定风电场坐标系中的三维定位结果。
14.作为本发明所述的基于移动终端技术的无人机巡检影像缺陷识别系统的一种优选方案，其中：所述识别单元包括，图像识别模块以及深度学习处理模块，
15.所述图像识别模块,根据风电场输电线路的归属区域、输电线路的线路承载量、杆塔名称、杆塔种类、无人机巡检区域以及无人机拍摄画面场景影像数据，对采集的所述影像数据进行分类规范化命名和存储管理，所述影像数据为系统运行前一周的全部数据；
16.选取全部无缺陷影像数据，建立无缺陷数据集，对有缺陷的影像数据进行建立缺陷识别模型，将所述无缺陷数据集代入所述缺陷识别模型，若识别概率达到100％，则使用此时的缺陷识别模型，若识别概率低于100％，说明此时缺陷识别模型存在误差，则另收集一天的数据集进行分类，结合所述系统运行前一周的数据重新建立缺陷识别模型，直至实现识别概率100％；
17.将建立后的缺陷识别模型替换图像识别模块中原本的图像识别模型，实现最终图像识别模块的建立。
18.作为本发明所述的基于移动终端技术的无人机巡检影像缺陷识别系统的一种优选方案，其中：所述深度学习处理模块包括，
19.所述深度学习处理模块,对所述图像识别模块处理后的数据并进行分类，按照85：15比例分为训练集与测试集；
20.所述深度学习处理模块包括建立好的深度学习模型，将所述训练集代入深度学习模型后获得处理后的深度学习模型，将测试集代入处理后的深度学习模型，测试深度学习模型的准确率，准确率在97.8％以上的保留此次深度学习训练模型，低于97.8％的重复进行训练，直到准确率在97.8％以上；
21.将修正之后的深度学习模型替换深度学习处理模块中的原有模型，实现最终深度学习处理模块建立，结合最终图像识别模块，实现所述识别单元的组建。
22.作为本发明所述的基于移动终端技术的无人机巡检影像缺陷识别系统的一种优选方案，其中：所述深度学习处理模块还包括，在系统识别单元组建后，对来自监视与数据获取单元获取的数据进行处理，得到的特征目标输入展示单元，所述展示单元实时展示风电场缺陷识别数据计算结果和可视化结果。
23.作为本发明所述的基于移动终端技术的无人机巡检影像缺陷识别系统的一种优选方案，其中：所述展示单元包括，
24.当所述监视与数据获取单元采集到无人机定位数据和图像数据后，所述云台控制单元利用专业的图形图像库，以交互算法计算的方式高效地进行精细化拍摄，作为数据处理后台为整个系统进行服务，当数据经过所述云台控制单元传出时，所述识别单元识别的特征数据对缺陷数据进行进一步处理，所述识别单元结合深度学习算法实现对缺陷部位进行识别，通过图像识别确定并锁定特征目标。
25.作为本发明所述的基于移动终端技术的无人机巡检影像缺陷识别系统的一种优
选方案，其中：所述展示单元还包括，当获取到风电场缺陷识别数据计算结果后，对计算结果进行判断，将缺陷结果分为轻型缺陷状态、中型缺陷状态以及重型缺陷状态。
26.作为本发明所述的基于移动终端技术的无人机巡检影像缺陷识别系统的一种优选方案，其中：所述展示单元还包括，
27.当所述缺陷结果图像数据对比于正常状态下图像数据变动小于2％，且未包含重点部位时，将此类缺陷归类于轻型缺陷状态；
28.当所述缺陷归类于轻型缺陷状态时，所述展示单元将此类缺陷用黄色显示效果进行标注并展示。
29.作为本发明所述的基于移动终端技术的无人机巡检影像缺陷识别系统的一种优选方案，其中：所述展示单元还包括，
30.当所述缺陷结果图像数据对比于正常状态下图像数据变动小于5％，变动大于2％时，并且未包含重点部位时，将此类缺陷归类于中型缺陷状态；
31.当所述缺陷归类于中型缺陷状态时，所述展示单元将此类缺陷用橙黄色显示效果进行标注并展示。
32.作为本发明所述的基于移动终端技术的无人机巡检影像缺陷识别系统的一种优选方案，其中：所述展示单元还包括，
33.当所述缺陷结果图像数据对比于正常状态下图像数据变动大于5％，或小于5％但含重点部位时，将此类缺陷归类于重型缺陷状态；
34.当所述缺陷归类于重型缺陷状态时，所述展示单元将此类缺陷用红色显示效果进行标注并展示。
35.作为本发明所述的基于移动终端技术的无人机巡检影像缺陷识别系统的一种优选方案，其中：所述云台控制单元包括自主巡航，所述自主巡航包括，无人机通过自带摄像设备进行收集数据，摄像设备捕捉杆塔状态、人类、车辆、声源以及正在施工状态数据，并按照数据类型自动分类为该类型数据，进行存储。
36.本发明的有益效果：本发明提出一种基于移动终端技术的无人机巡检影像缺陷识别系统，应用风电场集电线路、风电机组、外送线路和升压站等各类设备缺陷识别算法以及无人机自动飞行、自动定位等新技术，并使新技术在便携式计算机、手机或平板电脑上得到应用，形成无人机巡检线路自动规划、激光雷达自动定位、设备缺陷自动识别、缺陷趋势自动分析、巡检报告自动生成等贯穿智能巡检全过程，降低运维人员劳动强度和作业风险，提升应急响应速度，实现高效检修、计划检修，降低现场巡视维护成本，提高安全生产水平，提前预警设备隐患和故障。
附图说明
37.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
38.图1为本发明一个实施例提供的基于移动终端技术的无人机巡检影像缺陷识别系统的系统结构图；
具体实施方式
39.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
40.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
41.其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
42.本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
43.同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
44.本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
45.实施例1
46.参照图1，为本发明的第一个实施例，该实施例提供了基于移动终端技术的无人机巡检影像缺陷识别系统，包括：监视与数据获取单元101、展示单元102、定位单元103、识别单元104、云台控制单元105以及实时动态测量单元106，
47.监视与数据获取单元101，实时展示采集的无人机定位数据和风电场图像数据，帮助工作人员实时监控风电场巡检状况；
48.展示单元102，实时展示风电场缺陷识别数据计算结果和可视化结果；
49.定位单元103，实现双向定位，移动终端对测算定位无人机与特征目标的方向和角度，同时无人机对移动终端位置进行获取，实现无人机安全回收；
50.识别单元104，结合深度学习算法实现对风电场中缺陷部位进行识别，通过图像识别确定并锁定特征目标；
51.云台控制单元105，控制无人机进行自主巡航，并结合识别单元104识别的特征数据对缺陷数据进行进一步处理，利用专业的风电场图形图像库，以交互算法计算的方式高效地进行精细化拍摄，作为数据处理后台为整个系统进行服务；
52.实时动态测量单元106，实时地提供测站点在指定风电场坐标系中的三维定位结果。
53.其中，所述识别单元104包括，图像识别模块104a以及深度学习处理模块104b，
54.具体的，所述图像识别模块104a,根据风电场输电线路的归属区域、输电线路的线路承载量、杆塔名称、杆塔种类、无人机巡检区域以及无人机拍摄画面场景影像数据，对采集的所述影像数据进行分类规范化命名和存储管理，所述影像数据为系统运行前一周的全部数据；
55.更进一步的，选取全部无缺陷影像数据，建立无缺陷数据集，对有缺陷的影像数据进行建立缺陷识别模型，将所述无缺陷数据集代入所述缺陷识别模型，若识别概率达到100％，则使用此时的缺陷识别模型，若识别概率低于100％，说明此时缺陷识别模型存在误差，则另收集一天的数据集进行分类，结合所述系统运行前一周的数据重新建立缺陷识别模型，直至实现识别概率100％；
56.更进一步的，将建立后的缺陷识别模型替换图像识别模块104a中原本的图像识别模型，实现最终图像识别模块104a的建立。
57.更进一步的，所述深度学习处理模块104b包括，所述深度学习处理模块104b,对所述图像识别模块104a处理后的数据并进行分类，按照85：15比例分为训练集与测试集；
58.应说明的是，所述深度学习处理模块104b包括建立好的深度学习模型，将所述训练集代入深度学习模型后获得处理后的深度学习模型，将测试集代入处理后的深度学习模型，测试深度学习模型的准确率，准确率在97.8％以上的保留此次深度学习训练模型，低于97.8％的重复进行训练，直到准确率在97.8％以上；
59.应说明的是，将修正之后的深度学习模型替换深度学习处理模块104b中的原有模型，实现最终深度学习处理模块104b建立，结合最终图像识别模块104a，实现所述识别单元104的组建。
60.更进一步的，所述深度学习处理模块104b还包括，在系统识别单元组建后，对来自监视与数据获取单元101获取的数据进行处理，得到的特征目标输入展示单元102，所述展示单元102实时展示风电场缺陷识别数据计算结果和可视化结果。
61.更进一步的，所述展示单元102包括，当所述监视与数据获取单元101采集到无人机定位数据和图像数据后，所述云台控制单元105利用专业的图形图像库，以交互算法计算的方式高效地进行精细化拍摄，作为数据处理后台为整个系统进行服务，当数据经过所述云台控制单元105传出时，所述识别单元104识别的特征数据对缺陷数据进行进一步处理，所述识别单元104结合深度学习算法实现对缺陷部位进行识别，通过图像识别确定并锁定特征目标。
62.更进一步的，所述展示单元102还包括，当获取到风电场缺陷识别数据计算结果后，对计算结果进行判断，将缺陷结果分为轻型缺陷状态、中型缺陷状态以及重型缺陷状态。
63.更进一步的，所述展示单元102还包括，当所述缺陷结果图像数据对比于正常状态下图像数据变动小于2％，且未包含重点部位时，将此类缺陷归类于轻型缺陷状态；当所述缺陷归类于轻型缺陷状态时，所述展示单元102将此类缺陷用黄色显示效果进行标注并展示。
64.更进一步的，所述展示单元102还包括，当所述缺陷结果图像数据对比于正常状态下图像数据变动小于5％，变动大于2％时，并且未包含重点部位时，将此类缺陷归类于中型
缺陷状态；当所述缺陷归类于中型缺陷状态时，所述展示单元102将此类缺陷用橙黄色显示效果进行标注并展示。
65.应说明的是，所述展示单元102还包括，当所述缺陷结果图像数据对比于正常状态下图像数据变动大于5％，或小于5％但含重点部位时，将此类缺陷归类于重型缺陷状态；当所述缺陷归类于重型缺陷状态时，所述展示单元102将此类缺陷用红色显示效果进行标注并展示。
66.应说明的是，所述云台控制单元105包括自主巡航，所述自主巡航包括，无人机通过自带摄像设备进行收集数据，摄像设备捕捉杆塔状态、人类、车辆、声源以及正在施工状态数据，并按照数据类型自动分类为该类型数据，进行存储。
67.实施例2
68.参照图1，为本发明的一个实施例，提供了基于移动终端技术的无人机巡检影像缺陷识别系统，为了验证本发明的有益效果，通过实验进行科学论证。
69.表1传统技术手段与本发明申请的区别特征
[0070][0071]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
[0072]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本技术实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言java和直译式脚本语言javascript等。
[0073]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产
生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0074]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0075]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0076]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0077]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。