一种无人机巡线缺陷识别系统及控制方法与流程

1.本技术涉及线路巡检技术领域，尤其涉及一种无人机巡线缺陷识别系统及控制方法。


背景技术：

2.随着无人机自动驾驶技术在各行各业的不断应用，无人机以其高效、便捷、轻巧的操作特性在电力领域得到了广泛应用，尤其是利用无人机对输配电线路进行巡视，解决了传统人工巡线看不到杆塔顶部设备的缺点，无人机可以从多角度对架空线路进行图像采集，自动驾驶技术的应用减轻了操作人员的负担。
3.随着边缘计算技术的进步，无人机巡线工作可以借助无人机中搭载的神经网络进行缺陷识别，但受边缘设备计算性能的限制，在实际应用过程有较多图像存在无法识别缺陷的情况，需巡视人员返回办公室后在电脑上查看采集的图像，需手工操作对图像进行识别缺陷及分析杆塔位置。随着无人机自动驾驶技术的应用推广，拍摄的图片数量越来越多，人工查看图像并发现缺陷的作业方式无法适应现在的情形。因此，如何提高无人机巡检的缺陷识别效率成为了本领域技术人员需要解决的技术问题。


技术实现要素：

4.本技术提供了一种无人机巡线缺陷识别系统及控制方法，用于解决现有无人机巡检的缺陷识别流程长，需人工查看图片，效率低的技术问题。
5.本技术第一方面提供了一种无人机巡线缺陷识别系统，包括：无人机与云主站，所述无人机与所述云主站通过无线通信方式通信连接；所述无人机中配置有图像采集模块以及第一缺陷识别模块；所述图像采集模块用于采集检测线路的图像数据；所述第一缺陷识别模块中搭载有第一缺陷识别模型，所述第一缺陷识别模块用于通过所述第一缺陷识别模型对所述的图像数据进行初步识别，以获得初步识别结果，且当所述初步识别结果为无法识别或有缺陷时，再通过无线通信方式将所述初步识别结果与所述图像数据发送给所述云主站；所述云主站中配置有第二缺陷识别模块以及缺陷风险判定模块；所述第二缺陷识别模块中搭载有第二缺陷识别模型，所述第二缺陷识别模块用于当所述初步识别结果为无法识别时，通过所述第二缺陷识别模型对所述图像数据进行二次识别，以获得二次识别结果；所述缺陷风险判定模块用于当所述初步识别结果或所述二次识别结果为有缺陷时，发出缺陷风险判定消息。
6.优选地，所述第一缺陷识别模型具体为由小型神经网络与典型离线缺陷数据库构成的离线缺陷识别模型。
7.优选地，所述第二缺陷识别模型具体为由大型神经网络与实时更新的在线缺陷数
据库构成的在线缺陷识别模型。
8.优选地，所述云主站还包括：第一缺陷识别模型优化模块；所述第一缺陷识别模型优化模块用于根据所述图像数据以及所述初步识别结果或所述二次识别结果，定时对所述第一缺陷识别模型以及所述第一缺陷识别模型对应的典型离线缺陷数据库进行更新。
9.优选地，所述初步识别结果以及所述二次识别结果具体包括：温度缺陷识别结果、结构缺陷识别结果以及构筑物安全距离判定识别结果。
10.本技术第二方面提供了一种无人机巡线缺陷识别系统的控制方法，所述控制方法应用于如本技术第一方面提供的无人机巡线缺陷识别系统，所述控制方法具体包括：采集检测线路的图像数据；通过第一缺陷识别模型对所述图像数据进行初步识别，以获得初步识别结果，且当所述初步识别结果为无法识别或有缺陷时，再通过无线通信方式将所述初步识别结果与所述图像数据传递给所述云主站；当所述初步识别结果为无法识别时，通过第二缺陷识别模型对所述图像数据进行二次识别，以获得二次识别结果；当所述初步识别结果或所述二次识别结果为有缺陷时，发出缺陷风险判定消息。
11.优选地，所述第一缺陷识别模型具体为由小型神经网络与典型离线缺陷数据库构成的离线缺陷识别模型。
12.优选地，所述第二缺陷识别模型具体为由大型神经网络与实时更新的在线缺陷数据库构成的在线缺陷识别模型。
13.优选地，所述获得二次识别结果之后还包括：所述第一缺陷识别模型优化模块根据所述图像数据以及所述初步识别结果或所述二次识别结果，定时对所述第一缺陷识别模型以及所述第一缺陷识别模型对应的典型离线缺陷数据库进行更新。
14.优选地，所述初步识别结果以及所述二次识别结果具体包括：温度缺陷识别结果、结构缺陷识别结果以及构筑物安全距离判定识别结果。
15.从以上技术方案可以看出，本技术实施例具有以下优点：本技术提供的系统通过无人机搭载的第一缺陷识别模型，第一缺陷识别模块用于通过第一缺陷识别模型对的图像数据进行初步识别，以获得初步识别结果，且当初步识别结果为无法识别或有缺陷时，再通过无线通信方式将初步识别结果与图像数据发送给云主站，当初步识别结果为无法识别时，由云主站通过第二缺陷识别模型对图像数据进行二次识别，以获得二次识别结果，当任一次识别结果为有缺陷时发出缺陷风险判定消息，解决了传统需要人返回办公室后再用电脑打开设备才能查看拍摄照片的缺点，避免了人工对大量图片进行识别的低效率与易错特点，具有更高的实时巡视实时发现缺陷的便捷性，实现巡视过程全程自动化，大幅度提高了线路巡检的效率。
附图说明
16.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
17.图1为本技术提供的一种无人机巡线缺陷识别系统的结构示意图。
18.图2为本技术提供的一种无人机巡线缺陷识别系统的控制方法的流程示意图。
具体实施方式
19.本技术实施例提供了一种无人机巡线缺陷识别系统及控制方法，用于解决现有无人机巡检的缺陷识别效率低的技术问题。
20.为使得本技术的发明目的、特征、优点能够更加的明显和易懂，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本技术一部分实施例，而非全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
21.请参阅图1，本技术第一个实施例提供了一种无人机巡线缺陷识别系统，包括：无人机a与云主站b，无人机a与云主站b通过无线通信方式通信连接；无人机a中配置有图像采集模块a1以及第一缺陷识别模块a2；图像采集模块a1用于采集检测线路的图像数据；第一缺陷识别模块a2中搭载有第一缺陷识别模型，第一缺陷识别模块a2用于通过第一缺陷识别模型对的图像数据进行初步识别，以获得初步识别结果，且当初步识别结果为无法识别或有缺陷时，再通过无线通信方式将初步识别结果与图像数据发送给云主站b；云主站b中配置有第二缺陷识别模块b1以及缺陷风险判定模块b2；第二缺陷识别模块b1中搭载有第二缺陷识别模型，第二缺陷识别模块b1用于当初步识别结果为无法识别时，通过第二缺陷识别模型对图像数据进行二次识别，以获得二次识别结果；缺陷风险判定模块b2用于当初步识别结果或二次识别结果为有缺陷时，发出缺陷风险判定消息。
22.无人机a对输配电线路进行自动巡视的过程中，对线路设备进行图像采集，采集到的图像首先利用在无人机a上的第一缺陷识别模块a2进行识别，若无缺陷则继续识别下一张采集的图片，若识别出有缺陷则将采集图片和识别出的缺陷发送至缺陷风险判定模块b2，由缺陷风险判定模块b2推送至线路所属运维人员。若第一缺陷识别模块a2判定无法识别缺陷，则传送至云主站b，由云主站的第二缺陷识别模块b1进行判定。若第二缺陷识别模块b1识别为有缺陷，发送至缺陷风险判定模块b2，由缺陷风险判定模块b2发布缺陷风险判定消息并推送至线路所属运维人员。
23.进一步地，第一缺陷识别模型具体为由小型神经网络与典型离线缺陷数据库构成的离线缺陷识别模型，即通过预设的静态缺陷数据库结合小规模神经网络模型训练得到的识别模型，神经网络层次较少，模型规模相对较小，计算速度快，适合搭载在需要一边移动一边进行缺陷识别运算的无人机设备，但识别性能较弱。
24.进一步地，第二缺陷识别模型具体为由大型神经网络与实时更新的在线缺陷数据库构成的在线缺陷识别模型。第二缺陷识别模型与第一缺陷识别模型相比，第二缺陷识别
模型是大型神经网络，神经网络层次多，缺陷数据库是实时更新的，缺陷图像集更加全面，计算能力更强，能判定第一缺陷识别模型无法判断的图片，但对搭载的设备性能要求较高，适合搭载在云主站。
25.云主站b还可以进一步包括：第一缺陷识别模型优化模块。
26.第一缺陷识别模型优化模块用于根据图像数据以及初步识别结果或二次识别结果，定时对第一缺陷识别模型以及第一缺陷识别模型对应的典型离线缺陷数据库进行更新。
27.需要说明的是，本实施例通过第一缺陷识别模型无法识别的缺陷图像传递给在线系统根据图像数据以及初步识别结果或二次识别结果，云主站的第一缺陷识别模型优化模块通过定期与无人机进行通信，把更新的典型缺陷集与神经网络识别模型对无人机的第一缺陷识别模型进行更新优化，提升第一缺陷识别模型的缺陷识别性能。
28.进一步地，初步识别结果以及二次识别结果具体包括：温度缺陷识别结果、结构缺陷识别结果以及构筑物安全距离判定识别结果。
29.需要说明的是，本实施例的线路缺陷识别判定主要包含温度缺陷识别结果、结构缺陷识别结果以及构筑物安全距离判定识别结果三个方面，只有三个识别结果均无风险，才定义为无缺陷。只要有一个识别结果判定有风险，则定义为有缺陷。其中温度缺陷识别结果是根据无人机a摄像头拍摄的设备热成像画面，通过对画面中的各温度成像点进行温度识别，对超过设定最高温度阈值的设备进行告警得到的。结构缺陷识别结果是利用现在比较成熟的机器学习技术，具体来说是利用神经网络技术基于搜集到的典型缺陷照片进行训练后，调整网络设定参数后的模型，再通过该模型进行图像识别得到的。构筑物距离风险判定模块是根据拍摄照片通过三维计算得到的构筑物与设备线路距离，若距离小于设定值，则产生风险判定。
30.以上内容便是本技术提供的一种无人机巡线缺陷识别系统的一个实施例的详细说明，下面为本技术提供的一种无人机巡线缺陷识别系统的控制方法的一个实施例的详细说说明。
31.请参阅图2，本技术第二个实施例提供了一种无人机巡线缺陷识别系统的控制方法，控制方法应用于如本技术第一个实施例提供的无人机巡线缺陷识别系统，控制方法具体包括：步骤201、采集检测线路的图像数据；步骤202、通过第一缺陷识别模型对图像数据进行初步识别，以获得初步识别结果；步骤203、判断初步识别结果，当初步识别结果为无法识别或有缺陷时，再通过无线通信方式将初步识别结果与图像数据传递给云主站，以执行步骤204和/或205，当初步识别结果为无缺陷时，则返回步骤201，继续采集下一组图像数据；步骤204、当初步识别结果为无法识别时，通过第二缺陷识别模型对图像数据进行二次识别，以获得二次识别结果；步骤205、当初步识别结果或二次识别结果为有缺陷时，发出缺陷风险判定消息。
32.进一步地，第一缺陷识别模型具体为由小型神经网络与典型离线缺陷数据库构成的离线缺陷识别模型。
33.进一步地，第二缺陷识别模型具体为由大型神经网络与实时更新的在线缺陷数据库构成的在线缺陷识别模型。
34.需要说明的是，本实施例的第一缺陷识别模块、第二缺陷识别模块与第一个实施例中提及的第一缺陷识别模块、第二缺陷识别模块相同。
35.进一步地，获得二次识别结果之后还可以包括：根据图像数据以及初步识别结果或二次识别结果，定时对第一缺陷识别模型以及第一缺陷识别模型对应的典型离线缺陷数据库进行更新。
36.进一步地，初步识别结果以及二次识别结果具体包括：温度缺陷识别结果、结构缺陷识别结果以及构筑物安全距离判定识别结果。
37.在本技术的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
38.除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本技术中的具体含义。
39.本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
40.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
41.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
42.以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。