基于边缘计算和人工智能的电网监拍方法、装置及设备与流程

1.本发明涉及计算机技术领域，尤其涉及一种基于边缘计算和人工智能的电网监拍方法、装置及设备。


背景技术：

2.电网系统的输电线路的巡检方式主要是人防和技防，所谓人防是指巡检人员定期巡查，所谓技防是指4g视频监控，但是这两种方案都有很大的局限性。巡检人员定期巡查的方案，首先巡视周期长，难以保证把隐患信息及时的传递给上位者，其次有人参与难免会出现偏差，导致信息的失真，最重要的是无法保证人员确实是到指定位置巡查，稍有疏漏就容易引发无法预料的后果。


技术实现要素：

3.鉴于以上技术问题，本发明的目的是提供一种基于边缘计算和人工智能的电网监拍方法、装置及设备。
4.本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
5.根据本发明的一方面，提出了一种基于边缘计算和人工智能的电网监拍方法，所述方法包括：获取海量训练图像，所述训练图像来自于前端设备和样本池，所述前端设备位于输电通道周边；基于人工智能深度学习技术，利用所述训练图像，获得用于识别危险现象的识别模型；基于边缘计算技术，将所述识别模型部署在所述前端设备中；利用所述前端设备，获得监拍图像，利用所述前端设备中的所述识别模型对所述监拍图像进行危险现象识别，并将所述监拍图像发送至服务器；在所述监拍图像被识别出危险现象时，发送报警信息至所述服务器；将所述服务器中的所述监拍图像实时在展示设备中展示。
6.进一步的，所述危险现象包括施工机械、吊车、塔吊、烟火和缠绕在所述输电通道上的异物。
7.进一步的，所述利用所述前端设备，获得监拍图像，具体包括：设置所述前端设备定时获得所述监拍图像，以及，通过所述服务器控制所述前端设备定时获得所述监拍图像。
8.进一步的，所述方法还包括：获得监拍视频，将所述监拍视频传输至所述服务器，所述监拍视频来自于所述前端设备；获取所述监拍视频的关键帧序列；利用所述前端设备中的所述识别模型，对所述关键帧序列中的每一帧进行危险现象识别；在所述关键帧序列被识别出危险现象时，发送报警信息至所述服务器；将所述服务器中的所述监拍视频实时在展示设备中展示。
9.进一步的，所述服务器在接收所述监拍图像后，将所述监拍图像作为所述识别模型的训练样本，对所述识别模型进行动态更新，并将更新后的所述识别模型传输至所述前端设备。
10.进一步的，所述基于人工智能深度学习技术，利用所述训练图像，获得用于识别危
险现象的识别模型，具体包括：将海量所述训练图像输入到识别模型中；对所述训练图像中的危险现象进行标注；自动化训练所述识别模型。
11.进一步的，在所述监拍图像被识别出危险现象时，发送报警信息至所述服务器之后，所述服务器还用于：将所述报警信息与其他所述前端设备的的所述监拍图像的所述报警信息进行联动分析；根据所述联动分析结果，对所述报警信息进行危险等级进行升级或维持不变。
12.进一步的，所述方法还包括：识别与所述前端设备有线或无线连接的外接设备；根据所述外接设备的类型，从所述服务器中接收规约程序；根据所述规约程序，对所述外接设备进行管理；将所述外接设备传输至所述前端设备的数据发送至所述服务器。
13.根据本公开的第二方面，提供一种基于边缘计算和人工智能的电网监拍装置，包括：采集模块，用于获取海量训练图像，所述训练图像来自于前端设备和样本池，所述前端设备位于输电通道周边；训练模块，用于基于人工智能深度学习技术，利用所述训练图像，获得用于识别危险现象的识别模型；部署模块，用于基于边缘计算技术，将所述识别模型部署在所述前端设备中；识别模块，用于利用所述前端设备，获得监拍图像，利用所述前端设备中的所述识别模型对所述监拍图像进行危险现象识别，并将所述监拍图像发送至服务器；报警模块，用于在所述监拍图像被识别出危险现象时，发送报警信息至所述服务器；监控模块，用于将所述服务器中的所述监拍图像实时在展示设备中展示。
14.根据本公开的第三方面，提供一种基于边缘计算和人工智能的电网监拍设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：获取海量训练图像，所述训练图像来自于前端设备和样本池，所述前端设备位于输电通道周边；基于人工智能深度学习技术，利用所述训练图像，获得用于识别危险现象的识别模型；基于边缘计算技术，将所述识别模型部署在所述前端设备中；利用所述前端设备，获得监拍图像，利用所述前端设备中的所述识别模型对所述监拍图像进行危险现象识别，并将所述监拍图像发送至服务器；在所述监拍图像被识别出危险现象时，发送报警信息至所述服务器；将所述服务器中的所述监拍图像实时在展示设备中展示。
15.本公开的技术方案具有以下有益效果：
16.根据上述基于边缘计算和人工智能的电网监拍方法、装置、设备及存储介质，可以针对输电通道经常发生的导线异物、施工机械、塔吊等外破隐患进行模型训练，并将训练完成的模型部署在前端设备中，自动检测识别图像内的异物隐患，无需服务器配合即可进行输变电设备走廊异物入侵及变电设备、杆塔金具状态异常探测，并将异常场景信息实时上报，实现输变电设备监控图像的采集、前端识别、故障隐患报警功能。
17.本发明采用的边缘计算技术，可以大幅降低通信开销和计算延迟，可以利用在线收集的监拍图像，动态调整模型、参数、应用，可在线分发新的功能，提高检测结果精度和可靠性，可不断动态学习，具有真正的智能性。
附图说明
18.图1为本说明书实施例中的一种基于边缘计算和人工智能的电网监拍方法的流程图；
19.图2为本说明书实施例中的基于边缘计算和人工智能的电网监拍装置的结构框
图；
20.图3为本说明书实施例中一种用于实现基于边缘计算和人工智能的电网监拍方法的终端设备；
21.图4为本说明书实施例中一种用于实现基于边缘计算和人工智能的电网监拍方法的计算机可读存储介质。
具体实施方式
22.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
23.此外，附图仅为本公开的示意性图解。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
24.如图1所示，本说明书实施例提供一种基于边缘计算和人工智能的电网监拍方法，该方法的执行主体可以为终端设备，其中的终端设备可以如手机、平板电脑、个人计算机等。该方法具体可以包括以下步骤s101～s106：
25.在步骤s101中，获取海量训练图像，所述训练图像来自于前端设备和样本池，所述前端设备位于输电通道周边。
26.其中，前端设备可以是监控摄像机，也可以是具有计算功能和拍摄功能的电子设备，
27.在步骤s102中，基于人工智能深度学习技术，利用所述训练图像，获得用于识别危险现象的识别模型。
28.其中，在输电线路在线监测中，深度学习算法通过模拟大脑皮层，采用多层非线性的特征处理方式，对输入数据逐级提取，逐步建立从底层特征到高级抽象特征的映射，使复杂的特征提取工作简单化。
29.在步骤s103中，基于边缘计算技术，将所述识别模型部署在所述前端设备中。
30.其中，设置输电铁塔上的摄像机或电子设备附带有边缘智能计算功能，将识别模型存储在前端设备中，使得可以实现最近计算，从而避免计算延迟，提高计算速度。
31.在步骤s104中，利用所述前端设备，获得监拍图像，利用所述前端设备中的所述识别模型对所述监拍图像进行危险现象识别，并将所述监拍图像发送至服务器。
32.其中，在本地就可通过预选训练的深度学习神经网络的识别模型进行实时分析图片和视频，智能识别图像中的人，车，吊车，吊塔，烟火等危险物体，同时也发送监控数据至
服务器。
33.在步骤s105中，在所述监拍图像被识别出危险现象时，发送报警信息至所述服务器。
34.其中，在识别出监拍图像中存在危险现象后，进行报警，服务器接收到报警信息后，可以将报警信息发送到与服务器连接的客户端，以通知管理人员进行危险排除。
35.在步骤s106中，将所述服务器中的所述监拍图像实时在展示设备中展示。其中，可以实现实时监控。
36.在一实施方式中，所述危险现象包括施工机械、吊车、塔吊、烟火和缠绕在所述输电通道上的异物。
37.在一实施方式中，所述利用所述前端设备，获得监拍图像，具体包括：设置所述前端设备定时获得所述监拍图像，以及，通过所述服务器控制所述前端设备定时获得所述监拍图像。
38.其中，即具有定时抓拍和手动抓拍功能，在展示设备上进行管理人员发现了疑似危险现象后，可以手动触发拍照功能指令，该指令发送至前端设备后，前端设备进行抓拍，以便于前端设备中的所述识别模型对监拍图像进行再一次的危险现象识别。
39.在一实施方式中，所述方法还包括：获得监拍视频，将所述监拍视频传输至所述服务器，所述监拍视频来自于所述前端设备；获取所述监拍视频的关键帧序列；利用所述前端设备中的所述识别模型，对所述关键帧序列中的每一帧进行危险现象识别；在所述关键帧序列被识别出危险现象时，发送报警信息至所述服务器；将所述服务器中的所述监拍视频实时在展示设备中展示。
40.同时，也可以利用前端设备拍摄的视频来进行危险现象分析，实现分辨率较高的监拍图像和分辨率较低的监拍视频的多重分析，其中监拍图像可以用于具体的危险现象分析，监拍视频可以用以危险现象的走向分析。
41.在一实施方式中，所述服务器在接收所述监拍图像后，将所述监拍图像作为所述识别模型的训练样本，对所述识别模型进行动态更新，并将更新后的所述识别模型传输至所述前端设备。
42.其中，识别模型可以动态更新，使得识别功能越来越完善，预警能力越来越强。
43.在一实施方式中，所述基于人工智能深度学习技术，利用所述训练图像，获得用于识别危险现象的识别模型，具体包括：将海量所述训练图像输入到识别模型中；对所述训练图像中的危险现象进行标注；自动化训练所述识别模型。
44.具体的，可以采用alexnet网络模型，通过更大的数据集、更强的模型以及更优化的拟合技术应用，显著提高了卷积神经网络的性能。
45.在一实施方式中，在所述监拍图像被识别出危险现象时，发送报警信息至所述服务器之后，所述服务器还用于：将所述报警信息与其他所述前端设备的的所述监拍图像的所述报警信息进行联动分析；根据所述联动分析结果，对所述报警信息进行危险等级进行升级或维持不变。
46.在一实施方式中，所述方法还包括：识别与所述前端设备有线或无线连接的外接设备；根据所述外接设备的类型，从所述服务器中接收规约程序；根据所述规约程序，对所述外接设备进行管理；将所述外接设备传输至所述前端设备的数据发送至所述服务器。
47.基于同样的思路，本公开的示例性实施方式还提供了一种基于边缘计算和人工智能的电网监拍装置，如图2所示，该基于边缘计算和人工智能的电网监拍装置200包括：采集模块201，用于获取海量训练图像，所述训练图像来自于前端设备和样本池，所述前端设备位于输电通道周边；训练模块202，用于基于人工智能深度学习技术，利用所述训练图像，获得用于识别危险现象的识别模型；部署模块203，用于基于边缘计算技术，将所述识别模型部署在所述前端设备中；识别模块204，用于利用所述前端设备，获得监拍图像，利用所述前端设备中的所述识别模型对所述监拍图像进行危险现象识别，并将所述监拍图像发送至服务器；报警模块205，用于在所述监拍图像被识别出危险现象时，发送报警信息至所述服务器；监控模块206，用于将所述服务器中的所述监拍图像实时在展示设备中展示。
48.在一实施方式中，训练模块202中的所述危险现象包括施工机械、吊车、塔吊、烟火和缠绕在所述输电通道上的异物。
49.在一实施方式中，识别模块204具体包括：设置所述前端设备定时获得所述监拍图像，以及，通过所述服务器控制所述前端设备定时获得所述监拍图像。
50.在一实施方式中，基于边缘计算和人工智能的电网监拍装置200还用于：获得监拍视频，将所述监拍视频传输至所述服务器，所述监拍视频来自于所述前端设备；获取所述监拍视频的关键帧序列；利用所述前端设备中的所述识别模型，对所述关键帧序列中的每一帧进行危险现象识别；在所述关键帧序列被识别出危险现象时，发送报警信息至所述服务器；将所述服务器中的所述监拍视频实时在展示设备中展示。
51.在一实施方式中，训练模块202还用于，所述服务器在接收所述监拍图像后，将所述监拍图像作为所述识别模型的训练样本，对所述识别模型进行动态更新，并将更新后的所述识别模型传输至所述前端设备。
52.在一实施方式中，训练模块202具体包括。所述基于人工智能深度学习技术，利用所述训练图像，获得用于识别危险现象的识别模型，具体包括：将海量所述训练图像输入到识别模型中；对所述训练图像中的危险现象进行标注；自动化训练所述识别模型。
53.在一实施方式中，报警模块205具体用于：将所述报警信息与其他所述前端设备的的所述监拍图像的所述报警信息进行联动分析；根据所述联动分析结果，对所述报警信息进行危险等级进行升级或维持不变。
54.在一实施方式中，基于边缘计算和人工智能的电网监拍装置200还用于：识别与所述前端设备有线或无线连接的外接设备；根据所述外接设备的类型，从所述服务器中接收规约程序；根据所述规约程序，对所述外接设备进行管理；将所述外接设备传输至所述前端设备的数据发送至所述服务器。
55.本说明书实施例提供一种基于边缘计算和人工智能的电网监拍装置，可以针对输电通道经常发生的导线异物、施工机械、塔吊等外破隐患进行模型训练，并将训练完成的模型部署在前端设备中，自动检测识别图像内的异物隐患，无需服务器配合即可进行输变电设备走廊异物入侵及变电设备、杆塔金具状态异常探测，并将异常场景信息实时上报，实现输变电设备监控图像的采集、前端识别、故障隐患报警功能。
56.本说明书实施例采用的边缘计算技术，可以大幅降低通信开销和计算延迟，可以利用在线收集的监拍图像，动态调整模型、参数、应用，可在线分发新的功能，提高检测结果精度和可靠性，可不断动态学习，具有真正的智能性。
57.上述装置中各模块/单元的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。
58.基于同样的思路，本说明书实施例还提供一种基于边缘计算和人工智能的电网监拍设备，如图3所示。
59.基于边缘计算和人工智能的电网监拍设备可以为上述实施例提供的终端设备或服务器。
60.基于边缘计算和人工智能的电网监拍设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器301和存储器302，存储器302中可以存储有一个或一个以上存储应用程序或数据。其中，存储器302可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)和/或高速缓存存储单元，还可以进一步包括只读存储单元。存储在存储器302的应用程序可以包括一个或一个以上程序模块(图示未示出)，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。更进一步地，处理器301可以设置为与存储器302通信，在基于边缘计算和人工智能的电网监拍设备上执行存储器302中的一系列计算机可执行指令。基于边缘计算和人工智能的电网监拍设备还可以包括一个或一个以上电源303，一个或一个以上有线或无线网络接口304，一个或一个以上i/o接口(输入输出接口)305，一个或多个外部设备306(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或一个以上使得用户能与该设备交互的设备通信，和/或与使得该设备能与一个或一个以上其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过i/o接口305进行。并且，设备还可以通过有线或无线接口304与一个或一个以上网络(例如局域网(lan)通讯。
61.具体在本实施例中，基于边缘计算和人工智能的电网监拍设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对基于边缘计算和人工智能的电网监拍设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
62.获取海量训练图像，所述训练图像来自于前端设备和样本池，所述前端设备位于输电通道周边；基于人工智能深度学习技术，利用所述训练图像，获得用于识别危险现象的识别模型；基于边缘计算技术，将所述识别模型部署在所述前端设备中；利用所述前端设备，获得监拍图像，利用所述前端设备中的所述识别模型对所述监拍图像进行危险现象识别，并将所述监拍图像发送至服务器；在所述监拍图像被识别出危险现象时，发送报警信息至所述服务器；将所述服务器中的所述监拍图像实时在展示设备中展示。
63.所述危险现象包括施工机械、吊车、塔吊、烟火和缠绕在所述输电通道上的异物。
64.所述利用所述前端设备，获得监拍图像，具体包括：设置所述前端设备定时获得所述监拍图像，以及，通过所述服务器控制所述前端设备定时获得所述监拍图像。
65.指令还还包括：获得监拍视频，将所述监拍视频传输至所述服务器，所述监拍视频来自于所述前端设备；获取所述监拍视频的关键帧序列；利用所述前端设备中的所述识别模型，对所述关键帧序列中的每一帧进行危险现象识别；在所述关键帧序列被识别出危险现象时，发送报警信息至所述服务器；将所述服务器中的所述监拍视频实时在展示设备中
展示。
66.所述服务器在接收所述监拍图像后，将所述监拍图像作为所述识别模型的训练样本，对所述识别模型进行动态更新，并将更新后的所述识别模型传输至所述前端设备。
67.所述基于人工智能深度学习技术，利用所述训练图像，获得用于识别危险现象的识别模型，具体包括：将海量所述训练图像输入到识别模型中；对所述训练图像中的危险现象进行标注；自动化训练所述识别模型。
68.在所述监拍图像被识别出危险现象时，发送报警信息至所述服务器之后，所述服务器还用于：将所述报警信息与其他所述前端设备的的所述监拍图像的所述报警信息进行联动分析；根据所述联动分析结果，对所述报警信息进行危险等级进行升级或维持不变。
69.指令还包括：识别与所述前端设备有线或无线连接的外接设备；根据所述外接设备的类型，从所述服务器中接收规约程序；根据所述规约程序，对所述外接设备进行管理；将所述外接设备传输至所述前端设备的数据发送至所述服务器。
70.基于同样的思路，本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
71.参考图4所示，描述了根据本公开的示例性实施方式的用于实现上述方法的程序产品400，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
72.程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
73.计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
74.可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
75.可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言一诸如java、c 等，还包括常规的过程式程序设计语言一诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备
上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
76.通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施方式的方法。
77.此外，上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
78.应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
79.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
80.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。