基于深度学习的输变电工程违章识别的方法、系统和介质与流程

1.本发明提出了基于深度学习的输变电工程违章识别的方法、系统和介质，属于图像识别技术领域。


背景技术：

2.面对点多、面广、量大的输变电工程施工现场，作业点安全督察必须依靠督察人员到现场开展检查的方式已经无法满足现场安全管控的要求。随着人工智能技术的不断发展与成熟，通过施工现场前端监控摄像头，引入深度学习图像识别算法，实现施工人员违章行为智能识别并及时提醒，能够有效保证施工人员降低违章行为的发生率，保障施工的安全性。
3.目前，施工现场违章识别传统算法一般分为深度学习方法和传统方法。深度学习方法通过在原图中提取违章行为图像特征，实现端到端的训练和推理，直接检测算法实现过程简单且速度快；传统方法一般分为人体区域检测、违规特征提取和违规识别3个步骤，常见的算法可以分为基于运动检测的背景建模法、基于人工特征和传统分类为的机器学习算法以及基于卷积神经网络的深度学习算法。深度学习方法能够自动学习更具层次表达能力的特征，极大提升了违章检测算法的整体性能。
4.传统算法具有以下缺点：(1)特征设计多需要手工设计，需要针对每种违章类型分别设计特征提取方法，适用性较差；(2)传统算法鲁棒性较差，违章行为场景一经变化则会导致算法检测精度下降。


技术实现要素：

5.本发明提出了基于深度学习的输变电工程违章识别的方法，首先采集违章识别样本数据集，并构建违章识别神经网络，训练时，将输入图片拆分成小图像块，以线性嵌入序列输入神经网络，通过监督学习的方式训练出违章识别网络模型参数。在应用中，输入待识别图片，即可输出得到输入图片的违章类型。
6.与传统违章检测方法相比，本发明采用的深度学习方法可以自动根据数据提取图像特征，提高分类鲁棒性。
7.与常规的深度卷积模型相比，本发明模型结构简单，各个模块可复用性强，易于实现部署。同时本发明在注意力融合模块中，引入空间注意力和通道注意力结构，增强图像特征提取能力，对每个特征图的处理和分析能够检测出不同大小的目标，可以有效提高违章检测精度。
8.基于深度学习的输变电工程违章识别的方法，所述方法包括：
9.步骤1、采集输变电工程中的违章样本图片，将所述违章样本图片分为m类，其中，m表示违章类型的数量，每类违章样本图片n张；
10.步骤2、利用旋转和平移方式对所述违章样本图片进行样本增强，获得增强后的违章样本图片；
11.步骤3、利用所述增强后的违章样本图片构建网络模型；
12.步骤4、将输变电工程实施现场采集到的图片输入至所述网络模型中进行违章识别，获得所述图片对应的违章类型。
13.进一步地，步骤1所述的利用所述增强后的违章样本图片构建网络模型，包括：
14.步骤301、通过所述增强后的违章样本图片获取与所述增强后的违章样本图片对应的输出特征ci；
15.步骤302、将所述输出特征ci进行特征融合，获得融合后参数序列，并将所述融合后参数序列融入后处理模块进行处理，其中，所述融合后参数序列如下：
16.c＝[c1，c2，...，ck]
[0017]
其中，c表示融合后的特征；c1……ck
表示输出特征；
[0018]
步骤303、将在所述违章样本集上采用softmax进行模型训练，得到违章识别参数。
[0019]
进一步地，步骤301所述的通过所述增强后的违章样本图片获取与所述增强后的违章样本图片对应的输出特征ci，包括：
[0020]
步骤3011、将所述增强后的违章样本图片切分成k个图像块，每个图像块通过线性投影方程得到线性图像特征fi，其中，i表示图像块序号；
[0021]
步骤3012、将所述线性图像特征fi输入至编码器，获得与所述线性图像特征fi对应的输出特征ci。
[0022]
进一步地，所述后处理模块包括全连接层一、归一化处理模块和全连接层二；其中，所述全连接层一的信号输出端与所述归一化处理模块的信号输入端相连；所述归一化处理模块的信号输出端与所述全连接层二的信号输入端相连。
[0023]
进一步地，所述编码器包括第一归一化处理模块、多注意力融合模块、第一加法器、第二归一化处理模、第一全连接层、第三归一化处理模块、第二全连接层和第二加法器；所述第一归一化处理模块、多注意力融合模块、第一加法器、第二归一化处理模、第一全连接层、第三归一化处理模块、第二全连接层和第二加法器的信号输入端和信号输出端依次对应相连。
[0024]
进一步地，所述编码器的归一化处理公式如下：
[0025][0026]
其中，μ和σ分别表示均值和标准差，x表示输出特征。
[0027]
进一步地，所述多注意力融合模块包括空间注意力和通道注意力两种注意力结构。
[0028]
进一步地，所述多注意力融合模块的运行过程包括：
[0029]
第一步、对输入特征采用全局平均池化；
[0030][0031]
其中，h
p
表示全局平均池化函数；xc(i，j)表示输入值的c通道位于(i，j)处的值；
[0032]
第二步、在空间注意力分支中，将池化后的特征通过卷积层和sigmoid激活函数进行处理，得到sa如下：
[0033][0034]
其中，δ表示sigmoid激活函数，conv表示卷积层，gc表示全局平均池化的输出，fc是多注意力融合模块的输入
[0035]
第三步、在通道注意力分支中，将池化后的特征通过卷积层、relu、卷积层和sigmoid激活函数处理之后得到ca如下：
[0036]
ca＝σ(conv(δ(conv(gc))))
[0037]
其中，δ表示sigmoid激活函数，conv表示卷积层，gc表示全局平均池化的输出；
[0038]
第四步、将两种注意力机制进行融合，获得融合后参数f如下：
[0039][0040]
第五步、将所述融合后参数f通过卷积处理后获得输出特征f
out
如下：
[0041]fout
＝conv(f)
[0042]
其中，f
out
表示输出特征。
[0043]
基于深度学习的输变电工程违章识别的系统，所述系统包括：
[0044]
采集模块，用于采集输变电工程中的违章样本图片，将所述违章样本图片分为m类，其中，m表示违章类型的数量，每类违章样本图片n张；
[0045]
增强模块，用于利用旋转和平移方式对所述违章样本图片进行样本增强，获得增强后的违章样本图片；
[0046]
训练模块，用于利用所述增强后的违章样本图片构建网络模型，模型训练时，将输入图片拆分成小图像块，以线性嵌入序列输入神经网络，通过监督学习的方式训练出违章识别网络模型参数；
[0047]
识别模块，用于将输变电工程实施现场采集到的图片输入至所述网络模型中进行违章识别，获得所述图片对应的违章类型。
[0048]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项方法的步骤。
[0049]
本发明有益效果：
[0050]
本发明提出了基于深度学习的违章识别方法，训练时将输入的违章图像拆分为k个小图像块，以线性嵌入序列输入违章识别神经网络。同时在网络模块中引入空间注意力和通道注意力结构，增强k个图像块的特征提取能力。应用时将图像输入训练好的模型，即可输出违章类型。与现有的违章检测方法相比，本发明网络模型简单，各个模块复用性高，易于实现，并且能够在输变电工程复杂施工场景中精确识别出人员违章现象，识别精度较高。
附图说明
[0051]
图1为本发明所述方法的流程图；
[0052]
图2为本发明所述编辑器结构示意图；
[0053]
图3为本发明所多注意力融合模块结构示意图；
[0054]
图4为本发明所后处理模块结构示意图。
具体实施方式
[0055]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0056]
本实施例提出了基于深度学习的输变电工程违章识别的方法，如图1所示，所述方法包括：
[0057]
步骤1、采集输变电工程中的违章样本图片，将所述违章样本图片分为m类，其中，m表示违章类型的数量，每类违章样本图片n张；
[0058]
步骤2、利用旋转和平移方式对所述违章样本图片进行样本增强，获得增强后的违章样本图片；
[0059]
步骤3、利用所述增强后的违章样本图片构建网络模型；
[0060]
步骤4、将输变电工程实施现场采集到的图片输入至所述网络模型中进行违章识别，获得所述图片对应的违章类型。
[0061]
其中，步骤1所述的利用所述增强后的违章样本图片构建网络模型，包括：
[0062]
步骤301、通过所述增强后的违章样本图片获取与所述增强后的违章样本图片对应的输出特征ci；
[0063]
步骤302、将所述输出特征ci进行特征融合，获得融合后参数序列，并将所述融合后参数序列融入后处理模块进行处理，其中，所述融合后参数序列如下：
[0064]
c＝[c1，c2，...，ck]其中，c表示融合后的特征；c1……ck
表示输出特征；
[0065]
步骤303、将在所述违章样本集上采用softmax进行模型训练，得到违章识别参数。
[0066]
其中，步骤301所述的通过所述增强后的违章样本图片获取与所述增强后的违章样本图片对应的输出特征ci，包括：
[0067]
步骤3011、将所述增强后的违章样本图片切分成k个图像块，每个图像块通过线性投影方程得到线性图像特征fi，其中，i表示图像块序号；
[0068]
步骤3012、将所述线性图像特征fi输入至编码器，获得与所述线性图像特征fi对应的输出特征ci。具体的，如图2所示，所述编码器包括第一归一化处理模块、多注意力融合模块、第一加法器、第二归一化处理模、第一全连接层、第三归一化处理模块、第二全连接层和第二加法器；所述第一归一化处理模块、多注意力融合模块、第一加法器、第二归一化处理模、第一全连接层、第三归一化处理模块、第二全连接层和第二加法器的信号输入端和信号输出端依次对应相连。
[0069]
其中，所述编码器的归一化处理公式如下：
[0070][0071]
其中，μ和σ分别表示均值和标准差，x表示输出特征。
[0072]
另一方面，所述多注意力融合模块包括空间注意力和通道注意力两种注意力结构。所述多注意力模块的结构具体如图3所示。
[0073]
其中，所述多注意力融合模块的运行过程包括：
[0074]
第一步、对输入特征采用全局平均池化；
[0075]
[0076]
其中，h
p
表示全局平均池化函数；xc(i，j)表示输入值的c通道位于(i，j)处的值；
[0077]
第二步、在空间注意力分支中，将池化后的特征通过卷积层和sigmoid激活函数进行处理，得到sa如下：
[0078][0079]
其中，δ表示sigmoid激活函数，conv表示卷积层，gc表示全局平均池化的输出，fc是多注意力融合模块的输入
[0080]
第三步、在通道注意力分支中，将池化后的特征通过卷积层、relu、卷积层和sigmoid激活函数处理之后得到ca如下：
[0081]
ca＝σ(conv(δ(conv(gc))))
[0082]
其中，δ表示sigmoid激活函数，conv表示卷积层，gc表示全局平均池化的输出；
[0083]
第四步、将两种注意力机制进行融合，获得融合后参数f如下：
[0084][0085]
第五步、将所述融合后参数f通过卷积处理后获得输出特征f
out
如下：
[0086]fout
＝conv(f)
[0087]
其中，f
out
表示输出特征。
[0088]
同时，所述后处理模块包括全连接层一、归一化处理模块和全连接层二；其中，所述全连接层一的信号输出端与所述归一化处理模块的信号输入端相连；所述归一化处理模块的信号输出端与所述全连接层二的信号输入端相连。所述后处理模块的具体结构如图4所示。
[0089]
本发明实施例提出的基于深度学习的输变电工程违章识别的方法，训练时将输入的违章图像拆分为k个小图像块，以线性嵌入序列输入违章识别神经网络。同时在网络模块中引入空间注意力和通道注意力结构，增强k个图像块的特征提取能力。应用时将图像输入训练好的模型，即可输出违章类型。与现有的违章检测方法相比，本发明网络模型简单，各个模块复用性高，易于实现，并且能够在输变电工程复杂施工场景中精确识别出人员违章现象，识别精度较高。
[0090]
本发明的一个实施例，基于深度学习的输变电工程违章识别的系统，所述系统包括：
[0091]
采集模块，用于采集输变电工程中的违章样本图片，将所述违章样本图片分为m类，其中，m表示违章类型的数量，每类违章样本图片n张；
[0092]
增强模块，用于利用旋转和平移方式对所述违章样本图片进行样本增强，获得增强后的违章样本图片；
[0093]
训练模块，用于利用所述增强后的违章样本图片构建网络模型，模型训练时，将输入图片拆分成小图像块，以线性嵌入序列输入神经网络，通过监督学习的方式训练出违章识别网络模型参数；
[0094]
识别模块，用于将输变电工程实施现场采集到的图片输入至所述网络模型中进行违章识别，获得所述图片对应的违章类型。一种计算机可读存储介质
[0095]
本发明实施例提出的基于深度学习的输变电工程违章识别的系统，训练时将输入的违章图像拆分为k个小图像块，以线性嵌入序列输入违章识别神经网络。同时在网络模块
中引入空间注意力和通道注意力结构，增强k个图像块的特征提取能力。应用时将图像输入训练好的模型，即可输出违章类型。与现有的违章检测方法相比，本发明网络模型简单，各个模块复用性高，易于实现，并且能够在输变电工程复杂施工场景中精确识别出人员违章现象，识别精度较高。
[0096]
一种计算机可读存储介质，所述计算机刻度存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项方法的步骤。
[0097]
其中，计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言诸如java、c 等，还包括常规的过程式程序设计语言诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0098]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。