融合边缘计算和深度学习的变电站填方压路机识别方法与流程

1.本发明涉及计算机视觉识别以及通信技术领域，具体是融合边缘计算和深度学习的变电站填方压路机识别方法。


背景技术：

2.变电站施工是一个复杂的工程，有针对性的解决各方面具体问题涉及到的专业知识、事项工作庞杂，变电站施工流程的有序管理需要足够的技术手段支撑。本技术旨在对变电站回填土碾压施工过程进行智能改造，即在变电站填方区域周边安装高清监控摄像头，摄像头预先设置好指定监控区域，摄像头对监控区域内的图像数据进行采集并实时分析，检测出移动中的压路机，得以在移动物体进入指定监控区域时能够迅速发现目标，并对目标进行图像识别，准确地判别其特征要素，形成一个是判断否为压路机的二分类器。
3.大数据时代下每天产生的数据量急增，而海量的数据在地理上是分散的，海量的地理上分散的数据对数据处理系统的响应时间和准确程度的要求更高。与之对应的是，在变电站施工建设有序管理需求的逐渐增长情况下，施工现场安装监控的监控探头数量越来越多，且随着施工规模的不断扩大，监控摄像头的分布在地理上也会有分散性，从而产生大量的图像处理需求，以实现工程有序管理为目的的图像识别对图像处理的成本、速度和准确率要求越来越高。
4.在传统的压路机图像识别方法中，往往采用集中运算的方式，即将每个独立摄像头所采集的图像数据上传至云端服务器集中处理，随着变电站施工规模的逐步扩大，目前的方法面临新的问题。随着监控摄像头数量的增加，摄像头安装位置的分散，需要上传至云端服务器的数据量大幅增加，占用大量带宽，造成网络拥堵；与此同时，云端服务器处理所有的图像识别任务，占用大量资源同时，用以识别图像的计算资源和存储资源也无法实现动态实时地调度；在实际工程中，为了提高压路机识别分类模型的学习能力，需要适当增加分类模型的参数量，参数量的增加也会导致分类模型占用的计算和存储资源过多，进一步增加服务器运行压力。也就是说，云计算虽然为大数据处理提供了高效的计算平台，但是目前网络带宽的增长速度远远赶不上数据的增长速度，且增加网络带宽的成本要比升级处理器、内存这些硬件设施成本要高很多，同时复杂的网络环境让网络延迟很难有突破性提升，因此传统云计算模式限于带宽和延迟这两大瓶颈，已经难以适应大规模的变电站施工压路机图像识别应用。
5.此外，目前的图像识别往往采用传统的卷积神经网络方法。cnn的基本结构由输入层、卷积层、池化层、全连接层及输出层构成。卷积层和池化层一般会视任务需求设定合理的数量，采用卷积层和池化层交替设置。卷积神经网络通过局部感受野、权重共享和降采样三种策略，降低了网络模型的复杂度，同时对于平移、旋转、尺度缩放等形式的变有度的不变性。因此被广泛应用于图像分类、目标识别、语音识别等领域一般情况下，但是存在模型参数量大，训练时间长，且模型不易使用等问题。


技术实现要素：

6.鉴于上述技术缺点，本发明提供了融合边缘计算和深度学习的变电站填方压路机识别方法。
7.为实现上述发明目的，本发明的技术方案如下：
8.融合边缘计算和深度学习的变电站填方压路机识别方法，包括如下步骤：
9.s1，获取不同施工区域压路机的图像，经预处理后传输至各个边缘节点进行特征提取，并构建与各个边缘节点对应的训练数据集，其中边缘节点包括n1、n2、n3…
nm；
10.s2，建立cnn模型，并通过l2正则化及dropout算法对cnn模型进行优化，将训练数据集传输至优化后的cnn模型进行训练，获得完成训练的cnn模型；
11.s3，将完成训练的cnn模型部署至各个边缘节点中，并对不同施工区域压路机的图像特征进行识别，待识别完成后，融合各个边缘节点的识别结果进行输出。
12.作为优选的，所述步骤s1中，通过图像采集装置获取不同施工区域压路机的图像，并对不同施工区域压路机的图像进行预处理后，通过各个边缘节点获取不同施工区域压路机的图像的特征集合，并将特征集合内的每一组特征及标签作为计算数据，并构建与其对应的训练数据集。
13.作为优选的，步骤s2中所述的l2正则化算法，其中，原损失函数的数学表达式如下：
[0014][0015]
式中，m为样本数据集元素数量，l为代价函数，y
′(i)为神经元输出实际值，y(i)为神经元的输出期望值，b为神经元传递过程中的偏置量；
[0016]
正则化的数学表达式如下：
[0017][0018]
式中，ωj为第j个神经元的权值，l为全连接层的数量；
[0019]
经过l2正则化后的新损失函数为：
[0020][0021]
式中，λ为正则化参数。
[0022]
作为优选的，步骤s2中所述的dropout算法，其计算公式如下：
[0023]
r＝m
·
f(ωx b)
[0024]
mj～bernoulli(p)
[0025]
式中，x为输入，f为激活函数，m为二值掩膜矩阵，m中的元素mj以伯努利概率p随机取值0或1。
[0026]
作为优选的，所述步骤s2中，采用双通道机制与两层残差神经元层加深建立的cnn模型，其中，cnn模型的第一层通道卷积核尺寸为：3
×
3，5
×
5，9
×
9；第二层通道卷积核尺寸为：5
×
5，7
×
7，10
×
10；
[0027]
残差神经元层的数学表达式如下：
[0028]
f(x)＝w2f(w1x b) b
[0029]
式中，x为输入，w1为第一层的权重，w2为第二层的权重，f()为relu激活函数，b为偏置。
[0030]
作为优选的，步骤s3中所述的融合各个边缘节点的识别结果，具体为：将各个边缘节点的识别结果分为若干组，相同施工区域的各个图像识别结果划分为一组，各组内通过集成投票法融合各个边缘节点的识别结果，其计算方式如下：
[0031]
设定一个边缘节点ni的分类结果为r
ij
，r
ij
∈{0，1}，当ni将识别结果分类到j类时，r
ij
＝1，否则r
ij
＝0；其分类结果表示为:
[0032][0033]
式中，i为边缘节点总数，j为类别数，其中1代表识别结果为压路机，2代表识别结果不为压路机。
[0034]
本发明的有益效果是：
附图说明
[0035]
图1为本发明提供的：流程示意图；
[0036]
图2为本发明提供的：基于边缘计算的变电站施工压路机识别系统构成示意图；
[0037]
图3为本发明提供的：基于边缘计算的变电站施工压路机识别系统运行流程示意图；
[0038]
图4为本发明提供的：传统卷积神经网络结构示意图；
[0039]
图5为本发明提供的：dropout方法示意图；
[0040]
图6为本发明提供的：双通道卷积神经网络结构示意图；
[0041]
图7为本发明提供的：残差神经元结构示意图；
[0042]
图8为本发明提供的：残差神经元结构内部尺寸设计；
[0043]
图9为本发明提供的：改进的卷积神经网络结构；
[0044]
图10为本发明提供的：集成学习流程；
[0045]
图11为本发明提供的：云端服务器融合识别流程。
具体实施方式
[0046]
下面结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0047]
实施例
[0048]
如图1所示，融合边缘计算和深度学习的变电站填方压路机识别方法，包括如下步骤：
[0049]
s1，获取不同施工区域压路机的图像，经预处理后传输至各个边缘节点进行特征提取，并构建与各个边缘节点对应的训练数据集，其中边缘节点包括n1、n2、n3…
nm；
[0050]
s2，建立cnn模型，并通过l2正则化及dropout算法对cnn模型进行优化，将训练数据集传输至优化后的cnn模型进行训练，获得完成训练的cnn模型；
[0051]
s3，将完成训练的cnn模型部署至各个边缘节点中，并对不同施工区域压路机的图像特征进行识别，待识别完成后，融合各个边缘节点的识别结果进行输出。
[0052]
针对现有图像数据集中运算，即上传至云端服务器集中处理的诸多问题：随着监控摄像头数目的增加，摄像头分布范围的扩展，需要上传至云端服务器的数据量大幅增加，且各节点之间信息传递会占用大量带宽，造成网络拥堵，提出了边缘计算(edge computing)方法。边缘计算中的边缘(edge)指的是整个网络体系中位于边缘的计算和存储资源，这里的网络边缘与数据中心相对，无论是从地理距离还是网络距离上来看都更接近实地用户。边缘计算则是利用这些资源在边缘节点为用户提供实时服务，使采集到的数据可以在采集处就地处理。
[0053]
基于此，本技术提出了一种利用边缘计算技术解决集中运算占用大量带宽导致与网络拥堵问题的方法，即每个边缘节点提取图像特征上传到云服务器进行集中模型训练，随后云服务器将训练好的各神经网络模型分发到每个边缘节点。最终的识别任务由各个边缘节点承担，充分利用了边缘节点的计算能力，降低云端服务器的计算压力。此外，在计算、存储资源受限情况下，可调整边缘节点的数量，实现计算资源实时调度，从而实现整个网络计算、存储资源的优化配置，
[0054]
如图2所示，基于边缘计算的变电站施工压路机识别系统主控制节点各边缘计算节点组成，其中主控制节点为云端服务器，各边缘计算节点分布在各监控设备本地，各节点通过网络连接构成，还包括外部接口、网络通讯模块、供用电模块等。其中主控制节点配备云端服务器数据库，用于存储压路机识别预处理后提取的特征要素集合和卷积神经网络训练、存取训练完毕的卷积神经网络模型；边缘计算节点配备本地数据库，用于存储监控设备拍摄压路机图像、接收训练完毕的神经网络将每组特征分别输入模型进行本地识别。通过特别设置的控制节点可以便于用户输入操控命令，获取系统运行状态信息，实现人机交互。
[0055]
更为具体地所述云端服务器包括：
[0056]
节点信息汇总模块，该模块作用为读取分布式边缘计算中，边缘节点本地信息管理模块上传的节点工作状态信息，包括节点内存状态、图形处理器状态、中央处理器状态、当前处理任务信息、响应延迟等。
[0057]
信息传输模块，该模块作用为下发主控制节点已经训练完成的卷积神经网络，接收边缘节点上传的图像特征要素集合等信息。
[0058]
神经网络训练模块，该模块作用为利用边缘节点上传的图像特征要素集合分别训练对应的卷积神经网络。
[0059]
数据预处理模块，该模块作用为图像预处理优化和切分即将执行的任务数据。
[0060]
计算结果融合输出模块，该模块作用为收集各个边缘计算装置运算模块的分析结果，并根据序号整理结果集，之后将分析结果集输出到应用层。
[0061]
所述边缘计算节点包括：
[0062]
本地节点信息管理模块，该模块作用为收集所在边缘计算节点工作状态信息，包括节点内存状态、图形处理器状态、中央处理器状态、当前处理任务信息、响应延迟等。
[0063]
节点控制模块，该模块作用为接收并分析运算任务，启动本地计算模块并将具体
计算参数发送至本地计算模块。
[0064]
本地计算模块，该模块作用为在边缘节点本地具体执行图像预处理优化算法与图像特征提取算法。
[0065]
所述步骤s1中，通过图像采集装置获取不同施工区域压路机的图像，并对不同施工区域压路机的图像进行预处理后，通过各个边缘节点获取不同施工区域压路机的图像的特征集合，并将特征集合内的每一组特征及标签作为计算数据，并构建与其对应的训练数据集。
[0066]
如图3所示，通过施工现场安装的摄像装置进行图像采集，将采集的图像传送给边缘节点n0,进行图像预处理优化。本文的压路机图像二分类识别方法分为训练和识别两个流程。在训练流程中，边缘节点n1～nm分别将各自提取的压路机图像特征集合上传到云端服务器进行云端卷积神经网络模型训练，并将云端服务器训练好的卷积神经网络模型发送给各边缘节点。在识别流程中，边缘节点利用云端服务器训练好的卷积神经网络模型，将提取的图像特征输入神经网络模型并输出识别结果，将识别结果上传至云端服务器。识别流程中输入的图像特征不上传至云端服务器，仅在本地作为识别的输入信息，以达到减小网络中信息传输量的目的，从而在一定程度上解决网络拥堵的问题。各边缘节点的计算任务彼此独立，增加节点数量能够获取更多尺度、更加丰富的特征，提升识别准确率；减少节点数量能适当减少网络中传输的数据量，缓解带宽不足带来的数据传输压力。因此，在计算与存储资源受限情况下，可根据需求适当地调整边缘节点的数量，从而实现计算与存储资源的实时调度。
[0067]
压路机图像预处理优化是为了剔除质量较差的图像，保留质量较好的图像，其具体流程如下：
[0068]
首先，判断图像是否失焦：对图像的横向及纵向分别做差分，并累积差分，当差分总值超过阈值时判断为失焦，并删除该图像；
[0069]
然后，依据tenengrad评价函数法进行图像质量评价：对一个周期内所有图像进行图像质量评价，保留质量较好的图像，剔除质量较差图像；
[0070]
其中tenengrad函数是一种常用的图像清晰度评价函数，是一种基于梯度的函数。在图像处理中，一般认为对焦好的图像具有更尖锐的边缘，故具有更大的梯度函数值。tenengrad函数使用sobel算子提取水平和垂直方向的梯度值。经过sobel算子处理后的图像的平均灰度值越大代表图像越清晰，具体过程如下：
[0071]
设sobel卷积核为g
x
，gy，则图像i在点(x,y)处的梯度：
[0072][0073]
则该图像的tenengrad值为：
[0074][0075]
其中n为图像中像素总数。
[0076]
最后，进行图像识别：通过滑动窗口计算每个区域面的方向梯度特征，与标准压路机的特征比对进行分类，判断是否有压路机，如果有压路机，则对其各部分形态特征进行进一步的提取。
[0077]
如图4所示，卷积神经网络是深度学习中的常用算法之一，它通过模拟人脑神经元
信息传递结构来学习复杂的输入信息与输出信息之间的映射关系。卷积神经网络主要结构包含输入层、卷积层、激活函数、池化层、全连接层和输出层，通过相邻层节点之间采取局部连接和权值共享策略，减少网络各层之间的连接并降低参数数量，通过不同的卷积核对图像进行卷积特征提取，最后借助softmax分类器进行分类，实现由端到端的目标检测输出。
[0078]
激活函数反映了各个神经元之间输入和输出映射关系，输入信息经过激活函数射变化后得到输出信息，并且在映射过程中不会改变特征图的尺寸。激活函数一般采用非线性函数，如relu函数、sigmoid函数和tanh函数等。通常每层卷积层之后会匹配一层池化层相配合来加强网络性能，并以多个卷积层和池化层组合的方式来提高准确率。池化层通过将相似的特征进行合并的方式来减少卷积层输出的特征图尺寸大小，在有效减少计算量的同时还可以防止过拟合现象。传统神经网络中各层之间完全连接导致存在大量的参数，而卷积神经网络通过相同层内共享权重方式降低了参数的复杂度，减少了计算量也能提高网络性能。
[0079]
为了进一步提高卷积神经网络对压路机的识别率，对建立的卷积神经网络进行优化。上节所述的卷积神经网络，网络参数量大、结构复杂，且在训练数据集不是特别大的情况下，容易发生过拟合现象。为避免模型过拟合，降低复杂背景因素噪声影响，保证模型对新数据依然有良好的分类效果，采用l2正则化方法和dropout算法对传统cnn进行优化。
[0080]
l2正则化的思路是将正则化项(惩罚项)与损失函数相加，通过限制模型中参数数量最多的权重ω，防止模型任意拟合训练集当中的复杂背景等噪声信息，降低模型复杂度。本专利利用l2正则化方法对全连接层和输出层进行优化。假设用于模型在训练过程中的原始损失函数为j0(ω,b)，均方误差损失函数的表达式为：
[0081][0082]
式中，m为样本数据集元素数量，l为代价函数，y
′(i)为神经元输出实际值，y(i)为神经元的输出期望值，b为神经元传递过程中的偏置量；
[0083]
加入正则化后优化时不是直接优化j0(ω,b)，而是优化j0(ω,b)a cλr(ω)。r(ω)是正则化项或惩罚项，描述的是模型的复杂程度，计算式为：
[0084][0085]
式中，ωj为第j个神经元的权值，l为全连接层的数量；
[0086]
经过l2正则化后的新损失函数为：
[0087][0088]
式中，λ为正则化参数。
[0089]
dropout方法在神经网络中有着广泛的应用，能有效防止模型过拟合问题。该方法在神经网络的训练阶段，前向传播时以概率p随机删除掉部分节点，这样网络在传播时只会通过保留下的节点，如附图4所示，相当于从原网络中随机选出一个局部结构。
[0090]
训练过程中删除节点的方法是强制将此节点的激活值设置为0，此时节点在网络中对后续的误差修正没有任何贡献，即误差不会经过此类节点反向传播。节点激活值的计
算公式如下：
[0091]
r＝m
·
f(ωx b)
[0092]
mj～bernoulli(p)
[0093]
式中，x为输入，f为激活函数，m为二值掩膜矩阵，m中的元素mj以伯努利概率p随机取值0或1，每个节点激活后乘以m中对应元素得到最后的输出值r，mj为1的对应节点输出值保留下来，mj为0的对应节点输出值为0。在模型的卷积层加入dropout策略，dropout参数值设定为0.25。
[0094]
如图6所示，所述步骤s2中，传统的单通道卷积神经网络采用添加卷积层的方法来丰富所提取的特征，但若一味地添加卷积层会导致网络深度过深，阻碍层间信息的传播，不利于训练。所以，为了在提取充分的图像特征和保持适度的训练难度之间取得平衡，本专利设计了双通道结构，两通道各自使用了不同尺寸的卷积核，提取多层次的特征以丰富特征输入。第一层通道卷积核尺寸为3
×
3，5
×
5，9
×
9；第二层通道卷积核尺寸为5
×
5，7
×
7，10
×
10。第一层通道设计为小尺寸卷积核，卷积核的感受野较小，侧重于提取输入图像的局部特征信息；第二层通道设计为大尺寸卷积核，卷积核感受野较大，侧重于提取输入图像的全局特征信息。随后两层不同尺寸通道所提取的丰富特征信息被融合形成多方位多角度的特征体系，可以更加准确地反映输入图像特性。与单通道卷积神经网络相比，双通道卷积神经网络所提取的图像特征抽象程度更高，表达能力更强，图像特征丰富，尤其对样本数量不够充分的小样本分类问题特别适用。
[0095]
如图7所示，适度地增加神经网络深度可以更好的捕获输入图像一些潜在的不容易被发掘的特征。已有相关研究表明，如果通过单纯累加层数方式增加网络深度，会在数据验证时出现准确率先升后降的现象，即所谓的退化问题。加入残差神经元层结构会在适度加深神经网络深度的同时避免出现退化问题，f(x)表示第二层前的输入，残差神经元层的数学表达式如下：
[0096]
f(x)＝w2f(w1x b) b
[0097]
式中，x为输入，w1为第一层的权重，w2为第二层的权重，f()为relu激活函数，b为偏置。
[0098]
设之后激活函数之前的输出为h(x)，如果没有恒等映射，残差快就是一个普通的2层卷积网络，只将其优化成h(x)＝x；但是如果有恒等映射，则h(x)＝f(x) x,如果最优输出是x，则要把f(x)优化为0即可。
[0099]
如图8所示，在残差块结构模型中，为了减少计算量，运用了1
×
1，3
×
3，1
×
1的卷积层，两个1
×
1卷积分别负责通道上减少和增加维度，3
×
3卷积在它们之间提取特征。
[0100]
如图9所示，为改进后的cnn模型。
[0101]
如图10所示，集成学习的思路是基于若干个采用相同或不同学习算法的基分类器通过某种策略的集成来提升预测结果。通常情况下，不同的弱分类器组合形成一个强分类器后，其整体的泛化性能会大大提升。如果所有的单个学习器都是同类的，例如都是决策树，或者都是神经网络，那么这个集成就叫做同质；反之，如果既有决策树又有神经网络，那么集成就叫做异质的。现阶段有3种主流集成学习的方法：boosting、bagging、随机森林，有平均法、投票法、学习法三种结合策略。一般来说，集成学习器的泛化能力是远大于单个学习器的泛化能力的，但是要确保以下条件得到满足：
[0102]
1、多样性：被集成的基分类器需要有较大的差异性，差异性过小的分类器被集成没有意义。
[0103]
2、准确性：单个基分类器要确保一定的准确率，通常情况下，随着集成规模的增加，较低准确度的弱分类器集成反而会导致分类准确率不断下降。
[0104]
如图11所示，在训练流程中，云端服务器接收边缘节点n1～nm上传的特征并构建与各个节点对应的训练数据集，采用该数据集训练分类模型。然后将训练完成的模型下发至各个边缘节点。在识别流程中，云端服务器接收边缘节点n1～nm上传的识别结果并将结果进行融合识别，以提高压路机图像识别的准确率。
[0105]
仿照在各基分类器分类结果的基础上采用多数投票机制获得集成学习分类的最终结果，将各边缘节点识别结果分为若干组，相同施工区域不同摄像头采集到的同一个物体的各个图像识别结果划分为一组，各组内利用集成投票方法来融合每个边缘节点运算结果以提高压路机图像识别的准确率。
[0106]
在云端服务器融合各个边缘节点识别结果获得输出结果的计算方式如下：假设某一边缘节点类器ni的分类结果为r
ij
,i＝1,2,
…
,m；j＝1,2其中i代表边缘节点总数，j代表类别数(1类别代表图片识别结果为压路机，2类别代表图片识别结果不是压路机)；r
ij
∈{0，1}，当ni将该数据分类为j类时r
ij
＝1，否则r
ij
＝0。分类结果表示为：
[0107][0108]
摄像装置将所采集到的视频数据上传到边缘节点处，通过边缘节点部署的深度学习封装软件进行数据处理和分析。边缘节点将处理结果就地存储，同时也会上传到云端服务器，云端服务器将边缘节点软件挖掘出的有价值数据作为算法输入，用于远程系统中训练算法模型。
[0109]
在训练流程中，云端服务器接收边缘节点上传的特征并构建与各个节点对应的训练数据集，采用该数据集训练卷积神经网络模型。然后，封装卷积神经网络模型并下发至各个边缘节点。训练模型下发完成后，摄像装置所采集的数据可直接输入至边缘节点部署的卷积神经网络模型完成图像特征的提取，提高计算效率。
[0110]
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。