基于Parallelogram-YOLOv4的火电厂雨排口污染物识别方法与流程

基于parallelogram
‑
yolov4的火电厂雨排口污染物识别方法
技术领域
1.本发明涉及图像处理技术领域，尤其是涉及一种基于parallelogram
‑
yolov4的火电厂雨排口污染物识别方法。


背景技术：

2.随着社会的进步和经济的发展，人们对于生活质量的要求不断提高，相应的对环境保护的需求也随之升高。新能源的发展在一定程度上缓解了传统火电厂运行时对于环境污染的压力。但是火电厂在发电环节中仍然处于主导地位，世界上仍以火力发电为主要发电方式。因此如果想要解决能源与环境治理间的冲突，如何减小火电厂对于环境的负面影响是一个重要的突破点。
3.在环境保护方面，近年来火电厂的环境保护得到了社会的广泛关注。在火电厂中，油在润滑、液压传递等方面发挥着重要作用，但在火电厂的运行和检修过程中难免发生漏油等现象，若不能快速发现并对泄漏的油污进行回收处理，可能造成环境污染，加大河流对于污染物的消化压力。近些年来火电厂多次发生污染物泄漏的情况，主要是污水从雨排水系统排入护厂河污染护厂河环境，由于护厂河连通长江等水域，当污染物泄漏严重时甚至可能对较远的水域造成污染。近年来主要污染原因有以下几方面：电厂重油库积油进入油库雨排水沟，经降雨冲刷进入护厂河；检修期间，部分设备冲洗废水，如铁锈水汇入护厂河影响河水环境；施工单位将泥浆水直接排入雨排水系统；脱硫废水产生泄漏，污染了附近路面；其他还有泥浆水外泄和油污泄漏等多种情况。
4.针对火电厂雨排口的传统监测方式为人工巡检，但在雨排口复杂的现场环境中，人工巡检不但浪费大量人力，还有很多危险因素威胁巡检工作人员的人身安全。


技术实现要素：

5.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于parallelogram
‑
yolov4的火电厂雨排口污染物识别方法。
6.本发明的目的可以通过以下技术方案来实现：
7.基于parallelogram
‑
yolov4的火电厂雨排口污染物识别方法，该方法包括下列步骤：
8.s1：在火电厂雨排口安装高清摄像头进行实时监测，在调整高清摄像头为固定角度后，按一定的时间间隔截取现场环境图像，通过对现场环境图像进行切割获取水域的待监测位置图像，并将现场环境图像作为原始图像保存至管理系统服务器。
9.s2：将现场的图像通过通信协议传送到预警系统服务器并在预警系统服务器保存原始图像，将涉及到的路径图像等信息保存在数据库中。路径图像通过ftp得到，用于提取待检测图像。
10.s3：利用图像分析和处理方法，在程序中对保存的图像进行加工处理，使图像满足识别网络的输入要求。
11.s4：预警系统服务器在后台通过parallelogram
‑
yolov4目标检测算法对原始图像进行识别，得到初步的识别信息和识别后框定目标物体的识别图像。
12.在本发明中，所述parallelogram
‑
yolov4目标检测算法是在yolov4算法的基础上，采用平行四边形锚框代替基于yolov4算法中的矩形锚框作为候选框，针对监控摄像头从倾斜角度拍摄的图像进行图像识别。
13.s5：通过图像后置处理技术对识别后图像和信息进行进一步加工。
14.s6：针对火电厂现场环境，当检测到油污后，电厂使用油毡吸收雨排口油污，防止大雨等因素将雨排口油污排入河流中。因油毡排布密集，当出现油毡时使用nms算法难以统计油毡数量，相邻油毡难以正确识别，采用soft
‑
nms算法，提高识别油毡类别的能力和油污分布识别的准确性。
15.s7：将最终检测信息通过数据交互在预警系统服务器的监控页面展示，其中包括经过数据分析后的环境信息、原始图像和框定的最终图像。
16.进一步地，s1中，考虑到多口检测和图像清晰度较高，需要较大的检测成本，parallelogram
‑
yolov4目标检测算法在检测高清图像时仍可实现每秒十帧以上的检测速度，又因短时间内现场环境变化不明显，作为优选方式，选取每分钟一帧图像进行检测，在该速度下主服务器使用率小，扩展性强。
17.进一步地，s2中，通过tcp协议进行图像的实时传输。
18.进一步地，s3在图像加工处理过程中，采用mosaic图像增强技术和mixup图像增强技术增加batch并提升检测模型的鲁棒性，在实际检测时只需对原始图像进行切割提取操作，将图像缩放为416*416大小，并对标记框采取相同比例缩放。
19.进一步地，s4的输入为将待检测图像经过处理后的图像，像素为416*416*3，通过网络提取后得到13*13、26*26、52*52三个特征图，其深度代表了预测信息，主要预测的参数为xywh四个偏移量、对应类别的概率和物体置信度c，每个像素点根据初始采用聚类获得的三个box进行最终位置调整，最后得到包含大量box的预测结果列表。
20.s4在网络训练阶段选取的参数为：learning_rate(学习率)＝0.01，decay(学习率衰减)＝0.0005，epoch(代)＝500，类别数为12且输出的特征大小为13*13*51、26*26*51和52*52*51。
21.针对网络训练的输出，前两维数据输出的是高和宽，对应的是将原像素图像提取特征后的特征图的平面大小，第三维数据输出的是深度，其参数代表每一像素点的预测信息值。
22.深度的计算公式为：
23.deep＝3*(4 1 classes)
24.式中，系数3表示有三个预设框，4代表中心点坐标和长宽的偏移量，1表示该像素点对应预设框的置信度，classes代表类别数量。
25.网络根据以上参数计算损失函数，并使用focal loss解决在预测过程中正负样本比例不均衡的问题，降低了负样本在简单训练时在整体训练过程中所占的权重。focal loss损失函数的计算公式为：
[0026][0027]
其中y表示样本标签，y
k
表示正类概率。
[0028]
网络采用ciou作为计算最终损失的iou(intersection over union，重叠度)的损失函数，在网络设计过程中应用于最后计算总损失函数时。在计算nms或其他中间过程参数时仍采用原始的iou损失函数。
[0029]
进一步地，网络采用网格作为背景存放参数计算中心点横坐标b
x
、纵坐标b
y
、长b
h
、宽b
w
和角度cota
p
五个参数的偏移量，其计算公式分别为：
[0030]
b
x
＝σ(t
x
) c
x
[0031]
b
y
＝σ(t
y
) c
y
[0032][0033][0034]
cota
p
＝cota
b
×
t
a
[0035]
式中，σ(t
x
)和σ(t
y
)为中心点在网格左上角的偏移量，c
x
和c
y
为当前网格左上角点的坐标，p
w
和p
h
为先验框的宽和高，t
a
为角度偏移量，(α
p
,α
b
)分别为预测框的角度和预设框的角度；最终得到的四个参数为预测框的中心点坐标、预测框的宽高和偏移角度的正切值。
[0036]
进一步地，s5的后置处理过程为：列出网络输出的所有检测结果，选取同一类别中置信度最高的预测框并将其存入存放检测结果的集合b中，其余标记框保留在待排除的集合a中。计算置信度最高标记框和其余同类别的标记框的iou值，将计算后iou大于阈值的标记框舍去，再从a中选取剩余预测框中得分最高的标记框，重复上述步骤，直到集合a为空集，则处理完成。
[0037]
其中iou的计算公式为：
[0038][0039]
其中，b为预测框，b
gt
为真实框。真实框为图像中物体标签信息。
[0040]
3)采用ciou作为损失函数，将预测框的中心坐标点和长宽都考虑进来，解决了预测框不重叠和预测框之间存在包含情况时计算的iou失准的问题。加入中心坐标和长宽因素的ciou计算公式为：
[0041][0042][0043][0044]
其中，w
gt
和w分别为预测框宽度的真实值和预测值，h
gt
和h分别为预测框高度的真实值和预测值，ρ2(b,b
gt
)为预测框和真实框中心点之间的距离，a和v为考虑预测框宽、高信
息的系数。
[0045]
集合的处理过程为：
[0046]
(1)原集合a＝{y1,y2,y3...y
max
}，取出得分最高的y
max
，其中集合中元素为同一类别检测置信度；
[0047]
(2)将y
max
→
b＝{y
(1)
,y
(2)
,y
(3)
...}；
[0048]
(3)对比
[0049]
(4)当iou≥t时舍去，其中t为预设的阈值；
[0050]
(5)重复上述步骤(1)～(4)，最终得到
[0051]
新得分可采取线性加权函数和高斯加权函数两种计算方式计算，其计算公式和参数含义分别为：
[0052][0053]
上式为高斯加权函数，其中s表示预测框得分，m为当前得分最高框参数，b为待处理框参数，指数幂为高斯函数。
[0054][0055]
其中，n
t
为阈值，s
i
表示预测框i的得分，m为当前得分最高框参数，b
i
为待处理框i的参数，b
i
和m的iou越大，b
i
的得分s
i
就下降的越多。由上式可见，iou小于阈值时得分不变，iou大于阈值会给得分s
i
乘一个惩罚系数。
[0056]
进一步地，s6采用soft
‑
nms算法，该算法是对nms算法的升级扩展，具体操作为当检测到iou大于阈值时不是直接将检测狂从集合中剔除，而是给预测框乘一个高斯削减函数，降低预测框的得分，将相邻预测框保留下来。
[0057]
nms是将最高得分的预测框与其余预测框计算iou，将iou大于初始设定t的预测框舍去从而保留需要的框，但是当同种类物体相邻时容易产生误判。soft
‑
nms没有将iou大于阈值t的框直接置零，而是采用一个权重降低与得分最高框重叠框的分数，权重函数选取高斯函数。
[0058]
进一步地，s7采用开发的b/s软件平台架构软件平台实现。
[0059]
本发明提供的基于parallelogram
‑
yolov4的火电厂雨排口污染物识别方法，相较于现有技术至少包括如下有益效果：
[0060]
1)本发明基于parallelogram
‑
yolov4目标检测算法，该发明将parallelogram
‑
yolov4目标检测算法应用于环境保护监测中，可以更好的检测监控摄像头拍摄的倾斜图像，对比同类检测算法，parallelogram
‑
yolov4具有检测准确率高和检测速度快的优点，针对多任务同时进行有较快的处理速度，适用于火电厂雨排口复杂环境。
[0061]
2)本发明根据现场实例选择yolo系列单步目标检测算法，从而获得较快的检测速度，在yolo系列算法的最新版本yolov4中，实现了检测精度和检测速度的全方面升级，在保
留yolo系列算法高速的基础上，在精度上不弱于先进的两部检测算法；使用yolov4的改进方法parallelogram
‑
yolov4，实现了更好的检测效果，满足了火电厂对于环境保护的需求，并降低其用于环境保护的成本。
[0062]
3)本发明针对油毡类别识别难以统机油毡数量的问题，使用了soft
‑
nms算法。该方法可以准确识别雨排口油毡数量，便于后期统计监测。
[0063]
4)将yolov4目标检测算法应用于环境保护场景中，针对雨排口对象做出了适用于现场环境的调整设计，通过在火电厂雨排口复杂环境中对雨排口进行实时自动监测，减少了电厂的人力成本，提高了检测效率，并将检测系统融入火电厂监测环境中，提高了方法使用的便利性。
[0064]
5)parallelogram
‑
yolov4算法使用平行四边形锚框代替矩形锚框，提高了物体描述的准确性和yolov4算法的检测能力，对倾斜图像和不规则物体有更好的检测效果。
附图说明
[0065]
图1为实施例中本发明基于parallelogram
‑
yolov4的火电厂雨排口污染物识别方法的原理框架示意图；
[0066]
图2为实施例中本发明采用的parallelogram
‑
yolov4目标检测算法的模型架构图和模型的具体结构单元；
[0067]
图3为实施例中利用mixup技术得到的图像预处理结果；
[0068]
图4为实施例中利用mosaic技术得到的图像预处理结果；
[0069]
图5为实施例中图像后置处理nms的步骤；
[0070]
图6为实施例中本发明火电厂雨排口污染物识别方法的框架流程图；
[0071]
图7为实施例中将parallelogram
‑
yolov4目标检测算法应用于某雨排口的实际效果图。
具体实施方式
[0072]
下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
[0073]
实施例
[0074]
采用智能监测的方式可以很好的解决人工巡检的弊端，不但可以实现实时高精度的现场环境监测，还可以节约成本和人力。智能监测是将先进的图像识别算法和监测系统相结合，是算法的落地应用，具有很高的实用价值。针对环境监测的目标环境，可以采用图像识别中目标检测类的识别算法。
[0075]
本发明涉及一种基于parallelogram
‑
yolov4的火电厂雨排口污染物识别方法，该方法能在火电厂雨排口复杂环境中对雨排口进行实时监测，节省了电厂的人力资源，在保证高准确率的前提下提高了监测效率，具有较高的实际应用价值。如图1所示，本发明方法应用于火电厂实际环境中的框架结构包括火电厂雨排口污染物泄漏预警系统和火电厂环境管理系统，火电厂环境管理系统包括设置在火电厂排口的不同位置的多个高清摄像头、与高清摄像头无线连接的管理系统服务器、以及与管理系统服务器连接的前端设备。火电
厂雨排口污染物泄漏预警系统包括预警系统服务器、前端设备和移动端，移动端为管理员或电厂工作人员的携带移动端。预警系统服务器与移动端无线连接，前端设备与预警系统服务器连接。管理系统服务器与预警系统服务器之间通过通信协议(优先采用tcp/ip协议)实现信息交互。
[0076]
本发明基于parallelogram
‑
yolov4的火电厂雨排口污染物识别方法的具体实施步骤为：
[0077]
步骤一、在火电厂雨排口安装高清摄像头进行实时监测，在调整高清摄像头为固定角度后，按一定的时间间隔截取现场环境图像。将通过监控摄像头的视频按固定时间截取图像，获取水域的待监测位置图像。并将截取的图像存入管理系统服务器中。
[0078]
此步骤在处理图像时采用预处理技术，切割特定敏感区域，敏感区域由监控摄像头角度决定，由于雨排口处安装的摄像头角度固定，因此只需要针对不同雨排口从特定位置截取图像即可，对输入的不同雨排口图像，进行不同位置的切割。
[0079]
步骤二、预警系统服务器监测到管理系统服务器存入图像时，从管理系统服务器中获取原始图像，并使用预警系统服务器中的parallelogram
‑
yolov4算法监测模块对原始图像进行识别。
[0080]
在本发明中，parallelogram
‑
yolov4目标检测算法是在yolov4算法的基础上，采用平行四边形锚框代替基于yolov4算法中的矩形锚框作为候选框，针对监控摄像头从倾斜角度拍摄的图像进行识别。
[0081]
步骤三、将原始图像和识别图像的信息按时间戳顺序保存在服务器本地数据库中。
[0082]
步骤四、将数据库中的信息和图像在前端设备中展示，供获电厂工作人员交互使用。
[0083]
步骤五、移动端通过app程序将实时预警信息提供给电厂工作人员。
[0084]
一、parallelogram
‑
yolov4检测算法
[0085]
经过大量实验对比证明，一个深度学习网络模型的好坏主要取决于以下三个方面：1)更大的输入分辨率—用于检测小目标物体；2)更深的网络层数—能够覆盖更大面积的感受野；3)更多的网络参数—可以更好的检测统一图像内不同大小的目标。综上所述，yolov4目标检测算法是基于上述三个方面进行改进，进一步提高yolo系列检测算法的准确度。
[0086]
parallelogram
‑
yolov4是在yolov4检测算法的基础上，通过改进算法锚框，使算法对监控摄像头拍摄的倾斜图像有更好的检测效果，同时使用rfb模块和bifpn结构提升了网络特征提取能力。
[0087]
parallelogram
‑
yolov4检测算法在基本结构上和yolov4算法相同，都是对yolov3检测算法的扩充，在yolov3预测框架的基础上，结合了众多先进的图像检测结构，在检测速度与识别精度之间达到了最优平衡。如图2所示，parallelogram
‑
yolov4检测算法的结构，parallelogram
‑
yolov4检测算法主要的模块有：
[0088]
1、parallelogram
‑
yolov4采用了cspdarknet53框架，网络子单元主要分为cbl单元和cbm单元，子单元由卷积层、batch normalization层和激活函数层组成。不同子单元采用的激活函数不同。csp跨区域连接单元是cspdarknet53的主要结构，csp结构通过将
resnet结构跨区域连接，提高了网络提取特征能力，加深了网络层数，有益于提升算法的检测精度。
[0089]
2、csp跨区域单元也是由残差单元组成。在深度学习网络中，当网络层数过深时网络反而会发生退化(此时前层网络往往会有更好的效果)，此时若要构建效果更好的深层网络，可在首尾间添加直接映射线，将首层信息和尾层信息拼接融合。
[0090]
残差单元计算公式为：
[0091]
x
l 1
＝h(x
l
) f(x
l
,w
l
)
[0092]
其中x是输入，l表示当前层数，h(x)是输出，f(x)是输入输出间的残差，w
l
为l层的网络参数。
[0093]
如果在计算过程中直接将输入x传到输出作为初始结果，此时要学习的目标是f(x)＝h(x)
‑
x，这时网络学习的输出不是h(x)，而是h(x)
‑
x，即残差。
[0094]
残差网络在保存了网络信息完整性，网络只需要学习输入输出的差别部分，简化学习的目标和难度，同时网络可以变得更深。
[0095]
3、mish激活函数在处于负值的时候并没有将函数直接置0，而是允许较小的负梯度流入，使梯度信息具有更强的流动性。相较于leaky relu，mish激活函数采用平滑收敛的负区间，负值趋近于零，可以取得更好的收敛效果。
[0096]
mish激活函数是通过试错和数学分析得到的效果更好的激活函数，其公式为：
[0097]
mish＝x*tanh(ln(1 e
x
))
[0098]
其中x表述输入的数值。
[0099]
parallelogram
‑
yolov4采用的另一种激活函数leaky relu公式为：
[0100][0101]
其中，x
i
为输入层，y
i
为输出层a
i
表示负区间激活函数的缩小比例。
[0102]
4、网络通过大量的卷积层后，通过bifpn特征金字塔结构输出三个特征信息分别预测不同尺度的物体。bifpn特征金字塔可以在不增加消费的前提下融合更多特征信息，提升了网络对图像特征信息的融合理解能力。
[0103]
5、yolov4使用rfb增大网络感受野。rfb模块是一种提升特征图感受野的方法,通过模仿人类视觉,使用空洞卷积将特征图分解为不同清晰度的子特征图,再融合不同清晰度的子特征图使拼接后特征图的每一个网格都获得更广的视域。
[0104]
6、图像预处理主要采用mix up和mosaic两种方式，如图3和图4所示。其中在处理过程中，mosaic图像增强技术可以在对四张图片合并的同时对图像进行变形增强网络的识别能力，除了对四张图像随机缩放之外，还可以采用翻转、对称转换等技术提高图像的识别难度。
[0105]
7、yolov4使用了sat自对抗训练方法，主要步骤有：
[0106]
1)深度学习网络改变原始图像而不是网络权值，通过这种方式，深度学习网络对自身执行以中对抗性攻击，即改变原始图像，从而造成图像上没有目标的假象。
[0107]
2)训练深度学习网络，对修改后的图像进行正常的目标检测。
[0108]
8、yolov4采用了cmbn跨微批量标准化技术，将输入的一个batch中的四个mini batch作为一个整体，对四个mini batch进行归一化。既一个batch进行一次参数更新。
[0109]
9、对预测框进行筛选的步骤如图5所示，网络预测时会现在目标区域生成大量重叠的预测框，采用nms方法是对这些预测框进行有序筛选，使最终得到的预测框概率最高且和目标物体重合效果最好。
[0110]
nms的具体实施过程如下：
[0111]
假设定位1个物体，有6个预测框，根据分类器的类别分类概率做排序，假设从小到大属于该物体的概率为a、b、c、d、e、f，并假设阈值为t。
[0112]
1)选取得分最大的f预测框，分别判断a到e的iou(与f对比)是否大于t。
[0113]
2)如果b、d与f的iou大于阈值t，舍弃b、d预测框并标记第一次选取的置信度最大的预测框f，将其保留。
[0114]
3)从剩余的预测框a、c、e选置信度最大的e预测框，判断e与a、c的iou，如果大于阈值就舍弃，并标记e为保留的第二个预测框。
[0115]
4)重复此过程，直到标记完所有保留的矩形框。
[0116]
二、基于parallelogram
‑
yolov4目标检测算法的监测系统
[0117]
将parallelogram
‑
yolov4目标检测算法整合到监测系统中，可以达到实时检测、精准定位、及时预警和成本节约等目的。监测系统具有很好的扩展性，方便电厂其他业务的接入扩展。图1为监测系统结构框图，如图1可见，摄像头从各个雨排口实时获取监测图像并将图像送入管理系统服务器，管理系统服务器通过tcp/ip与预警系统服务器相连，在预警系统服务器中的yolov4算法通过解析传入图像获取前端设备需求的数据。最终将预警信息展示在前端设备和移动端上，提醒工作人员及时解决污染因素。
[0118]
图6为该监测系统的功能结构框图，如图6可见监测系统功能底层基于数据库信息管理技术；后台处理模块主要用来解决业务信息、提供预警信息、运行yolov4目标检测算法和数据信息交互等；前端界面分为实时界面和非实时界面，可以显示实时图像信息和历史图像信息、实时数据展示和历史数据展示、状态报警信息展示等，除此之外，在前端界面还提供了数据分析和数据可视化模块，最大程度挖掘数据价值。
[0119]
图7为检测效果图，如图7可见，在多分类情况下，检测算法可以很好的对目标物体进行识别。
[0120]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。