一种模糊消除及微光补偿的城市综合管廊内动物检测方法与流程

1.本发明涉及图像目标检测领域，提出可消除模糊并进行微光补偿的深度学习目标检测方法，具体为一种模糊消除及微光补偿的城市综合管廊内动物检测方法。


背景技术：

2.城市综合管廊城可将城市电力、水力、热力等各类工程管线集于一体，并可在地上建设出入口及通风口等设施，是保障城市运行的重要基础设施和“生命线”。城市综合管廊内部空间大，管道线路分布密集，极容易受到各类动物的破坏，且管廊内灯光分布不均，部分灯光光照不足，使用摄像头进行排查往往不能及时发现潜在威胁，且部分动物可能会危害维护人员的人身安全。
3.深度卷积神经网络可以自动提取图像中的特征信息，并可根据特征信息利用锚框(anchor box)对潜在的目标进行预测。近年来，已有大量的基于深度学习的目标检测模型出现，如基于two stages的faster rcnn模型，基于one stage的yolo模型，其中yolo系列模型由于其出色的检测能力，被大量研究人员不断优化迭代。然而，现有的基于深度学习的目标检测方法使用的数据集通常为光照良好、图像清晰的pascal voc、coco、imagenet等通用数据集，使用该数据集训练出的模型，其检测能力也仅适用明亮清晰的图像。而城市综合管廊内环境复杂，部分区域出现灯光照射不均、灯光老化的现象，使管廊内摄像头获取的图像相对模糊、昏暗，且入侵的动物体型相对较小，不易被发现。在这种环境下，使用现有的目标检测模型不能对管廊内入侵的动物进行良好识别。针对以上存在的问题，本发明提出一种模糊消除并进行微光补偿的深度学习目标检测模型，实现对城市管廊内入侵动物的识别。


技术实现要素：

4.本发明的目的包括两个：(1)解决城市综合管廊摄像头获取的图像昏暗模糊的问题；(2)对入侵城市综合管廊的动物进行识别。基于以上两个目的，本发明提供一种基于模糊消除及微光补偿的城市综合管廊内动物检测方法与模型。
5.为了实现上述目的，本发明采用的技术方案如下：
6.一种模糊消除及微光补偿的城市综合管廊内动物检测方法，包括以下几个步骤：
7.步骤1：调节部分区域的灯光照明，使得原本照明良好的区域变得昏暗，或将原本昏暗的环境变得清晰明亮，使用摄像头获取清晰版本图像与昏暗模糊版本图像并构建第一数据集，并作为模型消除模糊、微光补偿功能的训练数据；
8.步骤2：建立模糊消除与微光补偿模型，该模型由编码器网络与解码器网络两个部分组成；在编码器网络中，利用深度卷积神经网络对昏暗模糊的图像进行特征提取；在解码器网络中，利用上采样与特征融合层对提取到的特征信息进行重构，并输出清晰明亮的图像；
9.步骤3：使用步骤1中构建的第一数据集，训练并优化消除模糊与微光补偿模型，然后使用模型对城市管廊中的图像进行模糊消除与微光补偿，使之变为清晰明亮的图像数
据。
10.步骤4：利用摄像头获取管廊内图像，使用步骤2建立的消除模糊与微光补偿对图像进行修正，并将修正后的图像中出现的入侵动物进行矩形框标注，将图像与标注框保存构建第二数据集，作为模型目标检测功能的训练数据。
11.步骤5：建立野生动物入侵检测模型，模型由特征提取网络以及分类与回归网络组成；特征提取网络负责对图像进行特征提取，分类与回归网络负责预测出动物所在图像位置，最终输出入侵动物所在管廊区域。
12.步骤6：使用步骤4中构建的第二数据集，训练并优化野生动物入侵检测模型，将训练好的模型对摄像头拍摄的图像进行检测，输出野生动物所在区域。
13.上述方案中，所述步骤1中通过改变区域灯光照明，获取清晰与昏暗版本的图像，其具体步骤如下：
14.步骤11：选取照明良好的管廊区域，通过摄像头获取清晰明亮的图像，然后将区域灯光调暗，获取昏暗模糊的图像。
15.步骤12：选取照明昏暗的管廊区域，通过摄像头获取昏暗模糊图像，然后将区域灯光调亮，获取明亮清晰的图像。
16.步骤13：将获取到的p
x
、py一一对应，并按照7.5:1:1.5的比例分为训练集、验证集和测试集。
17.上述方案中，所述步骤2，建立消除模糊与微光补偿模型，该模型由编码器网络与解码器网络两个部分组成；在编码器网络中，利用深度卷积神经网络对昏暗模糊的图像进行特征提取；在解码器网络中，利用上采样与特征融合层对提取到的特征信息进行重构，并输出清晰明亮的图像，其具体步骤如下：
18.步骤21：构建编码器网络，编码器网络含有四个特征提取层，每个特征提取层由卷积层、激活函数层、以及一个最大池化层构成，用于提取输入图像的特征，并且在前四个特征提取层设置跳跃连接块，将部分特征层传输至解码器网络，进行特征融合；当监控图像进入编码器网络后会将监控器图像像素补全至600
×
600并进入第一特征层，第一特征层中包含两个卷积核大小为64，卷积核尺寸为3的卷积层，每个卷积层后接relu激活函数，并分离出第一跳跃连接块；第二特征层中同样包含两个卷积核大小为128的卷积层、两个relu激活函数和一个最大池化层，并分离出第二跳跃连接块，第三特征层包含三个卷积层、三个relu激活函数与一个最大池化层，并分离出第三连接块；第四特征层包含三个卷积层和三个relu激活函数，第四卷积层不包含最大池化层，也不会分离连接块，其负责与解码器网络进行数据连接。
19.步骤22：构建解码器网络，解码器负责将编码器网络提取出的特征图进行上采样并与编码器网络中的跳跃连接块进行特征融合，实现对图像的模糊消除及微光补偿。解码器网络包含四个基本块block1、block2、block3，每个基本块中包含一次上采样(upsampling)处理、一次特征拼接(concatenate)、两层卷积层以及两个relu激活函数；解码器网络输入数据为编码器网络的输出数据，block1中的卷积层的卷积核数量为512，尺寸为3；block2、block3的结构与block1相同，但每个块中卷积层拥有不同的参数，且进行特征融合的跳跃连接块也不同；在block2中与编码器网络第三跳跃连接块进行特征融合，卷积层卷积核数量为256；block3中卷积核数量变为64，并与第1个连接块进行特征融合；解码器
网络末尾设置一个1
×
1卷积，目的是使模型输入数据与输出数据维度相同，此时的输出即为去除模糊且微光补偿后的图像。
20.上述方案中，所述步骤4，将修正后的图像中出现的入侵动物进行矩形框标注，将图像与标注框保存构建第二数据集，作为模型目标检测功能的训练数据。其具体步骤如下：
21.步骤41：采用目标检测标注工具labelimg对监控图像中的入侵动物进行标注，利用该工具框选整个入侵动物目标，并记录入侵动物目标矩形框坐标，同时设置动物的类别标签，然后，按照labelimg工具的格式协议将标注的信息存入至xml格式文件中，具体包括：目标标注类别、目标左上角x和y坐标、目标右下角x和y坐标。
22.上述方案中，所述步骤5：建立动物入侵检测模型，模型由特征提取网络以及分类与回归网络组成；特征提取网络负责对图像进行特征提取，分类与回归网络负责预测出动物所在图像位置，最终输出入侵动物所在管廊区域。其具体步骤如下：
23.步骤51：特征提取网络使用改进resnet50深度残差网络用于提取图像特征信息，原resnet50由五个基础块组成，由于图像在通过步骤2中搭建的消除模糊与微光补偿模型后图像像素已补全至600
×
600，故舍弃resnet50第一基础块；resnet50的基础块由一个一个convblock模块以及若干个identityblock模块组成，convblock和identityblock模块是resnet50的两个卷积模块，其特有的残差边结构可以避免随着网络层数的增加带来的网络退化问题。
24.resnet50第二基础块由一个convblock和两个identityblock构成，第三个基础块由一个convblock和三个identityblock构成，第四个基础块由一个convblock和五个identityblock构成，第五个基础块由一个convblock和两个identityblock构成。
25.步骤52：在特征提取网络提取到的特征图上构建9种不同长宽比的锚框(anchor box)使之可以覆盖输入图像的每个像素。
26.步骤53：构建分类与回归网络，用于输出入侵动物的类别及所处图像坐标，分类层与回归层是两个全连接层，其输入的参数为resnet50第五基础块提取出的特征图；分类层使用softmax激活参数，输出为入侵动物的类别概率；回归层使用linear激活函数，输出参数为锚框的中心偏移量以及锚框长宽调整参数。将分类层与回归层的预测结果进行筛选，选取置信度大于等于0.7的锚框，并将锚框的调整参数作用于对应的锚框上，对调整好的锚框进行解码操作，成为原图上的预测框。由于可能存在多个预测框同时预测到同一个动物的情况，故需要优化后的预测框进行非极大抑制(nms)，过滤重复的预测框。
27.本发明通过提出一种模糊消除并进行微光补偿的深度学习目标检测模型，实现对昏暗灯光下的城市管廊监控图像进行入侵动物识别，本发明具有以下优点：
28.1、本发明可对入侵综合管廊的动物进行高效、准确的检测，实用性强，并可有效改善监控录像模糊昏暗等问题，提高检测的平均精度。
29.该方法主要包括三步：(1)综合管廊内部环境存在灯光分布不均且部分照明设备老化的问题，使得摄像头采集的数据相对模糊且昏暗，需利用深度学习模型增强图像亮度及清晰度；(2)在此基础上，利用深度学习模型实现动物检测，识别动物的类型包括：老鼠、蛇、猫、狗；(3)通过摄像机地理信息及编号，记录摄像机中出现的动物，并在该区域段发出报警，提示有动物入侵，提示信息包括：入侵动物类型、入侵动物所在区域。
30.2、本发明利用构建的编码器网络与解码器网络组成的u形结构，可将昏暗灯光环
境下获取的监控图像进行模糊消除并进行微光补偿，并使用了跳跃连接块对编码器网络与解码器网络中的部分特征进行特征融合，提升了监控图像的清晰度与明亮度，为后续检测入侵动物提供了良好的数据基础。
31.3、本发明使用带有残差边的深度卷积神经网络进行特征提取，避免了由于网络深度的增加带来的网络退化问题，提高了检测入侵动物的精度。
32.4、本发明针对综合管廊检测入侵动物遇到的问题，采用pytorch深度学习框架编程实现，同时易于拓展和使用，具有一定的实际应用价值
附图说明
33.图1本法发明的模糊消除及微光补偿的城市综合管廊内动物检测方法模型示意图；
34.图2本法发明的模糊消除及微光补偿模型结构图；
35.图3本法发明的模糊消除及微光补偿效果图；
36.图4本法发明的城市综合管廊内动物动物检测模型结构图；
37.图5本法发明的城市综合管廊内动物动物检测结果图。
具体实施方式
38.下面结合附图与实施例对本发明作进一步说明。
39.本实例提供一种模糊消除并进行微光补偿的深度学习目标检测方法。如图1所示，该方法通过建立模糊消除与微光补偿模型，提升监控图像亮度及清晰度；通过建立的入侵动物监测模型，实现对城市管廊内入侵的动物的自动识别。模糊消除与微光补偿模型利用跳跃连接块对部分特征进行特征融合，提升了模型模糊消除与微光补偿的效果。入侵动物监测模型使用带有残差结构的resnet50作为特征提取网络，提升了模型的检测入侵动物的精度。
40.本方法具体步骤如下：
41.步骤1：选取照明良好的管廊区域，通过摄像头获取清晰明亮的图像py，然后将区域灯光调暗，获取昏暗模糊的图像p
x
；选取照明昏暗的管廊区域，通过摄像头获取昏暗模糊图像p
x
，然后将区域灯光调亮，获取明亮清晰的图像py；
42.步骤2：将获取到的p
x
、py图像索引录入数据库内，并按照7.5:1:1.5的比例分为训练集、验证集和测试集。
43.步骤3：构建模糊消除与微光补偿模型，具体步骤如下：
44.步骤31：构建模糊消除与微光补偿模型编码器网络，网络结构如图2所示，共构建四个特征提取层，当监控图像进入编码器网络后会将监控器图像像素补全至600
×
600并进入第一特征层。第一特征层中包含两个卷积核大小为64，卷积核尺寸为3的卷积层，每个卷积层后接relu激活函数，并分离出第一跳跃连接块。第二特征层中包含两个卷积核大小为128的卷积层、两个relu激活函数和一个最大池化层，并分离出第二跳跃连接块，第三特征层包含三个卷积层、三个relu激活函数与一个最大池化层，并分离出第三跳跃连接块。第四特征层包含三个卷积层和三个relu激活函数。
45.步骤32：构建解码器网络，编码器网络包含四个基本块block1、block2、block3。每
个基本块中包含一次上采样(upsampling)处理、一次特征拼接(concatenate)、两层卷积层以及两个relu激活函数。block1中的卷积层的卷积核数量为512，尺寸为3，与第三跳跃连接块进行特征融合；bolck2中卷积层卷积核数量为256，与编码器网络第二跳跃连接块进行特征融合；block3中卷积核数量变为64，并与第1个连接块进行特征融合；解码器网络末尾设置一个1
×
1卷积。如图3所示，通过搭建的编码器网络与解码器网络，模型将昏暗模糊的监控图像转换为清晰明亮的图像。
46.步骤4：使用采集的p
x
、py训练模糊消除与微光补偿模型，其中p
x
为输入数据，py为对比数据。
47.步骤5：采用目标检测标注工具labelimg对监控图像中的入侵动物进行标注，利用该工具框选整个入侵动物目标，并记录入侵动物目标矩形框坐标，同时设置动物的类别标签，然后，按照labelimg工具的格式协议将标注的信息存入至xml格式文件中，具体包括：目标标注类别、目标左上角x和y坐标、目标右下角x和y坐标，并按照7.5:1:1.5的比例分为训练集、验证集和测试集。
48.步骤6：构建野生动物入侵检测模型，模型结构如图4所示，模型由特征提取网络以及分类与回归网络组成。具体步骤如下：
49.步骤61：使用改进resnet50深度残差网络构建特征提取网络，resnet50第二基础块由一个convblock和两个identityblock构成，第三个基础块由一个convblock和三个identityblock构成，第四个基础块由一个convblock和五个identityblock构成，第五个基础块一个convblock和两个identityblock构成。
50.步骤62：在特征提取网络提取到的特征图上构建宽为[32,64,128]，长为[32,64,128]的共9种不同长宽比的锚框(anchor box)使之可以覆盖输入图像的每个像素。
[0051]
步骤63：构建分类与回归网络，在分类层与回归层前各构建一层全连接层，其输入的参数为resnet50第五基础块提取出的特征图。分类层使用softmax激活参数，输出为入侵动物的类别概率。回归层使用linear激活函数，输出参数为锚框的中心偏移量以及锚框长宽调整参数。将分类层与回归层的预测结果进行筛选，选取置信度大于等于0.7的锚框，并将锚框的调整参数作用于对应的锚框上，对调整好的锚框进行解码操作，成为原图上的预测框。由于可能存在多个预测框同时预测到同一个动物的情况，故需要优化后的预测框进行非极大抑制(nms)，过滤重复的预测框。如图4所示，模型将输出入侵动物的类别、位置及所在区域。
[0052]
步骤7：使用步骤5中建立的入侵动物测试集训练野生动物入侵模型，其具体步骤如下：
[0053]
步骤71在分类与回归网络中，将所有锚框分为正样本和负样本。被标记为正样本的锚框需要满足两个条件：(1)与真实标注区域具有最高的交并比；(2)与任意真实标注区域的交并比大于0.7。在大部分情况下，条件(2)已经可以得到足够数量的正样本，但是为了在某些极端情况下仍能够产生足够数量的正样本，仍需满足条件(1)。对于那些与标注区域的交并比小于0.3的预设谱带，将其归为负样本。发明舍弃与标注区域交并比在0.3与0.7之间的预设锚框，这些锚框对分类与回归网络训练无贡献作用。考虑到正负样本不均衡情况，发明使用下面公式对正负样本进行平衡
[0054]
num
roi
＝num
positive
num
negative
[0055]
步骤72：模型损失函数主要由两个部分组成：(1)分类层分类损失；(4)回归层位置损失。其损失函数为
[0056][0057]
式中参数i对应的锚框索引，pi为锚框为入侵动物的概率，在回归层(reg)损失函数中，若当前锚框为正样本，那么参数则为1，如果是负样本则为0，即负样本锚框不参与回归损失。ti为锚框的调整参数，为当前锚框对应的真实标注区域的位置参数(x,w)。表示将这两个参数使用smooth l1函数计算损失，n
reg
为锚框尺寸。在分类层中代表对pi和计算对数损失，n
cls
为之前设定的正负样本平衡参数，即n
cls
＝num
roi
，λ为损失平衡参数，其用于平衡分类层与回归层的损失。
[0058]
步骤73：模型训练优化算法采用adam方法，其学习率设置为0.01。通过对两个网络模型进行训练，获得最终的模糊消除并进行微光补偿的深度学习目标检测模型，用于检测综合管廊内的动物入侵任务。
[0059]
本实例中涉及的图像训练集和测试集统计表
[0060]
表1基于模糊消除微光补偿的入侵动物检测模型统计表
[0061][0062]
为了对入侵动物检测模型结果进行评估，本发明采用精度(precision)和召回率(rcall)指标，其计算公式如下：
[0063][0064][0065]
式中tp(true positive)表示正确检测的入侵动物数量，fp(false positive)表示错误检测入侵动物数量，fn(false negative)表示未检测到的入侵动物数量。
[0066]
根据精度和召回率，计算ap值(average precision)评估模型性能，每种类型动物都对应得到一个ap值，进而，可以计算各类入侵动物的平均精度map(mean average precision)，衡量本发明检测算法的精度。
[0067]
图4为不同区域下入侵动物的检测结果图，最后本发明提出的方法和faster rcnn、yolov4等方法进行了比较，其检测结果如表2所示。
[0068]
表2本发明方法与传统faster rcnn方法检测结果比较
[0069]
方法ap(老鼠)ap(蛇)ap(狗)ap(猫)
faster rcnn65.3％61.2％70.8％71.4％yolov478.3％72.5％82.6％85.3％本发明方法88.7％85.5％92.7％92.1％
[0070]
从表中可以看出，较传统的faster rcnn、yolo方法，本发明提出的方法在各类动物检测精度上均有不同程度的提高，本发明提出的方法具有一定的优势。
[0071]
综上，本发明可对入侵综合管廊的动物进行高效、准确的检测，实用性强，并可有效改善监控录像模糊昏暗等问题，提高检测的平均精度。该方法主要包括三步：(1)综合管廊内部环境存在灯光分布不均且部分照明设备老化的问题，使得摄像头采集的数据相对模糊且昏暗，需利用深度学习模型增强图像亮度及清晰度；(2)在此基础上，利用深度学习模型实现动物检测，识别动物的类型包括：老鼠、蛇、猫、狗；(3)通过摄像机地理信息及编号，记录摄像机中出现的动物，并在该区域段发出报警，提示有动物入侵，提示信息包括：入侵动物类型、入侵动物所在区域。
[0072]
本发明已经通过上述实例进行了说明，但应当理解的是，上述实例知识用于举例和说明的目的。因此，凡在技术领域中通过逻辑分析、推理或者有限实验得到技术方法，皆应当属于描述的实例保护范围内。
[0073]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。