一种模糊消除及微光补偿的城市综合管廊内动物检测方法与流程

技术特征：
1.一种模糊消除及微光补偿的城市综合管廊内动物检测方法，其特征在于，包括以下几个步骤：步骤1：调节部分区域的灯光照明，使得原本照明良好的区域变得昏暗，或将原本昏暗的环境变得清晰明亮，使用摄像头获取清晰版本图像与昏暗模糊版本图像并构建第一数据集，并作为模型消除模糊、微光补偿功能的训练数据；步骤2：建立模糊消除与微光补偿模型，该模型由编码器网络与解码器网络两个部分组成；在编码器网络中，利用深度卷积神经网络对昏暗模糊的图像进行特征提取；在解码器网络中，利用上采样与特征融合层对提取到的特征信息进行重构，并输出清晰明亮的图像；步骤3：使用步骤1中构建的第一数据集，训练并优化消除模糊与微光补偿模型，然后使用模型对城市管廊中的图像进行模糊消除与微光补偿，使之变为清晰明亮的图像数据；步骤4：利用摄像头获取管廊内图像，使用步骤2建立的消除模糊与微光补偿对图像进行修正，并将修正后的图像中出现的入侵动物进行矩形框标注，将图像与标注框保存构建第二数据集，作为模型目标检测功能的训练数据；步骤5：建立野生动物入侵检测模型，模型由特征提取网络以及分类与回归网络组成；特征提取网络负责对图像进行特征提取，分类与回归网络负责预测出动物所在图像位置，最终输出入侵动物所在管廊区域；步骤6：使用步骤4中构建的第二数据集，训练并优化野生动物入侵检测模型，将训练好的模型对摄像头拍摄的图像进行检测，输出野生动物所在区域。2.根据权利要求1所述的一种模糊消除及微光补偿的城市综合管廊内动物检测方法，其特征在于，所述步骤1中通过改变区域灯光照明，获取清晰与昏暗版本的图像，其具体步骤如下：步骤11：选取照明良好的管廊区域，通过摄像头获取清晰明亮的图像，然后将区域灯光调暗，获取昏暗模糊的图像；步骤12：选取照明昏暗的管廊区域，通过摄像头获取昏暗模糊图像，然后将区域灯光调亮，获取明亮清晰的图像；步骤13：将获取到的p
x
、p
y
一一对应，并按照7.5:1:1.5的比例分为训练集、验证集和测试集。3.根据权利要求1所述的一种模糊消除及微光补偿的城市综合管廊内动物检测方法，其特征在于，所述步骤2，建立消除模糊与微光补偿模型，该模型由编码器网络与解码器网络两个部分组成；在编码器网络中，利用深度卷积神经网络对昏暗模糊的图像进行特征提取；在解码器网络中，利用上采样与特征融合层对提取到的特征信息进行重构，并输出清晰明亮的图像；其具体步骤如下：步骤21：构建编码器网络，编码器网络含有四个特征提取层，每个特征提取层由卷积层、激活函数层、以及一个最大池化层构成，用于提取输入图像的特征，并且在前四个特征提取层设置跳跃连接块，将部分特征层传输至解码器网络，进行特征融合；当监控图像进入编码器网络后会将监控器图像像素补全至600
×
600并进入第一特征层，第一特征层中包含两个卷积核大小为64，卷积核尺寸为3的卷积层，每个卷积层后接relu激活函数，并分离出第一跳跃连接块；第二特征层中同样包含两个卷积核大小为128的卷积层、两个relu激活函数和一个最
大池化层，并分离出第二跳跃连接块；第三特征层包含三个卷积层、三个relu激活函数与一个最大池化层，并分离出第三连接块；第四特征层包含三个卷积层和三个relu激活函数，第四卷积层不包含最大池化层，也不会分离连接块，其负责与解码器网络进行数据连接；步骤22：构建解码器网络，解码器负责将编码器网络提取出的特征图进行上采样并与编码器网络中的跳跃连接块进行特征融合，实现对图像的模糊消除及微光补偿；解码器网络包含四个基本块block1、block2、block3，每个基本块中包含一次上采样(upsampling)处理、一次特征拼接(concatenate)、两层卷积层以及两个relu激活函数；解码器网络输入数据为编码器网络的输出数据，block1中的卷积层的卷积核数量为512，尺寸为3；block2、block3的结构与block1相同，但每个块中卷积层拥有不同的参数，且进行特征融合的跳跃连接块也不同；在block2中与编码器网络第三跳跃连接块进行特征融合，卷积层卷积核数量为256；block3中卷积核数量变为64，并与第1个连接块进行特征融合；解码器网络末尾设置一个1
×
1卷积，目的是使模型输入数据与输出数据维度相同，此时的输出即为去除模糊且微光补偿后的图像。4.根据权利要求1所述的一种模糊消除及微光补偿的城市综合管廊内动物检测方法，其特征在于，所述步骤4，将修正后的图像中出现的入侵动物进行矩形框标注，将图像与标注框保存构建第二数据集，作为模型目标检测功能的训练数据，其具体步骤如下：步骤41：采用目标检测标注工具labelimg对监控图像中的入侵动物进行标注，利用该工具框选整个入侵动物目标，并记录入侵动物目标矩形框坐标，同时设置动物的类别标签，然后，按照labelimg工具的格式协议将标注的信息存入至xml格式文件中，具体包括：目标标注类别、目标左上角x和y坐标、目标右下角x和y坐标。5.根据权利要求1所述的一种模糊消除及微光补偿的城市综合管廊内动物检测方法，其特征在于，所述步骤5：建立动物入侵检测模型，模型由特征提取网络以及分类与回归网络组成；特征提取网络负责对图像进行特征提取，分类与回归网络负责预测出动物所在图像位置，最终输出入侵动物所在管廊区域，其具体步骤如下：步骤51：特征提取网络使用改进resnet50深度残差网络用于提取图像特征信息，原resnet50由五个基础块组成，由于图像在通过步骤2中搭建的消除模糊与微光补偿模型后图像像素已补全至600
×
600，故舍弃resnet50第一基础块；resnet50的基础块由一个一个convblock模块以及若干个identityblock模块组成，convblock和identityblock模块是resnet50的两个卷积模块，其特有的残差边结构可以避免随着网络层数的增加带来的网络退化问题；resnet50第二基础块由一个convblock和两个identityblock构成，第三个基础块由一个convblock和三个identityblock构成，第四个基础块由一个convblock和五个identityblock构成，第五个基础块由一个convblock和两个identityblock构成；步骤52：在特征提取网络提取到的特征图上构建9种不同长宽比的锚框(anchor box)使之可以覆盖输入图像的每个像素；步骤53：构建分类与回归网络，用于输出入侵动物的类别及所处图像坐标，分类层与回归层是两个全连接层，其输入的参数为resnet50第五基础块提取出的特征图；分类层使用
softmax激活参数，输出为入侵动物的类别概率；回归层使用linear激活函数，输出参数为锚框的中心偏移量以及锚框长宽调整参数；将分类层与回归层的预测结果进行筛选，选取置信度大于等于0.7的锚框，并将锚框的调整参数作用于对应的锚框上，对调整好的锚框进行解码操作，成为原图上的预测框；由于可能存在多个预测框同时预测到同一个动物的情况，故需要优化后的预测框进行非极大抑制(nms)，过滤重复的预测框。

技术总结
本发明公开了一种模糊消除及微光补偿的城市综合管廊内动物检测方法，解决现有技术中城市综合管廊内部可能出现动物入侵，老鼠类啮齿动物啃食管廊内部电力、通信线路，造成线路短路，引起火灾、停电等事故，蛇等动物对管廊维护人员造成人身安全问题。本发明利用综合管廊内部布设的摄像头，提出一种应用于城市综合管廊的动物入侵检测与识别方法，包括：(1)综合管廊内部环境存在灯光分布不均且部分照明设备老化的问题，需利用深度学习模型增强图像亮度及清晰度；(2)在此基础上，利用深度学习模型实现动物检测，识别动物的类型；(3)通过摄像机地理信息及编号，记录摄像机中出现的动物，并在该区域段发出报警，可应用于图像目标检测领域。域。域。


技术研发人员：谷永辉
受保护的技术使用者：山东捷讯通信技术有限公司
技术研发日：2022.08.24
技术公布日：2022/11/25