一种智慧城市中井盖异常检测方法和系统与流程

1.本发明涉及交通安全技术领域，特别是涉及一种智慧城市中井盖异常检测方法和系统。


背景技术：

2.智慧城市在中国正在迅速扩张，社会步伐的加快都促进这数字化城市以及智慧城市的大力发展。当前存在着大量电力电缆、天然气管道、暖气管道以及给排水管线、通信电缆等管道线路，这些设施一般都是地下铺设。为了达到检修方便的目的，特意会在固定的距离安装检查井，伴随着就是井盖的增多。更令人担忧的是，各个类型管道都有自己的检查井和检查井盖，与其他类型并不能共用。虽然随着智慧管廊的发展，有着统一建设井盖等趋势，但是，现阶段依然存在的数量巨大、种类繁多的井盖。然而，城市道路中的井盖一旦有破损或者丢失的情况，会对人们造成非常大的安全隐患。特别是在大雨天或者雪天以及大雾天等极端天气，能见度低，更容易造成交通事故，对行人构成非常大的风险。
3.针对上述问题，迫切需要一种技术能够高效便捷的检测出井盖的异常情况。但是现有井盖检查依旧是依靠人为的巡逻检测，有很大的滞后性和偶然性，很多现实情况是发生了交通事故以及生命的惨痛损失后，才能发现井盖的丢失和破损。还有一种是通过给井盖安装物联网传感器，及时发现井盖的丢失和报警，但是井盖的损坏或者破损难以被发现，更重要的是，每个井盖都增加物联网传感器会带来很大的人力、物力以及财力的成本。


技术实现要素：

4.为解决现有技术存在的上述问题，本发明提供了一种智慧城市中井盖异常检测方法和系统。
5.为实现上述目的，本发明提供了如下方案：一种智慧城市中井盖异常检测方法，包括：获取超轻量目标检测模型；所述超轻量目标检测模型包括：骨干网络、特征融合网络和检测头；所述骨干网络为shufflenet v2网络；所述检测头的损失函数为generalized focal loss损失函数；对所述超轻量目标检测模型中的骨干网络进行改进，得到第一超轻量目标检测模型；对所述第一超轻量目标检测模型中的检测头进行改进，得到改进超轻量目标检测模型；所述第一超轻量目标检测模型中的检测头为超轻量目标检测模型中的检测头；采用数据集训练所述改进超轻量目标检测模型，得到训练好的井盖异常检测模型；获取所述训练好的井盖异常检测模型；将待检测井盖的图像数据输入至所述训练好的井盖异常检测模型得到检测结果。
6.优选地，所述对所述超轻量目标检测模型中的骨干网络进行改进，得到第一超轻
量目标检测模型，具体包括：将所述超轻量目标检测模型中的骨干网络替换为efficientnet网络，并在所述efficientnet网络上叠加inception模块，以形成初始网络模型；将所述初始网络模型中每一特征层中包含的激活函数替换为leaky relu激活函数或smu激活函数，得到第一超轻量目标检测模型。
7.优选地，所述对所述第一超轻量目标检测模型中的检测头进行改进，得到改进超轻量目标检测模型，具体包括：将所述检测头的generalized focal loss损失函数替换为generalized focal loss v2损失函数，并在generalized focal loss v2损失函数的基础上，将distribution-guided quality predictor模块中的relu激活函数替换为smu激活函数，得到改进超轻量目标检测模型。
8.优选地，所述采用数据集训练所述改进超轻量目标检测模型，得到训练好的井盖异常检测模型，之前还包括：获取样本数据；所述样本数据为标注好的采用摄像头采集的井盖异常图像数据；对所述样本数据进行增广处理，得到处理后的样本数据；基于所述处理后的样本数据生成数据集。
9.根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的智慧城市中井盖异常检测方法，在获取待检测井盖的图像数据之后，将获取的待检测井盖的图像数据输入至所述训练好的井盖异常检测模型，就可以快速、精确的得到井盖异常检测结果，降低井盖异常的检测成本。
10.对应于上述提供的智慧城市中井盖异常检测方法，本发明还提供以下实施系统：其中一种智慧城市中井盖异常检测系统，包括：初始模型获取模块，用于获取超轻量目标检测模型；所述超轻量目标检测模型包括：骨干网络、特征融合网络和检测头；所述骨干网络为shufflenet v2网络；所述检测头的损失函数为generalized focal loss损失函数；第一改进模块，用于对所述超轻量目标检测模型中的骨干网络进行改进，得到第一超轻量目标检测模型；第二改进模块，用于对所述第一超轻量目标检测模型中的检测头进行改进，得到改进超轻量目标检测模型；所述第一超轻量目标检测模型中的检测头即为超轻量目标检测模型中的检测头；训练模块，用于采用数据集训练所述改进超轻量目标检测模型，得到训练好的井盖异常检测模型；井盖异常检测模型获取模块，用于获取所述训练好的井盖异常检测模型；所述训练好的井盖异常检测模型为训练好的改进超轻量目标检测模型；检测模块，用于将待检测井盖的图像数据输入至所述训练好的井盖异常检测模型得到检测结果。
11.优选地，所述第一改进模块包括：第一改进单元，用于将所述超轻量目标检测模型中的骨干网络替换为efficientnet网络，并在所述efficientnet网络上叠加inception模块，以形成初始网络模
型；第二改进单元，用于将所述初始网络模型中每一特征层中包含的激活函数替换为leaky relu激活函数或smu激活函数，得到第一超轻量目标检测模型。
12.优选地，所述第二改进模块包括：第三改进单元，用于将所述检测头的generalized focal loss损失函数替换为generalized focal loss v2损失函数，并在generalized focal loss v2损失函数的基础上，将distribution-guided quality predictor模块中的relu激活函数替换为smu激活函数，得到改进超轻量目标检测模型。
13.另一种智慧城市中井盖异常检测系统，包括：图像采集器、处理器和存储器；所述图像采集器与所述处理器连接；所述处理器与所述存储器进行数据交互；所述图像采集器用于采集待检测井盖的图像数据；所述存储器用于存储实施上述提供的智慧城市中井盖异常检测方法的计算机软件程序；所述处理器用于根据所述图像数据执行所述计算机软件程序。
14.本发明提供的智慧城市中井盖异常检测系统实现的技术效果与上述提供的智慧城市中井盖异常检测方法实现的技术效果相同，故在此不再进行赘述。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1为本发明提供的智慧城市中井盖异常检测方法的流程图；图2为本发明实施例提供的井盖异常检测模型的数据流程处理简图；图3为本发明实施例提供的efficientnet网络模型的结构图；图4为本发明实施例提供的inception模块的网络结构图；图5为本发明提供的其中一种智慧城市中井盖异常检测系统的结构示意图；图6为本发明提供的另一种智慧城市中井盖异常检测系统的结构示意图。
具体实施方式
17.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.本发明的目的是提供一种智慧城市中井盖异常检测方法和系统，以能够在提高井盖异常检测实时性和精确性的同时，降低井盖异常的检测成本。
19.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
20.如图1所示，本发明提供的智慧城市中井盖异常检测方法，包括：步骤100：获取超轻量目标检测模型。超轻量目标检测模型包括：骨干网络、特征融
合网络和检测头。骨干网络为shufflenet v2网络。检测头的损失函数为generalized focal loss损失函数。
21.步骤101：对超轻量目标检测模型中的骨干网络进行改进，得到第一超轻量目标检测模型。
22.步骤102：对第一超轻量目标检测模型中的检测头进行改进，得到改进超轻量目标检测模型。第一超轻量目标检测模型中的检测头为超轻量目标检测模型中的检测头。其中，改进超轻量目标检测模型的数据传输过程如图2所示。
23.步骤103：采用数据集训练改进超轻量目标检测模型，得到训练好的井盖异常检测模型。
24.步骤104：获取训练好的井盖异常检测模型。
25.步骤105：将待检测井盖的图像数据输入至训练好的井盖异常检测模型得到检测结果。
26.基于此，本发明中对超轻量目标检测模型（nanodet模型）进行改进的过程为：步骤1、获取超轻量目标检测模型。超轻量目标检测模型包括：骨干网络、特征融合网络和检测头。骨干网络为shufflenet v2网络。检测头的损失函数为generalized focal loss损失函数。
27.步骤2、对超轻量目标检测模型中的骨干网络进行改进，得到第一超轻量目标检测模型。具体的，首先将超轻量目标检测模型中的骨干网络替换为efficientnet网络，并在efficientnet网络上叠加inception模块，以形成初始网络模型。其中，inception模块（如图4所示）可以级联在efficientnet网络之后，也可以嵌入在efficientnet网络中。接着，将初始网络模型中每一特征层中包含的激活函数替换为leaky relu激活函数或smu激活函数，得到第一超轻量目标检测模型。在激活函数替换过程中，主要采用的方式是leaky relu激活函数或smu激活函数进行层间交叉使用的方式，例如，如图3所示，当第一层的激活函数替换为leaky relu激活函数时，第二层的激活函数就需要替换为smu激活函数，第三层的激活函数替换为leaky relu激活函数，以此类推，直至将各层间的激活函数全部进行替换为止。
28.基于上述描述，本发明改进nanodet模型中骨干网络（backbone）架构的过程的主要思想是：修改efficient net网络替代原始的shufflenet v2网络，同时，增加inception模块，最后改进其激活函数。
29.之所以进行以上操作，是因为efficientnet网络作为骨干网络特征提取以及训练速度都优于shufflenet v2网络。efficientnet是2019年由谷歌公司提出的一种新的模型网络，shufflenet v2 是2018年提出的网络模型。efficientnet可以在卷积核的大小以及神经网络的深度还有分辨率的大小等三个维度上进行调节。在实际的模型训练中，往往都是要么只关心神经网络的深度，要么只关心卷积核的大小。其实，一个网络模型的好坏与卷积核、网络深度、图像分辨率这三个因素都有很大的关系。卷积核的大小决定着网络的宽度。一般情况下是网络宽度越宽越能够提取细粒度的特征，但是会带来高阶特征捕捉比较困难，没有办法从低阶特征中提取共性。网络深度越深，越能够拟合更加复杂的网络模型或者曲线，但是深层的神经网络会导致梯度消失或网络退化。图像更高分辨率也能够使网络获取更加多的特征，但是这样既成倍增加了复杂度，又带来了网络精度回报的减弱。
efficientnet能够在一定程度上自适应调节这三个维度的关系。并且在efficientnet的基础上增加inception模块，同时采用leaky relu与smu激活函数进行层间交叉使用，能够达到更好的特征传递的作用。
30.步骤3、对第一超轻量目标检测模型中的检测头进行改进，得到改进超轻量目标检测模型。第一超轻量目标检测模型中的检测头即为超轻量目标检测模型中的检测头。具体的，将检测头的generalized focal loss损失函数替换为generalized focal loss v2损失函数，并在generalized focal loss v2损失函数的基础上，将distribution-guided quality predictor模块中的relu激活函数替换为smu激活函数，得到改进超轻量目标检测模型。
31.nanodet模型本身就是基于anchor-free模型的网络。它抛去了anchor-based的模型，这样可以加快运算速度，减少anchor本身的标注和预测的计算。anchor-free模型本身是基于fcos(fully convolutional one-stage object detection)模型的网络，它是一种逐像素目标检测模型，但是它在轻量化模型中center-ness分支计算上比较难以收敛，这就是nanodet模型的损失函数基于generalized focal loss的最主要的原因。
32.generalized focal loss损失函数jm如下：其中，bb
pred
是预测的边界框的值，bb
gt
是真实情况下的值。iou（*）是交并比(intersection over union)，其为目标检测性能表达的一种非常重要的函数指标，即预测的边界框与真实的边界框的交集除以预测的边界框与真实的边界框的并集。m是目标异常的类别标签的总数，m’是总数m中与类别标签匹配的目标异常的类别标签，c是类别标签。
33.generalized focal loss v2 损失函数j’m
如下：其中，pm是预测目标类别的概率，f是预测目标形状的统计特征。
34.generalized focal loss损失函数最大的优点是不仅能够抛弃非常不好训练的center-ness，同时还节省这一分支的卷积带来的巨大开销，减轻了检测头(head)的计算复杂度，它使得在移动端轻量化部署成为可能。但是，generalized focal loss损失函数的缺点也很明显，它是基于边界框的大概率分布进行建模，它统计了大部分边框边缘的分布情况，又根据极大似然估计进行建模的。这样做的优点是能够非常快的预测边界框清晰的情况下的边界点。但是当边缘框比较模糊的情况下，它对边缘框边界点的界定非常不准确。这就是本发明使用generalized focal loss v2损失函数替代generalized focal loss损失函数最直接的原因。
35.智慧城市中井盖视频图像很大的概率被行车以及行人遮挡，还有可能因为雾、雪、雨等恶劣天气导致摄像头采集的井盖视频图像比较模糊，这些都导致井盖边缘框的边界点定位困难的原因。generalized focal loss损失函数应付不来这种情况。generalized focal loss v2充分的利用了目标分布的形状与真实的定位质量呈现正相关这一原理，增加了distribution-guided quality predictor这一模块。它仅用极小的计算开销就换来了目标检测的极大提升。本发明在generalized focal loss v2损失函数的基础上，修改了
distribution-guided quality predictor模块的激活函数，将relu激活函数用smu激活函数替代，smu激活函数可以加快generalized focal loss v2损失函数的收敛速度。同时，在最后一层，仍然保持sigmoid激活函数，确保预测的概率分布情况。
36.如图2所示，本发明中采用的训练好的井盖异常检测模型中的特征融合网络（pan网络）的主要目的是对改进超轻量目标检测模型中提取的特征进行融合，提高鲁棒性。
37.pan网络是nanodet模型的neck阶段中的网络，它主要用于特征多尺度融合。pan网络也是基于图像金字塔模型(featurized image pyramid)的一种模型结构，它是确保摄像头井盖视频图像中异常目标可以精准检测的重要保障。pan网络的作用主要是对改进超轻量目标检测模型输出的特征图像进行上采样操作，它能够更好地适应图像缩放带来的影响，反映到现实情况是井盖与摄像头的距离的远近。智慧城市中井盖图像采集的过程中大小不一，所以，增加neck阶段的pan网络，可以确保大目标特征与小目标特征都能有所体现。本发明采用的pan网络并没有改变，这与nanodet模型的neck阶段的模型一致。pan网络的使用能够提供不同分辨率下的特征融合图像，有助于检测头阶段的异常目标的预测。
38.在构建得到改进超轻量目标检测模型后，采用数据集训练改进超轻量目标检测模型，得到训练好的井盖异常检测模型。
39.进一步，为了提高数据检测的准确性，训练数据集的构建非常重要，所以，本发明提供的数据集构建过程为：获取样本数据。样本数据为标注好的采用摄像头采集的井盖异常图像数据。
40.对样本数据进行增广处理，得到处理后的样本数据。
41.基于处理后的样本数据生成数据集。
42.具体的，将智慧城市中摄像头采集的井盖异常的总数据集进行拆分，通常的情况是用于训练的数据集占异常总数据集的百分之七十，用于验证的数据集占井盖异常总数据集的百分之二十，用于测试的数据集占井盖异常总数据集的百分之十。
43.训练数据集数据增广。在训练之前要做的还有训练样本的数据增广，数据增广一般包含三大类：第一大类是改变其亮度、对比度和饱和度。第二大类是随机缩放和裁剪。第三大类是翻转旋转。本发明这三大类都进行了使用。
44.首先通过对井盖的视频图像中的亮度还有对比度、饱和度等进行随机的改变，这样相当于模拟雾天以及雨天和光线不好的情况。其次对井盖视频图像进行随机缩放和裁剪的同时，对其进行翻转、旋转操作。这样做的目的是为了模拟井盖的遮挡以及摄像头采集不到位等情况。通过对这些训练数据集的操作，既能够提高模型的泛化能力，也能够增加训练数据集的规模。训练数据集的规模直接决定了网络模型的好坏，并且，通过对数据集的增加，保证网络模型的训练模型，能够在一定程度上抑制过拟合现象的出现，提高网络模型的表达能力和鲁棒性。
45.下面提供一个实施例对上述提供的智慧城市中井盖异常检测方法的设计构思和实施过程进行详细说明。
46.首先将智慧城市中采集的井盖视频图像数据集分为training数据集、validation数据集和testing数据集三部分，通常情况下是把数据集通过确定的比例来拆分，training数据集一般情况下占总数据集的百分之七十，validation数据集一般情况下占总数据集的百分之二十，testing数据集一般情况下占总数据集的百分之十。总数据集一般表示为s0，
training数据集一般表示为tr，validation数据集一般表示为va，testing数据集一般表示为te，符合公式s0=tr va te，并且符合tr=0.7*s0，va=0.2*s0，te=0.1*s0，tr数据集和va数据集与te数据集的值都是经过shuffle混淆后随机分配的。数据集tr还要做数据增广的操作，以增加规模，这使得训练数据集的数据增加。
47.超参数的确定在本发明中是非常的重要的，调参这一过程时刻关系着网络的稳定。超参数的迭代次数一般是epoch选择，block的值、batchsize的值还有minibatch的值、学习率η等参数是必不可少的。在本发明中，迭代次数block的最大值e0设置为60，批尺寸batchsize的最大值p0设置为32，minibatch的最大值mp0设置为16，学习率η的值设置为0.001。即e0=60，η=0.001。值p0与值mp0是根据tr数据集决定的。
48.在进行循环时，block的值、batchsize的值还有minibatch的值、学习率η这些超参数作为循环终止的判断条件。当迭代次数小于e0时表示的是可以继续进行迭代，进而通过迭代来优化w和b两个超参数。然后将batchsize的值与batchsize的最大值p0进行比较，当batchsize的值小于p0时，继续迭代，接着比较minibatch的值与minibatch的最大值mp0，直至block的值、batchsize的值还有minibatch的值均达到设置的对应最大值时，迭代结束。
49.以上的步骤相当于过程的预处理，从本步骤开始才真正进入训练的阶段。改进nanodet模型的骨干网络。shufflenet网络训练速度较慢，并且在特征提取的精度上也逊于efficientnet网络。同时，本发明在efficientnet的基础上，增加inception模块，增加不同尺度下，不同分辨率下，不同卷积核下的特征提取精度。还有，激活函数采用smu(smooth maximum unit)和leaky relu交叉使用。leaky relu 可以使得非正属性特征进行传递到下一层网络中，smu激活函数可以显著提高shufflenet网络的准确率。改进后的efficientnet可以更好的提取井盖图像的高中低阶特征。
50.pan网络是将efficientnet网络训练出来的特征图像进行上采样得到的。它能够更好地适应图像缩放带来的影响，反映到现实情况是井盖与摄像头的距离的远近。因智慧城市中井盖图像采集的过程存在目标大小不一的问题，所以，增加neck阶段的pan网络，可以确保大目标特征与小目标特征都能有所体现。
51.head阶段（即检测头）。generalized focal loss损失函数最大的优点是不仅能够抛弃非常不好训练的center-ness，同时还节省这一分支的卷积带来的巨大开销，减轻了检测头(head)的计算复杂度，它有利于在移动端轻量化部署。本发明使用generalized focal loss v2损失函数替代generalized focal loss损失函数。修改distribution-guided quality predictor模块的激活函数，将relu激活函数用smu激活函数替代，smu激活函数可以加快generalized focal loss v2损失函数的收敛速度。
52.通过training阶段训练出两个超参数w、b值以后，代入到validation数据集va上进行验证，这样可以进行进一步的修正其模型的权重w的值和偏置b的值。当模型网络满足要求后，再使用testing数据集te进行一次性的测试。在testing数据集te的预测准确率表示的是网络的泛化能力。
53.模型网络确定以后，将智慧城市中摄像头采集的井盖视频图像送入该模型，它经过骨干网络(改进后的efficientnet网络)的特征提取后，再经过pan网络进行特征融合，最后通过head阶段的generalized focal loss v2预测，得出井盖异常目标标注，达到井盖异常目标检测的目的。
54.基于上述描述，本发明提供的智慧城市中井盖异常检测方法具有以下优点：1.本发明基于nanodet模型保证了检测的快速性和准确性，使得它可以应用于移动端等嵌入式设备，便于工程实际应用。
55.2.本发明在nanodet模型中替换shufflenet v2骨干网络，采用了efficientnet网络，同时改进了efficientnet网络。在efficientnet网络基础上，增加了inception模块，提高特征提取的准确性和鲁棒性。同时使用leaky relu激活函数和smu激活函数进行层间交叉使用，保证了提取更多的特征。
56.3.本发明使用了pan网络。多特征多尺度融合，保证了井盖大目标与井盖小目标的并重检测。
57.4.本发明改进了nanodet模型的head阶段的generalized focal loss损失函数，将generalized focal loss损失函数改进为generalized focal loss v2损失函数，提高目标边缘框预测的准确性，同时，还将distribution-guided quality predictor模块的relu激活函数改进为 leaky relu激活函数，提高其预测的准确性，进而，使得智慧城市中井盖异常探测的目标准确性得到了保证。
58.对应于上述提供的智慧城市中井盖异常检测方法，本发明还提供了一种智慧城市中井盖异常检测系统，如图5所示，包括：初始模型获取模块500，用于获取超轻量目标检测模型。超轻量目标检测模型包括：骨干网络、特征融合网络和检测头。骨干网络为shufflenet v2网络。检测头的损失函数为generalized focal loss损失函数。
59.第一改进模块501，用于对超轻量目标检测模型中的骨干网络进行改进，得到第一超轻量目标检测模型。
60.第二改进模块502，用于对第一超轻量目标检测模型中的检测头进行改进，得到改进超轻量目标检测模型。第一超轻量目标检测模型中的检测头即为超轻量目标检测模型中的检测头。
61.训练模块503，用于采用数据集训练改进超轻量目标检测模型，得到训练好的井盖异常检测模型。
62.井盖异常检测模型获取模块504，用于获取训练好的井盖异常检测模型。
63.检测模块505，用于将待检测井盖的图像数据输入至训练好的井盖异常检测模型得到检测结果。
64.作为本发明的一优选实施例，第一改进模块包括：第一改进单元，用于将超轻量目标检测模型中的骨干网络替换为efficientnet网络，并在efficientnet网络上叠加inception模块，以形成初始网络模型。
65.第二改进单元，用于将初始网络模型中每一特征层中包含的激活函数替换为leaky relu激活函数或smu激活函数，得到第一超轻量目标检测模型。
66.作为本发明的再一优选实施例，第二改进模块包括：第三改进单元，用于将检测头的generalized focal loss损失函数替换为generalized focal loss v2损失函数，并在generalized focal loss v2损失函数的基础上，将distribution-guided quality predictor模块中的relu激活函数替换为smu激活函数，得到改进超轻量目标检测模型。
67.此外，还提供了另一种智慧城市中井盖异常检测系统，如图6所示，包括：图像采集器600、处理器601和存储器602。
68.图像采集器600与处理器601连接。处理器601与存储器602进行数据交互。图像采集器600用于采集待检测井盖的图像数据。存储器602用于存储实施上述提供的智慧城市中井盖异常检测方法的计算机软件程序。处理器601用于根据图像数据执行计算机软件程序。
69.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
70.本发明中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。