一种轻量化卷积网络的桥梁表面裂纹检测方法及设备

1.本发明属于桥梁智能检测领域，具体涉及一种轻量化卷积网络的混凝土桥梁表面裂纹检测方法及设备。


背景技术：

2.素有“世界桥梁博物馆”之称的贵州位于中国西南云贵高原上，境内分布着广泛的喀斯特地貌，可谓沟壑纵横，地表破碎。随着贵州在交通领域进行大规模的建设，一座座的高桥出现在贵州大地上，使得天堑变通途。目前，贵州省已建成公路桥梁2.1万座，在建桥梁5000多座，几乎包揽当今世界全部桥型。据统计，全世界排名100座桥梁当中，有80多座来自中国；这80多座大桥之中，就有一大半来自贵州。
3.贵州桥梁的结构大多为混凝土结构。如此数量众多的混凝土类型桥梁，其相应的健康检测和维护的工作量也不断增加。目前我国桥梁的损伤检测方法主要是人工观测法和桥梁无损检测法。混凝土结构失效的因素有很多，裂纹就是其中之一。若是裂纹任其扩展，则会导致混凝土结构发生失效，产生安全事故，而且桥梁一旦发生事故，往往为特大事故。就现有的检测方法而言，对工作人员的专业技能要求较大，尤其是特殊的地理位置，如北盘江大桥、鸭池河大桥等高桥都是横跨在高耸的山峰间。若是遇到相对恶劣的天气，勘测人员进行高空作业，难度很大。故提出一种合理有效的方法对桥梁裂纹进行检测具有十分重大的意义。
4.近年来，随着深度学习的爆发，计算机视觉技术的发展被推向高峰。视觉技术中，图像分类、目标检测、语义分割是基础也是发展最为迅速的3个领域。图像分类主要是判断每张图像是什么物体。目标检测目的是判断出物体出现的位置与类别。语义分割是判断出每一个像素点属于哪一个类别。深度神经网络大量的参数可以提取出鲁棒性和语义性更好的特征。现有技术中，已经有技术将先进的目标检测算法应用在桥梁表面的裂纹检测，一定程度上消除了高空作业的安全隐患，桥梁裂纹实时检测更是保证裂纹识别精度的同时提升了检测效率，大大减少了时间和人工成本。
5.例如：zhengyun xu等人在名为《application of deep convolution neural network in crack identification》的文章中，提出了一种使用深度卷积神经网络识别桥梁裂纹，其中，该方法使用了基于四种深度卷积神经网络的基本框架，重构了它们的分类器；它是一个分类任务，通过卷积神经网络区分出有裂纹和无裂纹的图像。但是该文章所采用的卷积网络存在参数较多、实时运行速率较差的问题，并且基于分类器的卷积网络只能判断有无裂纹、不能明确给出裂纹的定位信息。又如，cheng yang等人在名为《structural crackdetection and recognition based on deep learning》的文章中，公开了一种使用yolo v3进行混凝土结构桥梁裂纹检测的方法，其通过自建的数据集，训练开源的yolo v3模型实现桥梁裂纹检测。但是yolo v3模型中的特征提取网络参数较多，很难达到实时运行的要求，会存在检测精度较低、检测速度慢、无法满足工业应用时效性需求的缺陷。


技术实现要素：

6.本发明的目的在于克服现有基于机器学习的裂纹检测方法中所存在的不准确、不全面、效率不高的问题，提供一种轻量化卷积网络的混凝土桥梁表面裂纹检测方法及设备，该方法采用基于mobilenet的yolov4网络，通过轻量化卷积神经网络实现对桥梁裂纹的快速检测。
7.为了实现上述发明目的，本发明提供了以下技术方案：
8.一种轻量化卷积网络的桥梁表面裂纹检测方法，包括：
9.构建轻量化卷积网络模型；其中，所述轻量化卷积神经网络为基于mobilenet的yolov4网络；
10.获取桥梁裂纹图像数据集，基于所述桥梁裂纹图像数据集对所述轻量化卷积网络模型进行训练，得到训练好的裂纹检测网络；
11.利用所述裂纹检测网络实时检测桥梁裂纹。
12.根据一种具体的实施方式，上述轻量化卷积网络的桥梁表面裂纹检测方法中，所述基于mobilenet的yolov4网络，包括：依次连接的mobilenet子网络、spp子网络与panet子网络、yolohead子网络。
13.根据一种具体的实施方式，上述轻量化卷积网络的桥梁表面裂纹检测方法中，所述基于所述桥梁裂纹图像数据集对所述轻量化卷积网络模型进行训练，包括：
14.获取开源图像数据集，基于所述开源图像数据集对所述轻量化卷积网络模型进行训练，得到迁移模型；
15.基于所述桥梁裂纹图像数据集对所述迁移模型进行训练，得到所述训练好的裂纹检测模型。
16.根据一种具体的实施方式，上述轻量化卷积网络的桥梁表面裂纹检测方法中，采用sgd算法基于所述桥梁裂纹图像数据集对所述迁移模型进行训练。
17.根据一种具体的实施方式，上述轻量化卷积网络的桥梁表面裂纹检测方法中，采用ciou函数作为所述迁移模型训练阶段的损失函数。
18.根据一种具体的实施方式，上述轻量化卷积网络的桥梁表面裂纹检测方法中，所述获取桥梁裂纹图像数据集，包括：
19.采集多张桥梁裂纹图片，并对采集到的桥梁裂纹图片进行标注，得到第一桥梁裂纹初始图像数据集；
20.采用图像数据增广方法，对所述桥梁裂纹初始图像数据集进行数据集扩充，得到所述桥梁裂纹图像数据集。
21.根据一种具体的实施方式，上述轻量化卷积网络的桥梁表面裂纹检测方法中，所述图像数据增广方法包括：像镜像、平移、缩放、旋转、裁剪、高斯噪声。
22.本发明的另一方面，提供一种电子设备，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执上述轻量化卷积网络的桥梁表面裂纹检测方法。
23.与现有技术相比，本发明的有益效果：
24.1、本发明实施例所提供的方法通过构建基于mobilenet的yolov4网络，基于
mobilenet yolov4的轻量化，实现对获取桥梁裂纹图像数据集对所述基于mobilenet的yolov4网络进行训练，利用训练好的网络进行桥梁裂纹的实时检测；本方法能够有效克服现有基于机器学习的裂纹检测方法存在的检测精度低、检测速度慢的缺陷。
25.2、本发明实施例所提供的方法通过迁移学习有效克服现有基于机器学习的裂纹检测方法存在的参数众多、调整部署困难、训练效率低下的缺陷。
附图说明
26.图1为本发明实施例所述的轻量化卷积网络的桥梁表面裂纹检测方法流程图；
27.图2为本发明实施例所述的yolov4网络架构示意图；
28.图3为本发明实施例所述的训练平台示意图；
29.图4为采用本发明实施例所述的轻量化卷积网络的裂纹检测结果示意图；
30.图5为本发明实施例所述的轻量化卷积网络的桥梁表面裂纹检测设备结构框图。
具体实施方式
31.下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
32.实施例1
33.图1示出了本发明示例性实施例的轻量化卷积网络的桥梁表面裂纹检测方法，包括：
34.构建轻量化卷积网络模型；其中，所述轻量化卷积神经网络为基于mobilenet的yolov4网络；
35.获取桥梁裂纹图像数据集，基于所述桥梁裂纹图像数据集对所述轻量化卷积网络模型进行训练，得到训练好的裂纹检测网络；
36.利用所述裂纹检测网络实时检测桥梁裂纹。
37.本发明实施例所提供的方法通过构建基于mobilenet的yolov4网络，基于mobilenet yolov4的轻量化，实现对获取桥梁裂纹图像数据集对所述基于mobilenet的yolov4网络进行训练，利用训练好的网络进行桥梁裂纹的实时检测；本方法能够有效克服现有基于机器学习的裂纹检测方法存在的检测精度低、检测速度慢的缺陷。
38.实施例2
39.在一种可能的实现方式中，所述基于mobilenet的yolov4网络，包括：依次连接的mobilenet子网络、spp子网络与panet子网络。
40.具体的，如图2所示，标准yolo v4网络其整个网络结构可以分为三个部分，包括：cspdarknet、spp、panet、yolohead。其中，cspdarknet为主干提取网络，spp和panet为加强特征提取网络；yolohead为预测网络，用于对获得到的特征进行预测。
41.可以理解的是，mobilenet作为轻量化网络的经典网络，moblinet使用了深度可分离卷积，深度可分离卷积要比标准卷积的计算量小约9倍，可用于进行分类，其主干部分的作用是进行特征提取。因此，本实施例中，使用mobilenet系列网络代替yolov4当中的cspdarknet53进行特征提取，将三个初步的有效特征层相同shape的特征层进行加强特征
提取，便可以将mobilenet系列替换进yolov4当中了，实现yolov4的轻量化。使用mobilenet作为特征提取网络，模型比原模型大大缩小。原模型为245m，本发明实施例提出的模型只有53.7m。此外，检测速度大大提升，fsp大幅提升。本实施例中，选择mobilenet v3作为本实施例的深度可分离卷积子网络。
42.在一种可能的实现方式中，所述基于所述桥梁裂纹图像数据集对所述轻量化卷积网络模型进行训练，包括：
43.获取开源图像数据集，基于所述开源图像数据集对所述轻量化卷积网络模型进行训练，得到迁移模型；
44.基于所述桥梁裂纹图像数据集对所述迁移模型进行训练，得到所述训练好的裂纹检测模型。
45.其中，在模型构建完成后，先基于开源的数据集对模型进行预训练，得到迁移模型；其中，模型训练的硬件平台如图3所示。在预训练完成后基于桥梁裂纹图像数据集对迁移模型进行训练，得到所述训练好的裂纹检测模型。
46.具体的，训练权重是使用迁移学习的方法，现在公共数据集上进行预训练；训练参数如下：
47.1.输入图像大小：416*416；
48.2.anchors_mask＝[[6,7,8],[3,4,5],[0,1,2]]；
[0049]
3.使用cuda；
[0050]
4.训练分为两个阶段，分别是冻结阶段和解冻阶段：
[0051]
init_epoch＝0；
[0052]
freeze_epoch＝50；
[0053]
freeze_batch_size＝16；
[0054]
unfreeze_epoch 300；
[0055]
unfreeze_batch_size＝8；
[0056]
5.使用sgd优化，优化器内使用的参数：
[0057]
momentum＝0.937；
[0058]
weight_decay＝5e-4；
[0059]
6.学习率下降方式：cos；
[0060]
7.损失函数ciou：
[0061][0062]
在一种可能实现方式中，在网络训练过程中，采用先验框的聚类算法与马赛克数据增强算法提高模型的训练速率，加快模型的收敛速率。
[0063]
在一种可能的实现方式中，上述获取桥梁裂纹图像数据集，包括：
[0064]
采集多张桥梁裂纹图片，并对采集到的桥梁裂纹图片进行标注，得到第一桥梁裂纹初始图像数据集；
[0065]
采用图像数据增广方法，对所述桥梁裂纹初始图像数据集进行数据集扩充，得到所述桥梁裂纹图像数据集。
[0066]
具体的，通过图像采集设备采集多混凝土桥梁的裂纹图像数据以及不存在裂纹的
桥梁图像数据，建立初步图像数据集；所述初步图像数据集收集整理后得到样本集合，为要处理的原始数据；所述初步图像数据集中样本容量大于600幅图像；
[0067]
接着，以桥梁裂纹等定位区域为标签内容(即有无裂纹的标签)对所述初步图像数据集中各图像进行数据标注，得到标注后的初步桥梁图像数据集；
[0068]
最后，采用多种图像数据增广方法，对所述标注后的初步图像数据集进行扩容增广，得到最终的图像数据集；所述图像数据增广方法包括：图像镜像、平移、缩放、旋转、裁剪、高斯噪声等；其中，最终的图像数据集中的图像数据大于2000幅；按8：2的比例，分为训练数据集和测试数据集，完成图像数据集构建。
[0069]
实施例3
[0070]
本实施例中，以基于某大型混凝土桥梁为例，图4展示了本发明实施例所提供方法的裂纹检测成果图，从图上可以看出，本发明实施例所提供的方法，能够清晰准确定位出桥梁裂纹。进一步的，基于相同的图像数据集，将本方法的检测结果与传统模型的监测结果进行对比，对比结果如下表：
[0071]
表1.不同模型裂纹检测结果对比
[0072]
methodprecision(％)module size(mb)fps(f/s)faser rcnn78.2110923.7ssd76.6591.686.5centernet72.1312475.6yolo v382.4623541.6yolo v484.2624544.7yolo v581.3917649.2ours89.1353.7120.9
[0073]
根据上表可知，本发明实施例所提供的检测模型大小比现有模型下降了50％～80％，模型的fps相较于现有模型有倍数提高，同时模型的准确率能够与现有模型持平或者略高于现有技术。
[0074]
本发明的另一方面，如图5所示，还提供一种电子设备，该电子设备包括处理器、网络接口和存储器，所述处理器、所述网络接口和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述搜索优化方法。
[0075]
本发明的另一方面，还提供一种计算机存储介质，所述计算机存储介质中存储有程序指令，所述程序指令被至少一个处理器执行时，用于本发明的引导车场主动开通电子发票的方法。
[0076]
在本发明的实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0077]
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开
的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
[0078]
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
[0079]
其中，非易失性存储器可以是只读存储器(read-only memory，简称rom)、可编程只读存储器(programmable rom，简称prom)、可擦除可编程只读存储器(erasable prom，简称eprom)、电可擦除可编程只读存储器(electrically eprom，简称eeprom)或闪存。
[0080]
易失性存储器可以是随机存取存储器(random access memory，简称ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，简称sram)、动态随机存取存储器(dynamic ram，简称dram)、同步动态随机存取存储器(synchronous dram，简称sdram)、双倍数据速率同步动态随机存取存储器(double data ratesdram，简称ddrsdram)、增强型同步动态随机存取存储器(enhancedsdram，简称esdram)、同步连接动态随机存取存储器(synchlink dram，简称sldram)和直接内存总线随机存取存储器(directrambus ram，简称drram)。
[0081]
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
[0082]
应该理解到，本发明所揭露的系统，可通过其它的方式实现。例如所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，模块之间的通信连接可以是通过一些接口，服务器或单元的间接耦合或通信连接，可以是电性或其它的形式。
[0083]
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0084]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0085]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
[0086]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。