用于混凝土结构超声断层扫描图像的数据增强方法及装置

1.本发明涉及混凝土结构无损检测领域，尤其涉及一种基于深度学习的混凝土结构图像数据增强方法及装置。


背景技术：

2.混凝土结构在使用过程中不可避免地会受到荷载、环境侵蚀等各种因素的耦合作用，在表面和内部产生各种损伤从而严重影响其使用的安全性与实用性。目前超声断层扫描的方法可以获取混凝土结构内部损伤的相关信息，但扫描生成的原始图像不便于检测人员对损伤情况的判断。应用深度学习方法可以由原始b扫描图像重建出混凝土结构断面的真实形态，从而检测出其内部裂缝等缺陷。然而，深度学习以数据驱动，其实现需要大量的数据作为基础。
3.数据量过少容易导致模型的过拟合从而影响其在实际工程中的泛化能力。通过实验的方法获取b扫描图像需要消耗大量的人力物力，即仅靠实验和工程实践中获得的数据难以达到深度学习需要的数据量。因此，需要通过其他方法进行数据集的扩充。
4.专利文献cn114778693a公开了一种基于超声波的混凝土结构应力装检测系统，该方法包括超声传播走时测试模块，用于使超声波透射混凝土，并对混凝土中的超声传播走时进行测试，得到超声波在混凝土中的超声传播走时；结构应力计算模块，用于根据所述超声传播走时计算得到混凝土结构应力。该方法仅通过声波数据进行计算，但进一步的损伤状态判断仍需后续处理，且混凝土中声波的传播介质并不均匀，会导致最终结果并不准确。
5.专利文献cn115165910a公开了一种基于图像识别的混凝土表观质量缺陷检测系统及方法，系统包括预制生产线、状态转换平台、吊装系统以及检测流水线，通过预制生产线完成混凝土预制构件的生产和运输；通过状态转换平台进行脱模前的混凝土预制构件的姿态调整；通过吊装系统完成脱模前的混凝土预制构件的脱模和吊装，并运送至检测流水线；通过检测流水线的高清摄像头摄像，并通过图像处理系统，基于深度学习算法判断表观质量缺陷类型，实现质量检测。该方法需要大量样本图像对图像识别模型进行训练，成本较高且耗时长。


技术实现要素：

6.为了解决上述问题，本发明提供了一种数据增强方法，该方法可以有效地解决了钢筋混凝土制备消耗大量人力物力的问题，从而提高用于训练算法模型的数据集体量，进一步提高了算法模型的泛化能力。
7.一种用于混凝土结构超声断层扫描图像的数据增强方法，包括：
8.步骤1、获取自制钢筋混凝土构件的超声b扫描图，以自制钢筋混凝土构件的截面裂缝情况进行标签标注，生成超声b扫描图对应的截面裂缝图，将超声b扫描图和截面裂缝图组成数据集；
9.步骤2、基于pixel-to-pixel结构构建的生成对抗网络，所述生成对抗网络包括生
成器与判别器，所述生成器包括u-net为结构基础的编码器和解码器，所述编码器用于对输入的截面裂缝图进行降采样操作，获得对应的特征图像，所述解码器用于对特征图像进行反卷积上采样，获得对应的虚拟超声b扫面图，所述判别器用于判断输入图像的真实性；
10.步骤3、利用步骤1获得的数据集，采用博弈手段对生成对抗网络进行训练，直至判别器无法判断图像是否由生成器生成，获得用于生成虚拟超声b扫描图的图像生成模型；
11.步骤4、将自制截面裂缝图输入至所述图像生成模型中，获得对应的虚拟超声b扫描图，将自制截面裂缝图与对应的虚拟超声b扫描图作为用于扩充数据集体量的增强数据集。
12.本发明基于pixel-to-pixel的深度神经网络，以对抗博弈的手段对神经网络进行训练使其学习到标注图像与b扫描图像的隐含关系，从而生成以假乱真的高质量虚拟超声b扫描图。
13.具体的，在步骤1中，所述超声b扫描图采用阵列超声断层成像设备对自制钢筋混凝土构件扫描获得。
14.具体的，所述自制钢筋混凝土构件为提前制备带有裂缝缺陷的钢筋混凝土构件，并在构件成型后在其表面一侧布置测点侧线方便扫描。
15.具体的，在步骤2中，所述生成器为包含16个模块的深度神经网络，其中前8个模块包括编码器进行特征提取，后8个模块包括解码器进行特征合成，所述编码器的卷积核尺寸为4
×
4共进行三次降采样操作，每次降采样操作后特征图像的通道数乘以2，所述解码器与所述编码器的每层网络结构相互对应，对特征图像进行反卷积上采样，每次上采样后特征图像的通道数除以2，解码器与编码器的每层网络结构相互对应，对应层之间使用拼接操作使特征图归一化。
16.具体的，所述生成器的输入图像尺寸为2304
×
1536，单位为像素。
17.具体的，在步骤2中，所述判别器采用patchgan策略，对输入图像的真实性进行判断。
18.具体的，在步骤3的训练过程中，所述博弈手段包括单独采用梯度上升策略循环对判别器进行多次训练后，再采用梯度下降策略对生成器进行优化。
19.优选的，在步骤4中，所述自制截面裂缝图通过随机数指定裂缝的水平向距离、垂直向距离和起始位置生成，所述裂缝生成的斜线与水平线的角度为0～45度。
20.本发明提供了一种数据增强装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机程序采用权利要求1所述的图像生成模型；
21.所述计算机处理器执行所述计算机程序实现以下步骤：
22.将自制截面裂缝图输入至图像生成模型，输出用于扩充数据集的虚拟超声b扫描图。
23.与现有技术相比，本发明的有益效果：
24.(1)本发明在首先利用实验的方法获取超声断层扫描图像数据后，为保证拥有足够的数据量用于钢筋混凝土结构断面重建神经网络模型的训练，采用深度学习的方法对已有实验数据进行扩增，在满足使用要求的前提下避免了过多的实验投入。
25.(2)本发明通过搭建基于pixel-to-pixel的深度神经网络，以对抗博弈的手段对
神经网络进行训练使其学习到标注图像与b扫描图像的隐含关系，由训练好的网络模型生成的超声断层扫描图像具有与实验实际扫描图像同特征同分布且具有一定随机性的特点，从而扩增得到的数据集与真实情况拟合度高可以满足后续应用的需要。
附图说明
26.图1为本发明提供的一种用于混凝土结构超声断层扫描图像的数据增强方法的流程图；
27.图2为本实施例提供的超声b扫描图与对应的标注图；
28.图3为基于pixel-to-pixel结构的深度神经网络的生成器结构图；
29.图4为基于pixel-to-pixel结构的深度神经网络的判别器结构图；
30.图5为自制截面裂缝图与对应的虚拟超声b扫描图。
具体实施方式
31.下面将结合附图以及具体实施例来详细说明本发明，在此本发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。
32.本实施例公开了一种用于混凝土结构超声断层扫描图像的数据增强方法，如图1所示，包括以下步骤。
33.步骤1、首先根据裂缝设计图制作预置了缺陷的混凝土构件，待构件成型后在其表面布置测点测线以方便扫描。使用阵列超声断层成像设备对钢筋混凝土构件进行扫描后即获得缺陷部位处的超声断层扫描图像；
34.如图2所示，图中(a)为超声b扫描图像，(b)为标注图像，对于每一张b扫描图像，由裂缝设计图生成对应的标注图像，最后构建出配对形式的数据集。
35.步骤2、搭建基于pixel-to-pixel结构的生成对抗网络，网络大致由两个部分组成——生成器与判别器。
36.(1)生成器的主要功能是进行图像翻译，即根据标注图像生成对应的b扫描图像。
37.如图3所示，生成器使用以u-net为基础的结构，共有16层神经网络，其中前8层为编码器，后8层为解码器。原深度神经网络生成器的输入图像尺寸为256
×
256，通道数为64。为保证图像精度，需对原网络进行改进，改进后输入图像的尺寸为2304
×
1536。编码器中卷积核的尺寸为4
×
4，共进行三次降采样操作，每次降采样后特征图的通道数乘以2，最终使特征图的通道数变为512。解码器采用反卷积上采样，每次上采样后特征图的通道数除以2，最终使特征图的通道数由512变回64。解码器与编码器的每层网络结构相互对应，对应层之间使用拼接操作使特征图归一化。
38.为保证生成器生成的b扫描图像具有一定的随机性，除标注图像外，还需向生成对抗网络输入一个随机噪声。
39.(2)判别器的主要功能是判别输入的数据是否为机器生成的。
40.如图4所示，判别器由5层神经网络组成。判别器的输入是生成的b扫描图像(或实验获得的b扫描图像)及其对应的标注图。判别器在对输入的图像进行卷积等处理后，输出判别结果即所输入的b扫描图像是由实验真实获得的还是由判别器生成的。不同于传统的将整张图作为判别器判别的目标，本专利中的网络架构将输入图像分为n
×
n个图像块，然
后将这些图像块依次提交给判别器，此种策略被称为patchgan，可以看做针对图像纹理的损失。
41.步骤3、利用步骤一构建的数据集对步骤二所搭建的生成对抗网络进行训练，通过博弈的手段对生成器和判别器进行迭代优化；
42.初始化判别器和生成器的参数后，先使生成器利用数据集中的标注图像样本和随机噪声生成一批b扫描图像，然后利用生成的图像与原图像，使用梯度上升策略循环进行多次对判别器的训练；在判别器经过优化后，再使用梯度下降策略对生成器进行优化。直到生成器有能力生成判别器无法分辨的样本；训练结束后使用专家评价表作为网络模型训练效果的评价指标。
43.步骤4：将自制截面裂缝图输入至所述图像生成模型中，获得对应的虚拟超声b扫描图；
44.在生成自制截面裂缝图时，利用随机数指定裂缝的水平向距离、垂直向距离和起始位置，生成斜线的角度应处于0到45度之间。
45.通过上述方法生成500张标注图像并输入步骤3中已经训练好的深度神经网络中用作测试集。由神经网络的生成器生成对应的虚拟的b扫描图像并保存，实现对由实验获得的超声断层扫描图像数据的增强。
46.如图5所示，图左为自制截面裂缝图，图右为对应的虚拟超声b扫描图。