一种基于扫描电镜图像的混凝土分类方法及系统与流程

1.本发明涉及混凝土分类领域，特别是涉及一种基于扫描电镜图像的混凝土分类方法及系统。


背景技术：

2.混凝土的微观结构与性能息息相关，微观结构的表征往往要依赖于扫描电子显微镜(scanning electron microscope，sem)。目前对sem图像的应用通常局限于定性分析，如观察混凝土微观结构形貌和化学成分分布等，这类分析对操作人员的经验有很大依赖，需要很强的专业知识积累，并且结果易受操作人员的主观影响。另一方面，依据操作人员以往经验，尚不足以分析sem图片中隐含的所有微观结构信息，且难以建立微观及宏观性质的联系，更难以依据混凝土sem图像对混凝土进行分类。
3.随着图像处理技术和机器学习的发展，研究者们针对混凝土sem图像分析也提出了不同的算法与体系。然而这些方法大多有明显的弊端，很大程度上依赖于专门设计的人工特征，对人工特征进行分析，人工特征与混凝土sem图像进行对比，得到混凝土的类别，由于人工特征比较主观，不能囊括混凝土的所有类别，导致混凝土分类不准确，从而使现有的混凝土分类方法存在泛用性较低的问题。


技术实现要素：

4.本发明的目的是提供一种基于扫描电镜图像的混凝土分类方法及系统，以解决现有技术中的混凝土分类方法分类不准确、泛用性较低的问题。
5.为实现上述目的，本发明提供了如下方案：
6.一种基于扫描电镜图像的混凝土分类方法，包括：
7.利用扫描电子显微镜对若干个混凝土样品进行图像采集，得到若干个扫描电子显微镜图像，构建原始数据集；所述原始数据集包括若干个所述扫描电子显微镜图像和与所述扫描电子显微镜图像相对应的真实值；将原始数据集分为训练集和测试集；
8.利用所述训练集对深度卷积网络进行训练，得到训练好的深度卷积网络；所述深度卷积网络包括特征提取网络和特征分类网络；
9.将待测混凝土样品输入到所述训练好的深度卷积网络中，确定所述待测混凝土样品的类别。
10.可选的，所述利用扫描电子显微镜对若干个混凝土样品进行图像采集，得到若干个扫描电子显微镜图像之前，还包括：
11.对混凝土块进行切割，得到若干个混凝土样品；
12.对若干个所述混凝土样品进行抛光处理，得到若干个光滑的混凝土样品。
13.可选的，所述利用所述训练集对深度卷积网络进行训练，得到训练好的深度卷积网络，具体包括：
14.分批将所述训练集中的所述扫描电子显微镜图像输入到深度卷积网络中，得到第
一预测结果；所述第一预测结果为所述训练集中的所述扫描电子显微镜图像所属分类的概率；
15.将所述第一预测结果与所述真实值进行比较，以交叉熵函数的形式输出第一比较结果；
16.根据所述第一比较结果衡量所述第一预测结果与所述真实值的差异并判断训练是否达到最大迭代次数，得到第一判断结果；
17.若所述第一判断结果为训练达到最大迭代次数，则训练结束，输出训练好的深度卷积网络；若所述第一判断结果为训练未达到最大迭代次数，则利用反向传播算法调整所述深度卷积网络的权重，得到调整后的深度卷积网络，并将所述调整后的深度卷积网络作为所述深度卷积网络，返回“分批将所述训练集中的所述扫描电子显微镜图像输入到深度卷积网络中，得到第一预测类别第一预测结果”。
18.可选的，所述分批将所述训练集中的所述扫描电子显微镜图像输入到深度卷积网络中，得到第一预测结果，具体包括：
19.将所述扫描电子显微镜图像输入到所述特征提取网络中，提取所述扫描电子显微镜图像的图像特征；
20.将所述图像特征输入到所述特征分类网络中，输出第一预测结果。
21.可选的，所述利用所述训练集对深度卷积网络进行训练，得到训练好的深度卷积网络之后，还包括：
22.依次将所述测试集中的所述扫描电子显微镜图像输入到所述训练好的深度卷积网络中，输出第二预测结果；所述第二预测结果为所述测试集中的所述扫描电子显微镜图像所属分类的概率；
23.将所述第二预测结果与所述真实值进行比较，判断所述第二预测结果是否正确；
24.统计所述第二预测结果正确的个数与所述第二预测结果错误的个数；
25.根据所述第二预测结果正确的个数与所述第二预测结果错误的个数计算预测精确率与召回率；
26.利用公式衡量所述训练好的深度卷积网络；其中，f1score为所述训练好的深度卷积网络的衡量指标。
27.一种基于扫描电镜图像的混凝土分类系统，包括：
28.图像采集模块，用于利用扫描电子显微镜对若干个混凝土样品进行图像采集，得到若干个扫描电子显微镜图像，构建原始数据集；所述原始数据集包括若干个所述扫描电子显微镜图像和与所述扫描电子显微镜图像相对应的真实类别；将原始数据集分为训练集和测试集；
29.训练模块，用于利用所述训练集对深度卷积网络进行训练，得到训练好的深度卷积网络；所述深度卷积网络包括特征提取网络和特征分类网络；
30.分类模块，用于将待测混凝土样品输入到所述训练好的深度卷积网络中，确定所述待测混凝土样品的类别。
31.可选的，还包括：样品获取模块；所述样品获取模块具体包括：
32.样品切割子模块，用于对混凝土块进行切割，得到若干个混凝土样品；
33.样品打磨子模块，用于对若干个所述混凝土样品进行抛光处理，得到若干个光滑的混凝土样品。
34.可选的，所述训练模块，具体包括：
35.预测子模块，用于分批将所述训练集中的所述扫描电子显微镜图像输入到深度卷积网络中，得到第一预测结果；所述第一预测结果为所述训练集中的所述扫描电子显微镜图像所属分类的概率；
36.比较子模块，用于将所述第一预测结果与所述真实值进行比较，以交叉熵函数的形式输出第一比较结果；
37.判断子模块，用于根据所述第一比较结果衡量所述第一预测结果与所述真实值的差异并判断训练是否达到最大迭代次数，得到第一判断结果；
38.输出子模块，用于若所述第一判断结果为训练达到最大迭代次数，则训练结束，输出训练好的深度卷积网络；
39.返回子模块，用于若所述第一判断结果为训练未达到最大迭代次数，则利用反向传播算法调整所述深度卷积网络的权重，得到调整后的深度卷积网络，并将所述调整后的深度卷积网络作为所述深度卷积网络，返回“分批将所述训练集中的所述扫描电子显微镜图像输入到深度卷积网络中，得到第一预测结果”。
40.可选的，所述特征提取网络包括5个依次连接的特征提取子网络；
41.所述特征提取子网络包括依次连接的卷积层、非线性层和正则化层以及依次连接的卷积层、非线性层、正则化层和池化层；
42.所述卷积层用于提取所述扫描电子显微镜图像的图像特征；
43.所述非线性层用于增加所述特征提取网络的非线性；
44.所述正则化层用于将所述图像特征的均值化为0，方差化为1；
45.所述池化层用于减小所述图像特征的维度。
46.可选的，所述特征分类网络包括依次连接的第一全连接层、非线性层、随机丢弃层、第二全连接层以及分类层；
47.所述第一全连接层和所述第二全连接层堆叠，用于对所述特征提取网络输出的图像特征进行分类；
48.所述非线性层用于增加所述特征分类网络的非线性；
49.所述随机丢弃层用于按比例随机丢弃所述第一全连接层和所述第二全连接层中的任意参数；
50.所述分类层用于将全连接层输出的分类结果归一化，以概率的形式输出第一预测结果。
51.根据本发明提供的具体实施例，本发明公开了以下技术效果：
52.本发明通过获取混凝土样品的扫描电子显微镜图像，利用扫描电子显微镜图像对深度卷积网络进行训练，在训练过程中，采用深度卷积网络从图像上滑动提取特征，自动地对特征进行修正，进而得到训练好的深度卷积网络，利用训练好的深度卷积网络对混凝土进行特征提取以及分类。本发明能够对所有类别的混凝土进行分类，而不需要将专门设计的人工特征与混凝土sem图像进行对比，进而提高了混凝土分类方法的准确性和泛用性。
附图说明
53.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
54.图1为本发明提供的一种基于扫描电镜图像的混凝土分类方法的流程图；
55.图2为本发明提供的对深度卷积网络进行训练的流程图；
56.图3为本发明提供的对训练好的深度卷积网络进行验证的流程图；
57.图4为本发明提供的一种基于扫描电镜图像的混凝土分类系统的方框图；
58.图5为本发明提供的深度卷积网络的结构图；
59.图6为实际应用中对深度卷积网络进行训练以及验证的示意图；
60.图7为本发明在实际应用中对深度卷积网络进行训练、验证以及迁移学习的示意图。
61.符号说明：1
‑
卷积层；relu
‑
非线性层；bn
‑
正则化层；pool
‑
池化层；fc
‑
全连接层；drop
‑
随机丢弃层；softmax
‑
分类层。
具体实施方式
62.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
63.本发明的目的是提供一种基于扫描电镜图像的混凝土分类方法及系统，以解决现有技术中的混凝土分类方法分类不准确、泛用性较低的问题。
64.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
65.本发明属于混凝土材料性能分析领域，利用扫描电子显微镜获取混凝土微观结构图像，使用图像处理技术和深度学习方法对混凝土微观结构图像进行分析。
66.本发明为混凝土sem图像的分析与分类提出了一种高效准确的分析或分类方法，可基于sem图像对不同配合比的混凝土进行分类。
67.本发明的一个主要目的在于，提出一套深度卷积网络及其训练方法，并利用该深度卷积网络对不同配合比混凝土样品的sem图像进行分类的方法。
68.本发明是将计算机视觉技术，即卷积神经网络应用到混凝土微观电镜照片的识别中，从而实现根据混凝土微观结构对不同配合比的混凝土进行分类。为了利用混凝土微观扫描电镜图片对深度卷积网络进行训练，需要通过特定的方法处理混凝土样品从而的到合适的显微图片。
69.图1为本发明提供的一种基于扫描电镜图像的混凝土分类方法的流程图，如图1所示，所述方法包括：
70.步骤101：利用扫描电子显微镜对若干个混凝土样品进行图像采集，得到若干个扫描电子显微镜图像，构建原始数据集。所述原始数据集包括若干个所述扫描电子显微镜图
像和与所述扫描电子显微镜图像相对应的真实类别；将原始数据集分为训练集和测试集。
71.在一个具体实施方式中，所述步骤101之前，还包括：
72.对混凝土块进行切割，得到若干个混凝土样品；对若干个所述混凝土样品进行抛光处理，得到若干个光滑的混凝土样品。
73.步骤102：利用所述训练集对深度卷积网络进行训练，得到训练好的深度卷积网络。所述深度卷积网络包括特征提取网络和特征分类网络。
74.在一个具体实施方式中，图2为本发明提供的对深度卷积网络进行训练的流程图，如图2所示，所述步骤102，具体包括：
75.步骤201：分批将所述训练集中的所述扫描电子显微镜图像输入到深度卷积网络中，得到第一预测结果。所述第一预测结果为所述训练集中的所述扫描电子显微镜图像所属分类的概率。
76.步骤202：将所述第一预测结果与所述真实值进行比较，以交叉熵函数的形式输出第一比较结果。
77.步骤203：根据所述第一比较结果衡量所述第一预测结果与所述真实值的差异并判断训练是否达到最大迭代次数，得到第一判断结果。
78.步骤204：若所述第一判断结果为训练达到最大迭代次数，则训练结束，输出训练好的深度卷积网络。若所述第一判断结果为训练未达到最大迭代次数，则利用反向传播算法调整所述深度卷积网络的权重，得到调整后的深度卷积网络，并将所述调整后的深度卷积网络作为所述深度卷积网络，返回“步骤201”。
79.所述步骤201，具体包括：
80.将所述扫描电子显微镜图像输入到所述特征提取网络中，提取所述扫描电子显微镜图像的图像特征；将所述图像特征输入到所述特征分类网络中，输出第一预测结果。
81.步骤103：将待测混凝土样品输入到所述训练好的深度卷积网络中，确定所述待测混凝土样品的类别。
82.在一个具体实施方式中，所述步骤102之后，还包括对训练好的深度卷积网络进行验证的过程，图3为本发明提供的对训练好的深度卷积网络进行验证的流程图，如图3所示，验证过程如下：
83.步骤301：依次将所述测试集中的所述扫描电子显微镜图像输入到所述训练好的深度卷积网络中，输出第二预测结果；所述第二预测结果为所述测试集中的所述扫描电子显微镜图像所属分类的概率。
84.步骤302：将所述第二预测结果与所述真实值进行比较，判断所述第二预测结果是否正确。具体的，所述第二预测结果中的概率最大的标签设为1，其余的标签设为0。所述真实值标签为1，判断所述预测结果的标签与所述真实值的标签是否一致，若一致，则所述第二预测结果正确；若不一致，所述第二预测结果错误。
85.步骤303：统计所述第二预测结果正确的个数与所述第二预测结果错误的个数。
86.步骤304：根据所述第二预测结果正确的个数与所述第二预测结果错误的个数计算预测精确率与召回率。
87.步骤305：利用公式衡量所述训练好的深度卷积网
络。其中，f1score为所述训练好的深度卷积网络的衡量指标。
88.图6为实际应用中对深度卷积网络进行训练以及验证的示意图，如图6所示，首先，将需要进行分析的混凝土样品进行切割，然后将混凝土样品的表面进行抛光至镜面效果，最后通过扫描电子显微镜，在特定的放大倍数和分辨率下进行图像采集。将得到的sem图像收集，然后切除掉不需要的边界，与sem图像对应的真实类别组成训练所需的原始数据集。原始数据集以2：8的比例随机分割成测试集与训练集，训练集将被用于深度卷积网络的训练，被训练好的深度卷积网络将会在测试集上验证方法的准确性。
89.对于深度卷积网络的训练阶段，我们采用了反向传播的算法对深度卷积网络中的参数进行调整。训练集中的sem图像将会分批次输入到网络中，并将特征分类网络输出的预测类别与真实类别进行比较，以交叉熵的形式返回预测类别与真实类别的差异，然后根据反向传播计算深度卷积网络的每一个参数应该调整的数值，使得差异减小，差异越小，预测越准确。反复进行此过程，当预测类别与真实类别的差异不再发生明显的变化之后，训练阶段就结束了。而在测试阶段，测试集的sem图像将会依次输入深度卷积网络而不进行反向传播，即深度卷积网络参数的调整，通过统计正确预测与错误预测的个数，分别计算精确率与召回率，最后根据f1score衡量训练好的深度卷积网络的好坏，f1score越高就意味着训练好的深度卷积网络的表现越好。
90.f1score可以通过下式计算：
[0091][0092]
图7为本发明在实际应用中对深度卷积网络进行训练、验证以及迁移学习的示意图，如图7所示，将本发明提出的分类体系运用于其他成分或工艺样品，通过迁移学习的应用，可以将在一类样品上训练得到的深度卷积网络应用于另一类样本，即使这两类样品的成分和工艺有所区别。首先，采集两个不同成分的混凝土样品，构成两个不同的原始数据集，即第一原始数据集和第二原始数据集，然后将在第一原始数据集上训练好的深度卷积网络以监督学习的方式再放到第二原始数据集上进行训练，这样训练的优势包括：第一，相比于只使用第二原始数据集从零开始训练，这样的方法可以减少训练时间，在第一原始数据集上得到的深度卷积网络的参数可以被视作好的先验，从而减少训练到达稳定的时间；第二，相比于只使用第二原始数据集，这样的迁移学习可以提升模型的准确性。因为相比于只使用第二原始数据集，两个原始数据集扩充训练集的数据量，为训练提供更多的样本，减少过拟合的影响。
[0093]
本发明提供的一种基于深度网络的分析方法，避免了主观因素的影响。采用卷积层从sem图像上滑动提取图像特征，减少了图像噪声或拉伸旋转造成的影响，增强了算法的鲁棒性。通过反向传播的方式对深度卷积网络进行训练，自动地对深度卷积网络参数进行修正，而不需要人为的手动设计特征，进而提高了算法的泛用性。
[0094]
本发明的第一方面，提出了一种基于深度卷积网络的混凝土sem图像分析方法，包括样品收集，表面处理，图像采集，网络训练与样品分析。
[0095]
本发明的第二方面，提供了一种基于深度卷积网络的混凝土sem图像分类方法，深度卷积网络包括特征提取网络与特征分类网络。采集的sem图像输入到特征提取网络中，获
得对应的图像特征，之后将图像特征输入到特征分类网络中，输出分类结果。
[0096]
本发明的第三方面，通过迁移学习的方法，将在特定混凝土样品数据集上训练的网络应用于不同的混凝土样品，增强了所提出深度卷积网络的泛用性。传统的人工智能图像识别需要几千几万张图片用来训练。这对于扫描电子显微镜图片是不现实的。利用迁移学习，可以保留之前训练的基础，使得新的训练效果更好，用较少的图片量达到好的效果。
[0097]
目前未见有能够依据混凝土微观图像对混凝土进行分类的传统技术。
[0098]
图4为本发明提供的一种基于扫描电镜图像的混凝土分类系统的系统框图，如图4所示，包括：
[0099]
图像采集模块401，用于利用扫描电子显微镜对若干个混凝土样品进行图像采集，得到若干个扫描电子显微镜图像，构建原始数据集；所述原始数据集包括若干个所述扫描电子显微镜图像和与所述扫描电子显微镜图像相对应的真实类别；将原始数据集分为训练集和测试集；
[0100]
训练模块402，用于利用所述训练集对深度卷积网络进行训练，得到训练好的深度卷积网络。
[0101]
分类模块403，用于将待测混凝土样品输入到所述训练好的深度卷积网络中，确定所述待测混凝土样品的类别。
[0102]
在一个具体实施方式中，还包括：样品获取模块；所述样品获取模块具体包括：
[0103]
样品切割子模块，用于对混凝土块进行切割，得到若干个混凝土样品。
[0104]
样品打磨子模块，用于对若干个所述混凝土样品进行抛光处理，得到若干个光滑的混凝土样品。
[0105]
在一个具体实施方式中，所述训练模块402，具体包括：
[0106]
预测子模块，用于分批将所述训练集中的所述扫描电子显微镜图像输入到深度卷积网络中，得到第一预测结果。
[0107]
比较子模块，用于将所述第一预测结果与所述真实值进行比较，以交叉熵函数的形式输出第一比较结果。
[0108]
判断子模块，用于根据所述第一比较结果衡量所述第一预测结果与所述真实值的差异并判断训练是否达到最大迭代次数，得到第一判断结果。
[0109]
输出子模块，用于若所述第一判断结果为训练达到最大迭代次数，则训练结束，输出训练好的深度卷积网络。
[0110]
返回子模块，用于若所述第一判断结果为训练未达到最大迭代次数，则利用反向传播算法调整所述深度卷积网络的权重，得到调整后的深度卷积网络，并将所述调整后的深度卷积网络作为所述深度卷积网络，返回“分批将所述训练集中的所述扫描电子显微镜图像输入到深度卷积网络中，得到第一预测结果”。
[0111]
图5为本发明提供的深度卷积网络的结构图，如图5所示，在一个具体实施方式中，所述深度卷积网络包括特征提取网络和特征分类网络，所述特征提取网络包括5个依次连接的特征提取子网络。
[0112]
所述特征提取子网络包括依次连接的卷积层、非线性层和正则化层以及依次连接的卷积层、非线性层、正则化层和池化层。
[0113]
所述卷积层用于提取所述扫描电子显微镜图像的图像特征；所述非线性层用于增
加所述特征提取网络的非线性；所述正则化层用于将所述图像特征的均值化为0，方差化为1；所述池化层用于减小所述图像特征的维度。
[0114]
所述特征分类网络包括依次连接的第一全连接层、非线性层、随机丢弃层、第二全连接层以及分类层。
[0115]
所述第一全连接层和所述第二全连接层堆叠，用于对所述特征提取网络输出的图像特征进行分类；所述非线性层用于增加所述特征分类网络的非线性；所述随机丢弃层用于按比例随机丢弃所述第一全连接层和所述第二全连接层中的任意参数；所述分类层用于将全连接层输出的分类结果归一化，以概率的形式输出第一预测结果。
[0116]
深度卷积网络可以被视为特征提取网络与特征分类网络的组合，特征提取网络是由卷积层1(convolutional layer)，非线性层relu(relu layer)，正则化层bn(bn)和池化层pool(pooling layer)组成的。所有的卷积层1中的卷积核尺寸都是3
×
3，通过在混凝土的sem图像上滑动提取图像特征，将图像特征输入到下一层中。通过将两层卷积层1叠加的方式，将获得与一个大卷积核相同的感受野(输入空间中影响网络特定单元的区域)而只需要更少的参数，即2
×3×
3＝18个参数。混凝土的sem图像通过卷积层1之后，将会依次经过池化层relu和正则化层。池化层relu将会在深度卷积网络中增加非线性，对于很多分类问题，仅仅线性的分类器不能达到要求。正则化层的作用是将输入图像特征的均值化为0而方差化为1，这样可以加快训练速度同时提高训练的稳定度，避免出现数据爆炸。在两个卷积层1之后，图像特征将会通过一个池化层pool，作用是减小图像特征的维度。本发明采用了最大池化的方法，即对于选取的2
×
2区域只有最大的参数才会得到保留，而其他的参数将会被舍弃。所以在经过一个池化层pool之后，2
×
2的区域将会被缩小成1
×
1的区域，对于224
×
224的图像特征，经过一层池化后将会变成112
×
112。在整个特征提取网络中，一共有10层卷积层1和5层池化层pool，所以最后图像特征的尺寸是7
×
7。
[0117]
特征提取网络提取出7
×
7的图像特征后，这些图像特征将会被输入到特征分类网络。特征分类网络是由两层全连接层fc构成的，根据万能逼近理论，堆叠的全连接层fc可以逼近任意函数，达到分类的效果。随机丢弃层drop(dropout layer)被放置在两层全连接层fc之间，其将按一定比例随机丢弃全连接层fc中的任意参数，以避免网络出现过拟合。两层全连接层fc之后是一层分类层softmax(softmax layer),将输出的分类结果归一化，以概率的形式输出第一预测结果。
[0118]
本发明提供的混凝土分类方法是对不同的扫描电镜图像进行分类，图像是通过对不同混凝土样品进行拍照得来的，不同的混凝土样品有不同的配合比，也就有不同的微观结构，所以显微镜图片是不同的。但是目前即使有经验的人也不能直接确认sem图片是哪个配合比的混凝土。
[0119]
深度卷积网络利用扫描电子显微镜图片区分不同的混凝土，实现混凝土的配比的检测，这个是肉眼和经验无法做到的。
[0120]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0121]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说
明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。