一种基于模型融合的HPC抗压强度预测方法和系统与流程

一种基于模型融合的hpc抗压强度预测方法和系统
技术领域
1.本发明属于大型沉井建造技术领域，具体涉及一种基于模型融合的hpc抗压强度预测方法和系统。


背景技术：

2.hpc(高性能混凝土)得益于其突出的高强度和高耐久性等特点，在大跨桥梁建设中得到了广泛应用。混凝土抗压强度作为混凝土质量评价的重要指标，极大程度上反映了建筑结构的安全性能。因此研究高性能混凝土抗压强度的精准预测方法对于施工项目的精准把控和对工程项目的科学评估具有重要意义。
3.现阶段用于抗压强度预测的方法主要有：基于经验的公式法、试验法和基于统计机器学习的方法几类。
4.其中，基于经验的公式法即以人工经验为基础，通过建立复杂的数学模型来拟合混凝土的各项参数指标，从而建立起抗压强度计算模型。此类方法高度依赖于人工经验，迭代计算过程复杂，拟合精度极为有限，且不适用于混合材料种类多、配比配方含量极为复杂的高性能混凝土这一类材料的抗压强度的计算。
5.基于试验法即通过各种试验仪器设备对高性能混凝土材料成型前后的结构进行监测，从而获取抗压强度。这类方法测试精度较高，测试结果具有较高的可信度；然而此类方法的测试周期长、测试成本高，且在现场复杂的施工环境中进行测试具有极高的危险系数，因此更多地用于实验室环境中的抗压强度测试。
6.基于统计机器学习的方法是以机器学习为理论基础，通过数据驱动的方法，无需过多的前提假设，直接建立起抗压强度预测模型，其成本低廉、测试周期短、测试结果精度高，因此具有极高的研究和应用价值。
7.截止目前，已有一些研究利用机器学习的方法进行混凝土抗压强度预测，如基于adaboost算法、基于随机森林和智能算法、基于bp神经网络或rbf神经网络、基于支持向量机(svm)、基于线性回归(lr)、基于深度学习(dl)的方法等；然而，上述方法仍存在一些缺陷，如上述方法都基于单个模型的输出结果来进行抗压强度的预测，缺乏一定的可靠性；基于人工神经网络或深度学习的方法尤其依赖于大量的实验数据，不适用于土木工程这类高风险且数据采集困难的场景，同时此类方法的模型训练困难，容易陷入局部最优或者出现模型过拟合情况；基于svm或lr的方法极容易受到异常值的影响，以至于预测精度和实际结果相差较大，且lr方法难以拟合hpc各组成成分之间复杂的线性关系。同时，现有预测方法整体上都是一个黑箱模型，缺乏可解释性，无法明确知晓每条数据样本对抗压强度的具体影响，不利于对实际工程项目的具体指导。


技术实现要素：

8.因此，针对目前hpc(高性能混凝土)抗压强度预测方法对人工经验依赖性强、数据需求量大且模型训练过程复杂、模型预测结果精度不高、模型预测结果缺乏可解释性的问
题，本发明提出了一种适用于普通混凝土尤其适用于hpc抗压强度的精准预测的方法。
9.实现本发明目的之一的一种基于模型融合的hpc抗压强度预测方法，包括如下步骤：
10.s1、根据采集的hpc的历史参数数据分别对第一预测模型和第二预测模型进行训练，分别得到训练完成的用于预测hpc抗压强度的第一预测模型和第二预测模型；所述hpc即高性能混凝土；
11.s2、对训练完成的第一预测模型和第二预测模型进行复合运算得到hpc抗压强度预测的融合模型，所述hpc抗压强度预测的融合模型输出最终的hpc抗压强度的预测结果。
12.进一步的技术方案包括，所述步骤s2后还包括步骤s3：
13.s3、利用第一算法对所述hpc抗压强度预测的融合模型进行解释分析，得到每一种hpc参数的成分含量对hpc抗压强度预测的融合模型输出的hpc抗压强度的贡献值；所述贡献值用于度量hpc的各成分含量对hpc的抗压强度的预测值是否具有增强hpc抗压强度的效果，其用于指导实际的混凝土配合比设计。
14.进一步的技术方案包括：所述第一算法为基于shap可解释性算法。所述贡献值用shapley value表示，并简记为ψ，其定义如下：
[0015][0016]
式中：
[0017]
s为待解释模型输入的特征子集，即输入到hpc抗压强度预测的融合模型的混凝土参数集合；
[0018]
xj为待解释样本的第j个特征变量；即第j个混凝土参数；
[0019]
p为特征总数，即混凝土参数的总个数；
[0020]
val
x
(s)表示以s为输入特征的时候，模型对样本x的预测结果，即模型输出的抗压强度结果，其中x为样本，x的元素记为xi,xi就是第i个特征变量对应的取值；
[0021]
shap值表示第j个特征对于模型输出结果的重要性程度，即边际贡献，而shapley value就是各边际贡献的均值。对于hpc抗压强度预测的融合模型的模型解释结果定义如下式：
[0022][0023]
式中：
[0024]
g是待解释的抗压强度预测模型，即hpc抗压强度预测的融合模型；
[0025]
z'∈{0,1}m为组合向量，代表特征zj(j∈[1,m])是否存在，其中zj为输入到融合后的hpc抗压强度的预测模型的第j个混凝土参数，z'用于标识z1～zm在输入到hpc抗压强度预测的融合模型的参数集合中是否存在；
[0026]
m为组合特征个数，即输入到hpc抗压强度预测的融合模型的混凝土参数个数；
[0027]
为特征j的特征归因shapley value，即第j个参数对hpc抗压强度预测的融合模型的预测结果，即对抗压强度的贡献值；
[0028]
ψ0为hpc抗压强度预测的融合模型的平均预测结果，即抗压强度预测结果的均
值。
[0029]
shapley value度量了特征对于总体预测结果的贡献，ψj》0时，说明该特征对抗压强度的预测值具有积极提升效果，即有增强hpc抗压强度的效果。
[0030]
shap全局特征重要性即为每个特征的shapley value绝对值求和的平均，即
[0031]
进一步的技术方案包括：所述步骤s2中，得到hpc抗压强度预测的融合模型的方法包括采用加权平均法对第一预测模型和第二预测模型进行复合运算。
[0032]
更进一步地技术方案包括：所述采用加权平均法对第一预测模型和第二预测模型进行复合运算的方法包括：
[0033]
minimiz e(loss)s.t.w1 w2＝1 and w1≥0,w2≥0
[0034]
式中：
[0035]
w1表示第一预测模型的权重；
[0036]
w2表示第二预测模型的权重；
[0037]
loss为hpc抗压强度预测的融合模型h(x)的损失函数；其计算方法如下：
[0038][0039]
式中：
[0040]
n为为样本容量，即所收集得到的混凝土样本数据总条数；
[0041]
为第i条样本对应的混凝土实际抗压强度；
[0042]
为hpc抗压强度预测的融合模型h(x)对第i条样本的混凝土抗压强度输出的预测值；
[0043]
h(x)的表达式如下：
[0044][0045]
式中：
[0046]
h(x)：表示hpc抗压强度预测的融合模型输出的最终预测的hpc抗压强度；
[0047]
w1、w2：分别表示第一预测模型和第二预测模型的权重；
[0048]
h1、h2：分别表示第一预测模型和第二预测模型所预测的混凝土的抗压强度。
[0049]
进一步的技术方案包括：所述第一预测模型基于adaboost算法对hpc的抗压强度进行预测。
[0050]
进一步的技术方案包括：所述第二预测模型基于catboost算法对hpc的抗压强度进行预测。
[0051]
进一步的技术方案包括：采用加权平均法对第一预测模型和第二预测模型进行模型融合时，基于catboost算法的第二预测模型的权重大于基于adaboost算法的第一预测模型的权重。
[0052]
进一步的技术方案包括：所述步骤s2之前还包括采用贝叶斯优化方法对所述第一预测模型和第一预测模型进行超参数调优；并对参数调整后的模型进行交叉验证；所述超参数包括棵树和深度，对超参数调优后得到调优后的用于预测hpc抗压强度的第一预测模型和第二预测模型。
[0053]
adaboost模型和catboost模型都是基于树的集成模型，二者的基模型都是树(decision tree)、即很多个基模型(即很多棵树)一起构成集成模型adaboost和catboost，adaboost和catboost整体是基于boosting集成学习框架的。adaboost模型和catboost模型的棵树就是decision tree树的个数；adaboost模型的深度和catboost模型的深度就是adaboost模型的层数和catboost模型的层数；
[0054]
进一步的技术方案包括：步骤s1中还包括对采集的hpc的历史参数数据通过特征构造的方式得到新的特征参数，用于扩充数据集，使预测的hpc的抗压强度更准确；所述特征构造方式即结合工程经验对不同的混凝土参数进行数学计算得到不同的混凝土参数的比值关系。
[0055]
实现本发明目的之二的一种基于模型融合的hpc抗压强度预测系统，包括模型训练模块和模型复合运算模块；
[0056]
所述模型训练模块用于根据采集的hpc的历史参数数据分别对第一模型和第二模型进行训练，分别得到训练完成的用于预测hpc抗压强度的第一预测模型和第二预测模型；
[0057]
所述模型复合运算模块用于对训练完成的用于预测hpc抗压强度的第一预测模型和第二预测模型输出的hpc抗压强度进行复合运算，得到hpc抗压强度预测的融合模型，hpc抗压强度预测的融合模型输出最终的hpc抗压强度的预测结果。
[0058]
进一步地，所述模型复合运算模块中，采用加权平均法对第一预测模型和第二预测模型输出的hpc抗压强度进行复合运算。
[0059]
进一步地，还包括参数调优模块，用于分别对训练完成的用于预测hpc抗压强度的第一预测模型和第二预测模型进行超参数调优，得到参数优化后的第一预测模型和第二预测模型，同时对调优后的抗压强度预测模型进行交叉验证；所述交叉验证方法包括五折交叉验证；
[0060]
进一步地，还包括模型解释分析模块，用于利用第一算法对所述hpc抗压强度预测的融合模型进行解释分析，得到每一种hpc参数的成分含量对hpc抗压强度的影响。
[0061]
进一步地，还包括异常值处理模块，用于对所采集的混凝土的历史参数数据中的异常值进行检测；所述异常值检测的方法包括采用基于k-means 聚类与孤立森林相结合的算法。
[0062]
其中k-means 算法步骤如下：
[0063]
a)初始化一个空的集合m,用于存储初始聚类中心；
[0064]
b)从初始样本中随机选择第一个聚类中心μ
(j)
，并将其指派到集合m中；
[0065]
c)对每个样本x(i)(该样本不属于集合m)，求出其与集合m中所有初始聚类中心的最小平方距离d(x(i),m)2；
[0066]
d)基于加权概率分布随机选择下一个质心μ
(p)
；
[0067]
e)重复上述步骤b、c,直到选出了k个聚类中心；
[0068]
f)基于上述集合m，继续使用经典的k-means算法；
[0069]
g)根据sse，即残差平方和选择具有最佳性能的k-means模型，从而得到最佳聚类中心；
[0070]
结合上述所得k个聚类中心，利用孤立森林算法进行数据集的异常值检测。
[0071]
孤立森林算法是基于划分和集成学习的异常值检测算法，若不经过前期的聚类分析，直接使用孤立森林算法进行异常值检测，则会面临计算量大、运行周期长、划分过程人为性太强的问题。基于k-means 算法进行数据聚类分析能极大提升孤立森林算法的检测效率。
[0072]
有益效果：
[0073]
(1)采用了基于集成学习的方式建立混凝土抗压强度预测模型，并进一步对集成模型进行了再次融合，此种群体决策的建模方式不仅提高了模型预测精度，更克服了传统神经网络模型难以训练且对数据量具有很高需求的缺陷；同时相较于使用单个模型的预测结果，多模型结果的综合平均更具有可靠性；
[0074]
(2)基于统计机器学习方法的hpc抗压强度预测方法，测试周期短，精度高，同时测试成本低，比传统的经验公式法、试验法等具有更强的工程可行性；
[0075]
(3)本发明将模型融合与shap可解释性算法相结合，用于混凝土抗压强度的预测，克服了传统方法建模过程的不可预见性与黑箱性，更是结合shap可解释性分析为混凝土工程的发展提供了便利，有利于更确切了解各组成成分对抗压强度的具体影响；
[0076]
(4)混凝土参数数据的异常值处理过程，采用了k-means 聚类与孤立森林相结合的方式，克服了直接使用孤立森林方法进行处理所面临的高计算复杂度和数据划分的人工依赖性；
[0077]
(5)本发明通过特征工程手段实现了对数据集的扩充，新构建了如水灰比、水胶比等比例特征，有利于避免模型过拟合。
附图说明
[0078]
图1为本发明的hpc抗压强度预测模型建模流程图；
[0079]
图2为本发明的hpc抗压强度预测模型模型拟合效果图一；
[0080]
图3为本发明的hpc抗压强度预测模型模型拟合效果图二；
[0081]
图4为本发明的hpc抗压强度预测模型模型融合过程示意图；
[0082]
图5为本发明的shap模型可解释性算法的单样本解释结果示意图一；
[0083]
图6为本发明的shap模型可解释性算法的单样本解释结果示意图二；
[0084]
图7为本发明的shap模型可解释性算法的在整个数据集上的解释结果示意图。
具体实施方式
[0085]
下列具体实施方式用于对本发明权利要求技术方案的解释，以便本领域的技术人员理解本权利要求书。本发明的保护范围不限于下列具体的实施结构。本领域的技术人员做出的包含有本发明权利要求书技术方案而不同于下列具体实施方式的也是本发明的保护范围。
[0086]
如图1所示，本实施例包括如下步骤：
[0087]
步骤1、采集高性能混凝土相关参数数据在混凝土工厂、搅拌站等现场采集混凝土相关参数数据，所述混凝土相关参数数据包括但不限于水泥含量、粉煤灰含量、矿渣含量、减水剂含量、粗/细骨料含量、水含量、养护期、温度、坍落度，构成样本集其中水泥含量、粉煤灰含量、矿渣含量、减水剂含量、粗/细骨料含量、水含量的单位均为(kg/m3)，即每立方米混凝土中对应成分的质量；养护期的单位是day(天数)、温度单位是℃(摄氏度)、坍落度单位是mm(毫米)，均可在配置混凝土时称重或测量得到；
[0088]
同时，将每个样本所对应的实际抗压强度作为目标变量从而构建实验数据集数据构建完成后，将数据集存放于本地磁盘或者关系型数据库中；
[0089]
步骤2、探索性数据分析与数据清洗
[0090]
利用可视化和统计分析等手段，对数据集进行初步探索了解。结合可视化分析结果，对所采集的采集高性能混凝土相关参数数据中的缺失值、重复值、异常值等进行处理，同时了解数据分布情况。对缺失值较少(10％以内)且对应特征极值相差不大的特征变量，其缺失值采用均值填充；对缺失值较少且其对应特征极值相差较大的特征变量，其缺失值采用中位数填充；对缺失值比例达到10％-50％左右的特征变量，其缺失值采用基于决策树算法方式进行预测填充；对缺失值比例达到50％以上的特征变量予以剔除；对数据集中的重复值进行删除；
[0091]
步骤3、混凝土数据异常值处理与数据变换
[0092]
步骤3.1、数据变换
[0093]
对特征值极值相差较大的特征变量进行归一化处理，本实施例中所述归一化处理采用对异常值具有鲁棒性的robust scaler方法处理，该方法步骤如下：
[0094]
a)计算待处理数据的分位数，其中移除分位数(即中位数)，然后存储相应分位数；
[0095]
b)计算iqr，其定义为分位数与分位数的差值；
[0096]
c)利用iqr对特征变量进行缩放以达到统一尺度；
[0097]
根据数据可视化结果，对不满足当前算法归纳偏置的数据集或特征变量进行对数变换，即对相应特征变量值加1后取对数，从而使得各特征变量的分布更趋近于正态分布，避免数据分布的偏态对模型预测结果产生不利影响；
[0098]
步骤3.2、异常值处理
[0099]
对数据集的异常值采用箱线图与聚类 孤立森林相组合的方式进行处理，其中，箱线图boxplot用于异常值处理前后的效果对比与处理效益的确认；本实施例所采用的是基于k-means 聚类算法 孤立森林的异常值检测，k-means 算法通过将初始质心放置在远离彼此的位置，从而产生比传统k-means更加一致的结果。
[0100]
步骤4、混凝土数据特征工程
[0101]
由于步骤1中所采集得到的原始数据集中仅包含了组成hpc的各成分的数值含量，没有具体的含量配比关系；因此进一步通过特征构造的方式(即，结合工程经验经不同成分的数值特征进行数学计算)扩充数据集。例如将原始特征“水含量”与“水泥含量”求比值关
系，进而得到水灰比；通过“水含量”与“(水泥含量 矿渣含量 粉煤灰含量)简称凝胶”求比值关系，进而得到水胶比；通过特征工程，新构造得到的特征如下表1所示：
[0102][0103]
表1
[0104]
步骤5、混凝土抗压强度预测模型构建与评估
[0105]
基于上述预处理与特征工程之后的数据集，以8:2的比例划分训练集和测试集，基于boosting框架，分别建立基于adaboost算法的第一预测模型和基于catboost算法的第二预测模型。同时，结合5折交叉验证，利用回归模型评估指标分别对第一预测模型和第二预测模型性能进行评估。其中，本实施例所采用的评估指标分别定义如下：
[0106][0107][0108][0109][0110][0111]
式中：
[0112]
n为所收集得到的混凝土样本数据总条数；
[0113]
i为样本编号，即第几条样本；
[0114]
为模型对第i条样本所预测的抗压强度值，即预测值；
[0115]
为第i条样本所对应的实际抗压强度值，即观测值；
[0116]
步骤6、混凝土抗压强度预测模型参数调优
[0117]
结合上述模型性能的评估结果，利用贝叶斯优化的方法进行第一预测模型和第二预测模型的超参数调优，从而进一步提升模型性能；其中，调整的部分关键超参数包括基模型树的棵树、集成模型树的深度，贝叶斯优化的过程以模型误差为目标函数，通过参数的组合，找到对应误差最小的参数。
[0118]
步骤7、第一预测模型与第二预测模型融合
[0119]
如图2所示为基于catboost算法的第二预测模型在测试集上的拟合效果图，图3所示为基于adaboost算法的第一预测模型在测试集上的拟合效果图。从图中可看出，基于catboost算法的第二预测模型对抗压强度的预测效果明显优于基于adaboost算法的第一预测模型的预测效果；
[0120]
为了提升模型预测结果的可靠性，采用群体决策的方式对多个模型预测的结果进行集成，在模型决策层面进行融合，提升模型预测结果的准确性，如图4所示，本实施例中采用加权平均法对catboost模型与adaboost模型进行模型融合，并在融合过程中赋予了catboost模型更大的权重。
[0121]
加权平均模型融合过程如下：
[0122]
将基于adaboost算法的第一预测模型与基于catboost算法的第二预测模型作为基模型h(x)，记hpc抗压强度预测的融合模型为h(x),表示如下：
[0123][0124]
式中：
[0125]
wi：表示第i个基模型的权重，在本实施例中，wi≥0且满足
[0126]hi
(x)：表示第i个基模型所预测的hpc的抗压强度；
[0127]
t：表示要进行模型融合的基模型个数，本实施例中的基模型为adaboost与catboost，因此t等于2；
[0128]
h(x)：表示混凝土的抗压强度的最终预测结果。
[0129]
其中，基模型的融合权重wi的确定过程如下：
[0130]
结合rmse定义融合模型的损失函数如下：
[0131][0132]
式中：
[0133]
n为为样本容量，即所收集得到的混凝土样本数据总条数；
[0134]
为第i条样本对应的混凝土实际抗压强度；
[0135]
为hpc抗压强度预测的融合模型h(x)对第i条样本的混凝土抗压强度的预测值；
[0136]
因此，融合模型的最终优化目标定义如下：
[0137]
minimiz e(loss)s.t.w1 w2＝1 and w1≥0,w2≥0
ꢀꢀꢀ
式(8)
[0138]
式中：
[0139]
loss为集成模型h(x)的损失函数；
[0140]
s.t为约束条件的缩写；
[0141]
w1和w2为基模型catboost和adaboost的融合权重；
[0142]
minimize表示最小化；
[0143]
通过求解式(8)所示的带约束的最小优化问题，得到了基模型的融合权重w。
[0144]
步骤8、基于shap的混凝土抗压强度预测模型可解释性分析
[0145]
通过前述的模型构建与评估、模型参数调整与模型融合，得到了具有良好预测能力的混凝土抗压强度预测模型。进一步，本实施例结合shap模型可解释性算法对模型预测结果进行解释分析，从而更好地了解每一个特征值对于模型预测的混凝土的抗压强度的影响。将该影响用shapley value表示，并简记为ψ，定义如下：
[0146][0147]
式中：
[0148]
s为待解释模型输入的特征子集，即输入到hpc抗压强度预测的融合模型的混凝土参数集合；
[0149]
xj为待解释样本的第j个特征变量；即第j个混凝土参数；
[0150]
p为特征总数，即混凝土参数的总个数；
[0151]
val
x
(s)表示以s为输入特征的时候，待解释模型对样本x的预测结果，即待解释模型输出的抗压强度结果，其中x为样本，x的元素记为xi,xi就是第i个特征变量对应的取值；
[0152]
shap值，就是第j个特征对于待解释模型输出结果的重要性程度，即边际贡献，而shapley value就是各边际贡献的均值。对于待解释模型的模型解释结果定义如下：
[0153][0154]
式中：
[0155]
g是待解释的模型，在本实施例中即catboost和adaboost融合之后的hpc抗压强度预测的融合模型h(x)；
[0156]
z'∈{0,1}m为组合向量，代表特征zj(j∈[1,m])是否存在，其中zj在本实施例中为输入到hpc抗压强度预测的融合模型的第j个混凝土参数，z'用于标识z1～zm在输入到hpc抗压强度预测的融合模型的参数集合中是否存在；
[0157]
m为组合特征个数，即输入到待解释的模型g的输入参数的个数；
[0158]
为特征j的特征归因shapley value，即第j个参数对待解释的模型g的预测结果，本实施例中即对抗压强度的贡献值；
[0159]
ψ0为待解释的模型g平均预测结果，本实施例中即hpc抗压强度预测的融合模型输出的抗压强度预测结果的均值。
[0160]
shapley value度量了特征对于总体预测结果的贡献，ψj》0时，说明该特征对预测值具有积极提升效果，即有增强抗压强度的效果。
[0161]
shap全局特征重要性即为每个特征的shapley value绝对值求和的平均，即其中，本实施例利用shap算法进行模型可解释性分析的部分图表示例见图5～7；
[0162]
图5为第一条样本的shap局部解释，图6为第十条样本的shap局部解释；图中，模型平均预测结果为35.25mpa，模型对第一条样本的抗压强度预测结果为76.17mpa。模型对第10条样本的抗压强度预测结果为38.73mpa。基于模型预测结果和实际观测结果，以及各参
数的取值情况，可以实现对混凝土配合比的设计提供指导。
[0163]
图7为shap全局解释摘要图，y轴从上到下按贡献度大小依次排列了影响抗压强度的各特征因素；其中，养护期、水灰比、水泥含量为前三个对hpc抗压强度有显著影响的因素，其次是水、水胶比等。x轴为各因素对抗压强度预测模型预测结果的平均影响值。在当前实验结果中，随着养护期的增加，抗压强度平均会有8mpa的增加。
[0164]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0165]
本技术实施例还提供一个所述系统的实施例，包括模型训练模块和模型复合运算模块；
[0166]
模型训练模块用于根据采集的hpc的历史参数数据分别对第一模型和第二模型进行训练，分别得到训练完成的用于预测hpc抗压强度的第一预测模型和第二预测模型；
[0167]
模型复合运算模块用于对训练完成的用于预测hpc抗压强度的第一预测模型和第二预测模型输出的hpc抗压强度进行复合运算，得到hpc抗压强度预测的融合模型，hpc抗压强度预测的融合模型输出最终的hpc抗压强度的预测结果。
[0168]
模型复合运算模块中，采用加权平均法对第一预测模型和第二预测模型输出的hpc抗压强度进行复合运算。
[0169]
在另一个实施例中还包括模型解释分析模块，用于利用第一算法对所述hpc抗压强度预测的融合模型进行解释分析，得到每一种hpc参数的成分含量对hpc抗压强度的影响。
[0170]
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。