一种基于预训练TabPFN模型的路面平整度预测方法

摘要: 本发明属于道路工程数字化养护相关,更具体地,涉及一种基于预训练tabpfn模型的路面平整度预测方法。背景技术:1、国际平整度指数(iri)是评价路面行驶质量与行...
一种基于预训练TabPFN模型的路面平整度预测方法

本发明属于道路工程数字化养护相关,更具体地,涉及一种基于预训练tabpfn模型的路面平整度预测方法。

背景技术:

1、国际平整度指数(iri)是评价路面行驶质量与行车舒适性的核心指标,路面平整度的准确预测对于制定科学的公路养护计划、优化养护资金分配具有重要的决策支撑作用。

2、现有路面平整度预测方法按技术路线可大致分为以下几类:传统回归分析方法通过路面年龄、交通荷载等参数拟合iri演化规律,但难以刻画多因素耦合作用下的复杂退化过程;经典机器学习方法(如人工神经网络、支持向量机、随机森林及xgboost、catboost等梯度提升树变体)在数据质量较好、样本充足的条件下能够取得较高精度,已成为当前主流方法;深度学习方法(如卷积神经网络、长短期记忆网络等)能够自动提取高维抽象特征,在监测数据连续且质量较高的场景下展现出良好性能。

3、然而,在基层公路实际管理养护过程中,受检测资金、设备条件及监测能力限制,路面性能历史观测数据普遍存在以下问题:

4、第一,监测频次低、样本数量有限。基层公路网覆盖范围广、线路长,受限于检测资金和检测设备配置,难以对全线实施高频次、全覆盖的路面性能检测。部分路段的历史iri观测记录稀疏,可供建模的有效样本数量十分有限。在小样本条件下,传统机器学习模型和深度学习模型在训练过程中极易发生过拟合,导致模型泛化能力显著下降;集成学习模型虽具有一定鲁棒性,但在极端稀疏数据场景下其预测稳定性仍难以保证。

5、第二,关键特征存在缺失。受传感器故障、数据记录遗漏或检测条件限制等因素影响,历史观测数据中常存在部分关键特征缺失的情况。现有大多数预测方法要求输入特征完整,缺失值通常需要依靠插补或删除处理,这不仅增加了数据预处理的工作量,也可能引入额外偏差,影响预测结果的可靠性。

6、第三,跨区域泛化能力不足。不同区域的路面结构设计、交通荷载特征和气候条件存在显著差异,现有模型通常在特定数据集上训练后难以有效迁移至其他区域。当应用于数据分布不同的新路段时,预测精度和稳定性往往出现明显下降。

7、近年来,表格先验数据拟合网络(tabular prior-data fitted network,tabpfn)作为一种新兴的表格数据建模方法受到关注。tabpfn通过在大量合成因果数据上进行离线预训练,将通用先验知识固化于模型参数之中,推理阶段无需针对下游数据进行梯度更新即可完成预测。然而,现有tabpfn相关技术主要面向通用表格数据预测,将其应用于基层公路稀疏监测工况下的路面平整度预测时,仍需进一步解决路面物理特征适配及部分特征缺失条件下的稳定推理问题。

8、因此,有必要提供一种能够在小样本及特征缺失条件下保持较好预测稳定性的路面平整度预测方法,以弥补现有技术在数据稀疏场景下的不足。

技术实现思路

1、针对现有技术的以上缺陷或改进需求,本发明提供了一种基于预训练tabpfn模型的路面平整度预测方法,其目的在于利用在合成因果数据上完成离线预训练的模型先验,通过上下文学习机制在单次前向传播过程中完成推断,在无需针对下游稀疏样本进行梯度更新的情况下,实现路面平整度预测,从而降低小样本条件下的过拟合风险,由此解决现有技术在小样本、低监测频次及关键特征缺失条件下预测稳定性不足的技术问题。

2、为实现上述目的,按照本发明的一个方面,提供了一种基于预训练tabpfn模型的路面平整度预测方法,包括以下步骤:

3、s1:获取稀疏工况下的多维路面服役状态数据作为原始物理特征,所述路面服役状态数据包括沥青面层厚度、累计当量轴载作用次数、年均气温、年降水量、年冻结指数以及历史观测的国际平整度指数iri记录;其中,具有已观测iri值的路面服役状态数据作为历史样本,待预测路段对应时段的iri作为预测目标,所述路面服役状态数据中允许存在部分特征缺失;

4、s2:对步骤s1获取的原始物理特征执行先验分布对齐处理,基于分位数变换,利用高阶分位数映射将呈长尾分布的物理量转换至tabpfn模型底层依赖的特征空间,将对齐后的二维结构化表格数据重构为适配transformer架构的高维输入张量,将包含历史样本编码为上下文提示集序列,将待预测路段的特征向量编码为查询集序列,所述查询集序列中的iri为待预测项;

5、s3:加载本地化部署的网络预训练权重文件,所述权重文件包含已完成优化的transformer编码器参数与多头注意力参数,将步骤s2生成的上下文提示集序列与查询集序列合并输入tabpfn模型,模型参数保持冻结,不执行梯度回传或权重更新;

6、s4:基于步骤s2构建的上下文提示集序列和查询集序列,利用步骤s3加载的预训练tabpfn模型执行推理,计算查询集序列中每一待测样本与提示集序列中所有历史样本之间的关联关系,基于所述关联关系对提示集中的待预测项进行加权聚合,在单次前向传播过程中直接近似求解输出待测样本的后验预测分布结果;

7、s5:对步骤s4输出的后验预测分布结果进行解析,提取后验期望值作为路面平整度的确定性预测值,同时生成反映模型不确定性的置信区间,为后续养护决策提供风险参考;

8、s6:对步骤s5获得的路面平整度预测值采用shap归因算法进行特征解释,计算各原始物理特征对当前预测结果的边际贡献度,输出包含平整度预测值、置信区间及特征归因权重的结构化养护辅助决策结果。

9、优选地,步骤s2具体包括以下步骤:

10、s21:针对非缺失的原始物理特征,依据各特征的经验分布进行分位数变换,将呈长尾或偏态分布的累计当量轴载作用次数、年总降水量物理量映射至与预训练tabpfn模型先验相适配的特征空间;

11、s22:将历史路段样本的变换后特征及其已观测iri值构造成上下文提示集,将待预测路段的变换后特征构造成查询集,并将查询集对应的iri设置为待预测项。

12、优选地,步骤s2中所述先验分布对齐处理采用高阶分位数映射,将物理量从原始分布转换至模型底层依赖的特征空间,以消除不同物理量纲和分布形态对模型推理的影响。

13、优选地,步骤s4中所述后验预测分布的表达式为:

14、

15、式中,表示包含历史路段特征及对应实测iri值的历史观测样本集合,表示待测样本的输入特征,表示待预测路段的iri值,表示预训练后的tabpfn模型。

16、优选地,在步骤s4的推理过程中,预训练tabpfn模型基于待测样本与历史样本之间的关联关系,对提示集中的待预测项进行加权聚合,其自注意力计算过程表示为:

17、

18、其中,表示待测样本的查询表示,表示历史观测样本的键表示,表示历史观测样本的值表示,表示的转置,表示键表示的维度,为基于权重对历史样本信息进行加权聚合,为用于将关联得分归一化为注意力权重。

19、优选地,步骤s6中所述特征归因权重用于量化致灾因素与抗力因素的动态耦合关系,其中年冻结指数与年均气温呈正向致损效应,沥青面层厚度呈负向保护效应。

20、优选地,步骤s1中所述路面服役状态数据通过历史台账调取或便携式检测设备获取,所述特征缺失包括因漏检或传感器故障导致的数据缺失。

21、按照本发明的另一方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。

22、总体而言,通过本发明所构思的以上技术方案与现有技术相比,本发明提供的一种基于预训练tabpfn模型的路面平整度预测方法主要具有以下有益效果:

23、1.小样本推断稳定性较好。利用离线预训练固化在模型参数中的先验知识,并结合历史样本构成的上下文提示集进行单次前向推理,无需针对下游稀疏样本进行梯度更新,能够降低小样本条件下传统模型反复训练导致过拟合的风险。

24、2.特征缺失条件下仍具有预测能力。对于存在漏检、传感器故障或台账缺失的路面服役特征,模型能够结合其余非缺失特征与上下文提示集中的历史样本信息进行推理,减少常规插补或删除样本处理可能引入的额外偏差。

25、3.数据分布适配性较好。通过对呈长尾或偏态分布的路面物理特征进行高阶分位数映射,减小原始路面数据分布与预训练模型先验特征空间之间的差异,有利于提高模型在不同路面服役数据条件下的推理稳定性。

26、4.预测结果具有可解释性。通过shap归因分析计算各路面结构、交通荷载和气候环境特征对iri预测结果的贡献度,为分析不同因素对路面平整度预测结果的影响提供参考。