基于XGBoost-SHAP可解释模型的森林火灾易发性评估方法及系统

摘要: 本发明属于火灾风险评估,涉及一种基于xgboost-shap可解释模型的森林火灾易发性评估方法及系统。背景技术:1、森林火灾是全球范围内对生态环境、社会经济和人...
基于XGBoost-SHAP可解释模型的森林火灾易发性评估方法及系统

本发明属于火灾风险评估,涉及一种基于xgboost-shap可解释模型的森林火灾易发性评估方法及系统。

背景技术:

1、森林火灾是全球范围内对生态环境、社会经济和人类安全构成严重威胁的自然灾害之一。随着全球气候变化加剧、极端天气频发,森林火灾的发生频率和强度呈上升趋势,火灾防控形势日益严峻。因此,开展科学、精准的森林火灾风险评估研究,成为提升森林防火能力、优化资源调配和制定防控策略的关键基础。

2、当前,森林火灾风险评估研究已从早期的经验统计模型逐步发展为结合遥感、地理信息系统与机器学习技术的多因子综合评价体系。国内外学者普遍采用逻辑回归、随机森林、支持向量机等机器学习方法,结合气象、地形、植被和人类活动等驱动因子,构建火灾易感性预测模型。

3、现有研究推动了火灾风险评估从定性描述向定量化、空间化方向发展,然而,仍存在若干关键问题亟待解决:首先,大多数评估模型未充分考虑植被类型的异质性对火灾发生机制的影响, 如常绿阔叶林、落叶阔叶林、针叶林等不同植被类型在可燃物组成、含水率、燃烧特性等方面存在显著差异,导致火灾发生的主导因子和风险空间格局各不相同。现有研究多将全区植被视为同质整体进行建模,忽略了植被类型的分类评估,导致模型预测精度受限,难以真实反映不同类型林区的火灾风险特征。

4、其次,当前研究多集中于火灾易感性评估,缺乏对火灾潜在后果的系统集成。 现有评估体系普遍忽视火灾对生态系统服务、人口安全、经济发展等方面的潜在影响,导致风险区划结果偏向于“发生概率高”的区域,而可能忽略那些“发生概率中等但后果严重”的高风险区域。

5、再者,多数机器学习模型存在“黑箱”特性,决策过程难以解释,不利于火灾因子的机理分析和防控决策支持。 同时,研究多基于静态或年尺度数据,未能充分考虑火灾风险的季节动态变化,导致评估结果难以适应不同季节的防火调度需求。

技术实现思路

1、本发明的目的是针对现有的技术存在上述问题,提出了一种基于xgboost-shap可解释模型的森林火灾易发性评估方法及系统。

2、为了达到上述目的,本发明的基础方案为:一种基于xgboost-shap可解释模型的森林火灾易发性评估方法,包括如下步骤:

3、s1,获取目标区域在预设历史时期内的多源数据,并进行预处理,得到植被类型空间分布数据集;

4、s2,依据植被类型空间分布数据集,将森林植被划分为独立类别,包括:常绿阔叶林、落叶阔叶林、针叶林;

5、s3,针对森林植被的每个独立类别,分别构建基于xgboost的野火易感性模型,并进行模型的超参数调优,利用shap(沙普利加法解释)可解释性分析方法量化各驱动因子的贡献度与影响方向,生成多季节的易感性动态图谱;

6、s4,构建综合反映生态、社会与经济脆弱性的评估模型,采用ahp-pca-最小相对信息熵组合赋权法确定因子权重,并通过变异系数与趋势分析实现脆弱性的动态评估;

7、s5,基于易感性与脆弱性评估结果,进行综合危险性评价与空间区划,形成融合“发生概率-潜在损失”的双维度风险图谱,支持多季节、多植被类型的差异化森林火灾风险管理。

8、本基础方案的工作原理和有益效果在于:本技术方案提出按植被类型分异的森林火灾危险性精细化评估框架,将不同森林类型分别建模,突破了传统方法将异质林区均质化评估的局限。

9、在森林火灾风险评估中系统应用shap可解释性框架,破解了机器学习模型“黑箱”问题,实现了对各驱动因子贡献度与影响方向的量化解析。提出"发生概率-潜在损失"双维度耦合的危险性评估方法,将火灾易感性(概率)与脆弱性(后果)融合,实现从单一概率预测向综合风险评估的范式转变。

10、进一步,对目标区域在预设历史时期内的多源数据进行预处理的方法为:

11、从卫星平台nasa、firms获取原始火点产品vnp14imgn,依据内置的“置信度”与“火点类型”字段,筛选出高可信度的植被燃烧点,并利用研究区的矢量边界进行空间裁剪,剔除无关及低质量记录;

12、设定空间缓冲与时间窗口,对落入该空间缓冲内的多个火点进行聚合,将其视为单一起火事件,并取聚合后的多个火点所构成点集的中心点或最早记录点作为该事件的代表样本,确保样本独立性,避免过拟合;

13、将聚合后的火点与高分辨率植被类型图进行空间叠加分析,为每个火点赋予其所在像元的植被类型属性,具体为:

14、计算火点与植被类型图的空间位置关系,将每个火点所在位置的植被类型属性提取并赋值给该火点,为后续按照不同植被类型分别建模提供数据基础;

15、完成时间维度解构与样本集组织:根据火点的观测日期,将其划分至对应年份及气候季节:春、夏、秋、冬,输出一个结构化的、包含空间坐标、植被类型、季节及年份标签的火点样本数据库,火点样本数据库作为正样本,将其与在相应植被类型区内随机生成的负样本结合,共同构成植被类型空间分布数据集。

16、通过置信度和火点类型筛选,剔除了低质量数据,保证了建模样本的可靠性。通过设定空间缓冲与时间窗口对火点进行聚合处理,有效克服了卫星重访造成的同一火灾多次记录问题,确保了样本的独立性,避免了模型过拟合,为后续高精度建模奠定了坚实的数据基础。

17、进一步,针对森林植被的每个独立类别,分别构建基于xgboost的野火易感性模型,并采用贝叶斯优化进行超参数调优,具体步骤为:

18、针对每种植被类型,从植被类型空间分布数据集中提取预设的驱动因子,并进行多重共线性诊断与筛选,确保输入因子的独立性;

19、采用梯度提升方法逐步优化预测误差,通过生成一系列弱学习器并加权累加其预测结果,最终形成强学习器,选用n_estimators(弱学习数量)、max_depth(树的最大深度)、learning_rate(学习率)、subsample(样本采样比例)和colsample_bytree(特征/列采样比例)参数参与调优,具体为:

20、使用scikit-optimize框架对xgboost模型进行超参数调优,定义超参数及其取值范围,通过初始采样方法获取若干点及对应的目标函数值,利用高斯过程构建代理模型近似目标函数,具体为:

21、在开始正式的贝叶斯优化迭代之前,采用随机搜索方式从超参数空间中随机选择若干组参数组合,并分别训练模型以获得其性能指标,即目标函数,作为构建初始代理模型的数据基础;

22、将已有的超参数组合与对应的模型精度作为观测数据,通过该目标函数计算不同参数组之间的相似度,对整个超参数空间上任意未知点的目标函数值进行概率预测,输出其期望值(均值)和不确定程度(方差);

23、通过采集函数选择下一个采样点,对其目标值进行评估并更新代理模型,直至找到目标函数的最优值作为最优模型参数。

24、通过采用贝叶斯优化算法对xgboost模型的关键参数(如n_estimators, max_depth等)进行自动寻优,相较于传统的网格搜索或随机搜索,能够以更少的迭代次数找到全局最优参数组合,提高了调参效率和模型性能。

25、进一步,利用shap可解释性分析方法量化各因子的贡献度与影响方向,生成多季节的易感性动态图谱的步骤如下:

26、利用shap库的treeexplainer对训练好的bo-xgboost进行解释,计算每个样本各驱动因子的shap值,通过均值绝对shap值量化因子贡献度排名,通过shap值的正负判断影响方向,shap值>0 表示该驱动因子取值增加会提高火灾概率,<0表示会降低火灾概率;

27、将数据按春夏秋冬拆分,分别输入野火易感性模型进行预测得到连续概率值,在arcgis中采用自然间断点法将概率值重分类为五个易感性等级:极低易感、低易感、中易感、高易感、极高易感,生成春夏秋冬四幅易感性空间分布图谱,并通过叠加历史火点验证其合理性,分析易感区域的时空动态变化规律;

28、引入shap模型解释工具,shap 预测值ypre为:

29、ypre=ybase+f(xi1)+f(xi2)+....+f(xin),

30、其中,xik为第i个样本的第k个特征;ypre为模型对该样本的预测值;ybase为整个模型的基线;

31、使用b1-b12代表各参与模型的驱动因子,针对不同植被类型模型进行分析,增强模型的可解释性和透明度,具体为:

32、为每种植被类型绘制shap贡献条形图对比各因子编码b1-b12的条形长度,识别出常绿阔叶林的核心驱动因子。图谱是通过模型预测输出的野火易感性概率值,在arcgis中经自然间断点法分级后生成的可视化空间分布图。

33、通过引入shap工具并计算各特征对预测结果的贡献值,量化解析温度、降雨等驱动因子在不同植被类型火灾风险中的具体影响方向和大小,将复杂的“黑箱”模型决策过程透明化。通过绘制shap贡献条形图,能够直观地识别出不同林区(如常绿阔叶林)火灾发生的核心驱动因子,极大地增强了模型的可解释性。

34、进一步,针对每种植被类型,从植被类型空间分布数据集中提取预设的驱动因子,并进行多重共线性诊断与筛选,确保输入因子的独立性的方法如下:

35、驱动因子包括气候因子,地形因子,植被因子,人口因子;

36、从植被类型空间分布数据集中,提取气候、地形、环境与人为活动四大类共13个关键驱动因子:温度、降雨、潜在蒸散发、高程、坡度、地形湿度指数、水流强度指数、坡向、曲率、土壤分类、归一化植被指数(ndvi)、生态环境质量、人口密度;

37、在arcgis平台中完成所有栅格数据的空间配准、裁剪与重采样处理,针对每种植被类型的空间分布数据,分别计算各驱动因子的方差膨胀因子(vif)和容忍度(tol),并依据vif<10且tol>0.1的标准进行多重共线性诊断与因子筛选,确保输入至机器学习模型的特征变量相互独立、稳定可靠,为后续高精度建模奠定坚实的数据基础:

38、,

39、其中,tol是衡量某个自变量与其他自变量之间线性相关程度的指标,反映了自变量对因变量独立性的程度;为回归模型的决定系数;vif值则为tol的倒数。

40、整合气候、地形、植被和人为活动四大类共13个关键驱动因子,全面地刻画了影响森林火灾发生的复杂环境。

41、进一步,构建综合反映生态、社会与经济脆弱性的评估模型,采用ahp-pca-最小相对信息熵组合赋权法确定因子权重,并通过变异系数与趋势分析实现脆弱性的动态评估,具体步骤如下:

42、整合植被类型空间分布数据集中的植被动态数据、社会脆弱性数据和经济脆弱性数据;

43、对整合的所有数据进行空间裁剪、重采样至统一分辨率及坐标系转换,构建空间对齐、时序一致的多维标准化数据集;

44、对多维标准化数据集中具有时间序列特征的植被动态数据和经济脆弱性数据进行趋势与稳定性分析,包括计算变异系数以评估其时间波动稳定性,以及进行线性趋势分析以识别其变化方向;

45、采用“主客协同、信息融合”的权重确定策略,确定森林火灾脆弱性评价中各驱动因子的最终权重;

46、采用线性加权求和模型作为脆弱性指数计算的核心方法,脆弱性指数(b)为:

47、,即评估模型;

48、其中,为野火脆弱性,表示第 i 个指标因子的数值,i为时间参数的序列数,表示该第 i个指标因子的组合权重,为总的研究年数。

49、通过整合植被动态、社会、经济等多源脆弱性数据,并采用线性加权求和模型进行集成,实现了对火灾潜在后果的全面量化评估。

50、进一步,对于给定的栅格像元,其时间序列上某一因子的变异系数cv为:

51、,

52、其中,为总的研究年数;为时间序列;为对应时间点的变量值;为变量平均值;

53、对于每个像元的时间序列数据,其变化趋势斜率slop通过一元线性回归计算:

54、,

55、当slop>0时,表示该像元对应的因子值呈上升趋势,即改善趋势;当slop<0时,表示该因子值呈下降趋势,即退化趋势;当slop≈0 时,表示无明显变化趋势。

56、通过明确变异系数cv和趋势斜率slope的计算公式,为动态脆弱性评估提供了精确的、可量化的数学方法。

57、进一步,采用“主客协同、信息融合”的权重确定策略,确定森林火灾脆弱性评价中各影响因子的最终权重的方法如下:

58、运用层次分析法(ahp),构建判断矩阵,并计算反映管理认知与区域特性的主观权重向量,具体为:

59、建立目标-准则-方案三层结构,基于管理认知和区域特性采用1-9标度法对同层因子两两比较打分构建判断矩阵,通过归一化计算初步权重,最后进行一致性检验(cr<0.1)确保逻辑合理,输出反映主观经验的主观权重向量;

60、采用主成分分析法(pca),对标准化后的多维标准化数据集进行统计分析,依据方差贡献提取主成分,并计算基于数据内在结构的客观权重向量,具体为:

61、将9个脆弱性因子(evi、gdp、npp、nx、dtr、rtr、rs、dtf、ul)的原始数据构建成样本矩阵,并进行标准化处理以消除量纲影响;

62、计算标准化数据的协方差矩阵,即相关系数矩阵,对其进行特征值分解,得到9个特征值:λ1≥λ2≥...≥λ9,及其对应的特征向量;

63、根据特征值计算各主成分的方差贡献率(如pc1贡献率0.316)和累积贡献率,选择累积贡献率超过85%的前k个主成分(前5个,累积贡献率0.852);

64、特征向量乘以特征值平方根,构建载荷矩阵,反映原始因子与主成分的相关程度;

65、以各主成分贡献率为权重,对载荷绝对值进行加权求和,得到每个因子的综合得分系数;

66、最后将综合得分系数归一化;

67、引入信息论中的最小相对信息熵原理作为优化准则,建立数学模型对主、客观权重向量进行融合计算,求解得到与两者偏差最小的综合权重向量:

68、,

69、,

70、,

71、其中,表示各评价指标的最终权重;和分别表示ahp法(层次分析法)确定的权重和pca法(主成分分析法)确定的权重。

72、采用“主客协同、信息融合”的权重确定策略,保证权重的合理性,主成分分析法(pca)基于数据的内在统计规律,客观地反映因子的贡献程度,避免纯主观赋权的随意性,实现主观经验与客观数据的科学融合与优化。

73、进一步,基于易感性与脆弱性评估结果,进行综合危险性评价与空间区划,形成融合“发生概率-潜在损失”的双维度风险图谱,支持多季节、多植被类型的差异化森林火灾风险管理,具体方法为:

74、通过地理信息空间叠加与分级区划,生成具有明确空间指向和季节差异的风险图谱,揭示不同植被类型在不同季节下的高风险区域分布:

75、r=s×v,

76、其中,为目标区域的野火危险;为目标区域的野火易感性;为目标区域的野火脆弱性;

77、将连续r值在arcgis平台(地理信息处理平台)中采用自然间断点法划分为五个等级:极低、低、中、高、极高,等级越高表示该区域火灾发生概率越大且潜在损失越严重,并通过频率比验证分级的合理性。

78、将易感性与脆弱性评估结果进行空间耦合,生成了融合“发生概率”与“潜在损失”的综合危险性图谱,直观地揭示了风险的空间分布规律。

79、本发明还提供一种基于xgboost-shap可解释模型的森林火灾易发性评估系统,包括数据采集单元和处理单元,所述数据采集单元用于获取目标区域在预设历史时期内的多源数据;

80、所述处理单元的输入端与数据采集单元的输出端连接,处理单元执行本发明所述方法,获取森林火灾易发性评估结果。

81、本系统通过数据采集单元和处理单元的协同工作,将复杂的数据处理、模型构建、风险计算与区划流程集成一体,实现从数据输入到风险评估结果输出的全过程自动化。