一种基于多传感器遥感的时序aod重构方法
技术领域
1.本发明属于遥感监测技术领域，具体涉及一种基于多传感器遥感的时序aod重构方法。
背景技术：
2.大气气溶胶是研究全球气候和大气环境的一个重要因子，是影响我国大气环境质量的主要污染物之一。aod作为大气气溶胶最重要的参数之一，是表征大气浑浊度或大气中气溶胶总含量的重要物理量。目前获取aod的方法主要包括地基观测和卫星遥感观测，地基观测具有精度高、时间连续性强的优点，但是空间覆盖性不足；卫星遥感观测具有动态、宏观、快速的优势，为获取大范围的时空覆盖、变化趋势及气溶胶输送源的信息提供了强有力的监测手段，空间覆盖性较好，但时间不连续，受云层覆盖、积雪或水等因素又存在丢失数据的现象而造成时空上的数据缺失。
技术实现要素：
3.本发明的目的在于提供一种基于多传感器遥感的时序aod重构方法，该方法有利于提供空间分辨率高、空间覆盖范围广和时间连续性强的aod产品，并提高卫星遥感监测气溶胶光学厚度的精度。
4.为实现上述目的，本发明采用的技术方案是：一种基于多传感器遥感的时序aod重构方法，包括以下步骤：
5.步骤s1、数据收集与预处理：收集地基站点aeronetaod数据、不同卫星aod产品、地形高程数据、气象数据产品，对不同卫星aod产品进行格式转换、重采样、重投影、裁剪和数值转化操作，实现不同卫星传感器监测的aod产品数据的一致，对地形高程数据、气象数据进行裁剪和重采样；
6.步骤s2、对预处理后的不同卫星aod产品进行融合，生成融合aod产品，其中融合后有值的称为有效aod数据；
7.步骤s3、对于融合aod产品，根据aod是否有值，结合年积日、地形高程数据、气象数据分别生成有效aod数据集和缺失aod数据集；
8.步骤s4、将有效aod数据集结合贝叶斯自动优化调参算法，找出集成学习catboost模型的最优超参数；
9.步骤s5、以有效aod数据集利用步骤s4获得的最优超参数进行catboost模型构建；
10.步骤s6、将缺失aod数据集输入步骤s5构建的catboost模型对缺失aod数据进行重构，生成重构aod数据；
11.步骤s7、结合地基站点aeronetaod数据，对重构aod数据进行验证；
12.步骤s8、对重构aod数据和有效aod数据进行合并，形成时空覆盖完整的aod产品。
13.进一步地，所述步骤s1具体实现如下：
14.步骤s11、收集研究区内地基站点观测的aeronetaod数据；
15.步骤s12、收集不同卫星aod产品，包括：nasa联合利用terra和aqua modis数据并基于多角度大气校正算法提供的aod产品maiac aod，日本气象厅卫星计划司发布的himawari-8卫星ahi监测的l3小时级aod
merged
产品ahiaod；
16.步骤s13、收集地形高程数据；
17.步骤s14、收集气象数据产品，主要来源于欧洲中期数值预报中心发布的第五代重新分析产品era5，包括：压力、降水、10mu型风、10mv型风、气温、相对湿度、总柱水和边界层高度；
18.步骤s15、计算ahiaod小时产品的日平均值产品；
19.步骤s16、对不同卫星aod产品进行重采样、重投影、裁剪和数值转化操作，规范为同一数据格式；将ahiaod日均值以maiacaod产品为模板进行重采样和重投影，使其具有相同的空间分辨率，以研究区域为模板进行裁剪，实现空间上的一致性，将maiacaod数值除以1000，使maiacaod值在0-2之间；根据angstrom经验方程把500nm处的ahiaod产品处理成与maiacaod一致550nm处的aod，实现数值上的一致性；
20.angstrom经验方程如公式(1)所示：
21.τ
λ
＝βλ-a
ꢀꢀꢀꢀꢀ
(1)
22.式中，τ
λ
为波长λ所对应的气溶胶光学厚度；β为浑浊度系数，根据波长500nm、aod值以及对应波长指数a的等式关系获得；λ为波长；a为angstrom波长指数，由l3 ahi aod产品所提供的angstrom变量获得；
23.步骤s17、对地形高程数据、气象数据以研究区域为模板进行裁剪，以maiac aod数据为模板进行重采样，实现空间的一致性。
24.进一步地，所述步骤s2具体实现如下：
25.步骤s21、将步骤s16预处理后的aod产品转换成数值矩阵；
26.步骤s22、对转换后的数值矩阵按照公式(2)进行融合；
[0027][0028]
式中，p
(i,j)
为aod融合后影像在(i，j)处的aod值；m
(ij)
为maiacaod在(i，j)处的aod值；h
(i,j)
为ahiaod在(i，j)处的aod值；t表示aod有值，f表示aod无值。
[0029]
进一步地，所述步骤s3具体实现如下：
[0030]
步骤s31、将年积日、地形高程数据、气象数据、步骤s2融合的aod产品按栅格坐标形成空间对应的数据集；
[0031]
步骤s32、根据数据集中的aod值是否有效，生成有效aod数据集和缺失aod数据集。
[0032]
进一步地，所述步骤s4具体实现如下：
[0033]
步骤s41、将步骤s3生成的有效aod数据集按3：7划分成验证数据集和训练数据集；
[0034]
步骤s42、对验证数据和训练数据进行标准差标准化，使数据符合标准正态分布，即均值为0，标准差为1；
[0035]
步骤s43、利用贝叶斯自动优化调参算法调整catboost模型的主要参数：depth、iterations，其中depth的取值范围为2～16，iterations的取值范围为2～500，将均方根误差设为损失函数，通过训练数据集训练得到catboost模型的最优超参数；
[0036]
步骤s44、以验证数据集验证配置最优超参数的catboost模型是否可用于aod的重构，相关系数大于设定值，认为配置最优超参数的catboost模型可用于aod的重构。
[0037]
进一步地，所述步骤s5具体实现如下：
[0038]
以有效aod数据集利用步骤s4获得的最优超参数进行catboost模型构建，如公式(3)所示：
[0039]
aod
valid
＝f(day，elev,meted)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0040]
式中，aod
valid
为有效的aod数据，f为catboost模型，day为年积日，elev为地形高程数据，meted为8个气象变量组成的矩阵，其中8个气象变量包括：压力、降水、10mu型风、10mv型风、气温、相对湿度、总柱水和边界层高度。
[0041]
进一步地，所述步骤s6具体实现如下：
[0042]
对缺失aod数据集，通过构建的catboost模型实现缺失aod数据的重构，如公式(4)所示：
[0043]
aod
predict
＝f(day，elev,meted)
ꢀꢀꢀꢀꢀꢀꢀ
(4)
[0044]
式中，aod
predict
是重构的aod。
[0045]
进一步地，所述步骤s7具体实现如下：
[0046]
步骤s71、根据aeronet地基站点的位置提取对应重构的aod值；
[0047]
步骤s72、将aeronet地基站点监测的aod值作为真值对步骤s71提取重构的aod值进行验证，计算相关系数r和均方根误差rmse，对重构的结果进行评估。
[0048]
与现有技术相比，本发明具有以下有益效果：该方法既可以有效发挥多平台互补观测的优势，利用机器学习catboost对缺失的aod进行预测与重构，弥补丢失数据的现象，提供空间分辨率高、空间覆盖范围广和时间连续性强的aod产品，也可以提高卫星遥感监测aod的精度，为大气环境质量分析、评估和预警提供支持。
附图说明
[0049]
图1为本发明实施例的方法实现流程图。
[0050]
图2为本发明实施例中京津冀区域2017年11月30日-12月4日连续5天的modis卫星生产的maiacaod产品生成的分布图，空间分布有缺失。
[0051]
图3为本发明实施例中京津冀区域2017年11月30日-12月4日连续5天的himawari-8卫星生产的ahi l3小时级aod产品生成日产品的分布图，空间分布有缺失。
[0052]
图4为本发明实施例中本方法对京津冀区域连续五天的maiacaod产品和ahi aod日产品进行融合后生成的分布图。
[0053]
图5为本发明实施例中本方法生成的京津冀区域连续5天的aod空间覆盖完整的aod产品分布图。
具体实施方式
[0054]
下面结合附图及实施例对本发明做进一步说明。
[0055]
应该指出，以下详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
[0056]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0057]
如图1所示，本实施例提供了一种基于多传感器遥感的时序aod重构方法，包括以下步骤：
[0058]
步骤s1、数据收集与预处理：收集地基站点aeronetaod数据、不同卫星aod产品、地形高程数据、气象数据产品，对不同卫星aod产品进行格式转换、重采样、重投影、裁剪和数值转化操作，实现不同卫星传感器监测的aod产品数据的一致，对地形高程数据、气象数据进行裁剪和重采样。
[0059]
步骤s2、对预处理后的不同卫星aod产品进行融合，生成融合aod产品，其中融合后有值的称为有效aod数据。
[0060]
步骤s3、对于融合aod产品，根据aod是否有值，结合年积日、地形高程数据、气象数据分别生成有效aod数据集和缺失aod数据集。
[0061]
步骤s4、将有效aod数据集结合贝叶斯自动优化调参算法，找出集成学习catboost模型的最优超参数。
[0062]
步骤s5、以有效aod数据集利用步骤s4获得的最优超参数进行catboost模型构建。
[0063]
步骤s6、将缺失aod数据集输入步骤s5构建的catboost模型对缺失的aod进行重构，生成重构aos数据。
[0064]
步骤s7、结合地基站点aeronetaod数据，对重构aod数据进行验证。
[0065]
步骤s8、对重构aod数据和有效aod数据进行合并，形成时空覆盖完整的aod产品。
[0066]
在本实施例中，所述步骤s1具体实现如下：
[0067]
步骤s11、收集京津冀地区内地基站点观测的aeronetaod数据，主要包括：beijing站点数据、beijing-cams站点数据。
[0068]
步骤s12、收集不同卫星aod产品，包括：nasa(national aeronautics and space administration，美国国家航空航天局)联合利用terra和aquamodis数据并基于多角度大气校正(multi-angle atmospheric correction，maiac)算法提供的aod产品(下文简称maiac aod)，日本气象厅卫星计划司发布的himawari-8卫星ahi监测的l3小时级aod
merged
产品(下文简称ahiaod)。
[0069]
步骤s13、收集地形高程数据。主要来源于中国科学院资源环境科学与数据中心提供的基于最新的srtm v4.1数据经重采样生成的2015年全国1km srtm地形高程数据。
[0070]
步骤s14、收集气象数据产品，主要来源于欧洲中期数值预报中心发布的第五代重新分析产品era5，包括：压力、降水、10mu型风、10mv型风、气温、相对湿度、总柱水和边界层高度。
[0071]
步骤s15、计算ahiaod小时产品的日平均值产品。
[0072]
步骤s16、对不同卫星aod产品进行重采样、重投影、裁剪和数值转化操作，规范为同一数据格式；将ahiaod日均值以maiacaod产品为模板进行重采样和重投影，使其具有相同的空间分辨率，以研究区域为模板进行裁剪，实现空间上的一致性，将maiacaod数值除以1000，使maiacaod值整体大致在0-2之间；根据angstrom经验方程把500nm处的ahiaod产品
处理成与maiacaod一致550nm处的aod，实现数值上的一致性；
[0073]
angstrom经验方程如公式(1)所示：
[0074]
τ
λ
＝βλ-a
ꢀꢀꢀꢀꢀꢀꢀ
(1)
[0075]
式中，τ
λ
为波长λ所对应的气溶胶光学厚度；β为浑浊度系数，根据波长500nm、aod值以及对应波长指数a的等式关系获得；λ为波长；a为angstrom波长指数，由l3 ahi aod产品所提供的angstrom变量获得。
[0076]
步骤s17、对地形高程数据、气象数据以研究区域为模板进行裁剪，以maiac aod数据为模板进行重采样，实现空间的一致性。
[0077]
在本实施例中，所述步骤s2具体实现如下：
[0078]
步骤s21、将步骤s16预处理后的aod产品转换成数值矩阵。
[0079]
步骤s22、对转换后的数值矩阵按照公式(2)进行融合；
[0080][0081]
式中，p
(i,j)
为aod融合后影像在(i，j)处的aod值；m
(ij)
为maiacaod在(i，j)处的aod值；h
(i,j)
为ahiaod在(i，j)处的aod值；t表示aod有值，f表示aod无值。
[0082]
在本实施例中，所述步骤s3具体实现如下：
[0083]
步骤s31、将年积日、地形高程数据、气象数据、步骤s2融合的aod产品按栅格坐标形成空间对应的数据集。
[0084]
步骤s32、根据数据集中的aod值是否有效，生成有效aod数据集(包括：年积日,地形高程数据,气象数据,有效aod)和缺失aod数据集(包括：年积日,地形高程数据,气象数据)。
[0085]
在本实施例中，所述步骤s4具体实现如下：
[0086]
步骤s41、将步骤s3生成的有效aod数据集(年积日,地形高程数据,气象数据,有效aod)按3：7划分成验证数据集和训练数据集；
[0087]
步骤s42、对验证数据和训练数据进行标准差标准化，使数据符合标准正态分布，即均值为0，标准差为1；
[0088]
步骤s43、利用贝叶斯自动优化调参算法调整catboost模型的主要参数：depth、iterations，其中depth的取值范围为2～16，iterations的取值范围为2～500，将均方根误差(root mean square error，rmse)设为损失函数，通过训练数据集训练得到catboost模型的最优超参数；
[0089]
步骤s44、以验证数据集验证配置最优超参数的catboost模型是否可用于aod的重构，相关系数大于设定值，认为配置最优超参数的catboost模型可用于aod的重构。
[0090]
经验证：相关系数r2大于0.6时，配置最优超参数的catboost模型可用于aod的重构；
[0091]
步骤s45、经过贝叶斯自动调参算法所获得的catboost模型的最优超参数如下：depth：15、iterations：500。
[0092]
在本实施例中，所述步骤s5具体实现如下：
[0093]
以有效aod数据集利用步骤s4获得的最优超参数进行catboost模型构建，如公式
(3)所示：
[0094]
aod
valid
＝f(day，elev,meted)
ꢀꢀꢀꢀꢀꢀ
(3)
[0095]
式中，aod
valid
为有效的aod数据，f为catboost模型，day为年积日，elev为地形高程数据，meted为8个气象变量组成的矩阵，其中8个气象变量包括：压力、降水、10mu型风、10mv型风、气温、相对湿度、总柱水和边界层高度。
[0096]
在本实施例中，所述步骤s6具体实现如下：
[0097]
对缺失aod数据集，通过构建的catboost模型实现缺失aod数据的重构，如公式(4)所示：
[0098]
aod
predict
＝f(day，elev,meted)
ꢀꢀꢀꢀꢀꢀ
(4)
[0099]
式中，aod
predict
是重构的aod。
[0100]
在本实施例中，所述步骤s7具体实现如下：
[0101]
步骤s71、根据aeronet地基站点的位置提取对应重构的aod值；
[0102]
步骤s72、将aeronet地基站点监测的aod值作为真值对步骤s71提取重构的aod值进行验证，计算相关系数r和均方根误差rmse，对重构的结果进行评估。
[0103]
在本实施例中，利用2017年京津冀区域连续5天的maiacaod产品和ahiaod产品进行融合及重构。图2为京津冀区域连续5天的maiacaod产品生成的分布图，图3为京津冀区域连续5天的ahi l3小时级aod产品生成日产品的分布图，均有空间分布有缺失，图4为本发明方法对京津冀区域连续五天的maiacaod产品和ahi aod日产品进行融合后生成的分布图，相对单传感器来说空间覆盖度较为完整，图5为本发明方法生成对京津冀区域连续5天的不同传感器aod融合产品进行预测生成的分布图，说明本发明方法成功综合了多卫星传感器遥感影像的aod融合及预测，实现了完整的空间覆盖度。
[0104]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
技术领域
1.本发明属于遥感监测技术领域，具体涉及一种基于多传感器遥感的时序aod重构方法。
背景技术：
2.大气气溶胶是研究全球气候和大气环境的一个重要因子，是影响我国大气环境质量的主要污染物之一。aod作为大气气溶胶最重要的参数之一，是表征大气浑浊度或大气中气溶胶总含量的重要物理量。目前获取aod的方法主要包括地基观测和卫星遥感观测，地基观测具有精度高、时间连续性强的优点，但是空间覆盖性不足；卫星遥感观测具有动态、宏观、快速的优势，为获取大范围的时空覆盖、变化趋势及气溶胶输送源的信息提供了强有力的监测手段，空间覆盖性较好，但时间不连续，受云层覆盖、积雪或水等因素又存在丢失数据的现象而造成时空上的数据缺失。
技术实现要素：
3.本发明的目的在于提供一种基于多传感器遥感的时序aod重构方法，该方法有利于提供空间分辨率高、空间覆盖范围广和时间连续性强的aod产品，并提高卫星遥感监测气溶胶光学厚度的精度。
4.为实现上述目的，本发明采用的技术方案是：一种基于多传感器遥感的时序aod重构方法，包括以下步骤：
5.步骤s1、数据收集与预处理：收集地基站点aeronetaod数据、不同卫星aod产品、地形高程数据、气象数据产品，对不同卫星aod产品进行格式转换、重采样、重投影、裁剪和数值转化操作，实现不同卫星传感器监测的aod产品数据的一致，对地形高程数据、气象数据进行裁剪和重采样；
6.步骤s2、对预处理后的不同卫星aod产品进行融合，生成融合aod产品，其中融合后有值的称为有效aod数据；
7.步骤s3、对于融合aod产品，根据aod是否有值，结合年积日、地形高程数据、气象数据分别生成有效aod数据集和缺失aod数据集；
8.步骤s4、将有效aod数据集结合贝叶斯自动优化调参算法，找出集成学习catboost模型的最优超参数；
9.步骤s5、以有效aod数据集利用步骤s4获得的最优超参数进行catboost模型构建；
10.步骤s6、将缺失aod数据集输入步骤s5构建的catboost模型对缺失aod数据进行重构，生成重构aod数据；
11.步骤s7、结合地基站点aeronetaod数据，对重构aod数据进行验证；
12.步骤s8、对重构aod数据和有效aod数据进行合并，形成时空覆盖完整的aod产品。
13.进一步地，所述步骤s1具体实现如下：
14.步骤s11、收集研究区内地基站点观测的aeronetaod数据；
15.步骤s12、收集不同卫星aod产品，包括：nasa联合利用terra和aqua modis数据并基于多角度大气校正算法提供的aod产品maiac aod，日本气象厅卫星计划司发布的himawari-8卫星ahi监测的l3小时级aod
merged
产品ahiaod；
16.步骤s13、收集地形高程数据；
17.步骤s14、收集气象数据产品，主要来源于欧洲中期数值预报中心发布的第五代重新分析产品era5，包括：压力、降水、10mu型风、10mv型风、气温、相对湿度、总柱水和边界层高度；
18.步骤s15、计算ahiaod小时产品的日平均值产品；
19.步骤s16、对不同卫星aod产品进行重采样、重投影、裁剪和数值转化操作，规范为同一数据格式；将ahiaod日均值以maiacaod产品为模板进行重采样和重投影，使其具有相同的空间分辨率，以研究区域为模板进行裁剪，实现空间上的一致性，将maiacaod数值除以1000，使maiacaod值在0-2之间；根据angstrom经验方程把500nm处的ahiaod产品处理成与maiacaod一致550nm处的aod，实现数值上的一致性；
20.angstrom经验方程如公式(1)所示：
21.τ
λ
＝βλ-a
ꢀꢀꢀꢀꢀ
(1)
22.式中，τ
λ
为波长λ所对应的气溶胶光学厚度；β为浑浊度系数，根据波长500nm、aod值以及对应波长指数a的等式关系获得；λ为波长；a为angstrom波长指数，由l3 ahi aod产品所提供的angstrom变量获得；
23.步骤s17、对地形高程数据、气象数据以研究区域为模板进行裁剪，以maiac aod数据为模板进行重采样，实现空间的一致性。
24.进一步地，所述步骤s2具体实现如下：
25.步骤s21、将步骤s16预处理后的aod产品转换成数值矩阵；
26.步骤s22、对转换后的数值矩阵按照公式(2)进行融合；
[0027][0028]
式中，p
(i,j)
为aod融合后影像在(i，j)处的aod值；m
(ij)
为maiacaod在(i，j)处的aod值；h
(i,j)
为ahiaod在(i，j)处的aod值；t表示aod有值，f表示aod无值。
[0029]
进一步地，所述步骤s3具体实现如下：
[0030]
步骤s31、将年积日、地形高程数据、气象数据、步骤s2融合的aod产品按栅格坐标形成空间对应的数据集；
[0031]
步骤s32、根据数据集中的aod值是否有效，生成有效aod数据集和缺失aod数据集。
[0032]
进一步地，所述步骤s4具体实现如下：
[0033]
步骤s41、将步骤s3生成的有效aod数据集按3：7划分成验证数据集和训练数据集；
[0034]
步骤s42、对验证数据和训练数据进行标准差标准化，使数据符合标准正态分布，即均值为0，标准差为1；
[0035]
步骤s43、利用贝叶斯自动优化调参算法调整catboost模型的主要参数：depth、iterations，其中depth的取值范围为2～16，iterations的取值范围为2～500，将均方根误差设为损失函数，通过训练数据集训练得到catboost模型的最优超参数；
[0036]
步骤s44、以验证数据集验证配置最优超参数的catboost模型是否可用于aod的重构，相关系数大于设定值，认为配置最优超参数的catboost模型可用于aod的重构。
[0037]
进一步地，所述步骤s5具体实现如下：
[0038]
以有效aod数据集利用步骤s4获得的最优超参数进行catboost模型构建，如公式(3)所示：
[0039]
aod
valid
＝f(day，elev,meted)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0040]
式中，aod
valid
为有效的aod数据，f为catboost模型，day为年积日，elev为地形高程数据，meted为8个气象变量组成的矩阵，其中8个气象变量包括：压力、降水、10mu型风、10mv型风、气温、相对湿度、总柱水和边界层高度。
[0041]
进一步地，所述步骤s6具体实现如下：
[0042]
对缺失aod数据集，通过构建的catboost模型实现缺失aod数据的重构，如公式(4)所示：
[0043]
aod
predict
＝f(day，elev,meted)
ꢀꢀꢀꢀꢀꢀꢀ
(4)
[0044]
式中，aod
predict
是重构的aod。
[0045]
进一步地，所述步骤s7具体实现如下：
[0046]
步骤s71、根据aeronet地基站点的位置提取对应重构的aod值；
[0047]
步骤s72、将aeronet地基站点监测的aod值作为真值对步骤s71提取重构的aod值进行验证，计算相关系数r和均方根误差rmse，对重构的结果进行评估。
[0048]
与现有技术相比，本发明具有以下有益效果：该方法既可以有效发挥多平台互补观测的优势，利用机器学习catboost对缺失的aod进行预测与重构，弥补丢失数据的现象，提供空间分辨率高、空间覆盖范围广和时间连续性强的aod产品，也可以提高卫星遥感监测aod的精度，为大气环境质量分析、评估和预警提供支持。
附图说明
[0049]
图1为本发明实施例的方法实现流程图。
[0050]
图2为本发明实施例中京津冀区域2017年11月30日-12月4日连续5天的modis卫星生产的maiacaod产品生成的分布图，空间分布有缺失。
[0051]
图3为本发明实施例中京津冀区域2017年11月30日-12月4日连续5天的himawari-8卫星生产的ahi l3小时级aod产品生成日产品的分布图，空间分布有缺失。
[0052]
图4为本发明实施例中本方法对京津冀区域连续五天的maiacaod产品和ahi aod日产品进行融合后生成的分布图。
[0053]
图5为本发明实施例中本方法生成的京津冀区域连续5天的aod空间覆盖完整的aod产品分布图。
具体实施方式
[0054]
下面结合附图及实施例对本发明做进一步说明。
[0055]
应该指出，以下详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
[0056]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0057]
如图1所示，本实施例提供了一种基于多传感器遥感的时序aod重构方法，包括以下步骤：
[0058]
步骤s1、数据收集与预处理：收集地基站点aeronetaod数据、不同卫星aod产品、地形高程数据、气象数据产品，对不同卫星aod产品进行格式转换、重采样、重投影、裁剪和数值转化操作，实现不同卫星传感器监测的aod产品数据的一致，对地形高程数据、气象数据进行裁剪和重采样。
[0059]
步骤s2、对预处理后的不同卫星aod产品进行融合，生成融合aod产品，其中融合后有值的称为有效aod数据。
[0060]
步骤s3、对于融合aod产品，根据aod是否有值，结合年积日、地形高程数据、气象数据分别生成有效aod数据集和缺失aod数据集。
[0061]
步骤s4、将有效aod数据集结合贝叶斯自动优化调参算法，找出集成学习catboost模型的最优超参数。
[0062]
步骤s5、以有效aod数据集利用步骤s4获得的最优超参数进行catboost模型构建。
[0063]
步骤s6、将缺失aod数据集输入步骤s5构建的catboost模型对缺失的aod进行重构，生成重构aos数据。
[0064]
步骤s7、结合地基站点aeronetaod数据，对重构aod数据进行验证。
[0065]
步骤s8、对重构aod数据和有效aod数据进行合并，形成时空覆盖完整的aod产品。
[0066]
在本实施例中，所述步骤s1具体实现如下：
[0067]
步骤s11、收集京津冀地区内地基站点观测的aeronetaod数据，主要包括：beijing站点数据、beijing-cams站点数据。
[0068]
步骤s12、收集不同卫星aod产品，包括：nasa(national aeronautics and space administration，美国国家航空航天局)联合利用terra和aquamodis数据并基于多角度大气校正(multi-angle atmospheric correction，maiac)算法提供的aod产品(下文简称maiac aod)，日本气象厅卫星计划司发布的himawari-8卫星ahi监测的l3小时级aod
merged
产品(下文简称ahiaod)。
[0069]
步骤s13、收集地形高程数据。主要来源于中国科学院资源环境科学与数据中心提供的基于最新的srtm v4.1数据经重采样生成的2015年全国1km srtm地形高程数据。
[0070]
步骤s14、收集气象数据产品，主要来源于欧洲中期数值预报中心发布的第五代重新分析产品era5，包括：压力、降水、10mu型风、10mv型风、气温、相对湿度、总柱水和边界层高度。
[0071]
步骤s15、计算ahiaod小时产品的日平均值产品。
[0072]
步骤s16、对不同卫星aod产品进行重采样、重投影、裁剪和数值转化操作，规范为同一数据格式；将ahiaod日均值以maiacaod产品为模板进行重采样和重投影，使其具有相同的空间分辨率，以研究区域为模板进行裁剪，实现空间上的一致性，将maiacaod数值除以1000，使maiacaod值整体大致在0-2之间；根据angstrom经验方程把500nm处的ahiaod产品
处理成与maiacaod一致550nm处的aod，实现数值上的一致性；
[0073]
angstrom经验方程如公式(1)所示：
[0074]
τ
λ
＝βλ-a
ꢀꢀꢀꢀꢀꢀꢀ
(1)
[0075]
式中，τ
λ
为波长λ所对应的气溶胶光学厚度；β为浑浊度系数，根据波长500nm、aod值以及对应波长指数a的等式关系获得；λ为波长；a为angstrom波长指数，由l3 ahi aod产品所提供的angstrom变量获得。
[0076]
步骤s17、对地形高程数据、气象数据以研究区域为模板进行裁剪，以maiac aod数据为模板进行重采样，实现空间的一致性。
[0077]
在本实施例中，所述步骤s2具体实现如下：
[0078]
步骤s21、将步骤s16预处理后的aod产品转换成数值矩阵。
[0079]
步骤s22、对转换后的数值矩阵按照公式(2)进行融合；
[0080][0081]
式中，p
(i,j)
为aod融合后影像在(i，j)处的aod值；m
(ij)
为maiacaod在(i，j)处的aod值；h
(i,j)
为ahiaod在(i，j)处的aod值；t表示aod有值，f表示aod无值。
[0082]
在本实施例中，所述步骤s3具体实现如下：
[0083]
步骤s31、将年积日、地形高程数据、气象数据、步骤s2融合的aod产品按栅格坐标形成空间对应的数据集。
[0084]
步骤s32、根据数据集中的aod值是否有效，生成有效aod数据集(包括：年积日,地形高程数据,气象数据,有效aod)和缺失aod数据集(包括：年积日,地形高程数据,气象数据)。
[0085]
在本实施例中，所述步骤s4具体实现如下：
[0086]
步骤s41、将步骤s3生成的有效aod数据集(年积日,地形高程数据,气象数据,有效aod)按3：7划分成验证数据集和训练数据集；
[0087]
步骤s42、对验证数据和训练数据进行标准差标准化，使数据符合标准正态分布，即均值为0，标准差为1；
[0088]
步骤s43、利用贝叶斯自动优化调参算法调整catboost模型的主要参数：depth、iterations，其中depth的取值范围为2～16，iterations的取值范围为2～500，将均方根误差(root mean square error，rmse)设为损失函数，通过训练数据集训练得到catboost模型的最优超参数；
[0089]
步骤s44、以验证数据集验证配置最优超参数的catboost模型是否可用于aod的重构，相关系数大于设定值，认为配置最优超参数的catboost模型可用于aod的重构。
[0090]
经验证：相关系数r2大于0.6时，配置最优超参数的catboost模型可用于aod的重构；
[0091]
步骤s45、经过贝叶斯自动调参算法所获得的catboost模型的最优超参数如下：depth：15、iterations：500。
[0092]
在本实施例中，所述步骤s5具体实现如下：
[0093]
以有效aod数据集利用步骤s4获得的最优超参数进行catboost模型构建，如公式
(3)所示：
[0094]
aod
valid
＝f(day，elev,meted)
ꢀꢀꢀꢀꢀꢀ
(3)
[0095]
式中，aod
valid
为有效的aod数据，f为catboost模型，day为年积日，elev为地形高程数据，meted为8个气象变量组成的矩阵，其中8个气象变量包括：压力、降水、10mu型风、10mv型风、气温、相对湿度、总柱水和边界层高度。
[0096]
在本实施例中，所述步骤s6具体实现如下：
[0097]
对缺失aod数据集，通过构建的catboost模型实现缺失aod数据的重构，如公式(4)所示：
[0098]
aod
predict
＝f(day，elev,meted)
ꢀꢀꢀꢀꢀꢀ
(4)
[0099]
式中，aod
predict
是重构的aod。
[0100]
在本实施例中，所述步骤s7具体实现如下：
[0101]
步骤s71、根据aeronet地基站点的位置提取对应重构的aod值；
[0102]
步骤s72、将aeronet地基站点监测的aod值作为真值对步骤s71提取重构的aod值进行验证，计算相关系数r和均方根误差rmse，对重构的结果进行评估。
[0103]
在本实施例中，利用2017年京津冀区域连续5天的maiacaod产品和ahiaod产品进行融合及重构。图2为京津冀区域连续5天的maiacaod产品生成的分布图，图3为京津冀区域连续5天的ahi l3小时级aod产品生成日产品的分布图，均有空间分布有缺失，图4为本发明方法对京津冀区域连续五天的maiacaod产品和ahi aod日产品进行融合后生成的分布图，相对单传感器来说空间覆盖度较为完整，图5为本发明方法生成对京津冀区域连续5天的不同传感器aod融合产品进行预测生成的分布图，说明本发明方法成功综合了多卫星传感器遥感影像的aod融合及预测，实现了完整的空间覆盖度。
[0104]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
