一种基于联合调度与矩阵降维的城市碳通量反演优化方法

本发明属于大气环境监测领域，具体地说是一种基于联合调度与矩阵降维的城市碳通量反演优化方法。

背景技术：

1、城市温室气体碳通量反演是评估城市碳排放、支撑碳中和目标实现的关键技术手段。该方法通过耦合大气传输模型与观测数据，基于贝叶斯集合同化框架反演出地表碳通量的时空分布。其中，集合卡尔曼滤波等蒙特卡洛类同化方法因其能有效处理非线性与非高斯问题，已成为区域与城市尺度碳通量反演的主流方法之一。

2、在该类方法中，需通过大气传输模型生成一定规模的集合样本，以构建观测算子与误差协方差矩阵。随着城市观测网络日趋密集、模型时空分辨率不断提升，反演系统的状态变量维度急剧增加，协方差矩阵规模呈平方级增长，导致存储需求迅速超出常规服务器的内存容量。与此同时，高分辨率大气传输模型本身计算成本高昂，传统并行策略需为每个集合样本独立调用一次模型计算，造成气象场等基础模块的重复运行，计算资源浪费显著，严重制约了城市碳通量反演系统在业务化场景中的实时性与可扩展性。

3、因此，如何在保持反演精度的前提下，显著降低集合样本生成的计算冗余与协方差矩阵的存储开销，已成为实现城市高分辨率碳通量实时、业务化反演亟待解决的关键技术问题。

技术实现思路

1、为了解决上述技术问题，本发明提供一种基于联合调度与矩阵降维的城市碳通量反演优化方法，以解决现有技术中高分辨率反演系统因集合样本生成冗余和协方差矩阵运算爆炸导致的计算资源消耗大、存储需求高、难以实现业务化实时运行的问题。

2、本发明提供一种基于联合调度与矩阵降维的城市碳通量反演优化方法，包括以下步骤：

3、步骤s1、集合样本生成调度：

4、确定总集合样本数，将配置为串行生成数与并行调用数的乘积，即；

5、在单个大气传输模型调用进程中，通过修改所述大气传输模型的代码以嵌入集合维度参数，并利用串行循环机制，仅对模型中的目标模块执行次循环，每次循环通过微扰输入参数生成一个独立的浓度模拟样本，从而在一次模型进程调用中生成个样本；

6、同时，通过超算作业调度系统并发提交并执行个相互独立的所述模型调用进程；

7、步骤s2、协方差矩阵降维计算：

8、基于时空可分离的假设，将状态变量的先验误差协方差矩阵分解为时间协方差矩阵与空间协方差矩阵的克罗内克积，即，其中，表示克罗内克积运算符，的维度为，的维度为，为时间步数，为空间格网数；

9、将观测算子矩阵按时间维度进行分块，表示为，其中每个子块的维度为，为观测总数；

10、在共享内存架构中，采用多线程并行计算方式，通过遍历矩阵的每一列，计算对应的矩阵乘积的列块，并将各列块直接用于后续反演求解，从而避免显式存储完整的矩阵，其中每个线程负责计算中与的一列相对应的时间列块；

11、步骤s3、碳通量反演求解：

12、基于贝叶斯集合反演框架，构造包含观测项与背景项的代价函数，利用步骤s1生成的集合样本计算所述观测算子矩阵的线性化表达，并利用步骤s2计算得到的矩阵，求解使所述代价函数最小化的状态变量后验值，完成城市碳通量的高分辨率反演。

13、优选的，所述串行生成数的取值范围为大于1且小于或等于50。

14、优选的，所述串行生成数的取值通过预实验确定，用于平衡单次模型进程的运行时间与计算资源消耗，其优化取值为15至30。

15、优选的，所述并行调用数根据可用的计算节点总数及每个节点的计算资源动态确定，其取值使得总集合样本数满足反演精度要求。

16、优选的，所述大气传输模型为wrf-chem模型或其衍生模型，所述对模型代码的修改包括增加用于控制浓度场集合样本生成的输入参数与内部循环结构。

17、优选的，所述超算作业调度系统为slurm、pbs或lsf中的一种，所述并发执行通过所选调度系统的批处理作业脚本结合mpi并行环境实现。

18、优选的，所述多线程并行计算采用openmp、posix threads或编程语言内置的多线程库实现。

19、优选的，所述状态变量为城市地表碳通量，其维度；观测数据为地基和/或卫星获取的浓度数据，其中，地基观测数据为站点式离散观测，时间分辨率优于或等于1小时，空间分辨率优于或等于公里级。

20、优选的，在步骤s2中，通过扩展计算接口将所述矩阵运算任务分配至gpu加速器执行，以进一步提升计算效率。

21、与现有技术相比，本发明具有如下有益效果：

22、通过串并行联合调度与矩阵克罗内克积降维并行计算两项核心技术的协同创新，从系统层面重构了传统碳同化反演的计算范式；

23、在计算层面，本发明突破了传统集合样本生成中“一次模型调用对应一个样本”的刚性并行模式，创新性地设计了串并行混合调度架构；通过在大气传输模型内部植入集合维度控制与循环生成机制，实现了单次模型进程中连续生成多个扰动样本，从根本上消除了气象场等基础模块的重复计算；结合外部超算系统的智能作业分发，形成了“内串行、外并行”的混合执行流，在保证集合统计特性的前提下，大幅减少了模型调用次数与计算节点占用，显著缓解了高性能计算资源的紧张压力。

24、在存储与计算加速层面，本发明针对贝叶斯集合同化中规模爆炸的协方差矩阵运算瓶颈，引入了基于时空可分离假设的克罗内克积结构降维策略；通过将高维协方差矩阵分解为时间与空间分量的张量积形式，避免了显式存储与操作超大规模稠密矩阵；进一步结合共享内存多线程并行技术，将降维后的矩阵运算任务高效映射到多核cpu架构，实现了计算复杂度与内存占用的双重降低。

1.一种基于联合调度与矩阵降维的城市碳通量反演优化方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述串行生成数的取值范围为大于1且小于或等于50。

3.根据权利要求2所述的方法，其特征在于，所述串行生成数的取值通过预实验确定，用于平衡单次模型进程的运行时间与计算资源消耗，其优化取值为15至30。

4.根据权利要求1所述的方法，其特征在于，所述并行调用数根据可用的计算节点总数及每个节点的计算资源动态确定，其取值使得总集合样本数满足反演精度要求。

5.根据权利要求1所述的方法，其特征在于，所述大气传输模型为wrf-chem模型或其衍生模型，所述对模型代码的修改包括增加用于控制浓度场集合样本生成的输入参数与内部循环结构。

6.根据权利要求1所述的方法，其特征在于，所述超算作业调度系统为slurm、pbs或lsf中的一种，所述并发执行通过所选调度系统的批处理作业脚本结合mpi并行环境实现。

7.根据权利要求1所述的方法，其特征在于，所述多线程并行计算采用openmp、posixthreads或编程语言内置的多线程库实现。

8.根据权利要求1所述的方法，其特征在于，所述状态变量为城市地表碳通量，其维度；观测数据为地基和/或卫星获取的浓度数据，其中，地基观测数据为站点式离散观测，时间分辨率优于或等于1小时，空间分辨率优于或等于公里级。

9.根据权利要求1所述的方法，其特征在于，在步骤s2中，通过扩展计算接口将所述矩阵运算任务分配至gpu加速器执行，以进一步提升计算效率。