基于图像修复深度学习模型的地表风速数据网格化方法

本发明涉及气象数据处理及深度学习，具体而言，涉及一种基于图像修复深度学习模型的地表风速数据网格化方法，适用于高缺失率、复杂地形场景下的地表风速观测数据网格化处理。

背景技术：

1、气象观测数据的网格化处理是气象分析、灾害预警及气候研究中的核心环节，其目的是将离散分布的气象站点实测数据（如气温、降水、风速等）转化为连续的区域网格数据，为后续数据分析和应用提供直观、完整的数据支撑。目前，气象数据网格化常用方法主要分为传统插值法和机器学习法两大类。

2、传统插值法以“距离越近、气象条件越相似”为核心逻辑，包括距离加权插值、线性插值等，通过已知站点数据按简单规则估算空白网格值。这类方法原理简单、计算量小，但存在明显局限性：仅依赖距离关系，无法充分考虑地形、海拔、海陆分布等复杂环境因素对气象要素的影响，导致网格化结果精度不足，尤其在地形复杂区域（如山地、丘陵）误差较大，难以满足高精度气象分析需求，传统插值方法会导致严重的系统性偏差，难以还原真实的近地表流场物理结构。

3、为提升网格化精度，业内逐渐采用机器学习方法，通过算法挖掘气象数据与环境因子的潜在关联，优化估算结果。其中，随机森林算法因具备较强的非线性拟合能力和抗干扰性，被广泛应用于气象数据网格化场景，可整合多维度环境特征进行建模，一定程度上弥补了传统插值法的缺陷。

4、然而，现有基于随机森林的气象数据网格化方案仍存在改进空间：一方面，模型输入特征的筛选缺乏针对性，易引入冗余特征导致建模效率低下，同时可能忽略关键环境因子，影响预测精度；另一方面，针对不同气象要素（如降水与气温的时空分布差异）的适配性不足，通用模型难以兼顾各类要素的网格化需求，导致部分场景下的网格化结果仍无法满足实际应用标准。

5、因此，亟需一种兼顾精度与效率、适配多类气象要素的网格化处理方案，解决现有方法在复杂场景下精度不足、适配性差的问题，为气象数据的高效利用提供可靠支撑。

技术实现思路

1、因此，本发明的目的在于提供一种基于图像修复深度学习模型的地表风速数据网格化方法，以解决现有技术存在的不足。针对传统插值法的各类缺陷——全局插值法对异常值敏感、局部细节捕捉弱，局部插值法在站点稀疏区域易产生同心圆状异常值且适配复杂地形能力差，地学统计法计算复杂、泛化能力弱且对数据分布要求高，同时各类传统插值法均不适用于高缺失率场景的问题，本发明可实现全面优化；针对现有随机森林等传统机器学习插补法在高缺失率数据集下插补效果差、甚至无法完成插补的局限，本发明通过将图像修复深度学习模型应用于地表风速数据插补，借助学习模式数据集或再分析数据集网格间的空间自相关性完成观测数据网格化，有效保障高缺失值情况下插补结果的可信度，最终获得高精度、高适用性的地表风速网格化数据。

2、为实现上述目的，本发明提供如下技术方案包括以下四个步骤：

3、步骤一：数据预处理，获取era5再分析资料的地表风速数据作为训练与测试基础数据，选取ncep的gdas/fnl数据作为额外测试数据，同时获取地表风速观测站数据；对上述数据进行裁剪、重采样、二进制掩膜构建及数据集划分处理，得到标准化的训练集、验证集和测试集；

4、步骤二：pconvunet模型构建，采用编码器-解码器的unet基础架构，将传统卷积层替换为部分卷积层pconv，结合掩码更新机制与跳跃连接，融合深层语义信息与浅层细节信息，配置编码器、解码器的卷积操作及激活函数，构建适用于地表风速数据修复的pconvunet模型；

5、步骤三：参数设置及训练，先对输入数据执行两步归一化处理，再配置模型训练参数，采用多种损失函数加权的损失函数策略，通过迭代优化模型参数使损失函数值收敛至预设阈值，完成pconvunet模型训练；所述迭代优化过程为：将训练集数据按预设批大小输入模型，通过前向传播计算预测结果与真实值的多任务加权损失，再通过反向传播更新模型各层参数，循环执行前向传播与反向传播步骤，直至迭代次数达到预设值或损失函数值稳定在预设阈值范围内，停止训练；

6、步骤四：模型性能验证，通过era5测试集验证、fnl测试集泛化验证及观测数据集交叉验证三种方式，计算差值、均方根误差rmse及相关系数，验证模型网格化结果的可信度，输出高精度地表风速网格化数据。

7、优选的，所述步骤一中所述数据裁剪后网格大小为0.25°×0.25°，裁剪范围适配目标研究区域的地理边界；所述重采样采用反距离权重法，采样半径内无站点的网格记为空缺值。

8、优选的，所述步骤一中所述二进制掩膜构建为：将无观测数据区域设为0，有观测数据区域设为1；所述数据集划分具体为：将era5数据按预设时间间隔选取部分数据作为测试集，剩余数据按12:1的比例随机划分为训练集和验证集；所述fnl测试集按预设时间频率采集并同步预处理。

9、优选的，所述步骤二中所述部分卷积层的操作逻辑为：仅依赖未掩码输入计算输出值，通过比例因子对输出进行归一化处理；所述掩码更新机制为：若卷积输出基于至少一个有效输入值，则对应位置标记为有效1，否则标记为无效0。

10、优选的，所述步骤二中所述编码器采用步幅为2的部分卷积执行下采样操作，激活函数为relu；解码器采用步幅为1的3×3部分卷积融合语义特征，激活函数为leakyrelu，上采样方式为最近邻上采样，最终输出层采用relu激活函数限制输出为正值。

11、优选的，所述步骤三中所述两步归一化处理具体为：先去除异常值，通过数据集均值和标准差将数据标准化为均值0、标准差1的分布，再通过min-max归一化将数据范围限制在0-1之间。

12、优选的，所述步骤三中所述训练参数包括：通过adam优化器迭代训练，初始学习率为6×10⁻4，采用多步学习率调度器，按预设迭代次数及衰减系数调整学习率；所述预设阈值为损失函数值连续预设次数迭代波动幅度不超过预设量级。

13、优选的，所述步骤三中所述多种损失函数加权的损失函数策略为像素有效区域损失l_valid、像素缺失区域损失l_hole、感知损失l_perceptual、原始风格输出损失l_styleout、合成输出损失l_stylecomp及总变分损失l_tv的加权组合，各损失项计算及总损失合成步骤如下：

14、首先计算像素有效区域损失l_valid、像素缺失区域损失l_hole：

15、；

16、；

17、；

18、；

19、其中表示中的元素总数，，c,h,w分别为图像的通道数、高度和宽度；是带有空洞的输入图像、m是初始二值掩码、是网络预测输出、是真实值图像、⊙表示逐元素相乘；l_valid和l_hole分别计算网络输出在空洞区域和非空洞区域上的 l1 损失；

20、所述感知损失l_perceptual具体计算公式为：

21、；

22、 ；

23、此处，ψ表示的就是特征提取函数，p表示特征层索引，指定使用 pool1, pool2,pool3这三个池化层的输出，p则依次为0, 1, 2；p为特征层总数3；指的是输入到vgg-16网络的图像包括，，；其中指的是网络直接生成的原始输出图像，孔洞区域已被预测值填充；是真实图像，即没有孔洞的原始图像，用作比较目标；是指上述二者的结合，即将中的非孔洞区域直接替换为真实值，确保感知损失在非孔洞区域为零，从而让损失计算更专注于评估被修复的孔洞区域与其周边真实背景在特征上的连贯性；∑表示对从第0层到第p-1层的所有选定特征层的损失进行累加；是真实图像特征图中的总元素数量，除以这个数的目的是对不同尺寸的特征图进行归一化，避免尺寸大的层在总损失中占据过大的权重，确保各层贡献平衡是中的元素数量；感知损失计算的是和与真实值之间的 l1 距离，但计算前提是这些图像已使用imagenet上预训练好的 vgg-16 网络投影到更高层的特征空间中；是给定原始输入时，第p个所选层的激活映射；

24、所述原始风格输出损失l_styleout具体计算公式如下：

25、；

26、；

27、；

28、其中，cp是第p层特征图的通道数；例如，vgg-16的pool1层有128个通道，则在该层cp = 128；上角标t是指矩阵运算中的转置矩阵，这个过程是gram 矩阵的计算过程，它的第i行第j列的元素，计算了第i个特征通道与第j个特征通道在整个特征图空间位置上乘积的平均，反映了不同特征通道的响应之间的相关性；矩阵运算假设高层特征ψ(x)p的形状为(hpwp)×cp，从而产生一个cp×cp的gram 矩阵；kp是第p个所选层的归一化因子1/cphpwp；同样，风格损失函数包含了原始输出和复合输出的损失项；

29、所述总变分损失l_tv具体计算公式为：

30、；

31、总变分损失l_tv是在区域r上计算的平滑惩罚项，所述区域r是将原始空洞区域的边界向外扩展了1个像素后形成的；其中，i是指图像像素的行索引，j是值图像的列索引；如左上角为原点(0，0)，i向下递增，j向右递增；是指复合输入图像，是指复合图像在坐标 (i, j)处的像素值，是指同一行内两个相邻像素的像素值之差；将相邻像素之差的l1范数作为损失函数，能确保修复区域内部自身平滑连贯，尽量减少孤立色块或噪声；

32、总损失函数是上述损失函数的加权组合，计算公式为：

33、。

34、优选的，所述步骤四中所述观测数据集交叉验证具体为：将有站点区域视为空缺区域创建掩膜，在相同超参数下重新训练模型，通过模型重构数值反推站点观测数据，对比反推值与原始观测数据的差值和均方根误差，验证模型泛化能力。

35、与现有技术相比，本发明的有益效果是：

36、本发明通过在unet结构中引入部分卷积（pconv）与掩码更新机制，将风速数据网格的缺失区域视为“孔洞”，在编码器中进行下采样时能有效传播未缺失像素的信息，从而实现对大面积无观测数据区域的合理推断和填充。

37、本发明利用era5再分析资料作为训练基础，使模型能够学习大尺度气候场中的物理规律和空间模式。在应用阶段，通过将站点观测数据重采样与模型框架对齐，实现了再分析数据所提供的全局物理场信息与站点观测的局部精确信息的有效融合。

38、本发明设计了一种损失函数,不仅确保重建网格在数值上与观测值尽可能接近，还通过感知损失和风格损失约束重建结果在空间结构、纹理特征上与真实场保持相似，同时利用总变分损失促进空间上的平滑过渡，有效抑制不合理的噪声。这种多目标优化策略克服了单一指标优化的局限性。