基于图卷积网络的环境数据的格点处理方法

1.本发明涉及数据处理领域，特别涉及一种基于图卷积网络的环境数据的格点处理方法。


背景技术：

2.近年来，环境污染问题引起人们重视，自动环境监测站点密度也随之大大提高，并且在大力发展智能网格预报技术背景下和人类生产活动对于基于位置的空气质量服务要求下，将监测站点空间分辨率不规则、分布离散的监测数据生成规则的格点资料具有重要的社会服务和业务应用价值。
3.常用的将站点数据进行格点处理的方法有客观分析、遥感反演、资料同化、统计插值、克里插值、张量补全等方法，但是现有的技术都是对单一的环境数据进行处理，没有考虑其他因素对目标数据的影响，导致格点化效果不理想。


技术实现要素：

4.针对上述技术中存在的不足之处，本发明提供一种基于图卷积网络的环境数据的格点处理方法，本发明将气象监测数据用于环境数据的网格化，利用神经网络强大的拟合能力，拟合气象数据对于空气质量数据的影响和格点化过程中的空气质量数据的变化规律，从而提高环境数据格点化的精度。
5.本发明的一种基于图卷积网络的环境数据的格点处理方法包括如下步骤：
6.s1：获取目标区域内n个空气质量监测站点的空气质量监测数据和m个气象监测站点的气象监测数据；所述空气质量监测数据包括空气质量浓度数据，所述气象监测数据包括湿度、温度、风向和风速数据；
7.s2：对所有监测数据的缺失部分进行预处理，并根据监测站点坐标将对应站点的监测数据映射到目标区域按尺度所划分的格点矩阵内；
8.s3：使用格点矩阵内的气象监测数据中的风向数据和风速数据生成动态风场图，并使用迪杰斯特拉算法计算出风场邻接矩阵；
9.s4：根据格点矩阵内的空气质量浓度数据构建出每个时刻的掩码矩阵，根据风场邻接矩阵、掩码矩阵和气象监测数据构建出每个时刻的特征向量集合z；
10.s5：根据所述掩码矩阵和所述空气质量浓度数据生成每个时刻的目标矩阵y；
11.s6：将所述特征向量集合z矩阵输入到训练完成的图卷积神经网络模型，得到目标矩阵的估计矩阵p。
12.本发明提供的一种基于图卷积网络的环境数据的格点处理方法，具有如下有益效果：
13.1、本发明将风速数据和风向数据转化为动态风场矩阵，再根据动态风场矩阵求出风场邻接矩阵，最后把邻接矩阵输入到模型中，利用神经网络模型能够学习到风场对空气质量的影响映射关系，从而提高空气质量数据格点化精度；
14.2、本发明将基于谱的gcn层加入到图卷积神经网络模型中，在训练过程中，能够对影响网格化精度的不利因素进行过滤，使格点处理的效果更佳精确；
15.3、本发明利用随机置零后的掩码矩阵对目标矩阵进行随机初始化，增加了模型的鲁棒性，模型对空气质量的格点化效果更加稳定；
16.4、本发明在将环境质量数据格点化时，用当前时间结点前f个结点给当前节点提供信息，使格点化效果分布更合理；
17.5、本发明还充分考虑了温度、湿度对空气质量的影响，格点化效果更加精确。
附图说明
18.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1是本发明的整体流程示意图；
20.图2是本发明实施例生成mask和mask2矩阵的示意图；
21.图3是本发明实施例提供的生成特征向量集合z示意图；
22.图4是本发明实施例提供的生成目标矩阵y示意图；
23.图5是本发明实施例提供的主要数据流程图。
具体实施方式
24.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.图1是本发明的整体流程示意图，如图1所示，所述方法包括：
26.s1：获取目标区域内n个空气质量监测站点的空气质量监测数据和m个气象监测站点的气象监测数据；所述空气质量监测数据包括空气质量浓度数据，所述气象监测数据包括湿度、温度、风向和风速数据；
27.在本发明实施例中，所述步骤s1可以包括：
28.s11：获取目标区域内n个空气质量监测站点监测的时间频率为一小时的每个时间节点的数据；
29.s12：获取目标区域内m个气象站点监测的湿度、温度、风向、风速时间频率为一小时的每个时间结点的数据；
30.s13：将空气质量浓度数据和气象监测数据按时间先后排序，并按时间对齐数据，对于缺省部分，用-1填充。
31.将所述空气质量浓度数据和所述气象监测数据按照时间进行排序，形成时间序列，后续过程将对时间序列进行处理以实现对时间序列的格点处理。
32.可以理解的是，在本发明实施例中，空气质量监测站点的空气质量监测数据可以选择pm2.5浓度数据，当然也可以是pm10，co，so2，no2，o3，aqi等其他的空气质量浓度数据，
为了方便表述，本发明实施例中以pm2.5浓度数据进行举例说明。
33.s2：对所有监测数据的缺失部分进行预处理，并根据监测站点坐标将对应站点的监测数据映射到目标区域按尺度所划分的格点矩阵内；
34.在本发明实施例中，所述步骤s2包括如下步骤：
35.s21：获取目标区域的边界，将目标区域按照一定尺度划分为渔网格点(网格)，并获取每个网格的中心点坐标l
ij
，构成中心点坐标矩阵l即格点矩阵，其中i和j分别为格点矩阵的行和列坐标；
36.其中，本实施例中尺度可以按照1km
×
1km进行划分，当然在实际情况中，本领域技术人员可以按照实际需要选择不同的尺度进行划分，从而将目标区域划分为不同网格；其中目标区域的形状可以是矩形、圆形或者其他不规则图形，若为非矩形，则需要将非矩形的目标区域向外填充为矩形，从而方便将目标区域划分为相同尺寸的网格，便于后续对环境数据进行格点处理。
37.其中，本发明中将目标区域划分为多个网格后，以每个网格中心点坐标作为该网格的坐标，并形成中心点坐标矩阵；该坐标矩阵的行列坐标即能反映该网格在目标区域中的位置。
38.s22：根据空气质量监测站点的坐标和经纬度距离，遍历计算空气质量监测站点到格点矩阵中每个格点的第一距离，确定出第一距离最短时的格点位置，并记录在第一映射表d1中；
39.其中，所述第一映射表d1包括n个空气质量监测站点分别映射到格点矩阵中最短距离的映射坐标，坐标，表示第i个空气质量监测站点映射成数据矩阵时的行列标记，i∈[1，n]。
[0040]
s23：读取所有空气质量监测站点的监测数据，对于同一格点，将当前时刻的缺省监测数据通过监测站点的前后时刻的监测数据的平均值或者该监测站点的所有时刻的监测数据的平均值补入；
[0041]
在本发明实施例中，读取所有n个空气质量监测站点的监测数据，如果发现当前时刻的监测数据存在缺省，即假设监测数据中缺省即则令如果出现多个连续缺省值，将直接用该站点的平均值填充，其中表示第n个站点t时刻的空气质量浓度值，t-1表示t时刻的前一时刻，t 1表示t时刻后一时刻，其中t∈(0，l)，l为监测数据时间序列长度。
[0042]
s24：根据气象监测站点的坐标和经纬度距离，遍历计算气象监测站点到格点矩阵中每个格点的第二距离，确定出第二距离最短时的格点位置，并记录在第二映射表d2中；
[0043]
其中，所述第一映射表d2包括m个气象监测站点分别映射到格点矩阵中最短距离的映射坐标，的映射坐标，表示第i个气象监测站点映射成数据矩阵时的行列标记，i∈[1，m]。
[0044]
s25：读取所有气象监测站点的气象监测数据，对于同一格点，将当前时刻的缺省监测数据通过监测站点的前后时刻的监测数据的平均值或者该监测站点的所有时刻的监测数据的平均值补入；
[0045]
在本发明实施例中，读取所有m个气象监测站点的气象监测数据，对于每一个获取的气象数据，数据中缺省即则令则令如果出现多个连续缺省值，将直接用该站点的平均值填充，其中表示第m个气象监测站点t时刻的气象数据值，t-1表示t时刻的前一时刻，t 1表示t时刻后一时刻，其中t∈(0，l)，l为监测数据时间序列长度。
[0046]
其中，本实施例中对于数据缺省部分，即气象监测数据，都使用cressman填充算法优化生成的数据矩阵从而得到新的优化后的矩阵，并覆盖原来的矩阵。
[0047]
s26：在当前时刻t时，将每个空气质量监测站点的空气质量浓度数据根据第一映射表d1映射到矩阵v
t
对应的位置上，将每个气象监测站点的湿度、温度、风向、风速数据根据第二映射表d2映射到矩阵h
t
、t
t
、对应的位置上；
[0048]
其中，v
t
表示时刻t的空气质量浓度数据矩阵，h
t
、t
t
、依次为t时刻的湿度、温度、风向、风速数据矩阵，其中t∈(0，l)，l为监测数据时间序列长度。
[0049]
在本发明实施例中，对于任意时刻t，可以将t时刻每个空气质量监测站点的pm2.5数据根据第一映射表d1映射到矩阵v
t
对应的位置上，将t时刻每个天气监测站点的湿度、温度、风向、风速数据根据第二映射表d2映射到矩阵h
t
、t
t
、对应的位置上，其中v
t
表示时刻t时pm2.5的监测值映射到目标区域按照1km
×
1km尺度划分为渔网中，同理，h
t
、t
t
、即是t时刻湿度、温度、风向、风速的监测值映射到目标区域按照1km
×
1km尺度划分为渔网中。
[0050]
s3：使用格点矩阵内的气象监测数据中的风向数据和风速数据生成动态风场图，并使用迪杰斯特拉算法计算出风场邻接矩阵；
[0051]
在本发明实施例中，所述步骤s3可以包括：
[0052]
s31：使用风向数据矩阵和风速数据矩阵生成动态风场图矩阵其中，表示格点矩阵中第i个格点到第j个格点的风场距离，其中θ
ij
表示第i个格点到第j个格点的风向夹角，t∈(0，l)，l为监测数据时间序列长度；
[0053]
s32：根据所述动态风场图矩阵dw
t
，使用迪杰斯特拉算法计算格点矩阵中第i个格点到第j个格点的最短路径a
ij
，对格点矩阵中的每个格点分别计算出最短路径，并将所有最短路径构成风场邻接矩阵a
t
。
[0054]
s4：根据格点矩阵内的空气质量浓度数据构建出每个时刻的掩码矩阵，根据风场邻接矩阵、掩码矩阵和气象监测数据构建出每个时刻的特征向量集合z；
[0055]
在本发明实施例中，所述步骤s4包括如下步骤：
[0056]
s41：初始化时刻t的第一掩码矩阵mask
t
和第二掩码矩阵mask2
t
，当时刻t的空气质量浓度数据矩阵的值不为空时，否则令并从mask2
t
中随机选择k个数值为1的格点重置为0，更新第二掩码矩阵，i，j为掩码矩阵的
横坐标、纵坐标；
[0057]
s42：截取时刻t以及前f个时刻中的每一个时刻的v、ws、wd、h、t、a、mask和mask2矩阵，构建出时刻t的前f个时刻的特征向量基数df，表示为df＝[x1，x2，x3，x4，x5，x6，x7]；
[0058]
s43：根据监测数据时间序列长度和所述特征向量基数构建出特征向量集合z，使得z＝[d1，d2，
…
，dn，
…
，dj]；
[0059]
其中，x1，x2，x3，x4，x5，x6，x7依次表示时刻t的前f个时间节点的空气污染浓度矩阵v*mask2，风速矩阵ws，风向矩阵wd，湿度矩阵h，温度矩阵t，风场邻接矩阵a，mask矩阵；f，t，f为整数，f∈[1，j]，t∈(0，l)，f＜l；j表示特征向量集合维度；(n，j)∈(0，l-f)，l为监测数据时间序列长度。
[0060]
图2给出了本发明实施例中掩码矩阵的生成示意图，如图2所示，在本发明实施例中，首先需要根据时刻t的空气质量浓度数据矩阵来生成第一掩码矩阵，其中时刻t的空气质量浓度数据矩阵v
t
是一个多维数据，这些数据中可能为空non，也可能具有实际的数值，本发明需要确定出具有实际数值的矩阵坐标，将该矩阵坐标在第一掩码矩阵的对应位置处设置为1，为空的对应位置处设置为0，从而形成了第一掩码矩阵mask
t
，考虑到第一掩码矩阵完全由空气质量浓度数据决定，其抗干扰能力较弱，因此本发明对第一掩码矩阵中设置为1的矩阵坐标进行部分随机化，选择部分矩阵坐标重置为0，从而形成第二掩码矩阵mask2
t
，这两个掩码矩阵将在后续的图卷积网络中发挥不同的作用。
[0061]
可以理解的是，在本发明实施例中，第一掩码矩阵是根据风场邻接矩阵得到的，而第二掩码矩阵是根据第一掩码矩阵以及随机初始化得到的，本发明实施例中分别利用随机初始化前后的第一掩码矩阵和第二掩码矩阵，能够增强图卷积网络模型的鲁棒性，使得模型对空气质量的格点化效果更加稳定。
[0062]
图3给出了本发明实施例中特征向量集合生成示意图，如图3所示，在本发明实施例中，首先需要获取每个时刻t的前f个时刻的空气污染浓度矩阵v*mask2，风速矩阵ws，风向矩阵wd，湿度矩阵h，温度矩阵t，风场邻接矩阵a，mask矩阵，将每个时刻t的矩阵进行整合，形成了长度为j的特征向量集合。
[0063]
s5：根据所述掩码矩阵和所述空气质量浓度数据生成每个时刻的目标矩阵y；
[0064]
在本发明实施例中，所述步骤s5包括如下步骤：
[0065]
s51：根据第二掩码矩阵和空气质量浓度数据矩阵生成t时刻的目标矩阵，表示为y
t
＝v
t
·
mask2
t
；
[0066]
s52：将不同时刻的目标矩阵进行整合，构建出目标矩阵集合y＝[y1，y2，
…
，yn，
…
，yj]；
[0067]
其中，v
t
表示将时刻t的空气质量浓度数据映射目标区域的格点位置中，mask2
t
表示时刻t的第二掩码矩阵；t∈(0，l)，j表示特征向量集合维度；(n，j)∈(0，l-f)，l为监测数据时间序列长度。
[0068]
图4给出了本发明实施例中目标矩阵的生成示意图，如图4所示，在本发明实施例中，首先需要获取每个时刻t的空气质量浓度数据矩阵v
t
和第二掩码矩阵mask2
t
，将上述两个矩阵进行点乘后，得到的矩阵即为时刻t的目标矩阵y
t
。
[0069]
s6：将所述特征向量集合z矩阵输入到训练完成的图卷积神经网络模型，得到目标矩阵的估计矩阵p。
[0070]
图5给出了本发明实施例中图卷积神经网络模型，如图5所示，在本发明实施例中，所述图卷积神经网络模型包括依次设立的时间卷积网络层、基于谱的图卷积网络层、基于空间的图卷积网络层和卷积神经网络输出层；所述时间卷积网络层提取出空气污染浓度矩阵，风速矩阵，风向矩阵，湿度矩阵，温度矩阵的时序特征，所述基于谱的图卷积网络层对风场邻接矩阵进行噪音扰动去噪，所述基于空间的图卷积网络层对时间卷积网络层的时序特征和基于谱的图卷积网络层的风场特征的交互关系进行映射，所述卷积神经网络输出层对基于空间的图卷积网络层的交互关系和掩码矩阵进行处理，并将隐含特征还原成目标矩阵。
[0071]
在本发明中，本发明实施例可以利用tcn提取时间特征的序列关系，更好的刻画格点化过程中数据的变化趋势，基于谱的gcn过滤网格化过程中的随机噪音，基于空间的gcn模拟风对空气质量污染物的影响，cnn来生成目标矩阵，还充分考虑到湿度及温度对空气质量网格化的影响，使格点化效果更加精确。同时，本发明的基于图卷积神经网络将环境数据格点化模型在训练过程中加入了随机扰动，使得模型的稳定性更高，相较于一般统计模型，本发明的该模型能够有效的捕捉待格点化数据的时空特征，训练完成后对环境数据格点化更佳高效和稳定。
[0072]
在本发明实施例中，图卷积神经网络模型的训练过程包括将所述特征向量集合z作为模型输入，得到目标矩阵的估计矩阵p，将所述目标矩阵的估计矩阵p与掩码矩阵对位相乘，将对位相乘结果与目标矩阵y进行对比，根据对比结果优化图卷积神经网络模型参数，直至误差在设定范围内。
[0073]
可以理解的是，在本发明实施例中，只有模型的训练过程才需要让将对位相乘结果与目标矩阵y进行对比，根据对比结果优化图卷积神经网络模型参数，而在模型的应用过程中，即对目标区域内n个空气质量监测站点的空气质量监测数据和m个气象监测站点的气象监测数据进行直接处理时，仅需要输出目标矩阵的估计矩阵p即可，该估计矩阵p是一种稠密矩阵，而目标矩阵是一种稀疏矩阵，本发明中正是对稀疏矩阵进行估计，完成对环境数据的格点处理。
[0074]
在本实例中，在步骤s6中，所述基于图卷积神经网络将环境数据格点化模型采用mae作为损失函数，计算公式为误差阈值设为5，当模型平均损失小于5时模型停止训练。
[0075]
在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“外”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0076]
在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋转”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0077]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。