一种基于时空自回归神经网络模型的插值方法与流程

1.本发明属于gis(地理信息系统)的数据插值领域，具体涉及一种基于时空自回归神经网络的插值方法。


背景技术：

2.在现实环境中，由于存在着地形、气候和设备等诸多限制，往往只能获得一部分目标点的在某些时间点的观测数据。随着人们对时空数据挖掘的需求更加迫切、时空数据的粒度更加细化，即使是在当今的大数据时代，时空数据的缺失和稀疏分布依然是个突出的问题。而时空数据插值的效果与精度影响着后续时空挖掘过程与结果。时空数据插值的目的在于利用有限观测数据的时空属性，运用合理的方法进行估计以获得符合真实分布的密集或者连续的数据。时空插值对于理解和分析时空数据具有重要的意义，完善和发展时空插值方法，对于探索时空数据的时空分布和变化趋势具有重要的理论价值和实践意义。
3.从空间模型到时空模型的拓展是统计分析模型的必然发展趋势。时空插值方法多从归约和拓展法两个角度展开。归约法是先进行时间维度内插再进行空间内插，将时空内插问题简化为常规的空间内插问题。拓展法是将时间作为空间的另一个维度进行处理，这样就将时空插值问题转换为了高维空间插值问题。在拓展法中常见的是时空克里金插值，通过构建时空变异函数和时空协方差函数拟合时空相关性，但由于数学模型限制和人为因素影响，存在难以拟合时空数据间复杂非线性关系的问题。


技术实现要素：

4.本发明的目的是克服现有的不足，提供一种基于时空自回归神经网络的插值方法。
5.为实现本发明目的，提供的技术方案如下：
6.一种基于时空自回归神经网络模型的插值方法，用于对时空点观测数据中的缺失属性值进行插值补全，其包括如下步骤：
7.s1：对待插值的时空点的原始观测数据进行预处理，去除存在值缺失的时空点样本，保留时空点的空间坐标、时间和属性值均完整的时空点样本；对保留的所有时空点样本通过遍历进行两两配对，计算每一对时空点样本间的空间距离和时间距离，构建形成训练数据集；
8.s2：利用所述训练数据集对预先构建的时空自回归神经网络模型进行训练；
9.所述时空自回归神经网络模型包含输入层、时空距离网络、时空权重网络和输出层；
10.所述输入层的输入为时空点间的空间距离和时间距离，通过所述时空距离网络进行转换，输出时空点间的时空距离，以得到待插值的未知时空点与任一已知时空点之间的时空距离；
11.所述时空权重网络的输入为未知时空点与每个已知时空点之间的时空距离向量，
输出为每个已知时空点相对于未知时空点的时空权重向量；
12.所述输出层中将时空权重向量与所有已知时空点的属性值向量相乘，输出未知时空点的属性值预测结果；
13.s3：利用训练后的时空自回归神经网络模型对原始观测数据中待插值的每个缺失属性值进行预测，进而实现原始观测数据中的缺失属性值的插值补全。
14.基于上述方案，各步骤可具体采用以下具体方式实现。
15.作为优选，所述步骤s1中，构建训练数据集的执行流程包括：
16.s11：获取存在数据缺失的时空点的原始观测数据，原始观测数据中每一个时空点样本均含有空间坐标、时间和属性值三种信息；遍历每个时空点样本，将空间坐标、时间和属性值三者任一存在缺失的时空点样本进行删除，将剩余的时空点样本的属性值做归一化处理；
17.s12：对s11中保留的所有时空点样本进行两两遍历配对，对于任意一对时空点i与时空点j，获取对空对象i的空间坐标(u
i
,v
i
)和时间t
i
，获取对空对象j的空间坐标(u
j
,v
j
)和时间t
j
，计算时空点i与时空点j之间的投影坐标差(u
i
‑
u
j
,v
i
‑
v
j
)和时间差t
i
‑
t
j
，分别代表空间距离和时间距离；所有计算结果以向量形式表示；
18.s13：将s11中归一化处理后的观测数据，结合s12中计算得到的时空点样本间的空间距离和时间距离，构建为训练数据集。
19.作为优选，所述s2的时空自回归神经网络模型中，各网络层的结构如下：
20.所述时空距离网络f表示为：
[0021][0022]
其中：(u
i
‑
u
j
,v
i
‑
v
j
,t
i
‑
t
j
)表示时空距离网络f的输入，表示时空距离网络f的输出；
[0023]
所述时空权重网络f
st
表示为：
[0024][0025]
其中：为所述输入层传递的时空权重网络f
st
的输入，表示待插值的未知时空点i与所有n个已知时空点之间的时空距离组成的时空距离向量，w
i
为时空权重网络f
st
的输出，表示所有n个已知时空点相对于未知时空点i的时空权重组成的时空权重向量；
[0026]
所述输出层表示为：
[0027][0028]
其中：y＝(y1,y2,
…
,y
n
)
t
表示n个已知时空点的属性值向量,表示未知时空点i的属性值预测结果。
[0029]
进一步的，所述时空自回归神经网络模型中，时空权重网络通过时空权重矩阵来实现多个未知时空点的属性值预测，时空权重矩阵w由时空权重系数分量矩阵ρ和标准时空权重分量矩阵β相乘得到：
[0030][0031]
其中：*表示哈达马积，ρ
ij
表示时空点i和时空点j之间的时空权重系数分量，由时空权重网络预测得到；β
ij
表示时空点i和时空点j之间的标准时空权重分量，定义为：
[0032][0033]
最终，在输出层中以向量形式输出多个未知时空点的属性值预测结果：
[0034][0035]
作为优选，所述时空自回归神经网络模型通过批训练方式进行参数优化。
[0036]
作为优选，所述归一化的方式为min
‑
max归一化。
[0037]
作为优选，所述时空距离网络采用3层结构，包括1个输入层、1个隐藏层和1个输出层，隐藏层以prelu为激活函数。
[0038]
作为优选，所述时空权重网络采用5层结构，包括1个输入层、3个隐藏层和1个输出层，隐藏层以prelu为激活函数。
[0039]
作为优选，所述观测数据为水域空间上的水质监测数据，每个采样点记录分别代表空间坐标、时间和属性值的采样位置坐标、采样时间和监测指标。
[0040]
进一步的，所述监测指标为每个采样点的温度数据。
[0041]
本发明与现有技术相比具有的有益效果：
[0042]
针对常见时空插值方法基于数学模型进行人为主观参数拟合，难以将时间和空间距离转换为时空距离，拟合时空距离对时空权重间的复杂非线性作用等问题，利用神经网络强大的学习和抽象能力，将时空距离与时空权重的拟合问题转换成了神经网络的构建与训练优化问题，减小模型选择和参数设置的主观因素影响，能够有效提升时空数据的插值精度，为时空插值模型提供了一定了拓展思路。
附图说明
[0043]
图1为基于时空自回归神经网络的插值方法流程图；
[0044]
图2为时空自回归神经网络模型的结构示意图。
具体实施方式
[0045]
下面结合附图和具体实施例对本发明作进一步详细说明。
[0046]
本发明提供了一种基于时空自回归神经网络模型的插值方法，该插值方法的作用是对时空点观测数据中的缺失属性值进行插值补全。所谓时空点观测数据是指在记录过程中既有空间信息也有时间信息的观测数据，例如在一定区域内不同位置定期采集的数据，其中的采样点就是时空点，而采集的数据就是其记录的属性值，每一条属性值对应于其采
集位置的坐标和采集时间。因此时空点存的完整性在两个维度，空间维度和时间维度。此类数据采集过程中由于存在着各种客观和主观原因限制，往往只能获得一部分点位的在某些时间点的观测数据，而无法获得完整的所有时空点的观测数据。
[0047]
如图1所示，在本发明的一个较佳实施例中，提供了一种基于时空自回归神经网络模型的插值方法的流程图，其主要步骤包括4步，分别为s1～s4：
[0048]
s1：对待插值的时空点的原始观测数据进行预处理，去除存在值缺失的时空点样本，保留时空点的空间坐标、时间和属性值均完整的时空点样本。对保留的所有时空点样本通过遍历进行两两配对，计算每一对时空点样本间的空间距离和时间距离，构建形成训练数据集。
[0049]
s2：利用上述训练数据集对预先构建的时空自回归神经网络模型进行训练。
[0050]
其中，本发明利用神经网络架构构建了时空自回归神经网络模型，将时空距离和时空权重解算任务转化为可量化的神经网络模型构建与训练优化问题。以时空对象的投影坐标和时间为基本输入单元，再分别计算对象间的空间距离差和时间距离差，设计模型将其向量化表达，通过神经网络拟合时空距离和时空权重，输出未知时空点的属性值。如图2所示，时空自回归神经网络模型包含输入层、时空距离网络、时空权重网络和输出层，其中时空距离网络的作用是实现从时间与空间距离到时空距离的转换，而时空权重网络的作用是实现从时空距离到时空权重的转换。各网络层的具体功能如下：
[0051]
输入层的输入为时空点间的空间距离和时间距离，输入数据传输至时空距离网络中，通过时空距离网络进行空间距离和时间距离到时空距离的转换，输出时空点间的时空距离。时空距离网络的输出可作为时空权重网络的输入。由于时空距离网络可输出任意两个时空点之间的时空距离，因此以得到待插值的未知时空点与任一已知时空点之间的时空距离。
[0052]
时空权重网络的输入为未知时空点与每个已知时空点之间的时空距离向量，输出为每个已知时空点相对于未知时空点的时空权重向量。
[0053]
时空权重网络的输出传递置输出层，由输出层中将时空权重向量与所有已知时空点的属性值向量相乘，输出未知时空点的属性值预测结果。
[0054]
s3：利用训练后的时空自回归神经网络模型对原始观测数据中待插值的每个缺失属性值进行预测，进而实现原始观测数据中的缺失属性值的插值补全。
[0055]
下面对本实施例中s1～s4的具体实现方式以及其效果进行详细描述。
[0056]
在上述s1步骤中，构建训练数据集的具体执行流程包括：
[0057]
s11：获取存在数据缺失的时空点的原始观测数据，原始观测数据中每一个时空点样本均含有空间坐标(即投影坐标)、时间和属性值三种信息。遍历每个时空点样本，将空间坐标、时间和属性值三者任一存在缺失的时空点样本进行删除，将剩余的时空点样本集合记为a，将集合a中每个时空点的属性值做归一化处理。输入数据可能分布不均匀，为了优化网络训练，因此归一化转换采用min
‑
max归一化公式，归一化到[0,1]范围。
[0058]
s12：对集合a中保留的所有时空点样本进行两两遍历配对，对于任意一对时空点i与时空点j，获取对空对象i的空间坐标(u
i
,v
i
)和时间t
i
，获取对空对象j的空间坐标(u
j
,v
j
)和时间t
j
，计算时空点i与时空点j之间的投影坐标差(u
i
‑
u
j
,v
i
‑
v
j
)和时间差t
i
‑
t
j
，分别代表空间距离和时间距离，空间距离和时间距离可均采用绝对值记录。所有计算结果以向量
形式表示。由此，对于任意一个时空点，就得到了其与其他数据的在各个方向的投影坐标差和时间差。
[0059]
s13：将s11中归一化处理后的观测数据，结合s12中计算得到的时空点样本间的空间距离和时间距离，构建为训练数据集。
[0060]
在上述s2步骤中，描述了时空自回归神经网络模型的基本流程，下面对模型中各网络层的具体结构进行详细描述：
[0061]
1)若有任意两个时空点i与j，定义其时空距离为时空距离网络f可以视为是一个将时间与空间距离映射到时空距离的函数，表示为：
[0062][0063]
其中：(u
i
‑
u
j
,v
i
‑
v
j
,t
i
‑
t
j
)表示时空距离网络f的输入，表示时空距离网络f的输出；表示空间距离，表示时间距离。
[0064]
函数f是一种需要拟合时间、空间距离与时空距离的复杂非线性关系，因此其在本发明中用神经网络的形式进行拟合，可以时间距离和空间距离为输入、时空距离为输出，构造时空距离神经网络。该时空距离网络采用3层结构，包括1个输入层、1个隐藏层和1个输出层，隐藏层神经元数量为4，隐藏层以prelu为激活函数。
[0065]
2)对于任意一个缺失属性值的时空点i，定义其时空权重w
i
＝(w
i1
,w
i2
,
…
,w
in
)，n为所有具有属性值的已知时空点个数，w
ik
表示时空点k相对于时空点i的时空权重，因此表示已知时空点k相对于未知时空点i的时空权重。那么时空权重网络f
st
可以视为是一个以为输入、时空权重向量w
i
为输出的时空权重计算函数，表示为：
[0066][0067]
其中：为输入层传递的时空权重网络f
st
的输入，表示待插值的未知时空点i与所有n个已知时空点之间的时空距离组成的时空距离向量，w
i
为时空权重网络f
st
的输出，表示所有n个已知时空点相对于未知时空点i的时空权重组成的时空权重向量。
[0068]
同样的，函数f
st
需要拟合复杂非线性关系，因此在本发明中用神经网络的形式进行拟合，输入是构建的时空距离网络的输出，以此方式将两个网络结构连接起来。本实施例中时空权重网络采用5层结构，包括1个输入层、3个隐藏层和1个输出层，隐藏层以prelu为激活函数。
[0069]
3)输出层中可以以n个已知时空点的属性值结合时空权重向量来对未知时空点i的属性值进行预测，表示为：
[0070][0071]
其中：y＝(y1,y2,
…
,y
n
)
t
表示n个已知时空点的属性值向量，y
k
表示已知时空点k的属性值，表示未知时空点i的属性值预测结果。
[0072]
上述训练数据集由于已删除了所有缺失值的样本，因此相当于所有时空点样本都
带有训练所需的真值标签。训练数据集可通过批训练的方式，通过分批输入时空自回归神经网络模型中，对模型进行训练使其能够准确地利用已知时空点的信息来实现位置时空点的信息插值补全。
[0073]
具体的模型训练方式属于现有技术，本实施例中以均方误差mse为网络的损失函数，计算公式如下：
[0074][0075]
式中，n为样本总数，为预测值，y为真实值。
[0076]
采用梯度下降法更新模型内部的神经网络参数变量，使其逼近或达到最优值，从而使损失函数结果最小。引入学习率衰减(learning rate decay)作为梯度更新优化策略。另在隐藏层用批归一化(batch normalization)和随机失活正则化(drop out)进行优化。超参数包括训练样本大小batch_size、学习率α、训练轮数epoch，drop out的存活概率keep
‑
alive。需要根据数据内容、体量、硬件资源，综合确定模型训练时的超参数取值。
[0077]
因此，在上述s3步骤中，就可以利用训练后的时空自回归神经网络模型对原始观测数据中待插值的每个缺失属性值进行预测，预测值代替缺失值重新补全至原始观测数据中。由此，通过这种做法可以得到任意时空点的缺失属性值，大大提高了观测数据的完整性和可用性。
[0078]
另外，需要注意的是，上述时空权重网络f
st
可以逐个输出时空权重向量，也可以利用矩阵形式直接输出多个时空权重向量组成的时空权重矩阵，以便于实现多个未知时空点的属性值预测，两种方式的基本原理一致，区别仅在于形式不同。本实施例中需要预测的未知时空点较多，因此通过构建时空权重矩阵的方式进行预测。
[0079]
当时空权重网络通过时空权重矩阵来实现多个未知时空点的属性值预测时，我们需要先定义时空权重矩阵w：
[0080][0081]
时空权重矩阵w由元素w
ij
组成，位于时空权重矩阵对角线上的元素表示两个相同时空位置互相的权重，为了消除时空点自身的影响，需要将对角线元素的权重设为0，其余则由时空权重网络f
st
输出，按下式表示：
[0082][0083]
为了在模型中实现时空点自身影响的消除，可再定义标准权重分量β
ij
为：
[0084][0085]
w
ij
可以表示为：
[0086]
w
ij
＝ρ
ij
×
β
ij
[0087]
式中，ρ
ij
为时空权重系数分量。
[0088]
由此，时空权重矩阵可时空权重矩阵w由时空权重系数分量矩阵ρ和标准时空权重
分量矩阵β逐元素相乘得到，即由时空权重系数分量ρ
ij
和标准时空权重分量β
ij
相乘得到：
[0089][0090]
其中：*表示哈达马积(hadamard product)，ρ
ij
表示时空点i和时空点j之间的时空权重系数分量，由时空权重网络预测得到；β
ij
表示时空点i和时空点j之间的标准时空权重分量，定义如前所述。
[0091]
因此，在这种做法中，时空权重网络f
st
先预测的实际上是时空权重系数分量矩阵ρ，最终在输出层中将时空权重系数分量矩阵ρ和标准时空权重分量矩阵β逐元素相乘，以向量形式输出m个未知时空点的属性值预测结果：
[0092][0093]
上述时空自回归神经网络模型可以对区域内存在的复杂非线性关系进行拟合，得到未知时空点的预测值。该未知时空点可以是空间点也可以是时间点。
[0094]
下面基于上述s1～s3描述的方法，将其应用至实施例中，以直观展示其技术效果。
[0095]
实施例
[0096]
本实施例中，将2018年1
‑
3月浙江近岸海域水质监测数据作为待插值的原始观测数据，每个采样点样本记录有采集位置的坐标、采集时间以及多种水质监测指标。此处以海水温度作为待插值补全的属性，将原数据中的采集位置的坐标、采集时间以及海水温度数据按9:1比例分为训练集和验证集，以之为研究对象进行插值实验。其基本步骤如前述的s1～s4所述，不再赘述，下面主要对各步骤的一些具体实现细节和效果进行展示。
[0097]
1、根据s1～s2中描述的方法，使用tensorflow框架构建网络，模型的超参数设置如下：
[0098]
1)训练样本大小batch_size：64；2)学习率α：0.1；3)训练轮数epoch：40000；4)keep
‑
alive：0.8。
[0099]
2、开展温度数据训练集的训练，每隔1000步保存模型实例，并对验证集进行一次验证，同时利用tensorboard插件绘制训练梯度曲线和测试梯度曲线，判断模型是否存在过拟合或欠拟合，最终选取验证准确率最高的保存点作为模型生成结果。
[0100]
3、将本发明方法(starnn)与时空反距离加权法(stidw)进行对比。实验结果如表1和表2所示。本发明相比时空反距离加权法在拟合能力和预测能力上都有所提升，如下表1训练集结果所示，在训练集，r2从0.9224提升到0.9736，平均绝对误差mae从0.5017下降至0.3662。如下表1验证集结果所示，在验证集，r2从0.9184提升到0.9353，平均绝对误差mae从0.4035下降至0.3809。
[0101]
表1
[0102][0103]
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。