基于GSNNR的空间非平稳性关系的回归分析方法

基于gsnnr的空间非平稳性关系的回归分析方法
技术领域
1.本发明属于深度学习和空间分析相结合的技术领域，具体地说，尤其涉及一种基于改进gsnnr的空间非平稳性关系的回归分析方法。


背景技术：

2.在空间分析领域，对非平稳性的解析是非常关键的，一般在分析与预测中都需要使用数学模型来解析对应空间的非平稳性关系。对于非平稳性的衡量的精确性已经成为地理空间分析模型的核心评价方法。
3.地理神经网络加权回归（gnnwr）是地理空间非平稳性解析领域中较为先进的模型结构。该模型采用深度神经网络代替经典gwr模型中用于非线性拟合的核函数，弥补了核函数不能拟合复杂非线性映射的缺点。在gnnwr模型中，利用先进的深度神经网络强大的非线性拟合能力，通过构建空间加权神经网络(swnn)来拟合原始地理空间数据到高维空间隐藏特征数据的非线性映射过程。首先计算多个样本点与待估计点之间的地理空间位置距离，得到待估计的未知点与多个已知的样本点之间的空间距离矩阵。然后将空间距离矩阵输入到swnn中，深度神经网络将原始数据在高维空间进行非线性映射，通过对数据的学习得到对应的空间权重矩阵。最后将空间权重矩阵作为线性回归模型的输入，得到最终的拟合值。
4.gnnwr对于非平稳性过程的数学建模局限于单一的地理空间范畴，只考虑到了样本点与估计点之间的距离特征。而现实中的空间非平稳性还受到属性的影响，gnnwr在空间非平稳的数据特征表达上考虑不够全面，导致精确度不稳定。


技术实现要素：

5.本发明的目的是提供一种基于gsnnr的空间非平稳性关系的回归分析方法，以弥补现有技术的不足。
6.为达到上述目的，本发明采取的具体技术方案为：一种基于全空间神经网络回归（gsnnr）的空间非平稳性关系的回归分析方法，包括以下步骤：s1：收集空间信息数据，分为训练集和测试集，数据进行预处理得到的特征信息包括空间特征和属性空间特征；s2：将s1得到的空间特征和属性空间特征输入至全空间邻近非线性融合神经网络模型(sapdnn)中，该sapdnn神经网络模型以gnnwr为基础模型，输入层添加了属性空间特征；经过该sapdnn神经网络模型得到全空间邻近表达矩阵；s3：所述全空间邻近表达矩阵输入至swnn模块中进行处理，输出一个权重矩阵w；权重矩阵w在输入到线性回归模型olr输出最终的预测结果y^；s4：所述gnnwr和swnn构成了gsnnr模型，利用所述训练集对gsnnr模型进行训练，得到训练好的gsnnr模型，再将测试数据输入至训练好的gsnnr模型中，输出结果即可。
7.进一步的，所述s1中：所述空间特征指在地理空间中所处的位置信息，比如经纬度、海拔、位置坐标等信息特征；所述属性空间特征是指地理实体所拥有的自身属性，比如温度、风向、植被类型、树木直径等信息特征。
8.进一步的，所述s1中：对于空间特征采用欧式距离进行度量：对于属性空间特征的度量，指地理属性在向量空间中指定属性值的绝对差值距离或者多个属性值的加权差值距离；属性距离(attribute distance)的数学表达如下：其中，表示第i与j个样本点之间的属性距离，上标a是属性特征的标识，n为样本点参与计算的属性类别个数，是第k个属性值的加权系数，且满足；为消除位置距离与属性距离的在向量空间中度量尺度上的差异，引入尺度权重参数，将位置距离与属性距离进行融合，构建“位置-属性”统一距离表达，表示如下：其中，λ、φ分别为位置距离尺度权重参数与属性距离尺度权重参数。
9.进一步的，所述s2中：对于空间中
푖
与
푗
两个样本点，假设存在兼顾位置距离与属性距离的统一距离表达的非线性融合函数，其数学表达如下：利用神经网络来拟合“位置-属性”统一距离表达的非线性融合函数，构建两个样本点之间的“位置-属性”融合神经网络（spatial-attribute proximities neural network，sapnn）；以位置距离与属性距离作为输入，通过若干全连接层，得到
푖
与
푗
两个样本点之间的统一距离表征量：以位置距离与属性距离作为输入，通过若干全连接层，得到
푖
与
푗
两个样本点之间的统一距离表征量，如下公式表示：sapnn用于融合两个样本点的空间特征和属性特征；考虑到点集中任意两个样本点之间都存在“空间-属性”统一距离关系的相互作用，构建“空间-属性”融合深度神经网络（spatial-attribute proximities deep neural network，sapdnn）；对于任意一个样本点i，均可获得该点与样本空间内点集中其他点的位置距离表征向量与属性距离表征向量，其中n为样本点总数；为简单起见，以上两种距离表征向量分别简化为与；以样本点i与其他所有样本点的位置
距离与属性距离作为输入，对样本点与每一个样本点两点之间的位置距离与属性距离都采用sapnn网络进行“位置-属性”的统一距离融合计算，可以得到该样本点与所有样本点的融合位置距离与属性距离的统一距离表征向量，再经过若干全连接层进行非线性融合，获得可以表征空间中样本点的与其他所有样本点之间“位置-属性”统一距离度量，其公式如下表示：。
10.进一步的，所述sapdnn神经网络模型采用输入层、隐含层和输出层三层的神经网络架构，在训练中使用he参数初始化、prelu激活函数、批量归一化、变学习率等技术提高模型的泛化性。
11.更进一步的，所述he参数初始化、prelu激活函数、批量归一化、变学习率具体如下：所述he参数初始化：避免信号在网络中进行前项传播和反向传播时出现指数级的放大或缩小，从而避免梯度消失或爆炸；所述prelu激活函数，ai是一个可学习的参数，prelu激活函数在几乎没有增加参数的情况下提升了模型的拟合性能，减少了过拟合风险；所述批量归一化：对模型每一层的输出在经过激活函数之前先进行归一化操作，确保数值在网络中间传播时保持稳定，使得网络更加容易收敛，降低过拟合风险；所述变学习率：在模型训练中通常希望初期学习率大一点，后期学习率小一点。使用变学习率可以使得学习率适应模型训练的程度，当模型越来越精确的同时，学习率越来越小。
12.进一步的，所述swnn模块为输入层、两层隐含层（可以不止两层）和输出层的神经网络架构；对于输入的对组全空间邻近表达矩阵进行权重的计算；在训练中采用与sapdnn同样的训练优化技术。
13.与现有技术相比，本发明的优点和有益效果是：（1）本发明引入属性空间作为解析非平稳性过程的重要特征，属性空间纳入了空间非平稳性探测模型的输入；属性空间（attribute space）指地理空间范围之内拥有的属性。地理属性在空间上的差异结合地理时空分布对于揭示复杂的地理现象具有重要意义。
14.（2）本发明提出融合空间和属性空间的全空间表达，使用深度神经网络将地理空间与属性空间相融合，融合之后的复合特征相比单一的地理空间特征更加能够准确的表征实际的空间非平稳性过程，从而进一步提高非平稳性的衡量的精确性。
15.（3）本发明还提出全空间邻近非线性融合神经网络(sapdnn)，该神经网络模型以以gnnwr为基础模型，添加了属性空间特征，提高了预测的准确度。该网络用来融合地理空间特征与地理属性特征，得到地理特征的一个全空间表达。
附图说明
16.图1是sapdnn神经网络模型的基本框架图。
17.图2是sapnn神经网络模型的处理过程图。
18.图3是sapdnn神经网络模型的处理过程图。
19.图4是swnn模块的基本框架图。
20.图5是swnn模块输出权重矩阵的流程图。
21.图6是gsnnwr模型的输入与输出结构图。
22.图7是本发明交叉训练验证流程图。
具体实施方式
23.下面结合实施例对本发明所述的技术方案作进一步地描述说明。
24.实施例1：一种基于全空间神经网络回归（gsnnr）的空间非平稳性关系的回归分析方法，包括以下步骤：s1：收集空间信息数据，分为训练集和测试集，数据进行预处理得到的特征信息包括空间特征和属性空间特征；所述空间特征指在地理空间中所处的位置信息，比如经纬度、海拔、位置坐标等信息特征；所述属性空间特征是指地理实体所拥有的自身属性，比如温度、风向、植被类型、树木直径等信息特征。
25.对于空间特征采用欧式距离进行度量：对于属性空间特征的度量，指地理属性在向量空间中指定属性值的绝对差值距离或者多个属性值的加权差值距离；属性距离(attribute distance)的数学表达如下：其中，表示第i与j个样本点之间的属性距离，上标a是属性特征的标识，n为样本点参与计算的属性类别个数，是第k个属性值的加权系数，且满足；为消除位置距离与属性距离的在向量空间中度量尺度上的差异，引入尺度权重参数，将位置距离与属性距离进行融合，构建“位置-属性”统一距离表达，表示如下：其中，λ、φ分别为位置距离尺度权重参数与属性距离尺度权重参数。
26.s2：将s1得到的空间特征和属性空间特征输入至全空间邻近非线性融合神经网络模型(sapdnn)中，如图1所示，该sapdnn神经网络模型以gnnwr为基础模型，输入层添加了属性空间特征；经过该sapdnn神经网络模型得到全空间邻近表达矩阵；对于空间中
푖
与
푗
两个样本点，假设存在兼顾位置距离与属性距离的统一距离表达
的非线性融合函数，其数学表达如下：利用神经网络来拟合“位置-属性”统一距离表达的非线性融合函数，构建两个样本点之间的“位置-属性”融合神经网络（spatial-attribute proximities neural network，sapnn），如图2所示；以位置距离与属性距离作为输入，通过若干全连接层，得到
푖
与
푗
两个样本点之间的统一距离表征量：以位置距离与属性距离作为输入，通过若干全连接层，得到
푖
与
푗
两个样本点之间的统一距离表征量，如下公式表示：sapnn用于融合两个样本点的空间特征和属性特征；考虑到点集中任意两个样本点之间都存在“空间-属性”统一距离关系的相互作用，构建“空间-属性”融合深度神经网络（spatial-attribute proximities deep neural network，sapdnn），如图3所示；对于任意一个样本点，均可获得该点与样本空间内点集中其他点的位置距离表征向量与属性距离表征向量，其中为样本点总数；为简单起见，以上两种距离表征向量分别简化为与；以样本点i与其他所有样本点的位置距离与属性距离作为输入，对样本点与每一个样本点两点之间的位置距离与属性距离都采用sapnn网络进行“位置-属性”的统一距离融合计算，可以得到该样本点与所有样本点的融合位置距离与属性距离的统一距离表征向量，再经过若干全连接层进行非线性融合，获得可以表征空间中样本点的与其他所有样本点之间“位置-属性”统一距离度量，其公式如下表示：。
27.所述sapdnn神经网络模型采用输入层、隐含层和输出层三层的神经网络架构，在训练中使用he参数初始化、prelu激活函数、批量归一化、变学习率等技术提高模型的泛化性。
28.所述he参数初始化、prelu激活函数、批量归一化、变学习率具体如下：所述he参数初始化：避免信号在网络中进行前项传播和反向传播时出现指数级的放大或缩小，从而避免梯度消失或爆炸；所述prelu激活函数，ai是一个可学习的参数，prelu激活函数在几乎没有增加参数的情况下提升了模型的拟合性能，减少了过拟合风险；所述批量归一化：对模型每一层的输出在经过激活函数之前先进行归一化操作，确保数值在网络中间传播时保持稳定，使得网络更加容易收敛，降低过拟合风险；
所述变学习率：在模型训练中通常希望初期学习率大一点，后期学习率小一点。使用变学习率可以使得学习率适应模型训练的程度，当模型越来越精确的同时，学习率越来越小。
29.s3：所述全空间邻近表达矩阵输入至swnn模块中进行处理，如图5所示，输出一个权重矩阵w；权重矩阵w在输入到线性回归模型olr输出最终的预测结果y^；如图4所示，所述swnn模块为输入层、两层隐含层（可以不止两层）和输出层四层的神经网络架构；对于输入的对组全空间邻近表达矩阵进行权重的计算；在训练中采用与sapdnn同样的训练优化技术。
30.s4：所述gnnwr和swnn构成了gsnnr模型，利用所述训练集对gsnnr模型进行训练，得到训练好的gsnnr模型，再将测试数据输入至训练好的gsnnr模型中，输出结果即可，如图6所示。
31.本实施例的技术特点包括以下：（1）“空间-属性”特征融合。将每个样本点对应的空间特征与地理属性特征输入sapdnn，经过运算得到“空间-属性”全邻近性特征表达矩阵。将多个样本点的输出组合成一个大矩阵作为下一模块的输入。
32.（2）“空间-属性”特征权重矩阵计算。对于前一模块输出的融合特征矩阵，采用深度神经网络提取特征，神经网络采用多层感知机结构，在训练中采用dropout、he参数初始化、prelu激活函数等优化技术来增强模型的泛化能力。
33.（3）预测结果计算。将非平稳权值与最小二乘系数相乘来得到非平稳系数。模型最终输出的拟合值y ̂
_i是所有非平稳系数及其相应自变量的乘法求和的结果。最小二乘系数是从训练集得到的。
34.（4）验证测试。未来验证算法设计的有效性，将数据集按照3:1的比例分为训练集和测试集，训练集内部按9:1的比例进行10折交叉验证，交叉验证的过程如图7所示。
35.实施例2该实施例以实施例1为基础，以大气中pm2.5浓度的空间非平稳性关系为研究对象，利用所述算法模型预测实际的pm2.5浓度数值。
36.为保证数据的代表性，本发明选用了2018年全国范围内的监测点数据作为研究数据，重点对比“空间-属性”特征融合后的全空间邻近性表达对该非平稳性关系解算精度的影响。对于数据处理，选用风向(wd)作为与pm2.5浓度相关的地理属性特征，以pm2.5浓度作为预测对象，模型的输入特征还包括高程(dem)、相对湿度(r)、10m风速(ws)、气溶胶(aod)、降水量(tp)、2m温度(temp)的数据。
37.在训练集和测试集中，将全部数据样本按照3：1的比例随机划分为训练的交叉验证集和测试集，在交叉验证集中采用9：1的比例进行10折交叉验证保证模型的泛化能力。所使用数据是从全国的监测点中进行随机采样获得，数据在全国的地理空间范围内呈现出随机分布，保证了本案例的结论具有普遍代表性。
38.对比的gwr和gnnwr模型，本发明的改进主要在于以下两点：
一、引入地理属性空间作为算法输入的特征之一，并使用sapdnn对“空间-属性”特征进行融合处理，获得全空间表达。本发明所提的新方案在基础数据层面上相比只考虑地理空间位置关系的原始方案更具代表性，“空间-属性”相结合的特征处理方式更能表征出实际的地理空间非平稳性关系。
39.二、解算精度在引入新的特征表示方式后得到提升，对比不考虑地理属性空间特征的gnnwr模型与采用不同核函数的gwr模型，精度平均提升了10%左右。
40.一、引入地理属性空间现有模型方案只从地理空间位置关系上的二维距离来挖掘样本之间的空间非平稳性关系，然而实际上样本之间的这种关系受到多种因素的影响，在引入地理属性特征后，样本在数据上的表达更加接近实际情况，包含了更多的语义信息。
41.二、采用深度神经网络融合两种特征在引入新的特征表达后，对于两种不同特征的处理采用了深度神经网络的方式进行融合，获得“空间-属性”的全空间表达矩阵作为后续解算的输入数据。由于数据本身蕴含了更多的语义信息，使得模型的解算精度得到了提升。
42.在上述实施例的基础上，本发明继续对其中涉及到的技术特征及该技术特征在本发明中所起到的功能、作用进行详细的描述，以帮助本领域的技术人员充分理解本发明的技术方案并且予以重现。
43.最后，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。