顾及时空异质性的基于极稀疏采样的高维比湿数据重建方法与流程

表性样本构建掩膜张量；
9.s200：基于比湿数据分布结构，从不同尺度上提取每个子张量块数据上的特征分量；
10.s300：对s200提取的不同尺度上的特征分量集合进行显著性检验，筛选显著性分 量并进行特征重构，得到特征重构数据；
11.s400：将每个子张量块数据的特征重构数据和原始的子张量块数据分别进行加权求 和。
12.进一步的，所述步骤1具体包括：
13.步骤1.1：将原始高维比湿数据组织成高阶张量，将高阶张量分割成多个维数大小 相同的子张量块；
14.步骤1.2：通过时空异质性测度将局部相似的子张量块进行聚合，形成局部相似的 子张量块。
15.进一步的，所述步骤1.1，具体包括：
16.将原始高维比湿数据组织成高阶张量；
17.将高阶张量基于属性值进行划分；
18.将高阶张量根据空间和时间维度进行分割；其中，时间维度的分割为以数据更新间 隔进行分割，空间维度的分割为分割成具有相同大小的规则块。
19.进一步的，所述步骤1.2，具体包括：
20.假设分解得到的子张量块对于相邻的子张量块数据依据时空异质性测度进 行高维相似度计算，得到相邻的子张量块数据之间的相似度：
21.ρ
i,i 1
＝sc(xi,x
i 1
)
ꢀꢀꢀ
(2)
22.将相邻的子张量块数据之间的相似度ρ
i,i 1
与给定的相似度阈值δ进行比对：若 ρ
i,i 1
＞δ,则否则xi＝yi，x
i 1
＝y
i 1
。
23.进一步的，s100具体包括：
24.结合比湿数据在大气中的分布结构[min,mid],(mid,max]，对于子张量块yi，将子张 量块yi上的数据(yi)
pjk
根据其在整个大气数值分布中所处的不同的结构，赋予不同的权 重：
[0025][0026]
且α β＝1；
[0027]
其中，p,j,k分别代表子张量块yi在经度、维度、时间三个维度上的索引；
[0028]
并以此构建子张量块yi数据的权重系数集合；
[0029]
对于上述构建的权重张量weight((yi)
pjk
)，构建掩膜张量
[0030][0031]
其中，(qi)
pjk
表示掩膜张量q
′
p
在位置(p,j,k)上的值。
采样大气环境多维信号的重建；与现有技术相比，具有以下优点：
[0048]
(1)本发明方法将大气多维数据组织成一个高阶张量，在缺乏先验知识的情况下， 将原始数据分割成均匀的子张量，进而通过时空异质性测度将局部相似的子张量聚合在 一起，形成局部相似的子张量块；最后利用张量cp分解完成对存在时空异质性的大气 数据的特征提取，既考虑了保留了原始数据的结构特征，又顾及了局部的时空异质性， 在顾及时空异质性的同时实现了基于极稀疏采样高阶比湿数据的重构；
[0049]
(2)本发明针对大气中湿度数值的分布，对原始数据分块后的子张量块设置了不 同的权重，进而构建掩膜矩阵，客观反映了真实世界中大气湿度的分布概况；
[0050]
(3)本发明方法通过设置累计方差贡献率阈值，作为子张量块特征提取的截至点， 即仅有一个输入参数，尽量减少了人为因素的干预，保证了模型的高效。
附图说明
[0051]
图1为发明的流程图；
[0052]
图2为相邻shum数据的时间主分量的相关系数示意图；
[0053]
图3为特征分量数与累计方差贡献率图；
[0054]
图4为极稀疏采样shum多维信号重建结果示意图，其中，图4(a)为原始完整的 shum数据，图4(b)为稀疏数据缺失率为90％，图4(c)为特征数为70时的提取结 果。
具体实施方式
[0055]
大气环境多维信号是一种离散的、时空中存在耦合关系的高维信号，且受自然条件 影响，其天然存在时空异质性。目前，在对结构异质的稀疏时空场进行插值时，现有的 方法往往将数据作为整体进行研究，忽略了时空异质性的特点。在本发明中，将离散的 高阶比湿数据组织成三个维度分别为经度、维度、时间的三阶张量；在缺乏先验知识的 情况下，将原始高阶比湿数据重组为局部相似的子张量块；将得到的每个子张量块视作 一个整体，对每个子张量块进行样本筛选，选取代表性样本，构建掩膜张量；基于大气 分布结构模式，从不同尺度上提取每个子张量块数据上的大气环境多维信号的特征分 量；进一步对不同尺度上的特征分量集合进行显著性检验，筛选显著性分量并进行特征 重构；将每个块数据的特征重构数据与原始的子张量块数据分别进行加权求和，完成原 始高阶比湿数据的重建。本发明方法在顾及时空异质性的同时对极稀疏的高阶比湿数据 进行重建，结果展示了良好的精度，是大气多维信号重建方向上的一大突破。
[0056]
下面结合附图进一步阐述本发明。
[0057]
如图1所示，本发明的一种顾及时空异质性的基于极稀疏采样的多维比湿数据重建 方法，包括如下步骤：
[0058]
步骤1：在顾及稀疏采样的比湿数据的多维特性以及时空异质性的同时，将原始高 阶比湿数据分割成均匀的子张量块，通过时空异质性测度将局部相似的子张量块聚合 在一起，形成局部相似的子张量块。具体包括以下子步骤：
[0059]
将原始高阶比湿数据组织成高阶张量的形式，考虑到时空场数据存在显著的时空异 质性，整体的张量分解会带来特征估计偏差。因此，在缺乏先验知识的情况下，将高阶 张量分割成多个维数大小相同的子张量块。
气环境多维信号的特征分量，具体为：
[0078]
对于重组后的子张量块数据结合构建的掩膜张量进行加权张量cp 分解如下：
[0079][0080]
其中，为分别在经度、纬度和时间维上的第r个特征，为未 被捕获的数据信息，为第r个特征的权重系数集；*代表两个张量对应位置上的元素 做标量乘运算。
[0081]
步骤4：基于步骤3进一步对不同尺度上的特征分量集合进行显著性检验，筛选显 著性分量并进行特征重构；具体为：
[0082]
基于各个稀疏块数据上的权重系数集合构建相应的特征分 量集合诸如累计方法贡献率(cumulative variance contribution(cvc))等的统计指标如下：
[0083][0084]
其中，cvc
(i,r)
分别表示子张量块yi上的特征分量在所有的特征分量集合 中的累计方差贡献率。
[0085]
基于这个指标以及给定的累计方差贡献率阈值γ，对提取出的特征分量进行筛选。 也即是：cvc
(i,r)
＞γ，则子张量块yi第r组特征分量被筛选为最终的特征估 计分量集合。假设子张量块yi上筛选后的特征分量集合记为特征值集合 记为
[0086]
步骤5：将每个块数据的特征重构数据和原始的子张量块数据分别进行加权求和， 就可以完成对极稀疏大气场模型的多维信号重建。
[0087]
将上述筛选的特征分量集合和特征值集合进行张量重构如下： 并与对应的张量块yi进行加权求和如下：
[0088][0089]
其中，i表示大小与qi相同所有位置均为1的张量。
[0090]
每一个子张量块数据依次进行上述操作，即可得到原始稀疏大气环境重建。
[0091]
下面结合实施例进一步阐述本发明。
[0092]
现通过实验对本发明的重建方法进行验证。选择由noaa (http：//www.cdc.noaa.gov/composites)发布的1948年1月1日至2010年12月31日的 2.5
°
x 2.5
°
大气再分析日平均比湿数据作为实验数据，即将比湿数据集存储为(经度
×
纬 度
×
时间)张量从shum移除90％的数据来构建稀疏数据，利用所提 出的方法作用于稀疏数据，进而验证该方法对于不同稀疏程度数据的特征提取。最大迭 代步长设置为2000，迭代初始值设为随机数。以及选择相对误差、相关系数以及常用统 计指标，如最大值、最小值、中值、平均值以及标准差作为建模评价指标。
[0093]
原始数据是日平均数据，假设仅考虑数据在时间维度上的结构异质性，保持该数据 在空间中的完整性，仅对时间维度进行划分。在缺乏先验知识的情况下，对数据进行均 匀分块。因此，将原始数据沿着时间维度分割为12块，如表1所示。
[0094]
表1数据的均匀划块
[0095][0096]
将原始数据进行均匀分块后，每个分块仍具有高维、数据量大的特性，直接在数据 空间中应用相关系数判断，将会使得结果有所偏差。基于子张量块之间的相似度进行合 并，提取每个分块的时间特征主分量，并对相邻数据的时间主分量进行相关系数的计算， 如图2所示。可以看到相关系数在0.3662到0.8617之间，表明在不同时间段上的特征 主分量结构差异比较大，即该数据在时间维度上是显著异质的。
[0097]
基于上述的不同时间段上的特征主分量的相关性计算，对于相关性比较大的相邻块 数据，可以认为其在特征空间中结构是非常相似的。由张量分解的特性可知，原始的数 据空间是由特征空间中各个维度上的分量线性/非线性配置而成，因此可以认为特征空间 中相似的数据其在数据空间中也是相似的。以相关系数0.65为阈值，也即是假如相邻块 数据的相关系数大于0.65，则认为这相邻块数据之间是结构相似的，因而该相邻的块可 以合并进而整体处理。小于0.65则认为相邻两块的结构差异比较大，因此该相邻的块应 该分开处理。通过合并操作，可以将原始数据重组为五个子张量。如表2所示。
[0098]
表2 shum块数据的合并
[0099][0100]
为每个子张量块构建掩膜张量，通过加权张量cp分解求解每个子张量块的特征的 权重系数集，进而求解方差贡献率与累计方差贡献率，基于这两个指标以及给定的方差 贡献率阈值ε和累计方差贡献率阈值γ，实现对提取出的特征分量的筛选。给定的方差 贡献率阈值ε和累计方差贡献率阈值γ为0.97。
[0101]
结果如图3所示，可以看到，当特征分量数达到70时，累计方差贡献率达0.97002， 大于设定的阈值0.97，当特征数由70增加到80时，尽管方差贡献率仍有所上升，但累 计方差贡献率之差小于0.004；因此，选择70作为极稀疏shum的最佳特征数。
[0102]
图4显示了当shum数据缺失达到90％，特征数为140时的重建模型，其原始图像 如图4(a)所示，当数据缺失90％时，效果如图4(b)所示，r＝140时的插值效果如图4(c) 所示，可以看到，重组模型的结构信息类似于原始数据。其精度评价如表3所示，其相 对误差为0.1482，表明该方法在极稀疏的大气场模型中插值有着较高的精度，此外，插 值得到结果的最小值、最大值相较于原始数据分别小了25.2875、19.7415，相对于原始 数据有着同向的偏移；但其中值、平均值与原始数据几乎相同，标准差比原始数据小了 2.2687，表明插值得到的数据相较于原始数据较为平滑；插值结果的相关系数相较于原 始数据只低了0.0293，更加佐证了该方法应用在重组极稀疏的大气数据的可行性。
[0103]
表3不同稀疏度的shum的特征估计结果统计
[0104]
稀疏度0％90％相对误差0.00000.1482r0.0000140.0000最小值523.6875498.4000最大值596.0035576.2620中值99.658599.7022平均值80.897799.7022标准差107.2150104.9463相关系数1.32531.2960
[0105]
为了验证该方法对极稀疏采样高阶比湿数据特征提取的优势，我们将该方法的性能 与经典插值方法—时空数据的普通克里金法(krigingst)进行了对比，该方法广泛用于 时空稀疏数据的特征估计。选择相同数据(具有90％缺失数据的shum)作为输入数据， 选择的特征数r同样为70。
[0106]
在时空克里金方法中，其假设时空中的二阶(或内在)平稳性并估计变差函数，该 方法中所需的参数很复杂，特别是对于模型选择和特定参数设置中涉及的变差函数的计 算和拟合，这些参数通常是根据经验选择的。为了检测函数模型的变化对特征估计结果 的
影响，选择了不同的拟合模型，如球形(sph)和指数(exp)，所有其他参数设置为 相同。
[0107]
比较指标如表4所示。
[0108]
表4 krigingst和本方法之间的比较
[0109][0110]
可以看到，本方法的相对误差比最低，为0.1482，相关系数最高，为1.2960，表明 本方法具有相对较高的精度。虽然运行时间表明该方法的复杂性远高于时空克里金，但 当特征数r下降时，在精度下降不是很明显的情况下，运行时间大大降低。此外，时空 克里金的标准差较低，这意味着该方法更稳健。但由于该方法参数相对复杂，插值结果 容易受到不同参数的影响，这使得在给出精度时难以确定最优参数。然而，本方法提出 的方法只有一个参数，即特征数r，其可在给定约束下推导出最优解。