一种多维时空数据抽稀与还原算法的制作方法

1.本发明涉及数据管理，具体涉及一种多维时空数据抽稀与还原算法。


背景技术：

2.随着物联网设备的爆发式增长，在收集、存储、处理和应用物联网数据时，对网络带宽、存储占用、图形渲染等资源都的消耗都在日趋增长。
3.随着卫星导航、互联网技术和共享经济的快速发展，高精度定位需求愈发强烈，为了满足高精度定位需求，需要采集大量监控数据，并将监控数据转换为行驶轨迹，通过监控视图，使得监管人员能够及时知悉运行状态。
4.在采集监控数据时，可以采用较精细的粒度采集监控数据，例如，以秒为单位采集监控数据。当监管人员查看一段时间内的监控数据时，由于数据量非常大，将导致监控数据绘制监控曲线的性能大幅下降。而且，大多数的监控数据都是正常运行状态下的数据，不会触发监控告警，监管人员无需关注正常运行状态下的数据，因此监控数据中包含了大量冗余数据。在这种情况下，监控视图需要显示非常多的数据点，导致监控视图清晰度降低。
5.为了解决上述问题，传统技术中可以采用基于实时数据处理工作流(spark streaming)处理监控数据。具体的，可以将监控数据划分为多段，对每段监控数据进行汇聚计算，将汇聚计算后的数据绘制成曲线，例如：计算每段监控数据的平均值，将每段监控数据的平均值绘制成曲线。虽然，监控数据经过汇聚计算后数据量有所减少，提高了绘制曲线的性能和清晰度，但是，汇聚计算后的数据无法准确地反映数据特征。因此，如何在减少监控数据的数据量的同时，尽量减少数据特征丢失是一个亟待解决的问题。


技术实现要素：

6.(一)解决的技术问题
7.针对现有技术所存在的上述缺点，本发明提供了一种多维时空数据抽稀与还原算法，能够有效克服现有技术所存在的难以在减少资源消耗的同时减少数据特征丢失、无法对抽稀后的数据进行有效还原的缺陷。
8.(二)技术方案
9.为实现以上目的，本发明通过以下技术方案予以实现：
10.一种多维时空数据抽稀与还原算法，包括以下步骤：
11.将多维时空数据进行相关性分类，划分为多个数据桶；
12.求出每个数据桶中的关键时间值，得到所有数据桶的时间值集合；
13.基于时间值集合从原始数据中抽取对应测点值，得到压缩结果；
14.在时间值集合中获取待还原时间点所在区间，并计算数据桶在待还原时间点处的测点值，进而得到每个维度的还原结果。
15.优选地，所述将多维时空数据进行相关性分类，划分为多个数据桶，包括：
16.将多维时空数据按照时间 空间的3d/4d数据，或者时间 若干个任意度量值切分
为多个数据桶，记为b。
17.优选地，所述求出每个数据桶中的关键时间值，得到所有数据桶的时间值集合，包括：
18.针对各数据桶，设定符合数据特性的关于度量值的距离函数d＝f(xs,xe,xm)，用于计算点xm到点xs、xe构成直线的距离；
19.基于每个数据桶度量值的业务属性设定误差容忍阈值v；
20.对每个数据桶进行递归计算，将数据桶的开始点记作bs，结束点记作be，中间点记作bm，代入距离函数得到距离d＝f(bs,be,bm)，找出变化率最大的关键时间值t，该处的误差距离记为d
t
；
21.若d
t
＞v，则将该数据桶切分为区间分别为[1,t]、[t,n]的两个子数据桶b
[1,t]
、b
[t,n]
，并进行上述递归计算，当d
t
≤v时终止该子数据桶的计算；
[0022]
找出所有误差距离大于误差容忍阈值v的关键时间值t，并记录至时间值集合t。
[0023]
优选地，所述距离函数为平面地理空间距离、三维地理空间距离、欧式距离、马氏距离中的一种。
[0024]
优选地，所述基于时间值集合从原始数据中抽取对应测点值，得到压缩结果，包括：
[0025]
对时间值集合t进行去重后按照升序排序，将时间值集合t作为索引，从原始数据中抽取对应测点值，得到压缩结果r。
[0026]
优选地，所述在时间值集合中获取待还原时间点所在区间，并计算数据桶在待还原时间点处的测点值，进而得到每个维度的还原结果，包括：
[0027]
输入待还原时间点ti和还原函数xm＝f-1
(xs,xe,m)，在时间值集合t中找出待还原时间点ti所在区间[tn,tm]，n≤i≤m；
[0028]
若待还原时间点ti不在时间值集合t中，则终止计算；
[0029]
将tn处的测点值tm处的测点值代入还原函数，计算子数据桶在待还原时间点ti处的测点值
[0030]
将所有子数据桶在待还原时间点ti处的测点值进行融合后，即得到待还原时间点ti对应的还原结果。
[0031]
(三)有益效果
[0032]
与现有技术相比，本发明所提供的一种多维时空数据抽稀与还原算法，可以在保证时间序列数据的数据特征丢失率的前提下，对采样点数量进行大幅压缩，并根据业务需要目标时间点的数据进行有效还原；以此技术为基础可以构建如实时物联网数据分发服务、大规模时序数据存储服务、物联网数据实时展示等应用，在低配置的硬件设备与网络条件下进行更大规模的物联网数据管理。
附图说明
[0033]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。
[0034]
图1为本发明的流程示意图；
[0035]
图2为本发明中现有技术对飞机航班进行多点采样得到的行驶轨迹示意图；
[0036]
图3为本发明对飞机航班进行数据抽稀得到的行驶轨迹示意图。
具体实施方式
[0037]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0038]
一种多维时空数据抽稀与还原算法，如图1所示，
①
将多维时空数据进行相关性分类，划分为多个数据桶，包括：
[0039]
将多维时空数据按照时间 空间的3d/4d数据，或者时间 若干个任意度量值切分为多个数据桶，记为b。
[0040]
其中，在将原始数据切分为多个数据桶过程中，可以依据逻辑、变化率等进行相关性分类。
[0041]
②
求出每个数据桶中的关键时间值，得到所有数据桶的时间值集合，包括：
[0042]
针对各数据桶，设定符合数据特性的关于度量值的距离函数d＝f(xs,xe,xm)，用于计算点xm到点xs、xe构成直线的距离；
[0043]
基于每个数据桶度量值的业务属性设定误差容忍阈值v；
[0044]
对每个数据桶进行递归计算，将数据桶的开始点记作bs，结束点记作be，中间点记作bm，代入距离函数得到距离d＝f(bs,be,bm)，找出变化率最大的关键时间值t，该处的误差距离记为d
t
；
[0045]
若d
t
＞v，则将该数据桶切分为区间分别为[1,t]、[t,n]的两个子数据桶b
[1,t]
、b
[t,n]
，并进行上述递归计算，当d
t
≤v时终止该子数据桶的计算；
[0046]
找出所有误差距离大于误差容忍阈值v的关键时间值t，并记录至时间值集合t。
[0047]
其中，距离函数为平面地理空间距离、三维地理空间距离、欧式距离、马氏距离中的一种。
[0048]
③
基于时间值集合从原始数据中抽取对应测点值，得到压缩结果，包括：
[0049]
对时间值集合t进行去重后按照升序排序，将时间值集合t作为索引，从原始数据中抽取对应测点值，得到压缩结果r。
[0050]
④
在时间值集合中获取待还原时间点所在区间，并计算数据桶在待还原时间点处的测点值，进而得到每个维度的还原结果，包括：
[0051]
输入待还原时间点ti和还原函数xm＝f-1
(xs,xe,m)，在时间值集合t中找出待还原时间点ti所在区间[tn,tm]，n≤i≤m；
[0052]
若待还原时间点ti不在时间值集合t中，则终止计算；
[0053]
将tn处的测点值tm处的测点值代入还原函数，计算子数据桶在待还原时间点ti处的测点值
[0054]
将所有子数据桶在待还原时间点ti处的测点值进行融合后，即得到待还原时间点ti对应的还原结果。
[0055]
其中，还原函数根据该子数据桶的逻辑还原xs、xe构成的直线，以及其与时间轴ti的交点xm。
[0056]
本技术技术方案中，主要分为数据抽稀和数据还原两部分，数据抽稀是将时间序列数据切分为若干个稳定或线性变化的分段，删除中间点值，将关键点值以时间序列存储；数据还原是在时间值集合中获取待还原时间点所在区间，并计算数据桶在待还原时间点处的测点值，从而求得待还原时间点处的原始值。
[0057]
图2为浦东机场飞往昆明机场的cz3677航班的行驶轨迹示意图，飞行时长3小时24分钟，采样率为0.3hz，共4386个采样点；图3为航迹平面地理距离误差500m，高度落差50m，速度偏差50km/h，采用本技术方法将特殊状态标记为目标的抽稀结果，关键采样点数为46个。由此可见，本技术技术方案能够在保证原有数据特征基础上，极大减少采样点数量。
[0058]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。