一种基于时空聚类的气象观测数据质量控制方法与流程

技术特征：
1.一种基于时空聚类的气象观测数据质量控制方法，其特征在于，包括以下步骤：s1、获取原始气象观测数据；s2、采用三维的时空聚类st
‑
dbscan算法对气象观测数据各要素进行时空聚类分组，具体为：s21、建立一个三维的气象要素时空数据集d，数据集d中气象要素对象的经度为x，纬度为y，观测时间为z，一条气象观测数据对应一个对象点p
i
＝{x
i
，y
i
，z
i
}，i为观测数据序号，1≤i≤n，n为观测数据样本总量；s22、从数据集d中依次选取对象点p
i
，判断其是否属于现有簇中，是则重新选择下一个对象点p
i 1
，否则进入步骤s23，其中，簇为聚类分组后对象点的集合，不属于任何簇的点为时空孤立点，每个簇具有不同的标签；s23、判断p
i
是否为时空核心对象：设定最小相邻点阈值minpts，若在时空对象点p的时空邻域内，p的时空相邻点数量δn满足δn≥minpts，则称p为时空核心对象；所述时空邻域的定义为，给定一个时空对象点p，p的所有时空相邻点构成的时空范围即为对象点p的时空邻域；所述时空相邻点的定义为，设定时间阈值tt和空间阈值st，对于时空对象p
t
，若p
w
到p
t
的时间距离δt满足：δt＝|z
w
‑
z
t
|≤tt空间距离δs满足公式：δs＝|distance((x
w
，y
w
)
‑
(x
t
，y
t
))|≤st则p
w
为p
t
的时空相邻点；s24、搜寻时空核心对象点p
i
的所有时空相邻点q
i
，若q
i
不属于任何现有簇，则将q
i
放入新建的簇c中，否则不进行操作，其中，簇c中的c为簇的标签；s25、判断新簇c中的各对象是否为时空核心对象，若不是时空核心对象，则将其标为边缘时空对象，否则将该时空核心对象作为目标进行步骤s24的操作；s26、重复步骤s22到步骤s25，直至数据集d中所有对象都属于某个簇，或者为时空孤立点；s3、对各个气象要素时空聚类后的各个簇进行缺失值处理，统计各簇内缺失值个数，当缺失值个数小于设定值时，通过两个最近邻时空相邻点数据的平均值填补，当缺失值个数大于或等于设定值时，删除该簇；s4、簇内一致性检验，计算各簇数据的一致性因子f
c
：其中g
s
(t)＝{g1，
…
，g
n
}为n个在时隙t内且在空间范围s内采集到的某气象要素的观测数据，i,j＝1,
…
,n，时隙t＝1，
…
，t，t为将观测时间划分为等长时隙的个数；基于贝叶斯决策和假设检验方法判断该簇数据在时间维度上是否发生显著改变，若发生显著改变，则将该簇数据标为异常数据组，具体为：建立假设检验模型：{h0:f
c
(1)＝
…
＝f
c
(t0‑
1)＝f
c
(t0)＝
…
＝f
c
(t)}{h1:f
c
(1)＝
…
＝f
c
(t0‑
1)≠f
c
(t0)＝
…
＝f
c
(t)}其中，θ
t
＝{f
c
(1)，
…
，f
c
(t)}为当前簇在时间1，
…
，t上的一致性因子向量，h0表示一致
性因子未发生显著变化，h1表示一致性因子在时间t0发生显著变化；根据贝叶斯原理，采用后验概率计算一致性因子f
c
在时间t上发生显著变化的概率：其中q∈{0，1}，p(h
q
|θ
t
)为似然函数，p(h
q
)为先验概率；当似然函数满足logp(h1|θ
t
)/logp(h0|θ
t
)>1时，该簇数据在时间维度上发生显著改变，g
s
(t)为异常数据组；s5、在异常数据组中进行时空离群点检测并校正：检测离群点：计算异常数据组中全部数据的平均值标准差标准差检查每个数据项是否在区间内，其中k0>1为预定义常数参数，将落在区间外的数据项视为离群点；校正离群值：若离群点最近邻的两个数据点为正常值，则通过异常值前后临近的气象观测数据的平均值替换该离群点；若最近邻的两个数据点也为离群点，则采用该组内数据的平均值替换离群点。

技术总结
本发明属于气象服务技术领域，具体涉及一种基于时空聚类的气象观测数据质量控制方法。本发明采用ST


技术研发人员：罗川
受保护的技术使用者：成都卡普数据服务有限责任公司
技术研发日：2021.09.08
技术公布日：2021/12/2