泥石流频率时序变化点检测方法、系统、设备及存储介质

本发明属于地质灾害数据挖掘与统计分析，尤其涉及泥石流频率时序变化点检测方法、系统、设备及存储介质。

背景技术：

1、泥石流年际活动频率受自然条件与人类工程活动多重耦合影响，呈现显著时间非平稳性，精准识别其频次时序结构突变点，对揭示泥石流演化规律、定量评估时变灾害风险、制定差异化防灾策略具有重要理论与工程价值。

2、当前泥石流频次时序变化点检测方法主要分为三类，其一为参数模型结构断点检验方法，依托arima等参数统计模型与假设检验识别突变点，需预设数据服从特定分布；其二为单变量位置参数秩检验方法，以pettitt检验、snht检验等为代表，仅能识别时序均值、中位数等一阶矩参数变化；其三为贝叶斯推断检测方法，依托mcmc采样实现变化点后验推断。

3、现有检测技术普遍存在的缺陷为：依赖参数分布假设，与泥石流频次离散非正态的数据特性不匹配；仅聚焦单一位置参数变化，缺失时序分布全局结构信息。

技术实现思路

1、本发明的目的在于：提供泥石流频率时序变化点检测方法、系统、设备及存储介质，以克服现有技术中依赖参数分布假设，仅聚焦单一位置参数变化的技术瓶颈。

2、本技术实施例是这样实现的，泥石流频率时序变化点检测方法，包括：

3、s01、构建泥石流频率时间序列；

4、s02、设定最小数据点数约束参数，确定候选切分位置，并确定每个候选切分位置对应的前段子序列和后段子序列；

5、s03、分别构建每个候选切分位置对应的前段子序列和后段子序列的的经验累积分布函数，计算双样本ks检验统计量及

p值，确定最优变化点；

6、s04、基于最优变化点，进行统计显著性判定，获得数据段的集合；

7、s05、基于数据段的集合，采用二元分割策略的多变化点迭代检测，获得最终变化点序列。

8、可选地，在本技术的一些实施例中，提取目标区域各年份的泥石流发生次数记录，剔除缺失年份后，按年份升序排列，构建以年份为索引、以年发生次数为观测值的泥石流频率时间序列，记为：

9、{(

yi,

ci) |

i= 1, 2, …,

n}；

10、其中，

i为样本序号，

n为观测数据点总数；

yi为第

i个有观测记录年份；

ci为第

i个有观测记录年份

yi内发生的泥石流次数。

11、可选地，在本技术的一些实施例中，设定最小数据点数约束参数为

m，

m为正整数，则所有满足最小数据点数约束的候选切分位置集合

k为：

12、

k= {

k|

m≤

k≤

n-

m,

k∈

ℤ+}；

13、其中，

k为候选切分索引，

n为观测数据点总数，

ℤ+代表正整数集，

m的取值为5~10；

14、候选切分索引

k对应的前段子序列包含观测值{(

y1,

c1), …, (

yk,

ck)}，即泥石流频率时间序列中前

k个观测值；候选切分索引

k对应的后段子序列包含观测值{(

yk+1,

ck+1),…, (

yn,

cn)}，即泥石流频率时间序列中从第

k+1个至第

n个观测值；和/或

15、候选切分位置的总数

nk为：

16、

nk=

n- 2

m+ 1；

17、其中，

n为观测数据点总数，

m为最小数据点数约束参数。

18、可选地，在本技术的一些实施例中，双样本ks检验统计量

dk的获得方法包括：

19、s0311、构建候选切分索引

k对应的前段子序列的经验累积分布函数如下：

20、；

21、其中，

i(·)为示性函数，当括号内的条件成立时取值为1，否则取值为0；

ci为第

i个有观测记录年份

yi内发生的泥石流次数；

k为候选切分索引；

x为任意实数；

f1(k)(

x)的取值范围为[0, 1]；

22、s0312、构建候选切分索引

k对应的后段子序列的经验累积分布函数如下：

23、；

24、其中，

i(·)为示性函数，当括号内的条件成立时取值为1，否则取值为0；

cj为第

j个有观测记录年份

yj内发生的泥石流次数；

k为候选切分索引；

n为观测数据点总数；

x为任意实数；

f2(k)(

x)的取值范围为[0, 1]；

25、s0313、计算候选切分索引

k对应的双样本ks检验统计量

dk，双样本ks检验统计量

dk定义为两个经验累积分布函数在所有实数上的最大绝对垂直距离，即：

26、；

27、其中，sup为上确界；

x为任意实数；

f1(k)(

x)为候选切分索引

k对应的前段子序列的经验累积分布函数；

f2(k)(

x)为候选切分索引

k对应的后段子序列的经验累积分布函数；

dk的取值范围为[0, 1]；和/或

28、

p值的获得方法如下：

29、s0321、设定

p值检验的原假设

h0为：候选切分位置对应的前段子序列和后段子序列来自同一分布，即：

30、

f1(k)(

x) =

f2(k)(

x)，对所有

x成立；

31、对应的备择假设

h1为：候选切分位置对应的前段子序列与后段子序列来自不同分布，即存在至少一个

x使得

f1(k)(

x) ≠

f2(k)(

x)；

32、s0322、定义有效样本量参数

ne如下：

33、；

34、其中，

n为观测数据点总数，

k为候选切分索引；

35、s0323、在原假设

h0成立的前提下，双样本ks检验统计量满足kolmogorov渐近分布，则候选切分索引

k对应的

p值

pk的计算公式为：

36、；

37、其中，

ne为有效样本量参数；

dk为候选切分索引

k对应的双样本ks检验统计量；

d为求和指标，取正整数；exp(·)为自然指数函数。

38、可选地，在本技术的一些实施例中，最优变化点的获得方法包括：遍历所有候选切分位置即候选切分索引

k，

k∈

k，比较各个候选切分位置的双样本ks检验统计量

dk，取

dk达到最大值的候选切分位置所对应的年份作为最优变化点，即：

39、；

40、；

41、其中，

k为候选切分索引；

k为所有满足最小数据点数约束的候选切分位置集合；

k*为最优切分索引，即双样本ks检验统计量达到最大值时对应的切分索引；argmax为使目标函数取得最大值的自变量取值；

dk为候选切分索引

k对应的双样本ks检验统计量；

y*为最优变化点对应的年份，即最优切分索引

k*所对应的年份；

42、最优变化点对应的

p值为

p*=

pk

*，

pk

*为

k=k*时的

p值；和/或

43、数据段的集合包括第一数据段的集合以及第二数据段的集合。

44、可选地，在本技术的一些实施例中，基于最优变化点对应的

p值

p*，提供预设显著性水平

α，进行如下统计显著性判定：

45、若

p*<

α，则拒绝

p值检验的原假设

h0，接受备择假设

h1，判定最优变化点对应的年份

y*为统计显著的结构性突变点，此时，将构建的原泥石流频率时间序列在

y*处划分为：

46、第一数据段的集合：年份不超过

y*的数据子集，即：

47、；

48、样本量

n1=

k*，

49、第二数据段的集合：年份超过

y*的数据子集，即：

50、；

51、样本量

n2=

n-k*；

52、若

p* ≥

α，则不拒绝原假设

h0，判定在当前时间序列中未检测到统计显著的结构性突变点，将整个泥石流频率时间序列作为一个同质数据段的集合，如下：

53、，则没有检测到泥石流频率时间序列变化点。

54、可选地，在本技术的一些实施例中，最终变化点及对应的同质数据段获得方法包括：

55、s051、将第一数据段的集合和第二数据段的集合依次加入待检测队列q；

56、s052、从待检测队列q的队首依次取出单个待检测时序数据段，记该待检测时序数据段为时序子区间ω，定义该时序子区间ω的起始样本序号为

a，终止样本序号为

b，该时序子区间ω对应的完整时序数据集为：

57、；

58、统计该时序子区间有效样本总量，记为

m，m = b - a + 1；

59、s053、针对当前取出的时序子区间ω，重复步骤s02至s03，遍历该时序子区间ω内所有候选切分位置，求解得到该时序子区间ω内的最优变化点及该时序子区间ω内的最优变化点对应的检验

p值；

60、s054、结合预设最小样本约束参数

m与显著性水平

α，执行分层判定：

61、若该时序子区间ω内样本数满足

m≥ 2

m，且时序子区间ω内的最优变化点对应的检验

p值小于预设显著性水平

α，证明该时序子区间ω内部存在统计显著的分布结构突变，基于该最优变化点对当前子区间ω进行二分切分，得到时间维度靠前的左子区间ω1、时间维度靠后的右子区间ω2，并将ω1、ω2依次存入队列q的队尾；

62、若该时序子区间ω内样本数满足

m<2

m，或子区间最优变化点对应的检验

p值大于等于预设显著性水平

α，无统计显著突变，则将当前时序子区间ω标记为同质数据段，不再进行二次分割，即当前时序子区间ω内无最优变化点；

63、s055、重复步骤s052和步骤s054，直至队列q为空，此时所有数据段均已被标记为同质数据段，即所有数据段内部都不再有最优变化点；

64、s056、将所有检测到的最优变化点按年份升序排列，得到最终变化点序列：；

65、其中，

τt为第

t个变化点对应的年份，

t= 1, 2, …,

t；

t为检测到的变化点总数，为非负整数；当

t= 0时，表示整个时间序列中未检测到任何统计显著的变化点，整个序列为一个同质数据段；

66、最终变化点序列：对应的

t+1个同质数据段按时间顺序依次定义为：

67、；

68、；

69、……

70、；

71、；

72、其中，

p0为第1个同质数据段，

p1为第

2个同质数据段,…,

pt-1为第

t个同质数据段,

pt为第

t+1个同质数据段；min(

yi)为时间序列中的最小编号年份，max(

yi)为时间序列中的最大编号年份。

73、相应的，本技术实施例还提供泥石流频率时序变化点检测系统，包括：

74、频率时间序列模块，构建泥石流频率时间序列；

75、候选切分位置模块，设定最小数据点数约束参数，确定候选切分位置，并确定每个候选切分位置对应的前段子序列和后段子序列；

76、最优变化点模块，分别构建每个候选切分位置对应的前段子序列和后段子序列的的经验累积分布函数，计算双样本ks检验统计量及

p值，确定最优变化点；

77、数据段的集合模块，基于最优变化点，进行统计显著性判定，获得数据段的集合；

78、最终变化点序列模块，基于数据段的集合，采用二元分割策略的多变化点迭代检测，获得最终变化点序列。

79、相应的，本技术实施例还提供计算机设备，包括储存器和处理器，所述储存器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述方法的步骤。

80、相应的，本技术实施例还提供计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。

81、综上所述，由于采用了上述技术方案，本发明的有益效果是：

82、本发明立足于泥石流频率时序离散非正态、时间非平稳的特征，构建泥石流频率时间序列，设置最小数据点数约束筛选候选切分位置，基于双样本 ks 检验遍历候选位置求解最优变化点，经统计显著性判定得到数据段集合，再通过二元分割策略迭代开展多变化点检测，最终输出变化点序列与同质数据段。本发明采用双样本 ks 非参数统计检验方法，依托前后子序列的经验累积分布函数开展分布差异性比对，无需对原始数据的总体分布形式进行预设，规避了参数模型方法对数据分布的依赖性，适配泥石流频次离散非正态的数据特性；双样本 ks 检验统计量表征两段序列经验累积分布函数的全局差异，不局限于均值、中位数等单一位置参数，能够同时捕捉方差、偏态、峰度等高阶矩带来的时序分布结构性改变，克服传统检验方法仅识别位置参数变化的缺陷。同时，本发明引入最小数据点数约束保障分布估计的统计稳定性，结合显著性检验剔除随机波动带来的伪突变，再通过二元分割迭代检测机制，可自动识别时序中一处或多处统计显著的结构性突变点，输出划分完成的同质数据段，能够为泥石流演化阶段划分、时变灾害风险定量评估以及差异化防灾策略制定提供客观、定量的技术支撑。