基于扩散模型的非完整时空数据补全系统及训练方法

本发明属于数据挖掘，具体地，涉及一种基于扩散模型的非完整时空数据补全系统及训练方法。

背景技术：

1、时空数据包含对象的空间分布在时间维度上的复杂动态变化过程。这种数据在众多领域都有着广泛的应用，例如交通管理，环境监测等。但在现实应用中，由于传感器故障、数据传输错误等多种原因，时空数据中常常包含着缺失值。这些缺失值不仅会影响数据的完整性和准确性，还可能对基于这些数据的分析和决策产生误导性的影响。因此，如何有效地处理时空数据中的缺失值，确保数据的质量和可用性，是当前研究和实践中的一个重要课题。

2、近年来，有许多方法被提出来补全缺失的时空数据。在这些方法中基于深度学习的生成模型：生成对抗网络(gans)和扩散模型(diffusion models)都取得了优异的效果。尽管扩散模型被应用到时空数据补全上来已经取得了和gan相当的效果，但是现有方法仍存在问题。

3、首先，将扩散模型应用到时空数据补全上的一个关键步骤是提取时空依赖关系并将其作为条件指导扩散模型生成缺失数据的过程。现有的许多工作使用时间维度的线性插值方法来对缺失部分进行预补全，并使用经过预补全的数据提取时空依赖关系。但是线性插值存在着较大的预补全误差，会造成时空数据的分布偏移，使得提取的时空依赖关系不准确。并且线性插值带来的误差会随着深度网络的计算过程不断传播，造成的误差累积会影响整个模型的效果。

4、专利文献《一种自监督的通用场景下轨迹补全方法》(cn202410661443)公开了结合了确定性模型和条件扩散模型，并通过网格化编码增强位置信息表示，虽然通过自监督训练和网格化处理避免了线性插值预补全导致的误差，但没有考虑到去噪生成过程中数据分别和依赖关系的变化，同时预补全信息仅包括缺失位置数据，模型学习数据的准确度较低。

5、现有方法将提取的时空依赖关系作为不变的全局先验信息，来指导扩散模型学习时空数据的分布。但实际对于扩散模型每一步的去噪生成过程，输入的数据分布是随着所加噪声不同变化的，数据中的依赖关系也是变化的，现有的方法忽略了这部分变化的依赖关系。

6、专利文献《时空数据处理模型的训练、处理方法、装置以及介质》(cn202211267605)公开了使用时空填补网络分别获取空间和时间相关性来估算时空数据，并使用时空混合填补网络联合捕获城市时空数据的时空关联信息。但将预补全结果与含噪声的数据共同提取，对于噪声导致的变动没有反应，输出的准确性还有所欠缺。

7、因此，需要一种新的非完整时空数据补全方法，能够准确补全数据缺失部分，将时空依赖关系与噪声变化动态关联，从而获得更为精准的模型效果。

技术实现思路

1、针对现有技术中的缺陷，本发明的目的是提供一种基于扩散模型的非完整时空数据补全系统及训练方法。

2、根据本发明提供的一种基于扩散模型的非完整时空数据补全系统训练方法，包括：

3、双向s4网络步骤：分别根据正序和逆序输入的非完整数据的序列进行补全获得预补全结果，并监督两者的预补全结果差距；

4、时空依赖提取网络步骤：将从预补全结果中提取时空依赖关系；

5、噪声预测网络步骤：采用多个残差层逐层相接的结构对非完整数据加噪后缺失位置数据加噪之后的值经过去噪输出缺失数据，将每个残差层的输出相加通过卷积层输出预测噪声；

6、扩散模型步骤：根据非完整数据，以数据缺失情况、预补全结果和时空依赖关系为条件，构建扩散模型；

7、损失函数步骤：根据学习分布的误差和预补全的误差联合训练扩散模型和双向s4网络的损失函数，并优化训练。

8、优选地，所述扩散模型步骤中构建具有正向加噪和反向去噪过程的扩散模型；

9、正向的加噪过程表示为：

10、

11、反向的去噪过程表示为：

12、

13、其中，x∈rl×d表示完整数据；

14、l表示序列时间维度长度；

15、d表示每个时间步数据的特征数；

16、m∈{0,1}l×d表示数据的缺失情况，1表示可观测，0表示缺失；

17、xm表示数据中可观测的部分；

18、xc表示预补全结果；

19、u表示时空依赖关系；

20、表示缺失部分；

21、t表示扩散模型加噪步数；

22、t表示总步数；

23、β表示扩散模型超参数；

24、表示加噪步数为t时缺失位置数据加噪之后的值；

25、表示加噪步数从1到t步骤对应的缺失位置数据加噪之后的值。

26、优选地，所述扩散模型学习条件分布预测的噪声和上一个去噪步的数据的分布在得到当前去噪步的数据的分布，进而根据分布进行采样得到当前去噪的数据。

27、所述噪声预测网络步骤中基于残差神经网络构建，根据噪声预测网络的输出对进行去噪，将输入的经过一步去噪得到输出经过t步之后生成缺失数据生成最终的预测噪声。

28、优选地，所述噪声预测网络步骤中对于全局的不变的时空依赖关系，使用交叉注意力cross-attention处理，计算方式为：

29、k＝xwk，q＝xwq，v＝xwv，

30、使用提取的时空依赖关系u来计算k和q：

31、k＝uwk，q＝uwq，v＝xwv，

32、赋予两种transformer的输出不同的权重，根据实际的输入数据来决定比重，用符号r1表示自注意力层的输出，用符号r2表示交叉注意力层的输出，输入到多层感知机中得到门控权重g，对两者做加权和得到最终注意力层的输出r：

33、g＝σ(w(r1+r2)+b)r＝g·r1+(1-g)·r2

34、其中，k、q、v分别为transformer的键、查询、值矩阵；

35、wk、wq、wv分别表示计算k、q、v的参数矩阵；

36、w表示参数矩阵；

37、b表示参数的偏置项；

38、·符号表示矩阵逐元素相乘。

39、优选地，所述双向s4网络步骤中时间步t的输出yt表示为：

40、yt＝catbu0+cat-1bu1+...+cbut

41、其中，u表示输入序列；

42、a、b、c矩阵均表示用hippo初始化的参数矩阵。

43、对于正向、反向的网络，分别将非完整数据依次输入s4模型、特征维度transformer模型和第二个s4模型，并计算每个模型的输出与数据中可观测部分对应的重建误差；

44、从缺失位置之前和之后两个方向数据随时间变化的规律对缺失位置进行补全，计算并监督误差来，正向和反向网络预补全结果的均值为预补全结果xc。

45、优选地，所述时空依赖提取网络步骤中使用两种注意力机制的结合充分利用了数据本身不变的时空依赖关系和随着扩散模型去噪过程变化的数据分布而变化的时空依赖关系，将提取得到的时空依赖关系输入到噪声预测网络的残差网络中作为条件扩散模型不同去噪步的全局时空条件。

46、所述损失函数步骤中计算双向s4网络的正向模型和反向模型对应输入数据缺失的输出之间的一致性误差lc，监督lc；

47、将扩散模型自身的损失函数与lf，lb，lc求和得到整个框架的损失函数：

48、

49、对损失函数进行优化训练模型；

50、其中，m∈{0,1}l×d表示数据的缺失情况，1表示可观测，0表示缺失；

51、θ表示模型参数；

52、∈表示去噪步数t时扩散模型所加噪声；

53、表示噪声预测模型输出；

54、xc表示预补全结果；

55、u表示时空依赖关系；

56、g表示时空数据对应的图；

57、t表示扩散模型加噪步数；

58、λ表示超参数；

59、lf表示正向模型的重建误差损失函数；

60、lb表示反向预补全网络的重建误差。

61、根据本发明提供的一种基于扩散模型的非完整时空数据补全系统，采用所述的基于扩散模型的非完整时空数据补全系统训练方法训练获得，包括双向s4网络、时空依赖提取网络、噪声预测网络和扩散模型。

62、将非完整数据经双向s4网络处理后分别通过时空依赖提取网络提取时空依赖关系和扩散模型加噪后，输入噪声预测网络；

63、噪声预测网络输出预测噪声经过扩散模型处理后输出补全结果。

64、优选地，所述时空依赖网络采用时间维度的transformer提取时序变化规律，使用图卷积网络和特征维度的transformer提取空间关系。

65、所述双向s4网络采取时序上双向的结构，使用hippo矩阵初始化的s4模型。

66、正向模型的重建误差损失函数由监督正向模型输出与输入数据中的可观测部分之间的差异计算，正向模型的重建误差损失函数反向预补全网络的重建误差

67、其中，表示正向的预补全网络输出；

68、表示反向的预补全网络输出；

69、x∈rl×d表示完整数据；

70、l表示序列时间维度长度；

71、d表示每个时间步数据的特征数；

72、m∈{0,1}l×d表示数据的缺失情况，1表示可观测，0表示缺失。

73、优选地，所述噪声预测网络包括残差层和卷积层。

74、所述残差层包含图卷积网络和特征维度transformer、结构化状态空间s4模型、时间维度transformer和gcgru；

75、输出为该层网络的输入与该层网络的输出相加。

76、根据本发明提供的一种基于扩散模型的非完整时空数据补全方法，采用所述的基于扩散模型的非完整时空数据补全系统进行数据补全，包括：

77、将非完整数据输入基于扩散模型的非完整时空数据补全系统，经过双向s4网络预补全，获得预补全结果；

78、通过时空依赖提取网络提取时空依赖关系，输入噪声预测网络；

79、预补全结果与加噪后缺失位置数据加噪之后的值结合输入噪声预测网络，得到预测噪声；

80、预测噪声经过扩散模型处理后输出补全结果。

81、与现有技术相比，本发明具有如下的有益效果：

82、1、本发明采用了基于条件扩散模型的生成时空数据补全框架，能够准确有效地利用可观测数据中的时空依赖关系作为条件，更好地学习到非完整时空数据的分布。

83、2、本发明不需要进行线性插值预补全，直接应用于具有非完整特征的数据集上，考虑学习分布的误差和预补全的误差来联合训练扩散模型和预补全网络，在不同的数据缺失率下都有很好的泛化性能。

84、3、本发明的系统构造合理，考虑了扩散模型生成过程中数据本身不变的时空依赖关系和随去噪步变化的依赖关系，能有效对交通，环境等时空数据进行补全，使用方便，能够达到准确的补全效果。