一种面向无人机的闭环反馈时间序列预测方法及训练方法

本发明涉及人工智能与数据处理，尤其涉及一种面向无人机的闭环反馈时间序列预测方法及训练方法。

背景技术：

1、时间序列预测在无人机状态监测、电力负荷、气象、交通流量等数据驱动决策场景中具有重要作用。近年来，研究者开始利用大语言模型进行时间序列分析，将连续的时间序列数据视为标记序列，通过预训练模型执行生成式预测。

2、标准的大语言模型在训练时采用教师强制机制，即每一步输入真实历史值进行训练。然而，在推理阶段，模型以开环自回归模式运行，递归地消耗自身生成的输出来预测后续步骤。由于训练与推理的输入分布存在差异，这种暴露偏差会导致预测误差在反馈回路中不断传播和放大。因此，在较长预测周期内，模型产生的微小误差会形成“滚雪球效应”，使预测轨迹不可逆地偏离真实数据流形，导致长期预测的可靠性显著下降。

3、因此，亟需提供一种技术方案解决上述问题。

技术实现思路

1、为解决上述技术问题，本发明提供了一种面向无人机的闭环反馈时间序列预测方法及训练方法。

2、第一方面，本发明提供一种面向无人机的闭环反馈时间序列预测方法，用于在自回归预测过程形成闭环反馈以抑制无人机状态参数的预测误差的累积与轨迹漂移，该方法的技术方案如下：

3、将无人机状态的历史时间序列数据通过嵌入层从时间序列空间投影至冻结参数的大语言模型特征空间，得到用于驱动被控对象推理的上下文特征；所述上下文特征在首个时间步仅包括历史时间序列数据的特征表示，在后续时间步还包括前序时间步的校准预测结果作为反馈修正信息；

4、由所述冻结参数的大语言模型作为被控对象，基于所述上下文特征生成当前时间步的未校准预测输出，并通过投影层将其映射回时间序列空间，得到表征被控对象开环响应的初步预测结果；

5、由残差估计器作为闭环观测器，基于历史时间步中已存储的估计残差序列推断当前时间步的潜在误差状态，预估用于抵消误差累积的轨迹偏差补偿项；所述估计残差序列表征历史预测误差的累积与传播动态；

6、将所述轨迹偏差补偿项作为反馈修正信号注入所述初步预测结果，得到抑制当前时间步误差累积的校准预测结果，并反馈至所述上下文特征中作为下一时间步的状态输入，使被控对象在下一时间步基于包含反馈修正信息的上下文进行推理，形成闭环反馈预测过程。

7、本发明的一种面向无人机的闭环反馈时间序列预测方法的有益效果如下：

8、本发明的方法通过引入残差估计器作为闭环观测器，基于历史残差序列预估轨迹偏差补偿项并注入初步预测结果，形成闭环反馈机制，能够主动抑制预测误差的累积与轨迹漂移，显著提高长期预测的准确性。

9、在上述方案的基础上，本发明的一种面向无人机的闭环反馈时间序列预测方法还可以做如下改进。

10、在一种可选的方式中，所述将无人机状态的历史时间序列数据通过嵌入层从时间序列空间投影至冻结参数的大语言模型特征空间，得到用于驱动被控对象推理的上下文特征，包括：

11、将无人机状态的所述历史时间序列数据按照预设固定长度l分割为互不重叠的图块序列，其中每个图块包含连续l个时间点的数据片段；若末尾不足l个时间点，则采用零值填充方式补齐至完整图块；

12、通过所述嵌入层将各图块从时间序列空间投影至所述冻结参数的大语言模型特征空间，得到图块特征向量，并将所述图块特征向量按时间顺序拼接，得到所述上下文特征。

13、在上述可选的方式中，通过将历史时间序列数据分割为非重叠的图块序列，使得校准预测结果能够以图块为单位回注至上下文特征中，为闭环反馈预测过程提供结构化的递推输入单元，从而在保持预测连贯性的同时，有效控制上下文特征的长度和计算开销。

14、在一种可选的方式中，所述上下文特征在输入至所述冻结参数的大语言模型之前，还包括上下文窗口管理步骤：

15、当所述上下文特征中包含的图块数量超过预设最大窗口长度k时，仅保留时间上最近的k个图块的特征向量，将更早的图块特征向量丢弃，以在保持长时依赖能力的同时限制计算开销。

16、在上述可选的方式中，通过上下文窗口管理，在保留近期历史信息以维持预测精度的前提下，避免了上下文特征随预测步数增加而无限增长，从而保证了推理过程的计算效率和内存可控性。

17、在一种可选的方式中，所述嵌入层在对每个图块进行投影时，还进一步在投影结果中加入时间步位置编码，以使得所述上下文特征保留不同图块之间的时序顺序信息。

18、在上述可选的方式中，通过加入时间步位置编码，使得冻结参数的大语言模型能够感知不同图块之间的时序先后关系，从而更准确地捕捉时间序列数据中的时间依赖模式，提升预测精度。

19、在一种可选的方式中，所述将所述轨迹偏差补偿项作为反馈修正信号注入所述初步预测结果采用线性相加方式，即所述校准预测结果=所述初步预测结果+所述轨迹偏差补偿项，以避免引入额外的融合参数导致训练不稳定或过拟合。

20、在上述可选的方式中，通过采用线性相加方式进行反馈融合，在实现误差补偿的同时避免了引入额外的可学习参数，从而降低了训练复杂度，提高了闭环反馈预测过程的稳定性和泛化能力。

21、在一种可选的方式中，所述残差估计器包含递推特征提取结构和输出映射层；

22、所述递推特征提取结构用于对所述历史时间步中已存储的估计残差序列进行时序建模，提取误差在时间维度上的传播与累积特征，得到误差特征表示；所述递推特征提取结构采用循环神经网络或时序卷积网络实现；

23、所述输出映射层为全连接层，用于将所述误差特征表示映射为所述轨迹偏差补偿项。

24、在上述可选的方式中，通过递推特征提取结构对估计残差序列进行时序建模，能够有效捕捉历史预测误差在时间维度上的传播与累积规律，从而准确预估当前时间步所需的轨迹偏差补偿项，提升闭环反馈补偿的精度和有效性。

25、第二方面，本发明提供一种用于无人机时间序列预测模型的训练方法，用于训练如上述方案所述的方法中使用的嵌入层、投影层及残差估计器，该方法的技术方案如下：

26、所述方法包括：第一阶段和第二阶段；

27、所述第一阶段包括：

28、冻结残差估计器的所有参数，采用教师强制策略，以历史真实图块对应的上下文特征作为被控对象的输入，联合训练所述嵌入层和所述投影层，并对所述投影层施加局部李普希茨约束正则化，使投影层的输出变化幅度相对于输入变化幅度的比值受控，保证闭环反馈预测过程的稳定性；

29、所述第二阶段包括：

30、冻结所述第一阶段训练完毕的嵌入层和投影层的参数，切换至自回归滚动模式，利用历史真实图块与当前时间步中由被控对象经投影层输出的初步预测结果之间的差值作为监督信号，训练所述残差估计器，使其学习如何基于历史时间步中已存储的估计残差序列准确预估当前的轨迹偏差补偿项。

31、本发明的一种用于无人机时间序列预测模型的训练方法，该方法的有益效果如下：

32、本发明的方法通过两阶段解耦训练策略，先稳定被控对象（训练嵌入层和投影层并施加局部李普希茨约束以保证闭环系统稳定性），再在已稳定的被控对象基础上单独训练残差估计器学习误差动态补偿，避免了联合优化导致的训练非平稳问题，确保了闭环系统的可控性与预测精度。

33、在上述方案的基础上，本发明的一种用于无人机时间序列预测模型的训练方法还可以做如下改进。

34、在一种可选的方式中，所述对投影层施加局部李普希茨约束正则化，包括：

35、在训练过程中，向所述投影层的潜层输出添加一个与该潜层输出维度相同的高斯噪声向量；其中，向所述投影层的潜层输出添加高斯噪声向量时，不同训练样本之间以及同一训练样本的不同时间步之间，所述高斯噪声向量独立采样且采用相同的强度范围；

36、计算添加噪声前后投影层输出向量之间的差异范数，并计算该差异范数与所述高斯噪声向量的范数之比的比值；

37、将所述比值减去预设的李普希茨常数上限，若所得差值为正，则取所述差值的平方作为正则化损失项；若差值为零或负，则正则化损失项为零；所述正则化损失项用于约束投影层的灵敏度，防止误差在闭环中被放大。

38、在上述可选的方式中，通过噪声扰动正则化方式施加局部李普希茨约束，使得投影层的输出对输入的微小扰动不敏感，从而保证被控对象的局部稳定性，为后续闭环反馈预测过程的误差有界控制提供理论保障。

39、在一种可选的方式中，所述联合训练所述嵌入层和所述投影层的步骤，包括：

40、构建第一阶段的总损失函数；所述总损失函数由所述正则化损失项，与基于历史真实图块和投影层输出的初步预测结果之间的误差构建的时间序列重建损失项，共同构成；

41、通过最小化所述总损失函数联合训练所述嵌入层和所述投影层。

42、在上述可选的方式中，通过将时间序列重建损失与李普希茨正则化损失相结合，在保证预测精度的同时约束投影层的灵敏度，实现了特征对齐与系统稳定性之间的平衡优化。

43、在一种可选的方式中，所述训练所述残差估计器的步骤，包括：

44、构建目标损失函数；所述目标损失函数以当前时间步的真实残差与残差估计器输出的轨迹偏差补偿项之间的误差，作为残差估计损失项；其中，所述当前时间步的真实残差定义为所述历史真实图块与所述当前时间步中由被控对象经投影层输出的初步预测结果之间的差值；

45、通过最小化所述目标损失函数优化所述残差估计器，以使残差估计器学习到已冻结的被控对象的系统性偏差动态。

46、在上述可选的方式中，通过在已冻结的被控对象基础上，以真实残差作为监督信号训练残差估计器，使得残差估计器能够准确学习到被控对象的系统性偏差动态，从而在推理阶段能够基于估计残差序列精确预估轨迹偏差补偿项，实现有效的误差动态抵消。

47、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。